读博无门，就业碰壁，孤独当了7个月“民科”后，他的论文中了顶会

来源 | 量子位 报道 | 公众号 QbitAI   赖可 发自 凹非寺

编辑 | 学术君

一位丹麦科技大学硕士毕业的机器学习研究生，没有申请到博士学位，也没有找到合适的工作。

 

他决定给自己8个月的时间，在顶会上发表一篇论文，不然就去做程序猿。

 

最终他做到了！

 

他收到了超过100条私信，来问怎样像他一样做个「独立研究者」。

 

于是他把自己的经历详细写了下来，还给了忠告：这条路太苦了，能不走就别走。

 

 

申请碰壁

 

在distill.pub发表了一篇论文之后，Andreas小哥天真地以为，有了独立发表的论文，加上自己的硕士学位，就可以申请到一个博士学位了，不然也能申请到软件工程师、ML工程师之类的职位。

 

 

他以唯一作者的身份在distill.pub上发表了论文《在RNN中的可视化记忆》，展示了两个准确度相似的模型在NLP的显著交互可视性有很大不同。

 

他一边写信给教授，一边写给各种大厂，像谷歌、微软、Rakuten、ElementAI，英伟达、Hypefactors，英特尔，京东，亚马逊，三星，Shift Technology，Corti都试了，还请认识的人帮忙推荐。最后得到的结果是：

 

没有一篇顶会发表的文章，很难申请到好的AI博士项目。

而这位小哥在丹麦大学完成硕士学业，学校并不鼓励他们发论文。

当然他也没有收到任何公司的offer，连一个面试电话都没有。

 

碰了一圈壁之后，小哥明白了：

想做博士，又没有圈内人推荐，你需要提前做等同于博士学位一半的工作

申请季过去，2019年4月，他决定背水一战：

到2020年1月前，如果没有在NeurIPS或ICLR上发表文章，就去做JavaScript程序猿。

 

 

一边赚钱养自己一边做研究

 

此前的一年，小哥是一个自由职业者。因此找到活干养自己并不太困难。

 

之前他就通过朋友接到了一个NearForm项目。要求是：了解Node.js的内部结构，统计背景 ，Web可视化技能。他既满足这些要求，又能获得不错的薪水。

 

到了2019年，原来的项目又给了他新的活，开发在NodeConf EU 2019上发布的IoT智能手表及胸牌的TensorFlow部分。这让他保持在2019年继续有收入。

 

生活问题解决了，想发表论文的第一个困难是要确定研究方向。

机缘总是会提前埋下伏笔。

 

毕业后，他曾经到自己学校AI学生协会的开幕式上找导师谈博士学位的事情，却没有成功。不过，他遇到了后来的贵人：助理研究员Alexander。

 

和对方的通信中，Alexander告诉他，有几个学生试图复制DeepMind的论文「 NALU」（神经算术逻辑单元），但没有成功。问他是不是可以试一试这个方向，也许可以成为NeurIPS论文。

 

他想起自己之前的论文也一直在优化别人的研究。这样的工作他也挺感兴趣。

几乎所有出版物都夸大了它们的表现。改善他人的工作是一种可行的研究策略。

孤独前行

 

人是社会动物，需要来自环境的支持和鼓励。博士写论文很苦逼，但是至少周围还有一群跟你一样苦逼的人。

 

而一个人做研究写论文，可以想象有多孤独。孤独到走过这条路的小哥建议大家不要再这么做：

没有支持网络，经历作为第一作者写论文的挣扎痛苦，这是我不建议做独立研究员的第一个原因。不要以为你可以连续7个月没有任何鼓励。

那Andreas是如何撑过这7个月的呢？

 

1、每周一次和Alexander见面，讨论研究。这对他帮助很大，Alexander有很好的批判性思维，会对他的研究提出质疑。这样的督促作用是，让自己不要想偷懒走捷径。

 

2、同时做一些其它的小项目。不把所有的时间都押注在研究上。编写一个开放源代码的工具，实现一个已知的论文，等等。这样阶段性的小成就，更容易获得其它研究员的鼓励，让自己有一些正反馈。

 

 

 

不要怕拒绝，反复投，反复改

 

论文初稿完成后，Andreas进行了三波投稿。

 

第一波，投石问路。他把论文投给了他发表过论文的distill.pub，被拒绝了。

修改了以后，再次投给distill.pub，这次他得到了非常有价值的评审建议。他觉得，如果没有来自distill.pub两位评审的意见，论文最后可能就不能进入ICLR。

至于他的目标是NeurIPS或ICLR，那就一个一个试。

 

于是第二波，他投了NeurlPS,也被拒绝了。

研究本身是对来自Deepmind的NALU的优化，质疑的意见也大多与此有关：

1、一些评论者认为新研究无法成功复制 NALU的结果。一个反复出现的问题是“为什么原始论文的结果要比你提案中的结果好得多”。

2、一些评论者还提议，做NALU论文声称要做的所有事情。但是论文中提供了明确的证据，表明NALU模型并不能令人满意地完成所有工作。

小哥从被拒绝的经验中总结：

评审员倾向于支持已经发表的结论。他们会严格地对待你提交的内容，但不会对先前发表过的内容这样。尤其是已发表的内容来自DeepMind的时候。

 

再接再厉，小哥再次把论文进行了修改，增加了更多证据和实例，投了ICLR。

 

此外，他还做了一件为自己的研究争取好评的事情：

将实验设定和复现结果投给了 NeurlIPS 2019的SEDL workshop。然后他发了一条twitter，标记了NALU的第一作者A. Trask，结果对方回复了：Great work! 有了好的基准，才能继续提升。

 

在ICLR评审上，小哥的论文得到了4条评审意见，分别是3，6，6，8。

 

其中一位评审人之前在NeurIPS就读过他的研究，对他研究的接受度也增加了，从NeurIPS的Weak Reject 到ICLR的Weak Accept ，最后变成了Accept。

 

最终，区域主席给的决定是接受（spotlight）。

 

 

评语是：

本文扩展了关于NALU的工作，提供了一对性能优于NALU的单元，审稿人广泛赞成该论文。尽管修订中已解决了要点，一位异议的审核者似乎没有时间重新考虑分数。我很乐意在这里保持乐观，并假设他们会对讨论所带来的变化感到满意，并建议接受。

 

 

经验总结

 

小哥认为，自己的经历有一个重要的背景：

 

在2017年以后，硕士申请博士的门槛提高了，不再像之前那样随随便便就可以申请到。申请到博士学位甚至比完成博士还要难。

 

申请博士需要1到2篇在顶会发表的论文，最好还要有著名的合作者。同样，对相关行业从业者的要求也在提高。小哥在硕士毕业没有申请到合适的大厂职位，而在2013～2015年，硕士学位也可以应聘成为google的研究员。

 

最后，小哥总结出三条经验：

 

1、与别人合作。找到可以对研究提出建设性意见的人很重要，此外，在大学里找到可以使用大量计算资源人的人也很必要。作为助理研究员的Alexander给小哥的研究提供了计算资源。

 

2、不要灰心， 也要给自己留备选项。目前投稿的接收率大概是20%，做独立研究，被接受的机会可能更少，但是不要因为一次拒绝就灰心。同时也要进行其它项目，这样即使失败了，也不会感到完全浪费时间。

 

3、说一千道一万：有别的选择，就不要走这条路。

 

One more thing

 

有人问他：要取得spotlight，还需要额外做什么？
小哥回：说实话，我觉得主要是运气。

 

本文来源：量子位 报道 | 公众号 QbitAI   赖可 发自 凹非寺

转载本文请联系原作者获取授权，同时请注明本文来源。

如果不想错过每日精彩

一定要星标置顶哟~ ▼

后台回复关键词：福利

学术君精选

昨日刷屏的神论文：主编辞职，刊物撤稿，中科院回应，200万自然科学基金咋办？

119800元！博士出门吃饭却被强行纹眉：我胆小，他们一恐吓我就…

川大博导团队18篇论文被质疑学术不端，目前已回应9篇

▼ 点击「阅读原文」，获取更多免费资源

本篇文章来源于微信公众号: 学术资源大全