复盘人生第一次科研经历

去年五一，我正在洛阳旅行，本已收到了腾讯公司的offer，准备假期过后去实习。这时候导师突然来了电话，让我6月份回实验室做科研。

一瞬间我觉得自己好悲惨，大厂实习泡汤了，研究生最后一段自由时光也成了泡影。

科研的主题是Text2SQL，就是把一句话翻译成对应的SQL语句。这是我毕业的开题方向，当初对NLP这个朝阳领域很感兴趣，有几个不错的idea。可我也就止步于此，没尝试过代码实现，看的论文不到10篇，处境很尴尬。

放弃了实习的念头，我在6月底重回实验室后，经历半年多我终于对Text2SQL领域有了清晰的认识。完成毕业论文的同时，产出了paper和专利，并在10月份获得了耶鲁大学Text2SQL比赛的全球第二名。

从开始的懵懂、工程能力不足到最终收获了还不错的结果，我对这半年多经历用了3个方面来概括：

1.阅读领域内近3-5年顶会论文

2.站在巨人的肩膀上，强化工程能力

3.充分利用学校和实验室资源

一、阅读领域内近3-5年顶会论文

阅读已有工作是开展科研的必经之路，既是为了站在一个制高点饱览研究领域这块蛋糕，也是为了提升学术嗅觉与idea能力。同时，可以避免想出了一个很好的idea立即开始复现，结果提交论文时才发现，这个点早就被别人做掉了的极端现象。

高效收集paper的4个途径：

1）在研究领域的公开赛事或榜单上学习Top名次的解决方案（一般都有相应的论文链接）。比如Text2SQL领域有：WikiSQL、TableQA、Spider、CoSQL等比赛，里边有大量值得学习的paper。

2）收集2-3篇综述论文。一篇好的综述概括了该领域的整体进展、已有工作以及潜在的研究方向等等，能够给予我们启发，事半功倍。

3）在谷歌学术上通过关键词搜索相关论文。论文质量可以根据引用数量、会议等级来衡量。

点击某一篇文章的“被引用次数”链接，可以跳转进入引用了这篇论文的界面，继续寻找有价值的论文。很多论文其实没有精读的必要，我们在收集了一批论文后，不妨先读读摘要、实验、结论部分，再确定是否需要通篇精读，以提高效率。

当然一些经典的paper是一定要看的，比如做NLP肯定不能错过Transformer、BERT等等。

4）在Github上搜索资源整合项目。如果这个领域比较热门或者正处于上升期，一般都会有热心用户分享自己整理的资料。例如，关于Text2SQL我已经整理好了一份大礼包，包含了背景、论文、数据集、解决方案、应用案例等内容，帮助感兴趣的小伙伴们节省时间：

 https://github.com/yechens/NL2SQL

二、站在巨人的肩膀上，强化工程能力

有了学术积累和idea后，就需要快速复现idea。刚开始我有一个误区：科研一定要从0做到1。

后来导师告诉我大可不必这样。聪明的人会先参考别人的解决方案(特别是SOTA)，在学习过程中强化工程和coding水平，形成更优雅的代码风格。这就像站在巨人的肩膀上，我可以基于他们的工作实现自己的想法，取其精华，去其糟粕。

还是以Text2SQL为例。这个任务的数据处理部分特别繁琐，需要同时考虑文本和数据库信息，仅预处理就包含了上千行代码。我参考了Spider上的Top方案后，发现大家在这部分有很多思路是共通的，完全可以借鉴。这样一来，我可以把更多精力放在模型结构设计和后处理上，这两者对最终结果有关键影响。

有的同学表示说，“自己之前没有太多接触神经网络，现在要改实验代码，觉得好难”，这就涉及基本功问题了。我们每天需要额外挤时间来补漏洞，提升自己的coding能力。

如果喜欢看书，我推荐Keras之父的《Python深度学习》和李沐老师的《动手学深度学习》。两本书我都认真看过，非常经典和通俗易懂。

三、充分利用学校和实验室资源

最后一个关键是学会充分利用现有资源，这个资源包括学术资源、人力资源、硬件资源。

学术资源

最直接的学术资源就是实验室的师兄师姐们，还有大Boss——导师。

师兄中肯定有人发过paper，无论是写作还是关于编程和技巧，和他们聊过之后都给我带来了启发。导师是我研究领域中的权威人物，可以帮助我把关idea是否work、是否有足够的竞争力，甚至在没有任何思路的时候点醒我，提供有价值的idea。

人力资源

导师精力有限，往往神龙见首不见尾，不可能顾及所有人，所以带领学弟学妹们的工作一般留给了高年级同学。如果研究的方向他们也感兴趣，大家完全可以一起合作。例如让coding能力强的师弟帮忙做一些实验，coding弱些的同学分析数据和badcase，便于我迭代模型。不仅让他们有所收获，也帮助我分担了很多工作量，一举多得。

如果能带学弟学妹们投中论文，我想他们一定会从心里发出感激的，没准也更愿意在今后的工作中加上我的名字。

硬件资源

俗话说巧妇难为无米之炊，做科研有了idea和coding能力，没有机器也还是白搭。所以无论是在实验室还是公司，要善于利用资源。

我在实验室时，老板很慷慨的采购了服务器，还有Tesla V100显卡让我们做实验。实验室24h可以进出，提供免费饮用水和咖啡。如果做出了成绩（比如会议中稿，比赛拿下SOTA）会有丰厚的物质奖励。

如果实验室没有这些硬件资源，应该主动和老板沟通，请他帮忙协助解决。

总结

路漫漫其修远兮，吾将上下而求索。

做科研是一条艰辛的路，特别是从0到1的过程。但是通向光明之路，从来没有一帆风顺的选择。

为了避免拖延症和摸鱼，我会给自己罗列各个阶段的deadline，然后从学术调研、coding实验、多次迭代方面进行攻坚。如果真的感觉很累，我会停下来离开实验室，去球场和朋友打球；或者跑跑步，呼吸新鲜空气，让自己清醒放松。

最后推荐几个深度学习方向科研工作的神器吧，希望能为同学们的科研道路提供帮助：

arxiv：论文收录网站（防止自己的idea被剽窃，完成论文后可以先挂上去，证明原创性）；

PaperwithCode：论文和代码的结合工具，包含了很多NLP、CV方向的SOTA论文和模型实现；

dblp：计算机英文资料收集网站，支持各种字段搜索（会议、作者、时间等）；

Connected Paper：论文引用信息可视化工具，分析出文献的前世今生；

NLPIndex：NLP学术搜索神器，同时链接了paper、code、graph，是上述上个神器的综合体；

Deepl：翻译神器，特点是地道，更接近真人翻译（略胜于谷歌翻译）

diagrams：画图好帮手，制作高大上的流程图、模型图必备，可以在线导出为pdf高清矢量图（放大后图片细节不失真）

---

我是叶琛，一个爱旅行，懂养生的算法工程师兼干货博主，也是个喜欢用接地气的文风为年轻朋友分享互联网经验和算法知识的人。

硬核码字不易，如果觉得有帮助请一键三连或点个赞哟！

参  考  资  料

[1] https://github.com/yechens/NL2SQL

[2] arxiv: https://arxiv.org/

[3] PaperwithCode:https://paperswithcode.com/

[4] dblp: https://dblp.uni-trier.de/

[5] ConnectedPaper: https://www.connectedpapers.com/

[6] NLPIndex: https://index.quantumstat.com/

[7] deepl: https://www.deepl.com/translator

[8] diagrams: https://app.diagrams.net/

[9] Spider: https://yale-lily.github.io/spider