学术真相：比盲审更可怕的，是大家都在发表“高级造假”论文-轻识

点击上方“机器学习算法工程师”

选择“星标”公众号，重磅干货，第一时间送达

上个月27日，ACM通讯爆出论文作者与审稿人串通欺骗盲审的学术欺诈事件，在计算机科学研究领域掀起了一阵讨论风暴。人们就此发表了不同看法与评论，其中，来自加拿大Mila实验室的 AI 博士生 Jacob Buckman 甚至发表了一篇博客文章，控诉了更为“看似合理”的学术欺诈行为。

Buckman的本科毕业于卡内基梅隆大学计算机科学专业，研究生毕业于卡内基梅隆大学语言技术研究所，2018年开始在麦吉尔大学读博，在Yoshua Bengio（深度学习三巨头之一）于1993年创立的Mila实验室做研究。

这篇文章被上传到 Reddit 上，引来了超过150条的评论与跟帖：

Reddit讨论：

https://www.reddit.com/r/MachineLearning/comments/nooiha/d_please_commit_more_blatant_academic_fraud_blog/

关于人工智能领域里所谓“看似合理”的学术欺诈论文，Buckman举了很多常见例子，比如：

在数十个种子上试验一种新的算法，然后只通报性能最好的几种情形；
在提出的方法上运行大型超参数扫描，但使用基线的默认值；
挑选几个模型在其中表现不错的场景，或挑选一个在上面进行测试、且模型优势被证明的数据集；
捏造新的问题设置、新的数据集与新的目标，以便在空旷的赛场上取得胜利；
在论文介绍中宣称某项工作是“有前景的第一步”，即使完全意识到没有人会在这项工作的基础上继续发展；
把论文投到会议，仅仅是因为论文有可能被接收，不希望在这个论文上花费的时间被浪费，即使意识到论文的核心思想是错误的；
……

相比同行勾结、欺骗评审，Buckman认为，这种学术欺诈行为更难以“定罪”，对计算机科学研究领域的危害更大。

他甚至呼吁：让暴风雨来得更猛烈些吧！待学术欺诈行为泛滥成灾，方能一切推倒重来，重建一个更加美好的明天！

Buckman认为，相比有明显证据的盲审欺诈，这类“低调”学术欺诈的问题就在于它的阴险与微妙。许多时候，我们难以区分欺诈行为与简单的错误。对于这类行为，相关研究者可以提出合理的否认，比如说：“噢，我只是忘记了包含哪些种子。”“我没有足够的计算机来处理这些消融。”“我没有发现这个bug。”……

在这种情况下，我们很难因为一些也许有合理缘由的简单错误来惩罚一个善良的研究生，所以只能“手下留情”，让这些事件一而再、再而三地发生，直到这些行为“正常化”。当论文发表的标准变得很低时，那么高标准要求自己会变得对任何人都没有好处。领域的新入门者看到这些现象，会学习、模仿。

Buckman指出，模仿“欺诈”的年轻研究者通常是受到导师的“鼓励”。每个教授都希望实验室里的研究生每年都能发表尽可能多的论文。如果每个实验室都认可某些行为，那么这些行为就会成为该领域研究标准的一部分。

但最糟糕的是：因为每个人都是这类“微妙欺诈”的同谋，所以没有人愿意承认它的存在。对于这个现实，同一个领域的研究者形成了一个集体盲点：即使是顶级会议上发表的中等水平论文，也不包含真知灼见。任何突显或纠正这种情况的尝试都会遭到既得利益者的强烈抵制。

如今，当所有公然的学术造假混杂在一起，研究人员可以迫使人工智能领域承认这个盲点的存在。在阅读会议论文时，研究人员可以提出这样的怀疑：这项工作真的值得我的关注吗？它的发表会不会仅仅是一种学术“欺诈”行为？

事实上，我们很难将“欺诈”发表论文与“合法”发表论文区分开来。（这其实已经诠释了 AI 领域的发展现状。）

但 Buckman 认为，如果假设所有论文都带有“欺诈行为”，那么人们可以带有怀疑的目光去阅读所有已经发表的工作。读者被迫像审稿人一样阅读，审查论文中可能存在“欺诈”的行为。久而久之，同一领域的研究者会对这类“欺诈”产生敏感，反过来给作者带来压力，让他们创作出经得起考验的作品，产生真正有科学价值的出版物。

Buckman还提到，大多数研究人员更像是“职场研究员”，他们的动力不是追求科学真理，而是追捧在学术界有威望的人士。不仅是初级研究员，高级研究员也如此。但如果“科学是人情世故”的观念在人工智能领域根深蒂固，原先的受益者，真的能继续受益吗？

来自布朗大学的Michael L. Littman教授认为，论文作者与审稿人“狼狈为奸”的现象会威胁整个计算机科学研究领域的诚信。Buckman对此观点表示赞同，甚至希望有一天，这种行为能最终破坏计算机科学研究的整体可信度，最终迫使该领域的所有人重新参与建设学术规范，改变研究的方式，提高人类知识成长的整体能力。

在文末，Buckman呼吁：请进行更多的学术欺诈行为……

在Reddit上，网友就Buckman的文章发表了自己的观点/大胆地爆料。

有人分享了自己身边的故事（不确定是否“无中生友”），提到有位机器学习领域的博士生发现导师的一个论文观点完全是凭空捏造的，而实验室里其他研究生的工作又是基于这位教授的工作所完成的。这位博士生因此失去了对学术的信仰…

研究3D点云配准的网友表示，这类学术欺诈行为不仅发生在人工智能领域：

但是，也有人对Buckman定义日常学术欺诈的例子进行了反驳。比如，Buckman认为，“捏造新的问题设置、新的数据集与新的目标，以便在空旷的赛场上取得胜利”也是一种学术欺诈，而网友则指出：定义新的问题设置、新的数据集与新的目标，是研究者能对领域付出的最大贡献！

这个观点使部分研究者感到了冒犯：

有网友搬出吴恩达的观点：研究新的数据集/目标/问题设置，比调整模型架构、以在同一个数据集上实现比SOTA高0.1%的工作更有意义。

这是该帖所含超链接中吴恩达的观点：

还有网友指出，Buckman的文章观点很好，但过于理想主义化。比如说，Buckman提到种子与不恰当的测试。但现实是，很多实验室的设备完全比不了MIT、斯坦福或Facebook等顶级高校、大厂。

此外，关于“科学是人情世故”的问题，该网友认为这是一个特征，而不是一个bug。学者想要庆祝个人的成就，随之获得声望，是一个自然而然的过程。这个体系已经运行许多年。

大家怎么看？

参考链接：

https://jacobbuckman.com/2021-05-29-please-commit-more-blatant-academic-fraud/

https://www.reddit.com/r/MachineLearning/comments/nooiha/d_please_commit_more_blatant_academic_fraud_blog/

https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext#FNA

觉得不错，多多「留言」，点击「在看」吧↓↓↓