每年AI顶会论文几千篇，真正有创新的有多少呢？

每年AI顶会几千篇，有多少真正有创新，感觉各种算法改进都是在自己的设置下才有效，公平比较基本就拉倒了。有些领域还没有benchmark，好几年的论文仔细比较一下发现最新的论文可能还没有五年前的好，有的所谓sota明显是假的，后面的人又把这个假的sota当作最强baseline，转了好几圈又赚回来了，个人感觉顶会魔改算法已经出现瓶颈了，价值优先，别看摆了一堆好看的公式和结果，好听的intuition。

观点1

作者：北欧的鱼

链接：https://www.zhihu.com/question/541994477/answer/2570298754

现在的人工智能算法核心是以海量数据为基础的，而实际上我们不可能拥有海量数据，某个表现优秀性能超级好的算法只能局限于一部分所谓的海量数据和某个特殊的场景里，换一批数据或者换一个场景就不再是那个优秀的算法了，实际上，现在人工智能的方向是错误的，那些顶尖的算法工程师和大学教授也都深知这样的方向是错误的，但是已有开发的产品，投资，产品销售等等限制了大家不能把这个这个事实说出来。现在所谓的人工智能，只能是人工，而没有智能，顶多算以计算机和海量数据为基础的统计学，离设想中的人工智能还差很远呢。

在现在的研究中，我对自己研究的东西表示了深切的怀疑，我不认为这是一个正确的，有价值的方向。因此，即便我获得了AI的博士学位，我也不想从事这个行业的研究了，因为它是错误的。

观点2

作者：波尔德

链接：https://www.zhihu.com/question/541994477/answer/2569990436

这问题不是一两天了。而且逐渐形成囚徒困境：之前的顶会已经偷奸耍滑了，新的论文如果太老实就很难再中了。

很多顶会论文的价值可能还不如一些tech report。这里赞美一下timm的作者。

ResNet strikes back: An improved training procedure in timm

(https://arxiv.org/abs/2110.00476)

这篇“ResNet还是你大爷”向大家展示了，精调的ResNet-50能在ImageNet上干到80%以上的Top-1。而且timm是开源的。谁都可以复现一个。

虽然这篇文章很可能中不了任何顶会（审稿人：孔乙己，你又lack of novelty啦），我认为它的价值非常高：

1. 给了以前所有水文一耳光：你们那些所谓的新结构，insight，novelty，到底有多大用处？是不是在堆trick？消融实验结果都是真的吗？
2. 给了后来所有论文立了个新标杆：都别特么不要脸，对比ResNet的时候还拿Kaiming原文的准确度做基线。有种先打过我这个现代化的ResNet再说。

这一篇实验报告帮后来的顶会挤出去多少水分，功德无量啊。依我看，community就应该专门设个基金，直接奖钱给优质的tech report和复现论文的工作（特别是复现之前的消融实验）。

各个细分领域，都应该鼓励这种挤水分的工作。比如我比较熟悉的点云领域，最近有了PointNeXt，直接make PointNet++ great again。还自带开源框架，让大家公平实验，着实良心。

PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies

(https://arxiv.org/abs/2206.04670)

观点3

作者：匿名用户

链接：https://www.zhihu.com/question/541994477/answer/2563345702

你说的对，现在AI圈，其实概括来说整个学术圈大部分都是这样，相当一部分人在造假，绝大部分人在自娱自乐，就是你说的不公平比较，自己立个靶子自己打然后画好图讲好故事发论文。

认真做事的很少，推动科技进步的很少。如果你不能接受或者适应这个潜规则，自己也不是绝顶聪明或者有顶级团队，趁早退出学术圈免得浪费生命。

观点4

作者：冷犬

链接：https://www.zhihu.com/question/541994477/answer/2563783936

几千篇论文有10%是真正有创新的就很不错了。有多少所谓的SOTA模型，其实很大程度上是靠的一些trick，靠的超参数。要是稍微调一下超参数，performance嗖嗖地就下来了。要是再放到真实业务场景，有些很复杂很精巧的模型，最后往往还比不过TextCNN这种好几年前非常简单的模型。

我很佩服那些仍在用严密的数学推导来设计AI算法的研究者，而深度学习的模型想要提高performance，本质上还是得靠加大数据加大模型来炼丹。