刚刚,ICLR 2021正式放榜:接收率上升,860篇论文创新高极市平台共 2800字,需浏览 6分钟 ·2021-01-15 03:32 ↑ 点击蓝字 关注极市平台作者丨泽南、小舟来源丨机器之心编辑丨极市平台极市导读 又到了激动人心的揭榜时刻。 >>极市和CSIG邀你参与2020年度最权威专业的计算机视觉人才调研几个小时前,人工智能顶会 ICLR 2021 放出了今年的论文接收结果。和其他著名人工智能会议一样,今年的 ICLR 论文投稿数量继续增长:共获得 2997 篇有效投稿,860 篇论文最终被接收(2020 年为 687 篇),其中 53 篇将进行口头讲述报告(Oral),114 篇 Spotlight,其余为 Poster 论文。今年大会论文 29% 的接收率相比去年的 26.5% 也有提升,与其他一些顶会大幅降低接收率相比,ICLR 似乎更加友好。但在社交网络上,我们仍然看到了「评分 6、8、6、8,但仍被程序主席毙掉」的惨剧。在此之前,所有论文的初审结果已于去年 11 月 11 日公布。值得注意的是,此次会议收到的论文中有 856 篇是 NeurIPS 2020 Rejection 之后再提交的。论文结果放出以后,人们也整理了本次大会的论文评分和链接列表:https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007其中可见,不同于去年超过 30 篇满分论文,今年只有 15 篇论文获得了平均 8 分及以上的分数,也没出现「满分论文」。其中排名最高的是来自麻省理工学院(MIT)Keyulu Xu、马里兰大学 Mozhi Zhang、Jingling Li 等人的论文《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks 获得了 9、8、9、9 四个评分。论文链接:https://openreview.net/forum?id=UH-cmocLJC该研究的主题是通过梯度下降训练的神经网络如何外推(extrapolate),即在训练分布的支持以外还能学到什么。之前的研究表明用神经网络外推时的混合实验结果如下:虽然多层感知机(MLP)在一些简单任务中无法很好地外推,但是图神经网络(GNN,一种具有 MLP 模块的结构化网络)在一些较为复杂的任务中已经显示出一定的成功。通过理论解释,研究者确定了 MLP 和 GNN 良好推断的条件。首先,该研究对 ReLU MLP 从原点沿任何方向快速收敛到线性函数的观察结果进行量化。这意味着 ReLU MLP 不会外推大多数非线性函数。但是,当训练分布足够多样化时,ReLU MLP 被证明可以用于学习线性目标函数。其次,结合分析 GNN 的成功和局限性,这些结果提出了一种假设:GNN 在将算法任务外推到新数据(例如较大的图或边权重)方面的成功取决于架构或特征中的特定于编码任务的非线性性。该研究为这种假设理论和实验依据。该研究的理论分析建立在超参数网络与神经正切核的连接上。实验表明,该研究的理论适用于不同的训练设置。图 1:ReLU MLP 如何外推。研究者训练 MLP 以学习非线性函数(灰色),并从内部(蓝色)和外部(黑色)两方面绘制其预测结果。MLP 从原点沿多个方向迅速收敛至训练数据范围以外的线性函数。因此,MLP 在大多数非线性任务中无法很好地外推,但 MLP 能够很好地全局外推线性目标函数。图 2:GNN 如何外推。由于 MLP 在学习线性函数时可以很好地进行外推,因此研究者作出如下假设:如果在架构(左)和输入表征(右,借助域知识或表征学习)中编码适当的非线性,GNN 就会在动态规划(DP)中很好地进行外推。编码的非线性可能对于插值(interpolation)是非必需的,因为它们可能是通过 MLP 模块近似化的,但是它们有助于外推。ICLR 全称为 International Conference on Learning Representations(国际学习表征会议)。自 2013 年开始每年举办一次,2021 年将举办第九届会议。该会议与 CVPR、ACL、NeurIPS 等学术会议一样被认为是国际人工智能顶会,同时也是 CCF 评选的一类会议。ICLR 的创始人包括深度学习三巨头之二的 Yoshua Bengio 和 Yann LeCun。数据的应用表征对机器学习的性能有着重要的影响,表征学习对于计算机视觉、语音处理、自然语言处理等多个领域都起着至关重要的作用,ICLR 旨在打造这一领域交流研究的平台。今年的 ICLR 大会原定于奥地利首都维也纳举行,但由于新冠疫情的原因已连续第二届改为线上形式,正式的活动将在 5 月 4-8 日进行。虽然参会的人数还不是最多,但 ICLR 的影响力已不容小觑。在今年的论文结果放出之后,Yann LeCun 在推特上给出了一些 ICLR 大会的数据:ICLR 的谷歌学术 h5 指数已经排到了全榜第 17 名,超过了 NeurIPS、ICCV、ICML,落后于 CVPR(该榜单的前三名是 Nature、新英格兰医学杂志和 Science)。对于一个 2013 年刚起步的学术会议来说,这是相当值得称赞的成绩。LeCun 表示,开放的审稿形式,以及深度学习领域近年来的良好发展趋势是 ICLR 大会成功的原因。参考内容:https://iclr.cc/Conferences/2021/Dateshttps://scholar.google.com/citations?view_op=top_venues&hl=en推荐阅读太牛了,Markdown 几行字符就可以生成思维导图了!工作之余如何提高个人技术水平深度学习和机器视觉top组都在研究什么?添加极市小助手微信(ID : cvmart2),备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳),即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群:每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~△长按添加极市小助手△长按关注极市平台,获取最新CV干货觉得有用麻烦给个在看啦~ 浏览 36点赞 评论 收藏 分享 手机扫一扫分享举报评论图片表情视频评价全部评论推荐 NeurIPS 2021论文放榜!机器学习与生成对抗网络0ICLR 2021最佳论文放榜!清华宋飏等3位一作华人学生获最佳论文奖!新智元0ICLR 2021 | 腾讯 AI Lab 入选论文解读人工智能与算法学习0KDD2021最佳论文奖揭晓!胡侠获新星奖,论文接收率仅15%大数据文摘0ICLR 2022杰出论文奖放榜,浙大、清华、人大学者一作入选新智元0刚刚,微软正式Win11系统 !dotNET全栈开发0刚刚,Kubernetes 1.24正式发布肉眼品世界0AAAI 2021放榜,得分 987 论文被拒,654 反而中了?AI算法与图像处理0放榜放榜0放榜放榜0点赞 评论 收藏 分享 手机扫一扫分享举报