Hinton最新演讲：下一代神经网络模型的构想 | SIGIR 2020

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度 等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~

就在明天，极市直播第64期：非受控环境下的表情识别。来自中国科学院深圳先进技术研究院的彭小江副研究员和王锴将为我们介绍分享自注意力策略在这些问题上的两个探索工作，详情点这里。在极市平台后台回复“64”，即可获取直播链接。

来源｜ 北京智源人工智能研究院

7月27日上午，第43届国际信息检索大会（SIGIR 2020）以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代（The Next Generation of Neural Networks）”的主题报告。智源社区为这次国际学术盛会提供了线上会议系统，并进行全程直播支持。

报告中，Hinton教授指出：人类大脑有10^14个神经元连接，而生命的长度只有10^9秒，因此人类是无法完全依赖有监督学习的方法完成所有神经元训练，而需要更多来自于无监督学习的帮助，受此启发，构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

他首先回顾了无监督神经网络的发展历史，结合从LLE、LRE到t-SNE等表达学习模型的进化历程，指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失（Reconstructive Loss），而忽略了对数据间关联关系的捕捉。

基于此，他提出了下一代神经网络模型的构想，提出利用对比损失函数（Contrastive Loss）建模样本间的局部关系、增强数据间表达的一致性的解决思路。 最后，他还展示了上述构想的一种具体实现方案SimCLR，应用此方案能够显著提升下游图像分类任务的效果（如下图所示）。

作为 CCF 推荐的 A 类国际学术会议，SIGIR 历来都是互联网业内关注的焦点，会议覆盖了信息检索领域相关的各类前沿成果，包括基础理论、算法应用以及评估分析。接下来，本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

推荐阅读

• 时隔一年，盘点CVPR 2019影响力最大的20篇论文

• LSTM终获「正名」，IEEE 2021神经网络先驱奖授予LSTM提出者Sepp Hochreiter
  

• 何恺明团队新作！深度学习网络架构新视角：通过相关图表达理解神经网络

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~