175篇论文告诉你深度学习er能从NeurIPS 2020论文学到什么?
新智元
共 4744字,需浏览 10分钟
·
2021-02-05 20:24
新智元推荐
新智元推荐
来源:AMiner科技
作者:戚路北
【新智元导读】在Medium上,一位名为Prabhu Prakash Kagitha的博主,根据NeurIPS 2020上的论文发表了一篇题为“NeurIPS 2020 Papers: Takeaways for a Deep Learning Engineer”的文章,阅读了NeurIPS 2020中的175篇论文的摘要,汇总了与深度学习有关的见解。
1、加速基于Transformer的语言模型的逐层下降训练
与标准翻译器相比,可切换翻译器(ST)的预训练速度快2.5倍。
配备可切换门(G在fg。下面),一些层是根据伯努利分布抽样0或1随机跳过的,每个抽样的时间效率为25%。
![](https://filescdn.proginn.com/dcbad0f53d11183a0e84e14928ded0ba/671c43ac0ffc143d9cbf7bc2b29b5748.webp)
2、用于神经网络抗噪声标签的Robust训练的核心集
![](https://filescdn.proginn.com/2494d57253d3197443e4dbe5a22f999f/3fc6308dc2772d0dc661102be70c057b.webp)
3、基于预训练BERT网络模型的彩票假设
![](https://filescdn.proginn.com/52047c63d1fae6dd3793a3abf8f1301e/e34fed3d90705c0e2a33bb64024f8090.webp)
![](https://filescdn.proginn.com/660f0bf8470f7d80eb71398d3118be71/d7e6d31de03b126800c932595217d568.webp)
![](https://filescdn.proginn.com/d2b7a09382cdf66a2cd1f3b3134c3b11/eb88bd2928dd370a364d90f177cd7c6b.webp)
4、MPNet:语言理解预先训练的掩蔽和排列
![](https://filescdn.proginn.com/f9fb2c1b1d34513f9ea0034b4d129541/50a8e95ba9adca49a965a35fed5c8ec5.webp)
5、使用边缘排名下的区域识别错误标记的数据
6、重新思考标签对于改善课堂不平衡学习的价值
7、Big Bird:长序列翻译
![](https://filescdn.proginn.com/ab26d4844374d1870472f951b2dad2eb/c0ffda608c9eea8d1a34a8355d8c781e.webp)
![](https://filescdn.proginn.com/aab7cbd598888af5ffa10c0ec71556a2/fba2ff5f92ca262cc6e0c8c8c50487c7.webp)
8、通过权重共享来改进自动增重
9、集中注意力的快速翻译
10、自我关注的深度限制和效率
评论