性能差异不大？注意力机制作用被高估了？-轻识

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

要说Transformer的核心亮点，当然是注意力机制了。

但现在，一篇新研究却突然提出了带点火药味的观点：

注意力机制对于预训练Transformer有多重要，这事儿得打个问号。

研究人员来自希伯来大学、艾伦人工智能研究所、苹果和华盛顿大学，他们提出了一种新的方法，用来衡量注意力机制在预训练Transformer模型中的重要性。

结果表明，即使去掉注意力机制，一些Transformer的性能也没太大变化，甚至与原来的模型差异不到十分之一！

这个结论让不少人感到惊讶，有网友调侃：

你亵渎了这个领域的神明！

所以，究竟如何判断注意力机制对于Transformer模型的重要性？

把注意力换成常数矩阵

这种新测试方法名叫PAPA，全称“针对预训练语言模型注意力机制的探测分析”（Probing Analysis for PLMs’ Attention）。

PAPA采用的方法，是将预训练语言模型（PLMs）中依赖于输入的注意力矩阵替换成常数矩阵。

如下图所示，我们熟悉的注意力机制是通过Q和K矩阵，计算得到注意力权重，再作用于V得到整体权重和输出。

现在，Q和K的部分直接被替换成了一个常数矩阵C：

其中常数矩阵C的计算方式如下：

随后，用6个下游任务测试这些模型（CoLA、MRPC、SST-2、MNLI、NER、POS），对比采用PAPA前后，模型的性能差距。

为了更好地检验注意力机制的重要性，模型的注意力矩阵并非一次性全换成常数矩阵，而是逐次减少注意力头的数量。

如下图，研究先用了BERT-BASE、RoBERTa-BASE和DeBERTa-BASE做实验，其中y轴表示性能，x轴是注意力头相比原来减少的情况：

随后，研究又用了BERT-LARGE、RoBERTa-LARGE和DeBERTa-LARGE做实验：

通过比较结果，研究人员发现了一些有意思的现象：

首先，用常数矩阵替换一半的注意矩阵，对模型性能的影响极小，某些情况下甚至可能导致性能的提升（x值达到½时，图中有些模型数值不减反增）。

其次，即使注意力头数量降低为0，平均性能下降也就8%，与原始模型相比最多不超过20%。

研究认为，这种现象表明预训练语言模型对注意力机制的依赖没那么大（moderate）。

模型性能越好，越依赖注意力机制

不过，即使是预训练Transformer模型之间，性能表现也不完全一样。

作者们将表现更好的Transformer模型和更差的Transformer模型进行了对比，发现原本性能更好的模型，在经过PAPA的“测试”后，性能反而变得更差了。

如下图，其中y轴代表各模型原本的平均性能，x轴代表将所有注意力矩阵替换为常数矩阵时（经过PAPA测试）模型性能的相对降低分值：

可以看出，之前性能越好的模型，将注意力矩阵替换成常数矩阵受到的损失也越高。

这说明如果模型本身性能越好，对注意力机制的利用能力就越好。

对于这项研究，有网友感觉很赞：

听起来很酷，现在不少架构太重视各种计算和性能任务，却忽略了究竟是什么给模型带来的改变。

但也有网友认为，不能单纯从数据来判断架构变化是否重要。

例如在某些情况下，注意力机制给隐空间（latent space）中数据点带来的幅度变化仅有2-3%：

难道这种情况下它就不够重要了吗？不一定。

对于注意力机制在Transformer中的重要性，你怎么看？

论文地址：
https://arxiv.org/abs/2211.03495

参考链接：
https://twitter.com/_akhaliq/status/1589808728538509312

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~