Attention跟一维卷积有什么区别？

重磅干货，第一时间送达

本文转自：视学算法

Attention跟一维卷积的区别是啥？

权重形成机制不同？

如果只是从运算的算子看，也就是矩阵乘法的角度看，区别不是很大。所以，可以继承同一个实现。

attention输入的key vector 和query matrix，得到的是attention score logits。一维卷积也是类似的。卷积操作在自然语言处理中也不算少见，比如TextCNN，还有ELMO中的char CNN，你看过代码的话，其实也就是卷积核乘以输入，然后卷积核高度为1，宽度为对应的嵌入长度。

如果说区别，那么第一就是输入的特征的意义是什么？第二就是输出的特征的意义是什么，以及应该如何处理这种特征。

比如key dot product query得到的是相似度，attention list要归一化，甚至在transformer中要先对attention score的方差归一化，然后再做softmax归一化。一维卷积得到的是信息提取，所以对于卷积得到的feature map，为了更有效的提取信息，需要池化。

当然，这里只是说了最简单的点积attention。你看过Luong论文的话会了解到更加丰富的attention实现。