原创 | 一文读懂Transformer
共 5180字,需浏览 11分钟
·
2022-07-12 04:06
作者:陈之炎 本文约3500字,建议阅读7分钟
Transformer 是第一个完全依赖于自注意力机制来计算其输入和输出的表示的转换模型。
![](https://filescdn.proginn.com/537da3832dcb3d91450cdd1b0a327914/49a3138c3bde1b55d66a49973c5f6355.webp)
![](https://filescdn.proginn.com/984badca641112a1d96322ec8aaf3f1e/18c8240a6fe7332ba0357dda91768aa2.webp)
![](https://filescdn.proginn.com/8f6126b584ffea887f88614166b33c22/0bde05fbd25ae12a8db69403d737792a.webp)
![](https://filescdn.proginn.com/984badca641112a1d96322ec8aaf3f1e/18c8240a6fe7332ba0357dda91768aa2.webp)
![](https://filescdn.proginn.com/537da3832dcb3d91450cdd1b0a327914/49a3138c3bde1b55d66a49973c5f6355.webp)
![](https://filescdn.proginn.com/537da3832dcb3d91450cdd1b0a327914/49a3138c3bde1b55d66a49973c5f6355.webp)
![](https://filescdn.proginn.com/537da3832dcb3d91450cdd1b0a327914/49a3138c3bde1b55d66a49973c5f6355.webp)
![](https://filescdn.proginn.com/984badca641112a1d96322ec8aaf3f1e/18c8240a6fe7332ba0357dda91768aa2.webp)
在编码器-解码器注意力层,Q值来自上一个解码器层,K值和V值来自编码器的输出,从而使得解码器的每一个位置信息均和输入序列的位置信息相关,这种架构模仿了序列到序列模型编解码器注意力机制。 编码器中包括自注意力层,在自注意力层中,Q 值、K值和V值均来自编码器上一层的输出,编码器中的位置信息参与到前一层的位置编码中去。 同理,解码器中的自注意力机制使得解码器中的位置信息均参与到所有位置信息的解码中去。
![](https://filescdn.proginn.com/707fbb94b1c2cf4e337a71a55889a632/9e9b85b91ebd94d7d2779ac540805103.webp)
![](https://filescdn.proginn.com/7e64b65b664358e76c03d80a8ad0e04d/9d323ff3354876ea16adc5d695199bfd.webp)
![](https://filescdn.proginn.com/fec42775f48d3ca19e93aeae891952db/f39fb9fa4252b214734c0e6d929556b6.webp)
![](https://filescdn.proginn.com/8e7714f0f075c02c2bc5bb0768d04cf1/f0550d2adf16b0784d5cef312481d5a5.webp)
![](https://filescdn.proginn.com/39f49132ef74d2ccad129ab0469eab7a/3f0c359412500ccdcd2d2efc8325b0ec.webp)
![](https://filescdn.proginn.com/de617e6c40b61e7823982f64c5486837/41e4cc5650fe9d661aa454183d330e7c.webp)
![](https://filescdn.proginn.com/2cdd1f32d2be41358b317c233b284151/c45c291e929618d0e25e77a2ac998212.webp)
![](https://filescdn.proginn.com/0f543ee8b52d4e4dbcbf2c15d8729b3d/d0b83d2d9efd700e0d67e07610cc75c5.webp)
4.1训练数据和批次大小
4.2 硬件配置
4.3 优化器
4.4 正则化
![](https://filescdn.proginn.com/3429d079fb1672930fc5a954ae4a294d/81a44b4d406ee13632d73627ced83a30.webp)
4.5 训练结果
![](https://filescdn.proginn.com/e7c5ce3c78d91d8e152f8d8a018e8e04/0a75c2853e5be7c208c7c1c407a59707.webp)
![](https://filescdn.proginn.com/18127d951347fab2827f0d9b8d895d7b/dd5d7a5fdf5814501df12d1039adb32e.webp)
作者简介
陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。
编辑:于腾凯
校对:林亦霖
数据派研究部介绍
数据派研究部成立于2017年初,以兴趣为核心划分多个组别,各组既遵循研究部整体的知识分享和实践项目规划,又各具特色:
算法模型组:积极组队参加kaggle等比赛,原创手把手教系列文章;
调研分析组:通过专访等方式调研大数据的应用,探索数据产品之美;
系统平台组:追踪大数据&人工智能系统平台技术前沿,对话专家;
自然语言处理组:重于实践,积极参加比赛及策划各类文本分析项目;
制造业大数据组:秉工业强国之梦,产学研政结合,挖掘数据价值;
数据可视化组:将信息与艺术融合,探索数据之美,学用可视化讲故事;
网络爬虫组:爬取网络信息,配合其他各组开发创意项目。
点击文末“阅读原文”,报名数据派研究部志愿者,总有一组适合你~
转载须知
如需转载,请在开篇显著位置注明作者和出处(转自:数据派THUID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。
未经许可的转载以及改编者,我们将依法追究其法律责任。
点击“阅读原文”加入组织~