基于Transformers入门自然语言处理！

前言

读者朋友们好，我是多多，许久未见，甚是想念。

我最近忙了1件自己感觉有意义的事情，特来分享。我将之前零零散散的Transformer博客、讲解文章进行了整理，形成了一个完整的教程叫做：learn nlp with transformers，翻译过来是：基于Transformers入门自然语言处理。在这个Transformer横行的时间点，我也希望这个开源教程能够帮助到刚刚接触Transformers、刚刚接触NLP的同学们！

教程网站是：https://datawhalechina.github.io/learn-nlp-with-transformers

教程Github是：https://github.com/datawhalechina/learn-nlp-with-transformers （截止目前165 Stars 欢迎点Star支持）

先特别感谢以下个人，组织的大力支持，再对Transformer教程进行介绍。感谢：张帆，张贤，李泺秋，蔡杰，hlzhang，台运鹏， 张红旭，文睿，开源组织Datawhale，Datawhale热心的组队学习成员们以及内测的全部同学们！

写教程的出发点

写这个教程的初衷是：当初自己入门NLP的时候，受到了很多大佬博客的帮助，所以也希望自己在力所能及的范围内帮助一下未来的NLP、Transformer初学者。所以我在参考了网上诸多大佬的文章、代码讲解后，结合一些个人的理解，整理了这个教程。希望这个教程能帮助到以下特点的学习者：

• NLP初学者、transformer初学者
• 有一定的python、pytorch编程基础
• 对前沿的transformer、NLP模型感兴趣
• 了解和知道简单的深度学习模型

教程主要内容

教程从Attention、注意力机制出发，讲解Transformer模型结构，然后详解BERT、GPT原理和预训练方法，再深入实现一个BERT，最后基于流行的Huggingface/Transformers代码库调用各种Transformer模型来解决4大类经典NLP任务。

教程的主要章节和内容是：

• 篇章1-前言
• 1.0-本地阅读和代码运行环境配置
• 1.1-Transformers在NLP中的兴起
• 篇章2-Transformer相关原理
• 2.1-图解attention
• 2.2-图解transformer
• 2.2.1-Pytorch编写Transformer
• 2.2.2-Pytorch编写Transformer-选读
• 2.3-图解BERT
• 2.4-图解GPT
• 2.5-篇章小测
• 篇章3-编写一个Transformer模型：BERT
• 3.1-如何实现一个BERT
• 3.2-如何应用一个BERT
• 3.3-篇章小测
• 篇章4-使用Transformers解决NLP任务
• 4.0-前言
• 4.1-文本分类
• 4.2-序列标注
• 4.3-问答任务-抽取式问答
• 4.4-问答任务-多选问答
• 4.5-生成任务-语言模型
• 4.6-生成任务-机器翻译
• 4.7-生成任务-摘要生成
• 4.8-篇章小测

感兴趣的读者朋友们可以在github中查看更多细节，也欢迎点Star支持哦！

结语

由于本人水平有限，所撰写的内容难免出现错误，希望读者朋友们在发现错误或者歧义的表述时能够不吝指出，也可以提交pull request帮忙修正和改进，感谢！

觉得不错帮点赞、转发、在看支持吧～～谢谢。

欢迎关注公众号后回复“交流”，进入Transformer学习群。