理解NLP中的屏蔽语言模型(MLM)和因果语言模型(CLM)
数据派THU
共 1491字,需浏览 3分钟
·
2021-07-03 12:51
![](https://filescdn.proginn.com/f349cf22d2524d853804254aa1502505/18539a4d26c5607e061a5990593440b0.webp)
来源:DeepHub IMBA 本文约1100字,建议阅读7分钟 本文与你讨论两种流行的训练前方案,即MLM和CLM。
大多数现代的NLP系统都遵循一种非常标准的方法来训练各种用例的新模型,即先训练后微调。在这里,预处理训练的目标是利用大量未标记的文本,在对各种特定的自然语言处理任务(如机器翻译、文本摘要等)进行微调之前,建立一个通用的语言理解模型。
![](https://filescdn.proginn.com/286ddcb74d8a1fc56cf1fc9eb0ff7e76/436aefc7241d7591b8d112cd38e2b28c.webp)
屏蔽语言模型解释
![](https://filescdn.proginn.com/3d8bf8e03c8eee3b6a38ea75119201dc/badea48e92c5c5bc996236456871eb4a.webp)
![](https://filescdn.proginn.com/966b07f5e622ce5da6b49a209e4e5a55/adb71f3cd4bb42046d60be4881bab0d3.webp)
因果语言模型解释
![](https://filescdn.proginn.com/3a2c45fff5cc71f93cdfdd8381df49da/9722b1112b41bfcc06f88421274a83c2.webp)
![](https://filescdn.proginn.com/42365fb25783c3e7a5c63b87a34d8bcc/7e2a53430d6af5ccc847e162a90c051e.webp)
何时使用?
编辑:黄继彦
评论
MPT-30B大型语言模型
MPT-30B是MosaicPretrainedTransformer(MPT)模型系列的一部分,它使用了一个为高效训练和推理而优化的transformer架构,并在1Ttokens的英文文本和代码上
MPT-30B大型语言模型
0
Baichuan-13B大规模语言模型
Baichuan-13B是由百川智能继 Baichuan-7B 之后开发的包含130亿参数的开源可商用的大规模语言模型,在权威的中文和英文benchmark上均取得同尺寸最好的效果。本次发布包含有预训
Baichuan-13B大规模语言模型
0