CINO少数民族语言预训练模型

在自然语言处理领域中，预训练语言模型（Pre-trained Language Model, PLM）已成为重要的基础技术，在多语言的研究中，预训练模型的使用也愈加普遍。为了促进中国少数民族语言信息处理的研究与发展，哈工大讯飞联合实验室（HFL）发布少数民族语言预训练模型CINO (Chinese mINOrity PLM)。

中文LERT | 中英文PERT | 中文MacBERT | 中文ELECTRA | 中文XLNet | 中文BERT | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner

本项工作的主要贡献：

• CINO (Chinese mINOrity PLM) 基于多语言预训练模型XLM-R，在多种国内少数民族语言语料上进行了二次预训练。该模型提供了藏语、蒙语（回鹘体）、维吾尔语、哈萨克语（阿拉伯体）、朝鲜语、壮语、粤语等少数民族语言与方言的理解能力。

• 为了便于评价包括CINO在内的各个多语言预训练模型性能，我们构建了基于维基百科的少数民族语言分类任务数据集Wiki-Chinese-Minority（WCM）。具体见少数民族语言分类数据集。

• 通过实验证明，CINO在Wiki-Chinese-Minority（WCM）以及其他少数民族语言数据集：藏语新闻分类 Tibetan News Classification Corpus (TNCC) 、朝鲜语新闻分类 KLUE-TC (YNAT) 上获得了最好的效果。相关结果详见实验结果。

该模型涵盖：

• Chinese，中文（zh）
• Tibetan，藏语（bo）
• Mongolian (Uighur form)，蒙语（mn）
• Uyghur，维吾尔语（ug）
• Kazakh (Arabic form)，哈萨克语（kk）
• Korean，朝鲜语（ko）
• Zhuang，壮语
• Cantonese，粤语（yue）