baichuan-7B开源中英文大模型

baichuan-7B 是开源的大规模预训练模型，基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。

整体模型基于标准的Transformer结构，采用了和LLaMA一样的模型设计

• 位置编码：rotary-embedding是现阶段被大多模型采用的位置编码方案，具有更好的外延效果。虽然训练过程中最大长度为4096，但是实际测试中模型可以很好的扩展到5000个tokens上，如下图：
  

• 激活层：SwiGLU,Feedforward变化为(8/3)倍的隐含层大小，即11008

• Layer-Normalization: 基于RMSNorm的Pre-Normalization

数据

• 原始数据包括开源的中英文数据和自行抓取的中文互联网数据，以及部分高质量知识性数据，总量超过10T。
• 参考相关数据工作，频率和质量是数据处理环节重点考虑的两个维度。基于启发式规则和质量模型打分，对原始数据集进行篇章和句子粒度的过滤。在全量数据上，利用局部敏感哈希方法，对篇章和句子粒度做滤重。

整体流程如下所示：

• 经过不断的调整和多轮测试，最终确认了一个在下游任务上表现最好的中英文配比。
• 使用了一个基于自动学习的数据权重策略，对不同类别的数据进行配比。