StableLMStability AI 开发的语言模型

StableLM 项目仓库包含 Stability AI 正在开发的 StableLM 系列语言模型，目前 Stability AI 发布了初始的 StableLM-alpha 模型集，具有 30 亿和 70 亿参数。150 亿和 300 亿参数的模型正在开发中。

Stability AI 目前在 HuggingFace Spaces 上发布了 70 亿参数模型 —— StableLM-Tuned-Alpha-7B 的演示版本，用户可以访问该网站试用。

StableLM-Alpha 模型是在建立在扩展版 the Pile 数据集基础上训练的，该数据集包含 1.5 万亿个 tokens，扩展版数据集大小大约是 the Pile 的 3 倍。