MPT-30B大型语言模型
MPT-30B 是 Mosaic Pretrained Transformer (MPT) 模型系列的一部分,它使用了一个为高效训练和推理而优化的 transformer 架构,并在 1T tokens 的英文文本和代码上从头训练。
这个模型使用 MosaicML LLM 代码库,是由 MosaicML 的 NLP 团队在 MosaicML 平台上进行 LLM 预训练、微调和推理的。
MPT-30B 特点:
- 可商业使用
- 在大量的数据上进行训练
- 由于 ALiBi 的存在,准备好处理极长的输入。
- 能够进行快速训练和推理
- 通过 llm-foundry 资源库配备了高效的开源训练代码
使用
import transformers
model = transformers.AutoModelForCausalLM.from_pretrained(
'mosaicml/mpt-30b',
trust_remote_code=True
)
评论