MPT-30B大型语言模型

联合创作 · 2023-09-25 23:50

MPT-30B Mosaic Pretrained Transformer (MPT)使 transformer 构,并在 1T tokens 练。

使MosaicML LLM MosaicMLNLP MosaicML LLM

MPT-30B 特点:

  • 使
  • ALiBi
  • llm-foundry

使用

import transformers
model = transformers.AutoModelForCausalLM.from_pretrained(
  'mosaicml/mpt-30b',
  trust_remote_code=True
)
浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报