Lit-Parrot大型语言模型的可破解实现

联合创作 · 2023-09-25 23:46

Lit-Parrot 是基于 nanoGPT 的 StableLM/Pythia/INCITE 语言模型的实现。支持 flash attention、LLaMA-Adapter 微调、预训练。

最先进的开源大型语言模型的可破解实现:

此实现基于Lit-LLaMAnanoGPT ,由Lightning Fabric提供支持。

可以按照以下说明下载权重:

设计原则

这个存储库遵循 openness through clarity 的主要原则。

Lit-Parrot 是:

  • 简单:没有样板的单文件实现。
  • 正确:在数值上等同于原始模型。
  • 优化:在消费类硬件上或大规模运行。
  • 开源:没有附加条件。

避免代码重复不是目标可读性可破解性是。

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报