Lit-Parrot大型语言模型的可破解实现
Lit-Parrot 是基于 nanoGPT 的 StableLM/Pythia/INCITE 语言模型的实现。支持 flash attention、LLaMA-Adapter 微调、预训练。
最先进的开源大型语言模型的可破解实现:
- StabilityAI StableLM
- EleutherAI Pythia
- Together RedPajama-INCITE
- TII UAE Falcon
此实现基于Lit-LLaMA和nanoGPT ,由Lightning Fabric提供支持。
可以按照以下说明下载权重:
设计原则
这个存储库遵循 openness through clarity 的主要原则。
Lit-Parrot 是:
- 简单:没有样板的单文件实现。
- 正确:在数值上等同于原始模型。
- 优化:在消费类硬件上或大规模运行。
- 开源:没有附加条件。
避免代码重复不是目标。可读性和可破解性是。
评论