Lit-LLaMA ️基于 nanoGPT 的语言模型
Lit-LLaMA 是一个基于 nanoGPT 的 LLaMA 语言模型的实现,支持量化、LoRA 微调、预训练。
设计原则
- 简单:单一文件实现,没有样板代码
- 正确:在数值上等同于原始模型
- 优化:在消费者硬件上或大规模运行
- 开源:无附加条件
设置
克隆仓库
git clone https://github.com/Lightning-AI/lit-llama cd lit-llama
安装依赖项
pip install -r requirements.txt
评论
GPT-2基于 transformer 的大型语言模型
GPT-2是一种基于transformer 的大型语言模型,具有15亿个参数,在800万网页数据集上进行训练。它是论文《语言模型是无人监督的多任务学习者》(LanguageModelsareUnsup
GPT-2基于 transformer 的大型语言模型
0
GPT-2基于 transformer 的大型语言模型
GPT-2 是一种基于 transformer 的大型语言模型,具有 15 亿个参数,在 800 万
GPT-2基于 transformer 的大型语言模型
0
PERT基于 BERT 的预训练语言模型
在自然语言处理领域中,预训练语言模型(Pre-trainedLanguageModels,PLMs)已成为非常重要的基础技术。在近两年,哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具
PERT基于 BERT 的预训练语言模型
0
LaWGPT基于中文法律知识的大语言模型
LaWGPT是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型(如Chinese-LLaMA、ChatGLM等)的基础上扩充法律领域专有词表、大规模中文法律语料预训练,增强了大模型
LaWGPT基于中文法律知识的大语言模型
0
WizardLM基于 LLaMA 的微调大语言模型
WizardLM是一个经过微调的7BLLaMA模型。它通过大量具有不同难度的指令跟随对话进行微调。这个模型的新颖之处在于使用了LLM来自动生成训练数据。WizardLM模型使用一种名为Evol-Ins
WizardLM基于 LLaMA 的微调大语言模型
0
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetun
Chinese-Vicuna基于 LLaMA 的中文大语言模型
0