Chinese-LLaMA-Alpaca-2中文 LLaMA & Alpaca 大模型二期项目
本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。
本项目主要内容
- 针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型
- 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型
- 使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验
- 支持transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生态
已开源的模型
- 基座模型：Chinese-LLaMA-2-7B, Chinese-LLaMA-2-13B
- 聊天模型：Chinese-Alpaca-2-7B, Chinese-Alpaca-2-13B
- 长上下文模型：Chinese-LLaMA-2-7B-16K, Chinese-LLaMA-2-13B-16K, Chinese-Alpaca-2-7B-16K, Chinese-Alpaca-2-13B-16K
评论
Chinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型
Chinese-LLaMA-Alpaca 包含中文 LLaMA 模型和经过指令微调的 Alpaca
Chinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型
0
Chinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型
Chinese-LLaMA-Alpaca包含中文LLaMA模型和经过指令微调的Alpaca大型模型。这些模型在原始LLaMA的基础上，扩展了中文词汇表并使用中文数据进行二次预训练，从而进一步提高了对中
Chinese-LLaMA-Alpaca中文 LLaMA & Alpaca 大模型
0
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna 是一个中文低资源的 LLaMA+Lora 方案。项目包括finetun
Chinese-Vicuna基于 LLaMA 的中文大语言模型
0
Chinese-Vicuna基于 LLaMA 的中文大语言模型
Chinese-Vicuna是一个中文低资源的LLaMA+Lora方案。项目包括finetune模型的代码推理的代码仅使用CPU推理的代码(使用C++)下载/转换/量化Facebookllama.ck
Chinese-Vicuna基于 LLaMA 的中文大语言模型
0
Stanford Alpaca指令调优的 LLaMA 模型
StanfordAlpaca（斯坦福Alpaca）是一个指令调优的 LLaMA模型，从Meta的大语言模型LLaMA7B微调而来。StanfordAlpaca让OpenAI的text-davinci-
Stanford Alpaca指令调优的 LLaMA 模型
0
LLaMA大语言模型
LLaMA语言模型全称为"LargeLanguageModelMetaAI"，是Meta的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为70亿、130亿、330亿和650亿
LLaMA大语言模型
0