白泽Baize使用 LoRA 训练的大语言模型
白泽是使用 LoRA 训练的开源聊天模型,它改进了开源大型语言模型 LLaMA,通过使用新生成的聊天语料库对 LLaMA 进行微调,该模型在单个 GPU 上运行,使其可供更广泛的研究人员使用。
白泽目前包括四种英语模型:白泽 -7B、13B 和 30B(通用对话模型),以及一个垂直领域的白泽 - 医疗模型,供研究 / 非商业用途使用,并计划在未来发布中文的白泽模型。
白泽的数据处理、训练模型、Demo 等全部代码已经开源。
评论
TRL使用强化学习来训练语言模型
TRL(TransformerReinforcementLearning)是HuggingFace推出的一个具有强化学习功能的全栈Transformer语言模型。TRL是一个完整的堆栈库,Huggin
TRL使用强化学习来训练语言模型
0
LoRA大型语言模型的低秩适应
LoRA是 Low-RankAdaptationofLargeLanguageModels的简写,即大型语言模型的低秩适应。它冻结了预训练模型的权重,并将可训练的秩分解矩阵注入到Transformer
LoRA大型语言模型的低秩适应
0
佰泽Baize
徐州市佰泽商贸有限公司办公室地址位于国际性新能源基地徐州,徐州邳州市运河镇建设北路,于2013年07月11日在邳州市市场监督管理局注册成立,注册资本为100万元人民币,在公司发展壮大的7年里,我们始终
佰泽Baize
0
PERT基于 BERT 的预训练语言模型
在自然语言处理领域中,预训练语言模型(Pre-trainedLanguageModels,PLMs)已成为非常重要的基础技术。在近两年,哈工大讯飞联合实验室发布了多种中文预训练模型资源以及相关配套工具
PERT基于 BERT 的预训练语言模型
0