简介
Exllama 是对 Llama 的 HF 转换器实现进行更高效的内存重写，以用于量化权重。设计用于量化权重快速且节省内存的推理（不仅仅是注意力）跨多个设备映射内置（多）LoRA 支持funky 采样函数的配套库注意，该项目处于概念验证&预览阶段，可能发生大型变更。硬件/软件要求作者在 RT... 更多
其它信息
地区
不详
开发语言
Python
开源组织
无
所属分类
神经网络/人工智能、 LLM（大语言模型）
授权协议
MIT
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
时光轴
里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0（满分 10 分）0 个评分
什么是点评分
全部评价(
0)
推荐率
100%
推荐