简介
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批量重新排序等，以加速和减少Transformer 模型在 CPU 和 GPU 上的内存使用。目前支持以下模型类... 更多
其它信息
地区
不详
开发语言
C/C++
Python
开源组织
无
所属分类
神经网络/人工智能、 机器学习/深度学习
授权协议
MIT
操作系统
跨平台
收录时间
2023-09-26
软件类型
开源软件
适用人群
未知
时光轴
里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0（满分 10 分）0 个评分
什么是点评分
全部评价(
0)
推荐率
100%
推荐
Simple Rule Engine推理规则引擎
SRE(SimpleRuleEngine)是一个轻量级的正向推理的推理规则引擎，基于.NET开发，使用XML编写规则。
Simple Rule Engine推理规则引擎
0
Tengine Lite嵌入式设备推理引擎
TengineLite 由 OPENAILAB 主导开发，该项目实现了深度学习神经网络模型在嵌入式设备上快速、高效部署。为实现众多 AIoT 应用中跨平台部署，本项目基于原有Tengine项目使用 C
Tengine Lite嵌入式设备推理引擎
0
fastllm高性能大模型推理库
fastllm是纯C++实现的全平台llm加速库。支持Python调用，chatglm-6B级模型单卡可达10000+token/s，支持glm、llama、moss基座，手机端流畅运行。功能概述纯C
fastllm高性能大模型推理库
0
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
AI00RWKVServer是一个基于RWKV模型的推理API服务器。支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！无需臃肿的pyto
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
0