搜索

CTranslate2Transformer 模型的快速推理引擎

0粉丝
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。该项目实现了一个自定义运行时，应用了
知识
简介
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批量重新排序等，以加速和减少Transformer 模型在 CPU 和 GPU 上的内存使用。目前支持以下模型类... 更多
其它信息
地区
不详
开发语言
C/C++ Python
开源组织
无
所属分类
神经网络/人工智能、 机器学习/深度学习
授权协议
MIT
操作系统
跨平台
收录时间
2023-09-26
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
CTranslate2Transformer 模型的快速推理引擎
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型
CTranslate2Transformer 模型的快速推理引擎
0
Simple Rule Engine推理规则引擎
SRE(SimpleRuleEngine)是一个轻量级的正向推理的推理规则引擎，基于.NET开发，使用XML编写规则。
Simple Rule Engine推理规则引擎
0
Simple Rule Engine推理规则引擎
SRE (Simple Rule Engine) 是一个轻量级的正向推理的推理规则引擎，基于 .NE
Simple Rule Engine推理规则引擎
0
Tengine Lite嵌入式设备推理引擎
Tengine Lite 由 OPEN AI LAB 主导开发，该项目实现了深度学习神经网络模型在嵌
Tengine Lite嵌入式设备推理引擎
0
Tengine Lite嵌入式设备推理引擎
TengineLite 由 OPENAILAB 主导开发，该项目实现了深度学习神经网络模型在嵌入式设备上快速、高效部署。为实现众多 AIoT 应用中跨平台部署，本项目基于原有Tengine项目使用 C
Tengine Lite嵌入式设备推理引擎
0
fastllm高性能大模型推理库
fastllm是纯C++实现的全平台llm加速库。支持Python调用，chatglm-6B级模型单卡可达10000+token/s，支持glm、llama、moss基座，手机端流畅运行。功能概述纯C
fastllm高性能大模型推理库
0
fastllm高性能大模型推理库
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm
fastllm高性能大模型推理库
0
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
AI00RWKVServer是一个基于RWKV模型的推理API服务器。支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！无需臃肿的pyto
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
0
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
AI00 RWKV Server是一个基于RWKV模型的推理API服务器。支持VULKAN推理加速，
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
0
DeepRec稀疏模型业务场景的训练/预测引擎
DeepRec 是基于 TensorFlow1.15, Intel-TensorFlow和NVIDI
DeepRec稀疏模型业务场景的训练/预测引擎
0