AI00 RWKV Server基于 RWKV 模型的推理 API 服务器

联合创作 · 2023-09-25 23:56

AI00 RWKV Server是一个基于RWKV模型的推理API服务器。

支持VULKAN推理加速,可以在所有支持VULKAN的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!!

无需臃肿的pytorchCUDA等运行环境,小巧身材,开箱即用!

兼容OpenAI的ChatGPT API接口。

100% 开源可商用,采用MIT协议。

如果您正在寻找一个快速、高效、易于使用的LLM API服务器,那么AI00 RWKV Server是您的最佳选择。它可以用于各种任务,包括聊天机器人、文本生成、翻译和问答。

特色

  • 基于RWKV模型,具有高性能和准确性
  • 支持VULKAN推理加速,不用该死的CUDA也能享受GPU加速!支持A卡、集成显卡等一切支持VULKAN的GPU
  • 无需臃肿的pytorchCUDA等运行环境,小巧身材,开箱即用!
  • 兼容OpenAI的ChatGPT API接口

用途

  • 聊天机器人
  • 文本生成
  • 翻译
  • 问答
  • 其他所有你能想到的LLM能干的事

其他

浏览 6
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报