Dalai本地运行 LLaMA 的简单方法
Dalai 是一种在本地机器上运行 LLaMA 超级简单的方法,无需费心构建 cpp 文件、克隆 GitHub 以及下载文件等。一切都是自动化的。用户只需要:“npx dalai llama”
运行
得到
快速开始
安装 7B 模型(默认)并启动 Web UI:
npx dalai llama
npx dalai serve
以上两个命令执行以下操作:
- 首先安装 7B 模块(默认)
- 然后在端口 3000 启动一个 web/API 服务器
安装
基础安装(仅限 7B 模型)
npx dalai llama
安装所有模型
npx dalai llama 7B 13B 30B 65B
评论