Alpaca-Turbo本地运行 Alpaca 模型的 Web UI

Alpaca-Turbo 是一种无需太多设置即可在本地运行的语言模型，它基于 LLaMA 的 alpaca.cpp 语言模型的用户友好 Web UI，目标是在不牺牲速度或功能的情况下提供易于配置和使用的无缝聊天体验。

安装步骤

1 、 使用 Docker（docker 仅支持 Linux）

进行这一步之前，必须在您的系统上安装 Docker。

注意：出于某种原因，这个 docker 容器可以在 linux 上运行，但不能在 windows 上运行

• 从发布页面下载最新的 alpaca-turbo.zip
• 将 zip 文件的内容提取到名为 alpaca-turbo 的目录中。
• 将您的 Alpaca 模型复制到 alpaca-turbo/models/ 目录。
• 运行以下命令以设置所有内容：

  docker-compose up

• 访问 http://localhost:5000 即可使用聊天机器人的聊天界面。

2 、 Windows/Mac M1/M2

• 安装 miniconda：
  • windows
  • Mac M1/M2
• 从发布页面下载最新的 alpaca-turbo.zip
• 将 Alpaca-Turbo.zip 提取到 Alpaca-Turbo（确保在提取的位置有足够的空间容纳模型）
• 将您的 Alpaca 模型复制到 alpaca-turbo/models/ 目录。
• 以管理员身份打开cmd并输入

conda init

• 关闭窗口
• 在 Alpaca-Turbo 目录中打开一个新的 cmd 窗口，并输入

  conda create -n alpaca_turbo python=3.8 -y
  conda activate alpaca_turbo
  pip install -r requirements.txt
  python api.py

• 访问 http://localhost:5000 ，选择你的模型并点击更改，等待模型加载

• 准备互动