Alpaca Electron羊驼 AI 本地 GUI
Alpaca Electron 旨在成为与 Alpaca 羊驼 AI 模型聊天的最简单方式,无需任何命令行或编译。
功能+待办事项
- 在您的计算机上本地运行,除下载模型外不需要互联网连接
- 紧凑高效,因为它使用llama.cpp作为后端(也支持 Alpaca & Vicuna)
- 在 CPU 上运行,任何人都可以在没有昂贵显卡的情况下运行它
- 不需要外部依赖,一切都包含在安装程序中
- 从流行的聊天 AI “借来”的 UI
- 支持 Windows、MacOS 和 Linux(未经测试)
- Docker化🐋
- 上下文记忆
- 聊天记录 未完成
- 与稳定扩散整合 未完成
- 用于 Web 访问的 DuckDuckGo 集成 未完成
- GPU 加速(cuBLAS 和 openBLAS)未完成
快速入门指南
- 下载一个 Alpaca 模型(推荐 7B native)并将其放在计算机上容易找到的地方。
注意
此存储库中不会提供下载链接。
-
从发布页面部分下载最新的安装程序。
-
打开安装程序并等待它安装。
-
安装完成后,它会询问模型的有效路径。现在,转到放置模型的位置,按住 Shift 键,右键单击文件,然后单击“复制为路径”。然后,将其粘贴到该对话框中并单击
Confirm
。 -
程序会自动重启。现在您可以开始聊天了!
注意
该程序还将接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件,您可以使用它们代替快速入门指南中推荐的文件来试验不同的模型。一如既往,小心您从互联网上下载的内容。
🔧故障排除
通用
- 如果在将路径粘贴到模型文件时出现“无效文件路径”错误,则可能是其中存在某种拼写错误。尝试再次复制路径或使用文件选择器。
- 如果您收到“无法加载模型”的错误消息,则您的模型可能已损坏或不兼容。尝试再次下载模型。
- 如果您遇到此处未列出的其他问题或问题,请在本页顶部的“问题”选项卡中创建问题。详细描述发生了什么,并附上屏幕截图。
windows
- 如果模型已加载到 RAM 但文本生成似乎没有开始,请检查您的 CPU 是否与AVX2指令集兼容。如果它不支持 AVX2,Alpaca Electron 将使用 AVX 代替,这会慢很多,请耐心等待。
- 如果您收到一条错误消息“vcruntime140_1.dll is missing”或什么都没有发生并且模型未加载到 RAM 中,请尝试安装Microsoft Visual C++ Redistributable 。
苹果系统
- 如果您收到一条错误消息“无法打开应用程序,因为它来自身份不明的开发人员。”,请转到“应用程序”文件夹。然后,按住控制键并单击该应用程序。然后单击“打开”,然后在出现警告时单击“打开”。您的首选项将被保存,MacOS 将允许您从现在开始正常打开应用程序。
- 如果上述方法不起作用,请尝试在终端中运行以下命令:
xattr -cr /Applications/Alpaca\ Electron.app/
Linux
-
您可以从发布页面下载预构建的应用程序(打包为 tar.gz),解压缩并执行它,
./"alpaca electron"
或者自己构建应用程序。 -
如果您想自己构建应用程序:
克隆存储库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
安装特定于应用程序的依赖项:
npm install --save-dev
构建应用程序:
npm run linux-x64
将当前目录更改为构建目标:
cd release-builds/'Alpaca Electron-linux-x64'
运行应用程序
./'Alpaca Electron'
docker 组成
- 您可以使用 docker compose 运行此电子应用程序。因此,您需要完成以下步骤:
克隆存储库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
构建容器镜像:
docker compose build
运行应用程序容器:
docker compose up -d
- 如果没有窗口打开运行
docker compose up
(没有 -d)。如果出现类似在您的 docker 主机上Authorization required, but no authorization protocol specified
运行的错误。xhost local:root