Alpaca Electron羊驼 AI 本地 GUI

联合创作 · 2023-09-25 23:39

Alpaca Electron 旨在成为与 Alpaca 羊驼 AI 模型聊天的最简单方式,无需任何命令行或编译。

功能+待办事项

  • 在您的计算机上本地运行,除下载模型外不需要互联网连接
  • 紧凑高效,因为它使用llama.cpp作为后端(也支持 Alpaca & Vicuna)
  • 在 CPU 上运行,任何人都可以在没有昂贵显卡的情况下运行它
  • 不需要外部依赖,一切都包含在安装程序中
  • 从流行的聊天 AI “借来”的 UI
  • 支持 Windows、MacOS 和 Linux(未经测试)
  • Docker化🐋
  • 上下文记忆
  • 聊天记录 未完成
  • 与稳定扩散整合 未完成
  • 用于 Web 访问的 DuckDuckGo 集成 未完成
  • GPU 加速(cuBLAS 和 openBLAS)未完成

快速入门指南

  1. 下载一个 Alpaca 模型(推荐 7B native)并将其放在计算机上容易找到的地方。

注意
此存储库中不会提供下载链接。

  1. 从发布页面部分下载最新的安装程序。

  2. 打开安装程序并等待它安装。

  3. 安装完成后,它会询问模型的有效路径。现在,转到放置模型的位置,按住 Shift 键,右键单击文件,然后单击“复制为路径”。然后,将其粘贴到该对话框中并单击Confirm

  4. 程序会自动重启。现在您可以开始聊天了!

注意
该程序还将接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件,您可以使用它们代替快速入门指南中推荐的文件来试验不同的模型。一如既往,小心您从互联网上下载的内容。

🔧故障排除

通用

  • 如果在将路径粘贴到模型文件时出现“无效文件路径”错误,则可能是其中存在某种拼写错误。尝试再次复制路径或使用文件选择器。
  • 如果您收到“无法加载模型”的错误消息,则您的模型可能已损坏或不兼容。尝试再次下载模型。
  • 如果您遇到此处未列出的其他问题或问题,请在本页顶部的“问题”选项卡中创建问题。详细描述发生了什么,并附上屏幕截图。

windows

  • 如果模型已加载到 RAM 但文本生成似乎没有开始,检查您的 CPU 是否与AVX2指令集兼容。如果它不支持 AVX2,Alpaca Electron 将使用 AVX 代替,这会慢很多,请耐心等待。
  • 如果您收到一条错误消息“vcruntime140_1.dll is missing”或什么都没有发生并且模型未加载到 RAM 中,请尝试安装Microsoft Visual C++ Redistributable 

苹果系统

  • 如果您收到一条错误消息“无法打开应用程序,因为它来自身份不明的开发人员。”,请转到“应用程序”文件夹。然后,按住控制键并单击该应用程序。然后单击“打开”,然后在出现警告时单击“打开”。您的首选项将被保存,MacOS 将允许您从现在开始正常打开应用程序。
  • 如果上述方法不起作用,请尝试在终端中运行以下命令:xattr -cr /Applications/Alpaca\ Electron.app/

Linux

  • 您可以从发布页面下载预构建的应用程序(打包为 tar.gz),解压缩并执行它,./"alpaca electron"或者自己构建应用程序。

  • 如果您想自己构建应用程序:

克隆存储库:

git clone https://github.com/ItsPi3141/alpaca-electron.git

将当前目录更改为 alpaca-electron:

cd alpaca-electron

安装特定于应用程序的依赖项:

npm install --save-dev

构建应用程序:

npm run linux-x64

将当前目录更改为构建目标:

cd release-builds/'Alpaca Electron-linux-x64'

运行应用程序./'Alpaca Electron'

docker 组成

  • 您可以使用 docker compose 运行此电子应用程序。因此,您需要完成以下步骤:

克隆存储库:

git clone https://github.com/ItsPi3141/alpaca-electron.git

将当前目录更改为 alpaca-electron:

cd alpaca-electron

构建容器镜像:

docker compose build

运行应用程序容器:

docker compose up -d

  • 如果没有窗口打开运行docker compose up(没有 -d)。如果出现类似在您的 docker 主机上Authorization required, but no authorization protocol specified运行的错误。xhost local:root
浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报