大消息来了！Grok开源了！314B的MOE大模型！马斯克大格局！-轻识

大消息来了！Grok开源了！314B的MOE大模型！马斯克大格局！

水木人工智能学堂

共 2106字，需浏览 5分钟

2024-04-11 22:52

前段时间马斯克诉讼OpenAI并且称其已然违背创始人协议，指责OpenAI应当开源，并且在3.11号时承诺的一周内开源Grok，并嘲讽OpenAI是CloseAI。

而现在，美国东部时间3月17日下午16点，马斯克在美国周的最后一天兑现了承诺！将314B的Gork-1超大模型开源了！

项目地址：https://github.com/xai-org/grok

博客地址：https://x.ai/blog/grok-os

模型权重下载磁力链接：

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

博客内容如下：

我们正在发布我们的大型语言模型 Grok-1 的基本模型权重和网络架构。Grok-1 是一个 3140 亿参数的专家混合模型，由 xAI 从头开始训练。

这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用（例如对话）进行微调。

我们将在 Apache 2.0 许可下发布权重和架构。

要开始使用该模型，请按照 github.com/xai-org/grok 中的说明进行操作。

型号详细信息

基础模型在大量文本数据上训练，未针对任何特定任务进行微调。

314B 参数 Mixture-of-Experts 模型，其中 25% 的权重在给定令牌上处于活动状态。

2023 年 10 月，xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练。

— 完 —