软件公司 Weights & Biases 的 CEO Lukas Biewald 认为,Ray 已是 AI 世界中炙手可热的后起之秀。「因为新工具出现,你可以在笔记本电脑和大型分布式服务器上运行相同代码。这是巨大的改变,随着模型变得更大,它的重要性也会随之增加,」Biewald 表示。
十亿美元的赌注
随着技术的成熟,Ray 引来了资本市场的关注。Anyscale 的股权成为了一种稀缺的商品,据 Business Insider 报道,有知情人士称,其最近一轮融资是 C 轮融资的延伸,估值超过 10 亿美元,几天内就结束了。一些投资者将 Anyscale 描述为 Horowitz 充满希望的「下一个 Databricks」—— 这个描述看来不无道理,因为这家初创公司的创始人之一 Ion Stoica 是市值 310 亿美元的数据巨头 Databricks 的联合创始人。「人工智能的发展速度令人难以置信,人们一直在尝试新方法,」Anyscale 首席执行官 Robert Nishihara 表示。「ChatGPT 结合了此前大语言模型上的大量工作。在此基础上,你需要拥有能够实现灵活性、快速创新,并扩展不同算法和方法的基础设施。」由于像 ChatGPT 这样热门的新工具背后是越来越大的模型,科技公司不得不重新考虑从头开始开发 AI 的方式。Ray 应运而生,使训练这些庞大的模型变得更加容易,并且可以包含数千亿个数据点,让每个响应都具有准栩栩如生的感觉。
Ray 如何成为机器学习的首选工具
Ray 是一个基于内存共享的分布式计算框架,适用于细粒度的并行计算和异构计算,其提供了一个底层基础架构,用于管理分配机器学习模型训练工作的复杂任务。在 2017 年,UC Berkeley 的研究人员首次提交了 Ray 的论文《 Ray: A Distributed Framework for Emerging AI Applications 》:
论文链接:https://arxiv.org/abs/1712.05889
GitHub:https://github.com/ray-project/ray
在该工作中,研究人员预测了下一代 AI 应用程序的形态:与环境存在连续的交互,并从交互动作中进行学习。这些应用必然越来越多地在动态环境中来完成任务,根据环境的变化作出反应,并执行一系列的动作来达到长期目标。这些特性对于运行环境性能和灵活性等方面提出了全新且苛刻的系统要求,因此研究者提出了基于分布式的 Ray 框架。Ray 实现了统一接口,可以表达任务并行和基于参与者的计算,由单个动态执行引擎支持。为了满足性能要求,Ray 采用分布式调度程序和分布式容错存储来管理系统的控制状态。它是首个将训练、仿真和服务统一起来的分布式计算框架,基于动态任务执行引擎统一了角色并行(actor)和任务并行(task)的计算,并保障了框架的高可扩展性和高容错性。Ray 的架构。基于该工作,2019 年 12 月,UC Berkeley 的 Robert Nishihara、Philipp Moritz 和 Ion Stoica 以及伯克利教授 Michael I. Jordan 创立了 Anyscale,迄今为止该公司已融资 2.6 亿美元。