Mars-Project基于张量/矩阵的超大规模计算框架

联合创作 · 2023-09-26 04:54

Mars 是一个基于张量/矩阵的超大规模计算框架。

通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars 能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。

据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars 具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy 技术栈带到分布式环境。

单机使用 Mars:

pip install pymars

分布式版本:

pip install 'pymars[distributed]'

Mars 张量提供了类似于 NumPy 的接口

浏览 2
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报