Mars-Project基于张量/矩阵的超大规模计算框架
Mars 是一个基于张量/矩阵的超大规模计算框架。
通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars 能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。
据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars 具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy 技术栈带到分布式环境。
单机使用 Mars:
pip install pymars
分布式版本:
pip install 'pymars[distributed]'
Mars 张量提供了类似于 NumPy 的接口
评论