KoalasApache Spark Pandas API

联合创作 · 2023-09-18 20:32

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容,Koalas项目在与大数据交互时提高了数据科学家的工作效率。

Pandas是Python中事实上的标准(单节点)数据帧实现,而Spark是大数据处理的事实标准。有了这个包,数据科学家可以:

1)如果已经熟悉Pandas,那么使用Spark可以立即提高效率,没有学习曲线。

2)单个代码库就可以用于Pandas(测试,较小的数据集)和Spark(分布式数据集)。

浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报