Pandas 爆炸函数实例
共 1161字,需浏览 3分钟
· 2021-06-25
Pandas系列|一切从爆炸函数开始
前段时间部门有位大数据开发的同事离职了,在他和其他开发的同事进行工作项目交接的时候,我去旁听了下,因为涉及到一些公司业务逻辑的问题。当讲到某个项目的时候,他谈到:
这个业务逻辑是…….,我用Hive中的爆炸函数实现了这个功能。
当时他举了一个简单的例子来说明爆炸函数的功能,我当场就记下了这个函数名称:爆炸函数。Hive在我的工作中使用的并不多,于是我在想:Pandas能够实现这个功能吗?
爆炸函数功能
爆炸函数到底实现的是什么需求呢?我回忆一下当时的例子:
![](https://filescdn.proginn.com/55aa8cfe424617a5c1a0728b77b225cc/cf2842912b2f4aff1e29942b275efe59.webp)
现在有一份数据,包含订单编号和订单中商品价格(每个订单3个商品),使用hive中的爆炸函数之后变成如下图所示的样子:相当于是实现了列转成行的功能。这样后续就能进行各种聚合操作。
![](https://filescdn.proginn.com/ba16493e7449d8db031154f1fe32edac/e8fd0a99728da3c02e639ec7b490c655.webp)
Hive中实现爆炸功能有两个函数,可自行搜索了解:
explode(col) lateral view:侧写函数
pandas实现
具体需求
碰巧最近有一个需求就用到爆炸函数的功能,不过是用pandas实现的。在下面表格的左边部分是每个订单的销售记录,包含销售员、跟单员、结单员,他们三者不一定是同一个人。
现在需要统计每个员工的销售业绩。销售业绩也就是指员工参与了多少订单。统计每个员工的销售业绩:
有作为销售员、跟单员、结单员的任意一种,即可说明参与了该订单的销售; 同一个订单中,一个员工参与多次只记为一次
爆炸函数到底实现的是什么功能呢?右边就是我们想要的结果:
张三:参加了订单号1-销售员,订单号2-跟单员、结单员,数量2 李四:参加了订单号1-跟单员、结单员,订单2-销售员,订单号3-跟单员,数量3 王五:参加了订单号3-销售员、结单员,数量1
![](https://filescdn.proginn.com/5687bbff559469a0f5a8a4d5f0082c7f/de8d96c6448e04d724a4f2bee28d5368.webp)
解决过程
1、在pandas模拟了一份数据如下:
![](https://filescdn.proginn.com/522d3f4586f47a40e7ee2798429131d0/50f74db65d898ea24a3740303536b4f3.webp)
2、生成一个新字段:员工
![](https://filescdn.proginn.com/b68f8c65939dadcc3c951ae066738c4c/9bf77ecc988afa28828beae6af1539a2.webp)
3、实施爆炸功能,使用的是pandas中的explode
函数,得到新数据:可以看到每个订单号会多次出现
![](https://filescdn.proginn.com/89c884454861e9e088001afbd93ee7e9/95de166b51cc43efa1bbafb0f1481028.webp)
4、统计结果
这样根据不同的字段,比如员工、销售员、跟单员等就能统计不同的业绩
![](https://filescdn.proginn.com/9db6d5a525aa53709dd265117a47b675/8da7cb24f1cb1feec2b90f5803a1ce63.webp)
什么是pandas
pandas中文叫做熊猫,它是Python的核心数据处理和数据分析的第三方库,它拥有快速、灵活、明确的数据结构。
Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(另一个Python库,提供高性能的矩阵运算),能够用于数据挖掘和数据分析,同时也提供数据清洗功能。
Pandas有什么用
pandas的具体使用以后会形成连载系列,敬请期待!
![](https://filescdn.proginn.com/62a8cfc9a54bb90444d19932c6d0b447/1e3ecb6d50cd75e9edab0f09c1599b0d.webp)
本文结语:拥抱pandas,告别Excel!