6个冷门但实用的pandas知识点
共 2653字,需浏览 6分钟
·
2020-10-30 01:56
![star.png](https://filescdn.proginn.com/b61059131cc8eb3d079cf1e702176d53/5a8e0f49d3436b745a3e00ec5689bdb5.webp)
点击上方"蓝字"关注我们
记录 分享 成长
1 简介
pandas
作为开展数据分析的利器,蕴含了与数据处理相关的丰富多样的API,使得我们可以灵活方便地对数据进行各种加工,但很多pandas
中的实用方法其实大部分人都是不知道的,今天就来给大家介绍6个不太为人们所所熟知的实用pandas
小技巧。
![](https://filescdn.proginn.com/8a5a67ac050a618293f3aa4e06f1566d/a46174e361633b5d501d142e0374e90e.webp)
2 6个实用的pandas
小知识
2.1 Series与DataFrame的互转
很多时候我们计算过程中产生的结果是Series
格式的,而接下来的很多操作尤其是使用「链式」语法时,需要衔接着传入DataFrame
格式的变量,这种时候我们就可以使用到pandas
中Series
向DataFrame
转换的方法:
「利用to_frame()实现Series转DataFrame」
s = pd.Series([0, 1, 2])
# Series转为DataFrame,name参数用于指定转换后的字段名
s = s.to_frame(name='列名')
s
![](https://filescdn.proginn.com/205792ec43ebccf0c4460459e0801e46/adf70482244e5deaf5a653fd9489e8a1.webp)
顺便介绍一下单列数据组成的数据框转为Series
的方法:
「利用squeeze()实现单列数据DataFrame转Series」
# 只有单列数据的DataFrame转为Series
s.squeeze()
![](https://filescdn.proginn.com/51bc8b1388a82222952ca7ba3b8cda08/2e94545fc447281e627e73ec613d7542.webp)
2.2 随机打乱DataFrame的记录行顺序
有时候我们需要对数据框整体的行顺序进行打乱,譬如在训练机器学习模型时,打乱原始数据顺序后取前若干行作为训练集后若干行作为测试集,这在pandas
中可以利用sample()
方法快捷实现。
sample()
方法的本质功能是从原始数据中抽样行记录,默认为不放回抽样,其参数frac
用于控制抽样比例,我们将其设置为1则等价于打乱顺序:
df = pd.DataFrame({
'V1': range(5),
'V2': range(5)
})
df.sample(frac=1)
![](https://filescdn.proginn.com/bb0775277f694e69f7e6762e91573167/84c81ff15efd5a11412f6c7e49fadbe5.webp)
2.3 利用类别型数据减少内存消耗
当我们的数据框中某些列是由少数几种值大量重复形成时,会消耗大量的内存,就像下面的例子一样:
import numpy as np
pool = ['A', 'B', 'C', 'D']
# V1列由ABCD大量重复形成
df = pd.DataFrame({
'V1': np.random.choice(pool, 1000000)
})
# 查看内存使用情况
df.memory_usage(deep=True)
![](https://filescdn.proginn.com/20edca7be80355ee89035828de418a4a/561de3175848c3c278edc2929bcb9e7c.webp)
这种时候我们可以使用到pandas
数据类型中的类别型来极大程度上减小内存消耗:
df['V1'] = df['V1'].astype('category')
df.memory_usage(deep=True)
![](https://filescdn.proginn.com/1bbbe9d24900dbd4c342df64c0b6b897/354fb6d2582d964089f856618c410cc3.webp)
可以看到,转换类型之后内存消耗减少了将近98.3%!
2.4 pandas中的object类型陷阱
在日常使用pandas
处理数据的过程中,经常会遇到object
这种数据类型,很多初学者都会把它视为字符串,事实上object
在pandas
中可以代表不确定的数据类型,即类型为object
的Series
中可以混杂着多种数据类型:
s = pd.Series(['111100', '111100', 111100, '111100'])
s
![](https://filescdn.proginn.com/63d894b63101a6e4749aef36a79dd63b/ae193b9e430d6a2dc1144d4728705ff7.webp)
查看类型分布:
s.apply(lambda s: type(s))
![](https://filescdn.proginn.com/e1221a582cac5ffd67a5cdeb7bbb2e1e/101eae3232b585256b03e541bb0865a6.webp)
这种情况下,如果贸然当作字符串列来处理,对应的无法处理的元素只会变成缺失值而不报错,给我们的分析过程带来隐患:
s.str.replace('00', '11')
![](https://filescdn.proginn.com/0c0498a6d0ef9482afa5d1f5f2377d20/d5df6b4aafcc4d1d103b9c205cf1673a.webp)
这种时候就一定要先转成对应的类型,再执行相应的方法:
s.astype('str').str.replace('00', '11')
![](https://filescdn.proginn.com/9a8bd67b8edb749b9247b9cfa9616211/3dc905a1a62a822d73bc4541c7884cf6.webp)
2.5 快速判断每一列是否有缺失值
在pandas
中我们可以对单个Series
查看hanans
属性来了解其是否包含缺失值,而结合apply()
,我们就可以快速查看整个数据框中哪些列含有缺失值:
df = pd.DataFrame({
'V1': [1, 2, None, 4],
'V2': [1, 2, 3, 4],
'V3': [None, 1, 2, 3]
})
df.apply(lambda s: s.hasnans)
![](https://filescdn.proginn.com/385beaf9737fec0e0608daff962905ea/5d97f947933f2803faf70e9223fc6622.webp)
2.6 使用rank()计算排名时的五种策略
在pandas
中我们可以利用rank()
方法计算某一列数据对应的排名信息,但在rank()
中有参数method
来控制具体的结果计算策略,有以下5种策略,在具体使用的时候要根据需要灵活选择:
「average」
在average
策略下,相同数值的元素的排名是其内部排名的均值:
s = pd.Series([1, 2, 2, 2, 3, 4, 4, 5, 6])
s.rank(method='average')
![](https://filescdn.proginn.com/66819002bd5e3bacbbedd1395ca8b1b7/a9d6b64a985c190ab2cf457f82484682.webp)
「min」
在min
策略下,相同元素的排名为其内部排名的最小值:
s.rank(method='min')
![](https://filescdn.proginn.com/ed5eed1fc06fc3bd0db9931ead3f1df7/d48d5b240d597de9fb4a1fd5c9a117ee.webp)
「max」
max
策略与min
正好相反,取的是相同元素内部排名的最大值:
s.rank(method='max')
![](https://filescdn.proginn.com/20e31edad78281e3628aba6d2d969253/b0fe79b561ad1c77d74ac28811bf4d18.webp)
「dense」
在dense
策略下,相当于对序列去重后进行排名,再将每个元素的排名赋给相同的每个元素,这种方式也是比较贴合实际需求的:
s.rank(method='dense')
![](https://filescdn.proginn.com/231ede26996e1f20a68c31709d2256f3/95737b23fea4edeee6a92a1d38f02bc2.webp)
「first」
在first
策略下,当多个元素相同时,会根据这些相同元素在实际Series
中的顺序分配排名:
s = pd.Series([2, 2, 2, 1, 3])
s.rank(method='first')
![](https://filescdn.proginn.com/f733f8cc5dc9d5a6f2f1e56fcc2c17a3/36a4e9049c135762b901b3e7fc195221.webp)
关于pandas
还有很多实用的小知识,以后会慢慢给大家不定期分享~欢迎在评论区与我进行讨论
![](https://filescdn.proginn.com/c69f0593ee85bc67445067f3b97044cf/896f255772f726bad0cd0af91a2d141a.webp)
我们的知识星球【Python大数据分析】
限时优惠中(还有4天)!扫码领券
年费立减20,仅需59元~
快来一起玩转数据分析吧???
Python大数据分析
data creates value
扫码关注我们