【Python】特征工程:数值特征的缩放与编码

机器学习初学者

共 905字,需浏览 2分钟

 ·

2021-10-17 14:18

数值特征是结构化竞赛中重要的特征,也是需要处理的特征。一般而言数值特征的操作,包括如下几个方面:

  • 离群点处理
  • 缺失值填充
  • 缩放处理
  • 编码处理

缺失值填充

如果使用非树模型,则需要考虑对数值特征进行填充。缺失值填充的基础方法包括:

  1. 使用统计值填充(均值/中位数/常数)
  2. 最近邻样本填充(行维度)
  3. 基于模型的填充

缩放处理

数值特征在归一化后直接加到深度模型中,直接对原始特征做归一化,或者通过BN层来做归一化。

RankGuass

将数值进行排序,然后将转换到[-1, 1]范围内,然后使用逆误差函数进行转换。

详细案例见:https://zhuanlan.zhihu.com/p/330333894

标准化

最大最小缩放

最大绝对值缩放

鲁邦缩放

计算数值具体的分位点Q1和Q3,

对数转换

分位点转换

计算数值分布的分位点,将分布转为均匀分布或正态分布。

幂变换

将数值转换为更加偏向正态分布的形态

  • Box-Cox 变换
  • Yeo-Johnson 变换

编码处理

原始特征

用原始的数值作为特征,或者在数值上面做一些计算。

二值化/分箱处理

对数值按照大小进行划分,可以直接使用pd.cut实现。

Rank值

统计数值具体大小次序。

离散嵌入

利用分点可以将数值进行离散化,然后作为ID类特征加到模型中,正常参与模型训练。离散化有两个好处:一是引入非线性,二是可以过滤一些异常值。

域嵌入

将一个域内的数值型特征共享一个field embedding,可以理解为使用一个向量来转换。

树编码

通过树模型节点的划分对不同特征值划分到不同的节点,从而对其进行离散化。

往期精彩回顾




本站qq群851320808,加入微信群请扫码:
浏览 52
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报