10万+字的机器学习理论笔记&特征工程tips分享,附PDF下载
共 3441字,需浏览 7分钟
· 2021-01-12
随着我们在机器学习、数据建模、数据挖掘分析这条发展路上越走越远,其实越会感觉到机器学习理论知识和特征工程的重要性,这里有两本一位好友整理的学习资料,都是满满干货!分别是《machine learning knowledge》和 《Tips of feature engineering》,全文加起来超过10万字!
资料领取方式:
SAMshare
🚙 《machine learning knowledge》内容摘选
![](https://filescdn.proginn.com/3c043e238d97ad9314e2a8d426e3cccc/984f9d9e3532e9cc53008b0b8de756e9.webp)
目前作者更新的系列文章有12篇,每一篇都相对比较干货的,目录如下:
MLK01 | 机器学习论文搜索利器推荐
MLK02 | 如何解决机器学习树集成模型的解释性问题
MLK03 | 那些常见的特征工程
MLK04 | 机器学习的降维”打击“
MLK05 | 机器学习采样方法大全
MLK06 | 非监督学习最强攻略
MLK07 | 机器学习常见算法优缺点了解一下
MLK08 | 模型评估的一些事
MLK09 | 一文理清深度学习前馈神经网络
MLK10 | 一文理清深度学习循环神经网络
MLK11 | 一文理清集成学习知识点(Boosting&Bagging)
MLK12 | Keras 基础模型调参指南
我们看看当中的一些文章片段:
🚗 机器学习论文搜索利器推荐
![](https://filescdn.proginn.com/d55b09815b8d0c0731a40d22f1141ad3/d84b5756b4c154633c6e68160b3ad0f5.webp)
🚗 树集成模型的解释性问题
目前TREE SHAP可以支持的树集成模型有XGBoost, LightGBM, CatBoost, and scikit-learn tree models,可以看看下面的demo:
import xgboost
import shap
# load JS visualization code to notebook
shap.initjs()
"""训练 XGBoost 模型,SHAP里提供了相关数据集"""
X,y = shap.datasets.boston()
model = xgboost.train({"learning_rate": 0.01}, xgboost.DMatrix(X, label=y), 100)
"""
通过SHAP值来解释预测值
(同样的方法也适用于 LightGBM, CatBoost, and scikit-learn models)
"""
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X)
# 可视化解释性 (use matplotlib=True to avoid Javascript)
shap.force_plot(explainer.expected_value, shap_values[0,:], X.iloc[0,:])
![](https://filescdn.proginn.com/5ace680bf53f22eaa970d8a1962b5cf0/b875c09f047fe255832b3d24ccde4b21.webp)
# visualize the training set predictions
shap.force_plot(explainer.expected_value, shap_values, X)
![](https://filescdn.proginn.com/d9ba653dd21fa42bc2cf28b698ec5630/0dda7fbcd0e2f9117ad99c77bf94ad87.webp)
🚗 还有很多机器学习基础理论
![](https://filescdn.proginn.com/61963ba0480e207ace4f952c2b200ba3/7fc1fa4d613bde62d41fe17d21515a1f.webp)
![](https://filescdn.proginn.com/67de4d825b5655b3de43b20ba8a2b4ad/18b1989c85459561f89fdc73abc94148.webp)
🚙 《Tips of feature engineering》内容摘选
大家可以先看看目前更新到的内容明细:
项目目前更新到19节,一般来说是每天一更新,每一节都会有配套的数据集以及代码,下面我们拿几个“锦囊”来看一下!
Tip15:如何使用sklearn的多项式来衍生更多的变量?
关于这种衍生变量的方式,理论其实大家应该很早也都听说过了,但是如何在Python里实现,也就是今天在这里分享给大家,其实也很简单,就是调用sklearn
的PolynomialFeatures
方法,具体大家可以看看下面的demo。
这里使用一个人体加速度数据集,也就是记录一个人在做不同动作时候,在不同方向上的加速度,分别有3个方向,命名为x、y、z。
关键代码
# 扩展数值特征
from sklearn.preprocessing import PolynomialFeatures
x = df[['x','y','z']]
y = df['activity']
poly = PolynomialFeatures(degree=2, include_bias=False, interaction_only=False)
x_poly = poly.fit_transform(x)
pd.DataFrame(x_poly, columns=poly.get_feature_names()).head()
就这样子简单的去调用,就可以生成了很多的新变量了。
Tip17:如何把分布修正为类正态分布?
今天我们用的是一个新的数据集,也是在kaggle上的一个比赛,大家可以先去下载一下:
下载地址:
https://www.kaggle.com/c/house-prices-advanced-regression-techniques/data
import pandas as pd
import numpy as np
# Plots
import seaborn as sns
import matplotlib.pyplot as plt
# 读取数据集
train = pd.read_csv('./data/house-prices-advanced-regression-techniques/train.csv')
train.head()
首先这个是一个价格预测的题目,在开始前我们需要看看分布情况,可以调用以下的方法来进行绘制:
sns.set_style("white")
sns.set_color_codes(palette='deep')
f, ax = plt.subplots(figsize=(8, 7))
#Check the new distribution
sns.distplot(train['SalePrice'], color="b");
ax.xaxis.grid(False)
ax.set(ylabel="Frequency")
ax.set(xlabel="SalePrice")
ax.set(title="SalePrice distribution")
sns.despine(trim=True, left=True)
plt.show()
我们从结果可以看出,销售价格是右偏,而大多数机器学习模型都不能很好地处理非正态分布数据,所以我们可以应用log(1+x)转换来进行修正。那么具体我们可以怎么用Python代码实现呢?
# log(1+x) 转换
train["SalePrice_log"] = np.log1p(train["SalePrice"])
sns.set_style("white")
sns.set_color_codes(palette='deep')
f, ax = plt.subplots(figsize=(8, 7))
sns.distplot(train['SalePrice_log'] , fit=norm, color="b");
# 得到正态分布的参数
(mu, sigma) = norm.fit(train['SalePrice_log'])
plt.legend(['Normal dist. ($\mu=$ {:.2f} and $\sigma=$ {:.2f} )'.format(mu, sigma)],
loc='best')
ax.xaxis.grid(False)
ax.set(ylabel="Frequency")
ax.set(xlabel="SalePrice")
ax.set(title="SalePrice distribution")
sns.despine(trim=True, left=True)
plt.show()
资料领取方式: