万字详解：LightGBM 原理、代码最全解读！
Python学习与数据挖掘
共 15325字，需浏览 31分钟
·
2021-12-20 02:20
关注"Python学习与数据挖掘"，
设为“置顶或星标”，第一时间送达干货
1.1 LightGBM提出的动机
1.2 XGBoost的缺点及LightGBM的优化
（1）XGBoost的缺点
（2）LightGBM的优化
基于Histogram的决策树算法。 单边梯度采样 Gradient-based One-Side Sampling(GOSS)：使用GOSS可以减少大量只具有小梯度的数据实例，这样在计算信息增益的时候只利用剩下的具有高梯度的数据就可以了，相比XGBoost遍历所有特征值节省了不少时间和空间上的开销。 互斥特征捆绑 Exclusive Feature Bundling(EFB)：使用EFB可以将许多互斥的特征绑定为一个特征，这样达到了降维的目的。 带深度限制的Leaf-wise的叶子生长策略：大多数GBDT工具使用低效的按层生长 (level-wise) 的决策树生长策略，因为它不加区分的对待同一层的叶子，带来了很多没必要的开销。实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。LightGBM使用了带有深度限制的按叶子生长 (leaf-wise) 算法。 直接支持类别特征(Categorical Feature) 支持高效并行 Cache命中率优化
2.1 基于Histogram的决策树算法
（1）直方图算法
内存占用更小： 直方图算法不仅不需要额外存储预排序的结果，而且可以只保存特征离散化后的值，而这个值一般用 位整型存储就足够了，内存消耗可以降低为原来的 。也就是说XGBoost需要用 位的浮点数去存储特征值，并用 位的整形去存储索引，而 LightGBM只需要用 位去存储直方图，内存相当于减少为 ；
计算代价更小： 预排序算法XGBoost每遍历一个特征值就需要计算一次分裂的增益，而直方图算法LightGBM只需要计算 次（ 可以认为是常数），直接将时间复杂度从 降低到 ，而我们知道。
（2）直方图做差加速
2.2 带深度限制的 Leaf-wise 算法
2.3 单边梯度采样算法
2.4 互斥特征捆绑算法
怎么判定哪些特征应该绑在一起（build bundled）？ 怎么把特征绑为一个（merge feature）？
（1）解决哪些特征应该绑在一起
构造一个加权无向图，顶点是特征，边有权重，其权重与两个特征间冲突相关； 根据节点的度进行降序排序，度越大，与其它特征的冲突越大； 遍历每个特征，将它分配给现有特征包，或者新建一个特征包，使得总体冲突最小。
（2）解决怎么把特征绑为一捆
3.1 直接支持类别特征
会产生样本切分不平衡问题，导致切分增益非常小（即浪费了这个特征）。使用 one-hot编码，意味着在每一个决策节点上只能使用one vs rest（例如是不是狗，是不是猫等）的切分方式。例如，动物类别切分后，会产生是否狗，是否猫等一系列特征，这一系列特征上只有少量样本为 ，大量样本为 ，这时候切分样本会产生不平衡，这意味着切分增益也会很小。较小的那个切分样本集，它占总样本的比例太小，无论增益多大，乘以该比例之后几乎可以忽略；较大的那个拆分样本集，它几乎就是原始的样本集，增益几乎为零。比较直观的理解就是不平衡的切分和不切分没有区别。
会影响决策树的学习。因为就算可以对这个类别特征进行切分，独热编码也会把数据切分到很多零散的小空间上，如下图左边所示。而决策树学习时利用的是统计信息，在这些数据量小的空间上，统计信息不准确，学习效果会变差。但如果使用下图右边的切分方法，数据会被切分到两个比较大的空间，进一步的学习也会更好。下图右边叶子节点的含义是或者放到左孩子，其余放到右孩子。
3.2 支持高效并行
（1）特征并行
（2）数据并行
（3）投票并行
本地找出 Top K 特征，并基于投票筛选出可能是最优分割点的特征； 合并时只合并每个机器选出来的特征。
3.3 Cache命中率优化
首先，所有的特征都采用相同的方式获得梯度（区别于XGBoost的不同特征通过不同的索引获得梯度），只需要对梯度进行排序并可实现连续访问，大大提高了缓存命中率； 其次，因为不需要存储行索引到叶子索引的数组，降低了存储消耗，而且也不存在 Cache Miss的问题。
4.1 优点
（1）速度更快
LightGBM 采用了直方图算法将遍历样本转变为遍历直方图，极大的降低了时间复杂度； LightGBM 在训练过程中采用单边梯度算法过滤掉梯度小的样本，减少了大量的计算； LightGBM 采用了基于 Leaf-wise 算法的增长策略构建树，减少了很多不必要的计算量； LightGBM 采用优化后的特征并行、数据并行方法加速计算，当数据量非常大的时候还可以采用投票并行的策略； LightGBM 对缓存也进行了优化，增加了缓存命中率；
（2）内存更小
XGBoost使用预排序后需要记录特征值及其对应样本的统计值的索引，而 LightGBM 使用了直方图算法将特征值转变为 bin 值，且不需要记录特征到样本的索引，将空间复杂度从 降低为 ，极大的减少了内存消耗； LightGBM 采用了直方图算法将存储特征值转变为存储 bin 值，降低了内存消耗； LightGBM 在训练过程中采用互斥特征捆绑算法减少了特征数量，降低了内存消耗。
4.2 缺点
可能会长出比较深的决策树，产生过拟合。因此LightGBM在Leaf-wise之上增加了一个最大深度限制，在保证高效率的同时防止过拟合； Boosting族是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行权重调整，所以随着迭代不断进行，误差会越来越小，模型的偏差（bias）会不断降低。由于LightGBM是基于偏差的算法，所以会对噪点较为敏感； 在寻找最优解时，依据的是最优切分变量，没有将最优解是全部特征的综合这一理念考虑进去；
5.1 安装LightGBM依赖包
pip install lightgbm
5.2 LightGBM分类和回归
（1）基于LightGBM原生接口的分类
import lightgbm as lgbfrom sklearn import datasetsfrom sklearn.model_selection import train_test_splitimport numpy as npfrom sklearn.metrics import roc_auc_score, accuracy_score# 加载数据iris = datasets.load_iris()# 划分训练集和测试集X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3)# 转换为Dataset数据格式train_data = lgb.Dataset(X_train, label=y_train)validation_data = lgb.Dataset(X_test, label=y_test)# 参数params = {'learning_rate': 0.1,'lambda_l1': 0.1,'lambda_l2': 0.2,'max_depth': 4,'objective': 'multiclass', # 目标函数'num_class': 3,}# 模型训练gbm = lgb.train(params, train_data, valid_sets=[validation_data])# 模型预测y_pred = gbm.predict(X_test)y_pred = [list(x).index(max(x)) for x in y_pred]print(y_pred)# 模型评估print(accuracy_score(y_test, y_pred))
（2）基于Scikit-learn接口的分类
from lightgbm import LGBMClassifierfrom sklearn.metrics import accuracy_scorefrom sklearn.model_selection import GridSearchCVfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.externals import joblib# 加载数据iris = load_iris()data = iris.datatarget = iris.target# 划分训练数据和测试数据X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.2)# 模型训练gbm = LGBMClassifier(num_leaves=31, learning_rate=0.05, n_estimators=20)gbm.fit(X_train, y_train, eval_set=[(X_test, y_test)], early_stopping_rounds=5)# 模型存储joblib.dump(gbm, 'loan_model.pkl')# 模型加载gbm = joblib.load('loan_model.pkl')# 模型预测y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration_)# 模型评估print('The accuracy of prediction is:', accuracy_score(y_test, y_pred))# 特征重要度print('Feature importances:', list(gbm.feature_importances_))# 网格搜索，参数优化estimator = LGBMClassifier(num_leaves=31)param_grid = {'learning_rate': [0.01, 0.1, 1],'n_estimators': [20, 40]}gbm = GridSearchCV(estimator, param_grid)gbm.fit(X_train, y_train)print('Best parameters found by grid search are:', gbm.best_params_)
（3）基于LightGBM原生接口的回归
import pandas as pdfrom sklearn.model_selection import train_test_splitimport lightgbm as lgbfrom sklearn.metrics import mean_absolute_errorfrom sklearn.preprocessing import Imputer# 1.读文件data = pd.read_csv('./dataset/train.csv')# 2.切分数据输入：特征 输出：预测目标变量y = data.SalePriceX = data.drop(['SalePrice'], axis=1).select_dtypes(exclude=['object'])# 3.切分训练集、测试集,切分比例7.5 : 2.5train_X, test_X, train_y, test_y = train_test_split(X.values, y.values, test_size=0.25)# 4.空值处理，默认方法：使用特征列的平均值进行填充my_imputer = Imputer()train_X = my_imputer.fit_transform(train_X)test_X = my_imputer.transform(test_X)# 5.转换为Dataset数据格式lgb_train = lgb.Dataset(train_X, train_y)lgb_eval = lgb.Dataset(test_X, test_y, reference=lgb_train)# 6.参数params = {'task': 'train','boosting_type': 'gbdt', # 设置提升类型'objective': 'regression', # 目标函数'metric': {'l2', 'auc'}, # 评估函数'num_leaves': 31, # 叶子节点数'learning_rate': 0.05, # 学习速率'feature_fraction': 0.9, # 建树的特征选择比例'bagging_fraction': 0.8, # 建树的样本采样比例'bagging_freq': 5, # k 意味着每 k 次迭代执行bagging'verbose': 1 # <0 显示致命的, =0 显示错误 (警告), >0 显示信息}# 7.调用LightGBM模型，使用训练集数据进行训练（拟合）# Add verbosity=2 to print messages while running boostingmy_model = lgb.train(params, lgb_train, num_boost_round=20, valid_sets=lgb_eval, early_stopping_rounds=5)# 8.使用模型对测试集数据进行预测predictions = my_model.predict(test_X, num_iteration=my_model.best_iteration)# 9.对模型的预测结果进行评判（平均绝对误差）print("Mean Absolute Error : " + str(mean_absolute_error(predictions, test_y)))
（4）基于Scikit-learn接口的回归
import pandas as pdfrom sklearn.model_selection import train_test_splitimport lightgbm as lgbfrom sklearn.metrics import mean_absolute_errorfrom sklearn.preprocessing import Imputer# 1.读文件data = pd.read_csv('./dataset/train.csv')# 2.切分数据输入：特征 输出：预测目标变量y = data.SalePriceX = data.drop(['SalePrice'], axis=1).select_dtypes(exclude=['object'])# 3.切分训练集、测试集,切分比例7.5 : 2.5train_X, test_X, train_y, test_y = train_test_split(X.values, y.values, test_size=0.25)# 4.空值处理，默认方法：使用特征列的平均值进行填充my_imputer = Imputer()train_X = my_imputer.fit_transform(train_X)test_X = my_imputer.transform(test_X)# 5.调用LightGBM模型，使用训练集数据进行训练（拟合）# Add verbosity=2 to print messages while running boostingmy_model = lgb.LGBMRegressor(objective='regression', num_leaves=31, learning_rate=0.05, n_estimators=20,verbosity=2)my_model.fit(train_X, train_y, verbose=False)# 6.使用模型对测试集数据进行预测predictions = my_model.predict(test_X)# 7.对模型的预测结果进行评判（平均绝对误差）print("Mean Absolute Error : " + str(mean_absolute_error(predictions, test_y)))
5.3 LightGBM调参
6.1 LightGBM与XGBoost的联系和区别有哪些？
2021-12-17
2021-12-17
2021-12-15
2021-12-15
2021-12-15
2021-12-14
评论