LightGBM在Higgs数据集上LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。 Xgboost已经十分完美了，为什么还要追求速度更快、内存使用更小的模型？ 对GBDT算法进行改进和提升的技术细节是什么？ 一、提出LightGBM的动机 常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。 而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。 LightGBM提出的主要原因就是为了解决GBDT在海量数据遇到的问题，让GBDT可以更好更快地用于工业实践。
改进的细节 Xgboost是如何工作的？ 目前已有的GBDT工具基本都是基于预排序的方法（pre-sorted）的决策树算法(如xgboost)。这种构建决策树的算法基本思想是： 首先，对所有特征都按照特征的数值进行预排序。 其次，在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点。 最后，找到一个特征的分割点后，将数据分裂成左右子节点。 这样的预排序算法的优点是能精确地找到分割点。 缺点也很明显： 首先，空间消耗大。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如排序后的索引，为了后续快速的计算分割点），这里需要消耗训练数据两倍的内存。 其次，时间上也有较大的开销，在遍历每一个分割点的时候，都需要进行分裂增益的计算，消耗的代价大。 最后，对cache优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对cache进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的cache miss。 二、LightGBM在哪些地方进行了优化？ a) 基于Histogram的决策树算法 b) 带深度限制的Leaf-wise的叶子生长策略 c) 直方图做差加速直接 d) 支持类别特征(Categorical Feature) e) Cache命中率优化 f) 基于直方图的稀疏特征优化多线程优化。
lightgbm模型实战案例：京东金融信贷需求预测
Stacking：Catboost、Xgboost、LightGBM、Adaboost、RF etc
textCNN和lightGBM模型对景区口碑评价进行情感分析
LightGBM算法总结
