梯度提升是构建预测模型的最强大技术之一。
提升的想法来自于弱学习器是否可以被修改为变得更好的想法。应用程序取得巨大成功的第一个实现提升的是Adaptive Boosting或简称 AdaBoost。AdaBoost中的弱学习器是决策树，只有一个分裂，称为决策树桩的短缺。
AdaBoost和相关算法在统计框架中重铸，并被称为梯度提升机器。统计框架将推进作为一个数值优化问题，其目标是通过使用类似过程的梯度下降添加弱学习器来最小化模型的损失，因此得名。
Gradient Boosting 算法涉及三个要素：
- 要优化的损失函数，例如用于分类的交叉熵或用于回归问题的均方误差。
- 做出预测的弱学习器，例如贪婪构建的决策树。
- **一个加法模型，**用于添加弱学习器以最小化损失函数。
为了纠正所有先前树木的残留误差，将新的弱学习器添加到模型中。结果是一个强大的预测建模算法，可能比随机森林更强大。
在下一课中，我们将仔细研究梯度提升的 XGBoost 实现。
完
