决策树是一种自上而下，对样本数据进行树形分类的过程，由节点和有向边组成。节点分为内部节点和叶节点，其中每个内部节点表示一个特征或属性，叶节点表示类别。从顶部节点开始，所有样本聚在一起，经过根节点的划分，样本被分到不...

2、使用基于决策树的combination算法，如bagging算法，randomforest算法，可以解决过拟合的问题。

红色的是牛顿法的迭代路径,绿色的是梯度下降法的迭代路径.牛顿法起始点不能离极小点太远,否则很可能不会拟合.

GBDT相关知识模块：前向分布算法，负梯度拟合，损失函数，回归，二分类，多分类，正则化。

对于XGBoost算法原理看陈天奇的PPT和一份算法实战指导文档就够了（文末附网盘链接）。

决策树分为两大类：分类树和回归树，分类树用于分类标签值，回归树用于预测连续值，常用算法有ID3、C4.5、CART等。

1，误差：误差由偏差(bias)、方差(variance)和噪声(noise)组成；

对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的。

最近学习了一段时间的决策树算法，但是感觉并没有达到自己预期的想法，所以这几天参考了一些决策树方面的资料，来将自己的学习的过程的笔记记录在这里，来加深理解和请教别人指出错误。...

最近总结树模型，尝试将主流 Boosting 实现方式做一个分析汇总，文中部分内容借鉴了知乎答案，已于参考链接中标识。