决策树

2018-09-29 15:17:10 浏览数 (1)

版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1350041

决策树通过生成决策规则来解决分类和回归问题。整个模型非常容易理解,是所谓的白盒模型。

但是由于决策树在理论上能无限制地划分节点

前剪枝:在划分节点之前限制决策树的复杂度,通过一些阈值来限制决策树的生长,比如max_depth、min_sample_split等参数。

后剪枝:在决策树构建完成之后,通过剪枝集修改树的结构,降低它的复杂度。

这两种方法相比,前剪枝的实现更加容易,也更加可控,因为在实际应用中应用得更加广泛。

决策树最大的缺点在于模型的最后一步算法过于简单:对于分类问题,只考虑叶子节点里哪个类别占比最大;而对于回归问题,则计算叶子节点内数据的平均值。这导致它在单独使用时,预测效果不理想。因此在实际中,决策树常常被用来做特征提取,与其他模型联结起来使用。

0 人点赞