决策树 算法原理

决策树 算法原理

决策树的原理

• 决策树: 从训练数据中学习得出一个树状结构的模型
• 决策树属于判别模型
• 决策树是一种树状结构，通过做出一系列决策 (选择) 来对数据进行划分，这类似于针对一系列问题进行选择。
• 决策树的决策过程就是从根节点开始，测试待分类项中对应的特征属性，并按照其值选择输出分支，直到叶子节点，将叶子节点的存放的类别作为决策结果。
• 决策树算法是一种归纳分类算法它通过对训练集的学习，挖掘出有用的规则，用于对新数据进行预测。
• 决策树算法属于监督学习方法
• 决策树归纳的基本算法是贪心算法自顶向下来构建决策树。
• 贪心算法:在每一步选择中都采取在当前状态下最好/优的选择
• 在决策树的生成过程中，分割方法即属性选择的度量是关键。

决策树的特点

优点

• 推理过程容易理解，计算简单，可解释性强
• 比较适合处理有缺失属性的样本。
• 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性减少变量的数目提供参考。 缺点
• 容易造成过拟合，需要采用剪枝操作.
• 忽略了数据之间的相关性。
• 对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特征

决策树的三种基本类型

• 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法: ID3(lterativeDichotomiser)、C4.5CART(Classification And Regression Tree).

下次博客简述ID3算法、C4.5算法、CART算法