决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像...

•分类(Classification)就是按照某种标准给对象贴标签，再根据标签来区分归类，类别数不变。

一般的，一棵决策树包含一个根结点、若干内部结点和若干个叶结点，叶子结点对应于决策结果，而其他每个结点对应于一个属性测试，每个结点被包含的样本集合根据属性测试的结果被划分到子结点中，根结点包含样本全集。...

这个算法由一个目标/结果变量（或因变量）组成，这个变量可以从一组给定的预测变量（独立变量）中预测出来。 使用这些变量，我们生成一个将输入映射到所需输出的函数。 训练过程一直持续到模型达到训练数据所需的准确度。 监督学...

它总是在沿着特征做切分。随着层层递进，这个划分会越来越细。虽然生成的树不容易给用户看，但是数据分析的时候，通过观察树的上层结构，能够对分类器的核心思路有一个直观的感受。举个简单的例子，当我们预测一个孩子的身高的...

特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下的经验条件熵H(D|A)之差

之前写了一篇以基于elastic的需求预估的文章，只不过用的是R语言开发的，最近在学python，就仿照逻辑写了一篇python的，主要修改点如下：

历史回顾：1984年提出的cart，1986年提出的ID3，1993年提出的c4.5

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关的特征数据。

工作机制：这个算法由一个目标变量或结果变量（或因变量）组成。这些变量由已知的一系列预示变量（自变量）预测而来。利用这一系列变量，我们生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据...