数据挖掘技术虽是一项新兴的数据处理技术，但其发展速度十分迅猛，至今已经形成了决策树、神经网络、统计学习、聚类分析、关联规则等多项数据挖掘技术，极大的满足了用户的需求。...

算法步骤:随机森林由LeoBreiman于2001年提出，它通过自助法（Bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合。 然后根据自助样本集生成k个分类树，这k个分类树组成随机森林。 新...

国内外很多研究者进行了客观评测（Yang，1999；Joachims，1998；He，2000；Tsay，2000；庞剑锋，2001；王灏，2003；李保利，2003；周雪忠，2003）。

由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。 　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个...

熵可以从随机变量状态需要的平均信息量角度理解, 也可以从描述统计力学中无序程度的度量角度理解.

人们的决策过程是一个类似“观察因素A的情况，再根据A的情况观察因素B的情况”的形式，从而形成一种树状结构。决策树学习是模仿人类这一结构化决策过程而发展起来的一种有监督机器学习方法。 它可以被认为是if-then规则...

集成学习(Ensemble Learning)是将多个弱机器学习器结合，构建一个有较强性能的机器学习器的方法。 构成集成学习的弱学习器称为基学习器、基估计器。 根据集成学习的各基估计器类型是否相同，可以分为同质和异质两种方法...

决策树是一种用来进行分类和回归的无参有监督学习方法，其目的是创建一种模型，从模型特征中学习简单的决策远着呢，从而预测一个目标变量的值。 scikit-learn tree模块提供DecisionTreeClassifier类和DecisionTreeRegresso...

集成学习(ensemble learning)通过构建并集合多个学习器完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee based learning)等。先产生一组“个体学习器”(invidual learne...

决策树(decision tree)是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？”这个问题的“决策”或“判定”过...