先简单介绍一下我的背景。我本科在University of Wisconsin-Madison，然后去CMU念了个PhD，主要研究数据库方向。目前回国在清华IIIS（姚班）做助理教授，并且 cofound 了 Singularity Data....

前面无论是用全部变量还是筛选出的特征变量、无论如何十折交叉验证调参，获得的模型应用于测试集时虽然预测准确率能在90%以上，但与不基于任何信息的随机猜测相比，这个模型都是统计不显著的 （这一点可能意义也不大，样本不平...

决策树算法 根据数据属性，采用树状结构建立决策模型。常用来解决分类和回归问题。常见算法：CART(Classification And Regression Tree)，ID3，C4.5，随机森林等回归算法 对连续值预测，如逻辑回归LR等分类算法 对离散值预测，事前...

它也是最常用的算法之一，随机森林建立了多个决策树，并将它们合并在一起以获得更准确和稳定的预测。随机森林的一大优势在于它既可用于分类，也可用于回归问题...

叶子节点：存放决策结果非叶子节点：特征属性，及其对应输出，按照输出选择分支决策过程：从根节点出发，根据数据的各个属性，计算结果，选择对应的输出分支，直到到达叶子节点，得到结果...

试想一下，当你想买一辆新车时，你会直接走到第一家汽车商店，并根据经销商的建议购买一辆车吗？这显然不太可能。

Random Forest的算法流程我们之前已经详细介绍过，就是先通过bootstrapping“复制”原样本集D，得到新的样本集D’；然后对每个D’进行训练得到不同的decision tree和对应的gt；最后再将所有的gt通过uniform的形式组合起来，即...

首先我们来复习一下之前介绍过的两个机器学习模型：Bagging和Decision Tree。Bagging是通过bootstrap的方式，从原始的数据集D中得到新的D^；然后再使用一些base algorithm对每个D^都得到相应的gt；最后将所有的gt通过投票uni...

上文我们主要介绍了Adaptive Boosting。AdaBoost演算法通过调整每笔资料的权重，得到不同的hypotheses，然后将不同的hypothesis乘以不同的系数α进行线性组合。这种演算法的优点是，即使底层的演算法g不是特别好（只要比乱选...

这个数据集和书中的略有区别，不过应该是包含的关系，这个数据的样本更多，应该不影响的。扩展：split函数完成训练和测试的划分