优化监督学习=优化模型的泛化误差，模型的泛化误差可分解为偏差、方差与噪声之和 Err = bias + var + irreducible error，以回归任务为例，其实更准确的公式为：Err = bias^2 + var + irreducible error^2符号的定义：一个真实...

RF、GBDT、XGboost都可以做特征选择，属于特征选择中的嵌入式方法。比如在sklearn中，可以用属性feature_importances_去查看特征的重要度, 比如：

上一节我们详细的介绍了组合分类方法中的boosting提升算法中经典的adaboost提升算法，当然还有其他的提升算法例如：前向分步算法（adaboost算法是该算法的一个特殊情况，）、提升树算法（基于加法模型和前向分布算法），其中提升树的...

作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销到医疗保健保险，既可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性...

1.决策树与随机森林都属于机器学习中监督学习的范畴，主要用于分类问题。 决策树算法有这几种：ID3、C4.5、CART，基于决策树的算法有bagging、随机森林、GBDT等。 决策树是一种利用树形结构进行决策的算法，对于样本数据根...

使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码如下：

最近在学习数据挖掘，其实决策树分类看过去好久了，但是最近慢慢的想都实现一下，加深一下理解。 知道决策树有很多现成的算法（ID3，C4.5、CART），但是毕竟核心思想就是那几点，所以本篇博客就是我随便实现的，没有参考现有的决策...

当数据集的数值属性具有非常大的比例差异，往往导致机器学习的算法表现不佳，当然也有极少数特例。在实际应用中，通过梯度下降法求解的模型通常需要归一化，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策...

ICDM（国际数据挖掘大会）2006 年从 18 种提名的数据挖掘算法中投票选出了十大算法。这 18 中提名数据挖掘算法分属 10 大数据挖掘主题，蓝色部分即为最终选出的十大算法：...

决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。...