非监督学习
给机器输入大量的特征数据,并期望机器通过学习找到数据中存在的共性特征或结构,亦或数据之间的关联。比如说,视频网站根据用户的观看行为进行分组,采取不同的推荐策略。 这类非监督学习问题并不像监督学习那般希望预测某一个输出结果。 非监督学习包含两大类学习方法,数据聚类和特征变量关系,输入数据没有标签信息。 聚类算法往往通过多次迭代寻找数据的最优分割,特征变量关联则是利用各种相关性分析方法寻找变量之间的关系。
K均值聚类
SVM,LR,DT的机器学习算法主要用于分类问题,根据已有分类的样本,训练分类器,然后对未知的样本进行分类。 聚类问题则不同,聚类是在事先不知道样本标签的情况下,通过数据之间的关系进行划分为若干类别。 分类问题属于监督学习,聚类则是非监督学习。K均值聚类则是最基础与最常用的聚类算法。其思想,通过迭代方式寻找K个簇的一种划分方案,使得聚类结果对应的代价函数最小,比如这里,代价函数可以定义为各个样本距离所属簇中心点的误差平方和:
其中
代表第i个样本,
是
所属于的簇,
代表簇对应的中心点,M是样本总数。
相关阅读:
机器学习day12线性判别分析
机器学习day11降维
机器学习day9-决策树