样本点中的关键度量指标：距离
- 定义：
- 常用距离：
- 欧氏距离，euclidean–通常意义下的距离；
- 马氏距离，manhattan–考虑到变量间的相关性，且与变量单位无关；
- 余弦距离，cosine–衡量变量相似性；
TF-IDF矩阵
- 一种用于资讯检索和勘察的一种加权技术，是一种统计方法，用于评估词语或字对文件集与语料库中的重要程度；
- TF-IDF:TF(词频)和IDF(倒文档频率)的乘积，其中TF表示某个关键词出现的频率，IDF为所有文档数目除以包含该词语的文档数目的对数值，|D|表示所有文档的数目，|wεd|表示包含词语w的文档数目；
聚类算法
层次聚类
- 对给定的对象集合进行层次分解，分为凝聚（自下而上）和分裂（自上而下）；
1、开始时每个样本各自作为一类； 2、规定某种度量作为样本间距及类与类之间的距离，并计算； 3、将距离最短的两个类聚为一个新类； 4、重复2-3，不断聚集最近的两个类，每次减少一个类，直到所有样本被聚为一类；
动态聚类：k-means
1、选择K个点作为初始质心； 2、将每个点指派到最近的质心，形成K个簇(聚类) 3、重新计算每个簇的质心； 4、重复2-3直至质心基本不变，此时算法达到稳定状态； 需要多次运行，然后比较各次运行结果，然后选取最优解，K值使用肘部法则进行确定；
K-means算法的优缺点
- 效率高，且不易受初始值选择的影响；
- 不能处理非球形的簇；
- 不能处理不同尺寸、密度的簇；
- 要先剔除离群值，因为它可能存在较大干扰；
基于密度的方法：DBSCAN
- 算法将具有足够高密度的区域划分为簇，并可以发现任何形状的聚类；
- r-邻域：给定点半径r内的区域；
- 核心点：若一个点的r-邻域至少包含最少数目M个点，则称该点为核心点；
- 直接密度可达：若p点在核心点q的r-邻域内，则p是从q出发可以直接密度可达；
- 若存在点链P1,P2,…,Pn,P1=q,Pn=P,Pi 1是从Pi关于r和M直接密度可达，则称点P是从q关于r和M密度可达的；
- 若样本集D中存在点o，使得p，q是从o关于r和M密度可达的，那么点p、q是关于r和M密度相连的；
- 算法基本思想： 1、指定合适的r和M； 2、计算所有样本点，若点p的r邻域中有超过M个点，则创建一个以p为核心点的新簇； 3、反复查找这些核心点直接密度可达(之后为密度可达)的点，将其加入到相应的簇，对于核心点发生“密度相连”状况的簇，进行合并； 4、当无新的点可以被添加到任何簇时，算法完成；
类相互之间的距离的计算方法
- 离差平方和法–ward 计算两个类别之间的离差平方和，找出最小的离差平方和，然后将这两个类别聚为一类；
- 类平均法–average 通过计算两个类别之间的所有点的相互距离，求其均值，然后作为这两个类之间距离均值，找出最小的距离均值，然后将这两个类聚为一类；
- 最大距离法–complete 让两个类之间相距最远的点作为两个类之间的距离，然后找出最大距离中最小的两个类，将他们聚为一类；
