层次聚类Hierarchical Clustering解析

2021-03-24 17:16:25 浏览数 (2)

欢迎关注”生信修炼手册”!

层次聚类顾名思义,是按照层次来进行聚类,其中不同的层次构成了树状结构的不同层级,叶子节点则对应真实的样本点,示意如下

对于这颗聚类树而言,其构建方式可以分为以下两种

1. 自下而上,由叶子节点开始,将相似样本划分为不同的子cluster,然后对cluster也按照相似度组成更大的cluster, 直到根节点为止,该方法也叫做凝聚法Agglomerative

2. 自上而下,从根节点开始,将一组样本不断拆分成不同的子cluster,直到叶子节点为止,该方法也叫做分裂法Divisive

目前,应用最广泛的是凝聚法,该方法的核心步骤是以下两种距离的计算

1. 样本间距离

距离的衡量可以有多种方式,比如最常用的欧氏距离,对于凝聚法而言,首先计算样本间的距离矩阵,然后根据距离近的样本聚集在一起。

2. cluster间距离

对于样本而言,其多个特征可以看做不同维度的数值,直接套用距离公式计算即可得到两个样本间的距离;对于cluster而言,每个cluster下面包含了多个样本,此时就需要采取特定的距离定量策略,常用的策略有以下3种

1. single linkage, 将两组数据中距离最近的两个样本点的距离作为cluster之间的距离

2. complete linkage,将两组数据中距离最远的两个样本点的距离作为cluster之间的距离

3. average linkage,将两组数据中的样本两两求解距离,最后计算均值,作为两个cluster之间的距离

从定义可以看出,以上三种方法分别考虑了最小,最大和平均值,其中最小,最大都容易受到异常值点的干扰,而均值则计算量较大。

下面通过一个例子来看下凝聚法的运算过程,首先有5个样本的数据,第一步计算距离矩阵,结果如下

可以看到,距离矩阵中最小值为3,为样本1与样本2之间的距离,所以可以先将1和2聚为一类,图示如下

然后将(1,2)这个cluster与其他样本计算距离矩阵,结果如下

最小值为7,是样本3和样本5的距离,所以将3和5聚为一类,接下来就是计算(1,2), (3,5), 4这3组样本的距离,同样是距离最近的聚为一类。各个层级的聚类过程示意如下

最终可以绘制如下所示的聚类树

在scikit-learn中,使用层次聚类的代码如下

代码语言:javascript复制
>>> from sklearn.cluster import AgglomerativeClustering
>>> import numpy as np
>>> X = np.array([[1, 2], [1, 4], [1, 0],[4, 2], [4, 4], [4, 0]])
>>> clustering = AgglomerativeClustering().fit(X)
>>> clustering
AgglomerativeClustering()
>>> clustering.labels_
array([1, 1, 1, 0, 0, 0], dtype=int32)

labels_属性表示样本对应的cluster。和k-means聚类一样,层次聚类的原理也比较简单,但是更加适用于类别较多,数据量较大的样本。

0 人点赞