聚类分析的一般步骤：
1.选择合适的变量
2.缩放数据
3.寻找异常点
4.计算距离
5.选择聚类算法
6.获得一种或多种聚类方法
7.确定聚类数目
8.获得最终的聚类解决方案
9.结果可视化
10.解读类
11.验证结果
下面正式开始层次聚类的讲解：
在层次聚类中，起初每一个实例或观测值属于一类，聚类就是每一次把两类聚成新的一类，直到所有的类聚成单个类为止。
(1)定义每个观测值(行或单元)为一类
(2)计算每类和其他各类的距离
(3)把距离最短的两类和并成一类，这样的类的个数就减少一个：
(4)重复步骤(2)(3)
在层次聚类分析中，主要的区别是它们对类的定义不同，下面给出五种常见的聚类方法的定义和其中两类之间距离的定义。
单联动(single)最短距离法：一个类中的点和另一个类中的点的最小距离
全联动(complete)：一个类中的点和另一个类中的点的最大距离
​
平均联动(average)：​一个类中的点和另一个类中的点的平均距离
质心(centroid)：两类中质心(变量均值向量)之间的距离，对单个观测值来说质心就是变量的值
ward法：两个类之间所有变量的方差分析的平方和
​层次分析法用函数hclust()函数来实现，格式是：hclust(d，method="")
d:是dist()函数计算出的距离矩阵
method：方法："single"
"complete"​
"average"  "centroid"
"ward"
平均联动聚类：
代码：
data(nutrient,package = "flexclust")
>
row.names(nutrient)
>
nutrient.scale
> d
> fit.average
"average")
> plot(fit.average,hang = -1,cex=.8)
如果最终目标是分配到的类较少，我们需要分析聚类的个数
NbClust()函数可以计算适当类的数目
代码：
library(NbClust)
devAskNewPage(ask = TRUE)
nc
"euclidean",min.nc = 2,max.nc = 15,method = "average")
table(nc$Best.nc[1,])​
0  1
2  3  4
5  9 10 13 14
15
2  1
4  4  2
4  1  1
2  1
4
barplot(table(nc$Best.nc[1,]))
​
可以看出类的数目为：2，3，5，15最佳
获得最终的聚类方案：
代码：​
barplot(nc$Best.nc)
>
clusters
> table(clusters)
clusters
1
2  3  4
5
7 16
1  2
1
>
aggregate(nutrient,by=list(clusters),median)
Group.1 energy protein fat calcium
iron
1
1  340.0
19
29
9 2.50
2
2  170.0
20
8
13 1.45
3
3  160.0
26
5
14 5.90
4
4   57.5
9
1
78 5.70
5
5  180.0
22
9     367
2.50
>
aggregate(as.data.frame(nutrient.sacle),by=list(cluster=clusters),median)
cluster
energy
protein
fat
calcium
iron
1
1  1.3101024
0.0000000  1.3785620 -0.4480464
0.08110456
2
2 -0.3696099
0.2352002 -0.4869384 -0.3967868
-0.63743114
3
3 -0.4684165
1.6464016 -0.7534384 -0.3839719
2.40779157
4
4 -1.4811842 -2.3520023
-1.1087718  0.4361807
2.27092763
5
5 -0.2708033
0.7056007 -0.3981050  4.1396825
0.08110456
> plot(fit.average,hang = -1,cex=.8)
>
rect.hclust(fit.average,k=5)
​
​
​
​
​
​
​
​​

	

- 点击上方“中国统计网”订阅我吧！-
聚类分析(cluster analysis)是常见的数据挖掘手段，其主要假设是数据间存在相似性。而相似性是有价值的，因此可以被用于探索数据中的特性以产生价值。常见应用包括：
用户分割：将用户划分到不同的组别中，并根据簇的特性而推送不同的广告欺诈检测：发现正常与异常的用户数据，识别其中的欺诈行为
如上图，数据可以被分到红蓝绿三个不同的簇(cluster)中，每个簇应有其特有的性质。显然，聚类分析是一种无监督学习，是在缺乏标签的前提下的一种分类模型。当我们对数据进行聚类后并得到簇后，一般会单独对每个簇进行深入分析，从而得到更加细致的结果。
常见的聚类方法有不少，比如K均值(K-Means)，谱聚类(Spectral Clustering)，层次聚类(Hierarchical Clustering)，大部分机器学习参考书上都有介绍，此处不再赘述。今天主要探讨实际聚类分析时的一些技巧。
01 如何选择适合的聚类算法
聚类算法的运算开销往往很高，所以最重要的选择标准往往是数据量。
但数据量上升到一定程度时，如大于10万条数据，那么大部分聚类算法都不能使用。最近读到的一篇对比不同算法性能随数据量的变化[1]很有意思。在作者的数据集上，当数据量超过一定程度时仅K均值和HDBSCAN可用。
我的经验也是，当数据量超过5万条数据以后，K均值可能是比较实际的算法。但值得注意的是，K均值的效果往往不是非常好，我曾在如何正确使用「K均值聚类」？中对K均值进行过总结：
因此不难看出，K均值算法最大的优点就是运行速度快，能够处理的数据量大，且易于理解。但缺点也很明显，就是算法性能有限，在高维上可能不是最佳选项。
一个比较粗浅的结论是，在数据量不大时，可以优先尝试其他算法。当数据量过大时，可以试试HDBSCAN。仅当数据量巨大，且无法降维或者降低数量时，再尝试使用K均值。
一个显著的问题信号是，如果多次运行K均值的结果都有很大差异，那么有很高的概率K均值不适合当前数据，要对结果谨慎的分析。
另一种替代方法是对原始数据进行多次随机采样得到多个小样本，并在小样本上聚类，并融合结果。比如原始数据是100万，那么从中随机采样出100个数据量等于1万的样本，并在100个小数据集上用更为复杂的算法进行聚类，并最终融合结果。
此处需要注意几点问题：
随机采样的样本大小很重要，也不能过小。需要足够有代表性，即小样本依然可以代表总体的数据分布。如果最终需要划分很多个簇，那么要非常小心，因为小样本可能无法体现体量很小的簇。
在融合过程中要关注样本上的聚类结果是否稳定，随机性是否过大。要特别注意不同样本上的簇标号是否统一，如何证明不同样本上的簇结果是一致的。
因此我的经验是，当数据量非常大时，可以优先试试K均值聚类，得到初步的结果。如果效果不好，再通过随机采样的方法构建更多小样本，手动融合模型提升聚类结果，进一步优化模型。
02 聚类分析时需要使用什么变量？
这个是一个非常难回答的问题，而且充满了迷惑性，不少人都做错了。举个简单的例子，我们现在有很多客户的商品购买信息，以及他们的个人信息，是否该用购买信息+个人信息来进行聚类呢？
未必，我们需要首先回答最重要的一个问题：我们要解决什么问题？
如果我们用个人信息，如性别、年龄进行聚类，那么结果会被这些变量所影响，而变成了对性别和年龄的聚类。所以我们应该先问自己，“客户购物习惯”更重要还是“客户的个人信息”更重要？
如果我们最在意的是客户怎么花钱，以及购物特征，那就应该完全排除客户的个人信息(如年龄性别家庭住址)，仅使用购买相关的数据进行聚类。这样的聚类结果才是完全由购买情况所驱动的，而不会受到用户个人信息的影响。
那该如何更好的利用客户的个人信息呢？这个应该被用在聚类之后。当我们得到聚类结果后，可以对每个簇进行分析，分析簇中用户的个人情况，比如高净值客户的平均年龄、居住区域、开什么车。无关变量不应该作为输入，而应该得到聚类结果后作为分析变量。
一般情况下，我们先要问自己，这个项目在意的是什么？很多时候个人信息被错误的使用在了聚类当中，聚类结果完全由个人信息所决定(比如男性和女性被分到了两个簇中)，对于商业决策的意义就不大了。一般来说，应该由商业数据驱动，得到聚类结果后再对每个簇中的用户个人信息进行整合分析。
但值得注意的是，这个方法不是绝对的。在聚类中有时候也会适当引入个人信息，也可以通过调整不同变量的权重来调整每个变量的影响。
03 如何分析变量的重要性？
首先变量选择是主观的，完全依赖于建模者对于问题的理解，而且往往都是想到什么用什么。因为聚类是无监督学习，因此很难评估变量的重要性。介绍两种思考方法：
考虑变量的内在变化度与变量间的关联性：一个变量本身方差很小，那么不易对聚类起到很大的影响。如果变量间的相关性很高，那么高相关性间的变量应该被合并处理。直接采用算法来对变量重要性进行排序：比如 Principal Feature Analysis [2]，网上有现成的代码 [3]。
另一个鸡生蛋蛋生鸡的问题是，如果我用算法找到了重要特征，那么仅用重要特征建模可以吗？这个依然不好说，我觉得最需要去除的是高相关性的变量，因为很多聚类算法无法识别高相关性，会重复计算高相关性特征，并夸大了其影响，比如K均值。
4 证明聚类的结果有意义？如何决定簇的数量？
聚类分析是无监督学习，因此没有具体的标准来证明结果是对的或者错的。一般的判断方法无外乎三种：
人为验证聚类结果符合商业逻辑。比如我们对彩票客户进行聚类，最终得到4个簇，其中分为：
“高购买力忠实客户”：花了很多钱的忠实客户，他们可能常年购买且花费不菲
“普通忠实客户”：常年购买，但每次的购买额度都不大
“刺激性消费单次购买者”：只购买了几次，但是一掷千金
“谨慎的单次购买者”：只购买了几次，每次买的都很谨慎
我们可以用通过商业逻辑来解释聚类结果，结果应该大致符合行业专家的看法。最终你的聚类结果需要回归到现实的商业逻辑上去，这样才有意义。
预先设定一些评估标准，比如簇内的紧凑度和簇间的疏离度，或者定义好的函数如Silhouette Coefficient。一般来说设定一个好的评估标准并不容易，所以不能死板的单纯依赖评估函数。
通过可视化来证明不同簇之间的差异性。因为我们一般有超过两个变量，所以会需要先对数据进行压缩，比如很多流形学习的方法多维缩放(multi-dimensional scaling)。
以下图为例，我把数据分成了四个簇，并用T-SNE压缩到二维并绘制出来。从直观上看，不同簇间有了一定区别。类似的可视化也可以在变量间两两绘制，或者直接画pairplot。
所以如何定义一个好的聚类结果？我认为应该符合几个基本标准：
符合商业常识，大致方向上可以被领域专家所验证可视化后有一定的区别，而并非完全随机且交织在一起如果有预先设定的评估函数，评估结果较为优秀
因此决定簇的数量也应该遵循这个逻辑，适当的数量应该满足以上三点条件。如果某个簇的数量过大或者过小，那可以考虑分裂或者合并簇。
当然，聚类作为无监督学习，有很多模棱两可的地方。但应时时牢记的是，机器学习模型应服务商业决策，脱离问题空谈模型是没有意义的。
文章参考：
[1] Benchmarking Performance and Scaling of Python Clustering Algorithms
[2] Lu, Y., Cohen, I., Zhou, X.S. and Tian, Q., 2007, September. Feature selection using principal feature analysis. In Proceedings of the 15th ACM international conference on Multimedia (pp. 301-304). ACM.
[3] Methods in R or Python to perform feature selection in unsupervised learning
End.
来源：阿萨姆谈AI
公益课程戳 ? 武汉加油「特别计划·爱数据大咖讲师团公益直播」

	

一、层次聚类介绍
1.1 简介
层次聚类，主要是对给定的待聚类的数据集进行层次化分解。主要分为两大类：
1.从下到上的凝聚聚类
2.从上到下的分裂聚类
其他算法大部分是对样本之间距离度量或者类间凝聚/分裂依据进行改进。
1.2从下到上的凝聚算法
从下到上的凝聚算法能够让人们较为直观的观察到凝聚的树结构，也是层次聚类中比较常用的一个方法。
 主要过程如下图所示。
其中需要的步骤主要有三步：
1.选择变量
选择需要聚类的样本，就是需要聚类的数据集
2.计算样本之间的距离/相似度
关于样本距离的选择如果是空间变量，变量之间没有相互关系，一般选择欧式距离
如果样本之间存在物理上的关联，比如下一样本的产生与上一样本具有相同的物理原理，一般选择相似度。
将每个样本看成一个簇，计算每一类(样本)与其他类(样本)之间的相似度/距离，将样本距离按从小到大进行排序，按照从距离/相似度距离进行不断连接。
 
很明显黄点与紫色点聚为一类，然后可以得到6类，如下图所示，然后计算样本距离。
 
然后依据类间的聚合方式进行聚合，继续进行聚类。
 
然后聚为3类。最后合并为1类。
 
简单来说，就是不断计算簇中样本之间的相似度/距离，然后根据选择聚合依据进行不断聚类。
3.计算类间之间的聚合方式
类间距离合并的依据主要有6种：
1.‘single’：单连通，最短距离法
2.‘complete’：全连通，最长距离法
3.‘average’：未加权平均距离法；
4.‘centroid’：质心距离法
5.‘median’：加权质心距离法
6. ‘ward’：内平方距离
示意图如下所示：
引自：https://www.2cto.com/net/201806/755321.html
 
过程图：
 
二、matlab程序
matlab中提供clusterdata函数用来进行聚类，默认返回值为每个样本的类别
hidx=clusterdata(data,'maxclust',numClust,'distance',dist_h,'linkage',link);
data为数据集
numClust为你需要聚类的个数
‘distance’,表示样本之间的距离计算方式,
dist_h 可供选择的参数有：{euclidean’：欧氏距离(默认)；‘seuclidean’：标准化欧氏距离；‘mahalanobis’：马氏距离；‘cityblock’：布洛克距离；‘minkowski’：明可夫斯基距离；
‘cosine’：余弦距离 ‘correlation’：相关性 ‘hamming’：汉明距离 ‘jaccard’：Jaccard相似度}；
‘linkage’,参数为簇间合并的依据，
link 可供选择的参数有：{single’：单连通，最短距离法(默认)；‘complete’：全连通，最长距离法；‘average’：未加权平均距离法；‘weighted’：加权平均法；‘centroid’：质心距离法；‘median’：加权质心距离法；‘ward’：内平方距离’chebychev’：Chebychev距离}。
%% 读取数据
clc;clear all,close all
pre_data=xlsread('StockFinance.xlsx','Sheet1','E2:N4735');
%% 数据归一化
[rn,cn]=size(pre_data);
step1_data=zeros(rn,cn);
for k=1:cn
%基于均值方差的离群点数据归一化
xm=mean(pre_data(:,k));
xs=std(pre_data(:,k));
for j=1:rn
if (pre_data(j,k))>xm+2*xs
step1_data(j,k)=1;
elseif (pre_data(j,k))

层次聚类中，起初每一个实例或观测值属于一类，聚类就是每一次把两类聚成新的一类，直到所有的类聚成单个类为止，算法如下
a、定义每个观测值(行或单元)为一类
b、计算每类和其他各类的距离
c、把距离最短的两类合并成一类，这样类的个数就减少一个
d、重复步骤(b)和(c)。直到包含所有观测值的类合并成单个的类为止
在层次聚类中，主要的区别是它们对类的定义不同(步骤(b))，五种常见的聚类方法的定义和其中两类之间的距离定义
聚类方法
两类之间的距离定义
单联动
一个类中的点和另一个类中的点的最小距离
全联动
一个类中的点和另一个类中的点的最大距离
平均联动
一个类中的点与另一个类中的点的平均距离(也称作UPGMA，非加权对组平均)
质心
两类中质心(变量均值向量)之间的距离。对单个的观测值来说，质心就是变量的值
Ward法
两个类之间所有变量的方差分析的平方和
单联动聚类方法：倾向于发现细长的、雪茄型的类，它也通常展示一种链式的现象，即不相似的观测值分到一类中，因为它们和它们的中间值很相像
全联动聚类方法：倾向与发现大致相等的直径紧凑类，对异常值很敏感
平均联动：提供了以上两种方法的折中，相对来说，它不像链式，而且对异常值没有那么敏感，倾向与把方差小的类聚合
Ward法：倾向与把少量观测值的类聚合到一起，并且倾向与产生与观测值个数大致相等的类，它对异常值也是敏感的
质心法：一种很受欢迎的方法，因为其中类距离的定义比较简单，易于理解，相比其他方法，它对异常值不是很敏感，但是它可能不如平均联动法或Ward方法表现的很好
hclust()
层次聚类的方法可用 hclust()函数来实现，格式是
hclust(d ,method=)
d：是通过 dist()函数产生的矩阵
method：方法有“single”单联动，“complete”全联动，“average”平均联动，“centroid”质心，“ward ”Ward法
平均联动聚类
例
查看flexclust包中的营养数据集
> data(nutrient,package = "flexclust")                #导入数据
> row.names(nutrient) 
> nutrient.scaled 
> d 
> fit.average 
> plot(fit.average,hang=-1, cex=0.8 ,main = "Average Linkage Clustering") #hang = -1 设置标签的位置：将观测值的标签移动到水平轴下面(让它们挂在0下面)
a、高度刻度代表了该高度类之间合并的判定值，对于平均联动来说，标准是一类中的点和其他类中的点的距离平均值
b、图提供了27种了食物之间的相似性/异质性的层次分析视图，如tuna canned 和chicken canned相似，但是都和 clams canned有很大的不同
如果最终目标是这些食品分配到类(希望有意义的)较少，那么需要额外的分析选择聚类的适当个数