分层聚类简介

分层聚类是另一种无监督学习算法，用于将具有相似特征的未标记数据点组合在一起。分层聚类算法分为以下两类：

凝聚分层算法-在凝聚分层算法中，每个数据点被视为单个集群，然后连续地合并或聚集(自下而上的方法)成对的集群。簇的层次结构表示为树状图或树结构。

分裂分层算法-另一方面，在分裂层次算法中，所有数据点都被视为一个大集群，集群过程涉及将一个大集群划分为(自上而下)方法到各个小集群中。

步骤执行凝聚层次聚类

我们将解释最常用和最重要的层次聚类，即凝聚性。执行相同的步骤如下

步骤2-现在，在这一步中，我们需要通过连接两个壁橱数据点来形成一个大型集群。这将导致总共K-1个星团。

步骤3-现在，为了形成更多的集群，我们需要加入两个壁橱集群。这将导致总共K-2个群集。

步骤4-现在，为了形成一个大的集群，重复上述三个步骤，直到K变为0，即没有更多的数据点可以加入。

步骤5-最后，在制作一个大的聚类之后，根据问题，将使用树状图分成多个聚类。

树状图在聚合分层聚类中的作用

正如我们在上一步中讨论的那样，树形图的作用一旦形成大簇就开始了。树形图将用于根据我们的问题将聚类分成多个相关数据点集群。可以通过以下示例-来理解;

示例1

要理解，让我们开始导入所需的库，如下所示;%matplotlib inline

import matplotlib.pyplot as plt

import numpy as np

接下来，我们将绘制我们为此示例所采用的数据点-X= np.array(

[[7,8],[12,20],[17,19],[26,15],[32,37],[87,75],[73,85], [62,80],[73,60],[87,96],])

labels= range(1, 11)

plt.figure(figsize= (10, 7))

plt.subplots_adjust(bottom= 0.1)

plt.scatter(X[:,0],X[:,1], label= 'True Position')

for label, x, y in zip(labels, X[:, 0], X[:, 1]):

plt.annotate(

label,xy= (x, y), xytext= (-3, 3),textcoords= 'offset points', ha= 'right', va= 'bottom')

plt.show()

从上图中，它非常简单要看到我们在数据点中有两个聚类，但在现实世界数据中，可能有数千个聚类。接下来，我们将使用Scipy库-绘制数据点的树形图;from scipy.cluster.hierarchy import dendrogram, linkage

from matplotlib import pyplot as plt

linked= linkage(X, 'single')

labelList= range(1, 11)

plt.figure(figsize= (10, 7))

dendrogram(linked, orientation= 'top',labels= labelList,

distance_sort='descending',show_leaf_counts= True)

plt.show()

现在，一旦形成大簇，选择最长的垂直距离。然后绘制一条垂直线，如下图所示。如水平线在两点交叉蓝线，簇的数量为2。

接下来，我们需要导入类聚类并调用其fit_predict方法来预测集群。我们正在导入AgglomerativeClustering类的sklearn.cluster库-from sklearn.cluster import AgglomerativeClustering

cluster= AgglomerativeClustering(n_clusters= 2, affinity= 'euclidean', linkage= 'ward')

cluster.fit_predict(X)

接下来，在下面的代码-帮助下绘制集群;plt.scatter(X[:,0],X[:,1], c= cluster.labels_, cmap= 'rainbow')

上图显示了我们数据点中的两个聚类。

示例2

我们理解从上面讨论的简单例子中的树状图的概念，让我们转到另一个例子，我们通过使用层次聚类在Pima印度糖尿病数据集中创建数据点的集群。import matplotlib.pyplot as plt

import pandas as pd

%matplotlib inline

import numpy as np

from pandas import read_csv

path= r"C:pima-indians-diabetes.csv"

headernames= ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']

data= read_csv(path, names= headernames)

array= data.values

X= array[:,0:8]

Y= array[:,8]

data.shape

(768, 9)

data.head()

PregPlasPres皮肤测试质谱的Pedi年龄类

061487235033.60.627501

11856629026.60.351310

28183640023.30.672321

318966239428.10.167210

40137403516843.12.288331patient_data= data.iloc[:, 3:5].values

import scipy.cluster.hierarchy as shc

plt.figure(figsize= (10, 7))

plt.title("Patient Dendograms")

dend= shc.dendrogram(shc.linkage(data, method= 'ward'))

from sklearn.cluster import AgglomerativeClustering

cluster= AgglomerativeClustering(n_clusters= 4, affinity= 'euclidean', linkage= 'ward')

cluster.fit_predict(patient_data)

plt.figure(figsize= (10, 7))

plt.scatter(patient_data[:,0], patient_data[:,1], c= cluster.labels_, cmap= 'rainbow')

目录

1、分层聚类算法

2、方法

3、分析步骤

4、案例

1、分层聚类算法

层次聚类算法又称为树聚类算法，它根据数据之间的距离，透过一种层次架构方式，反复将数据

进行聚合，创建一个层次以分解给定的数据集。

2、方法

01 聚类方法

linkage=scipy.cluster.hierarchy.linkage(data,method='single')

data  训练样本

method 类距离的计算公式：

1、single l两个类之间最短距离的点的距离

2、complete 两个类之间最长距离的点的距离

3、centroid 两个所有点的中点的距离

02 层次聚类绘图

scipy.cluster.hierarchy.dendrogram(linkage)

linkage    层次聚类的结果

03 层次聚类分类方法

scipy.cluster.hierarchy.fcluster(linkage,n,criterion='maxclust')

linkage   层次聚类的结果

n         要聚类的个数

criterion 划分方法，使用maxclust，最大划分法

3、分析步骤

01 计算每两个点距离的平方

计算公式：也就是两个点距离的平方。

02 找出他们之间的最近距离进行合并

两点的均值作为新值，归为一类

03 重新计算新生成的这个类与各个旧类之间的相似度

04 重复胡2和3的步骤

4、案例

import pandas as pd

import matplotlib.pyplot as plt

data=pd.read_csv('D:\\DATA\\pycase\\7.1\\data.csv')

# 提取关键特征 data.columns

fColumns=[ '工作日上班时电话时长', '工作日下半时电话时长', '周末电话时长', '国际电话时长', '总电话时长',

'平均每次通话时长']

# 导入距离计算公式，并且进行训练数据

import scipy.cluster.hierarchy as hcluster

linkage=hcluster.linkage(

data[fColumns],

method='centroid')

# 查看层次聚类的结果

hcluster.dendrogram(linkage)

# 仅仅查看其中一部分的数据,这里查看12个数据

hcluster.dendrogram(

linkage,

truncate_mode='lastp',

p=12,

leaf_font_size=12.

)

# 进行层次聚类

pTarget=hcluster.fcluster(

linkage,3,

criterion='maxclust')

# 对样本量进行统计交叉

pd.crosstab(pTarget,pTarget)

# 通过PCA对数据进行降维

from sklearn.decomposition import PCA

pca_2=PCA(n_components=2)

data_pca=pca_2.fit_transform(data[fColumns])

# 转化为数据框

data_pca_2=pd.DataFrame(data_pca)

# 绘图

plt.scatter(

data_pca_2[0],

data_pca_2[1],

c=pTarget)

# 绘制每个数据特征的影响和表现

# 3 定义空的数据框

dMean=pd.DataFrame(columns=fColumns+['分类'])

data_gb=data[fColumns].groupby(pTarget)

i=0;

for g in data_gb.groups:

rMean=data_gb.get_group(g).mean()

rMean['分类']=g

dMean=dMean.append(rMean,ignore_index=True)

subData=data_gb.get_group(g)

for column in fColumns:

i=i+1

p=plt.subplot(3,5,i)

p.set_title(column)

p.set_ylabel(str(g)+"分类")

plt.hist(subData[column],bins=20)

# 绘制折线图data.columns

pTarget=pTarget-1 # 下面绘图从0开始绘制

r=data[['工作日上班时电话时长', '工作日下半时电话时长', '周末电话时长', '国际电话时长']]

r.index=data.客户编号

r['聚类类别']=pTarget

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

#有中文出现的情况，需要u'内容'

style=['ro-','go-','bo-']

fColumns2=[ '工作日上班时电话时长', '工作日下半时电话时长', '周末电话时长', '国际电话时长']

xlabels=fColumns2

# # %matplotlib qt 弹窗

k=3

for i in range(k): #注意作图、做出不同样式

plt.figure()

tmp=r[r[u'聚类类别']==i].iloc[:,:4] # 提取每一类

for j in range(len(tmp)):

plt.plot(range(1,5),tmp.iloc[j],style[i])

plt.xticks(range(1,5),xlabels,rotation=20) #坐标标签

plt.subplots_adjust(bottom=0.15) # 调整底部

plt.savefig(u'%s%s,png'%('D:\\DATA\\pycase\\7.1\\scipy',i)) #保存图片