轮廓系数如何计算（图像来源于百度）


a(i) ：i向量到同一簇内其他点不相似程度的平均值

b(i) ：i向量到其他簇的平均不相似程度的最小值
通过图可以知道轮廓系数的如何计算

可以用轮廓系数确定样本在聚类结果中的内聚度和分离度

定义

轮廓系数(silhouette coefficient) 结合了凝聚度和分离度，其计算步骤如下：

对于第 i 个对象，计算它到所属簇中所有其他对象的平均距离，记 ai （体现凝聚度）

对于第 i 个对象和不包含该对象的任意簇，计算该对象到给定簇中所有对象的平均距离，记 bi （体现分离度）

第 i 个对象的轮廓系数为 si = (bi-ai)/max(ai, bi)  //回头研究一下 wordpress 的公式插件去

从上面可以看出，轮廓系数取值为[-1, 1]，其值越大越好，且当值为负时，表明 ai<bi，样本被分配到错误的簇中，聚类结果不可接受。对于接近0的结果，则表明聚类结果有重叠的情况。

scikit-learn 中的轮廓系数

对应 scikit-learn 方法是 sklearn.metrics.silhouette_score。该方法是计算所有样本的平均值，另一个方法 silhouette_samples 会返回所有样本的轮廓系数。在文档中提到，轮廓系数需要聚类数大于2，小于(样本数-1)。方法包括几个参数，最终返回一个
 float 的轮廓系数，通常是在全部样本上的。

X：二维样本，通常为[n_samples, n_features]，当 metric 设置为”precomputed”时，应为[n_samples, n_samples]方阵

labels：一维矩阵，每个样本所属簇的 label

metric：预计算”precomputed”，或者为一个可调用的函数计算两个实例之间的距离。如果为 string，则必须是metrics.pairwise.pairwise_distances 中
 metric 可选的（‘cityblock’, ‘cosine’, ‘euclidean’, ‘l1’, ‘l2’, ‘manhattan’ 或‘braycurtis’, ‘canberra’, ‘chebyshev’, ‘correlation’, ‘dice’, ‘hamming’, ‘jaccard’, ‘kulsinski’, ‘mahalanobis’, ‘matching’, ‘minkowski’, ‘rogerstanimoto’, ‘russellrao’, ‘seuclidean’, ‘sokalmichener’,
 ‘sokalsneath’, ‘sqeuclidean’, ‘yule’）——好多啊。

sample_size：随机取样一部分计算平均值，int 类型

random_state：当sample_size 为非空时用来生成随机采样。给定一个种子，或者使用 numpy.RandomState


**kwds：其他可选的 key-value 参数
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

#分割出6个子图，并在1号做图
plt.subplot(3,2,1)
#初始化原始数字点
x1 = np.array([1,2,3,1,5,6,5,5,6,7,8,9,7,9])
x2 = np.array([1,3,2,2,8,6,7,6,7,1,2,1,1,3])
#X = np.array([x1,x2])
X = np.array(list(zip(x1,x2))).reshape(len(x1), 2)

#在1号子图做出原始数据点阵的分布
plt.xlim([0, 10])
plt.ylim([0, 10])
plt.title('Instance')
plt.scatter(x1,x2)

colors = ['b','g','r','c','m','y','k','b']          #点的颜色
markers = ['o','s','D','v','^','p','*','+']         #点的标号

clusters = [2,3,4,5,8]                                  #簇的个数
subplot_counter = 1
sc_scores = []
for t in clusters:
    subplot_counter += 1
    plt.subplot(3,2,subplot_counter)
    kmeans_model = KMeans(n_clusters=t).fit(X)          #训练模型
    for i,l in enumerate(kmeans_model.labels_):
        plt.plot(x1[i], x2[i], color = colors[l], marker = markers[l], ls = 'None')
    plt.xlim([0,10])
    plt.ylim([0,10])
    sc_score = silhouette_score(X, kmeans_model.labels_, metric='euclidean')
    sc_scores.append(sc_score)
    plt.title('K=%s, silhouette coefficient=%0.03f'%(t,sc_score))
plt.figure()
plt.plot(clusters, sc_scores, '*-')
plt.xlabel('Number of Clusters')
plt.ylabel('Silhouette Coefficient Score')
plt.show()

前言javascript
kmeans是最简单的聚类算法之一，可是运用十分普遍。最近在工做中也常常遇到这个算法。kmeans通常在数据分析前期使用，选取适当的k，将数据分类后，而后分类研究不一样聚类下数据的特色。html
本文记录学习kmeans算法相关的内容，包括算法原理，收敛性，效果评估聚，最后带上R语言的例子，做为备忘。java
算法原理算法
kmeans的计算方法以下：shell
1 随机选取k个中心点app
2 遍历全部数据，将每一个数据划分到最近的中心点中机器学习
3 计算每一个聚类的平均值，并做为新的中心点ide
4 重复2-3，直到这k个中线点再也不变化(收敛了)，或执行了足够多的迭代函数
时间复杂度：O(I*n*k*m)post
空间复杂度：O(n*m)
其中m为每一个元素字段个数，n为数据量，I为跌打个数。通常I,k,m都可认为是常量，因此时间和空间复杂度能够简化为O(n)，即线性的。
算法收敛
从kmeans的算法能够发现，SSE实际上是一个严格的坐标降低(Coordinate Decendet)过程。设目标函数SSE以下：
SSE(,,…,) = 
采用欧式距离做为变量之间的聚类函数。每次朝一个变量的方向找到最优解，也就是求偏倒数，而后等于0，可得 
c_i= 其中m是c_i所在的簇的元素的个数 
也就是当前聚类的均值就是当前方向的最优解(最小值)，这与kmeans的每一次迭代过程同样。因此，这样保证SSE每一次迭代时，都会减少，最终使SSE收敛。
因为SSE是一个非凸函数(non-convex function)，因此SSE不能保证找到全局最优解，只能确保局部最优解。可是能够重复执行几回kmeans，选取SSE最小的一次做为最终的聚类结果。
0-1规格化
因为数据之间量纲的不相同，不方便比较。举个例子，好比游戏用户的在线时长和活跃天数，前者单位是秒，数值通常都是几千，然后者单位是天，数值通常在个位或十位，若是用这两个变量来表征用户的活跃状况，显然活跃天数的做用基本上能够忽略。因此，须要将数据统一放到0~1的范围，将其转化为无量纲的纯数值，便于不一样单位或量级的指标可以进行比较和加权。具体计算方法以下：
其中属于A。 
轮廓系数
轮廓系数(Silhouette Coefficient)结合了聚类的凝聚度(Cohesion)和分离度(Separation)，用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。具体计算方法以下：
对于第i个元素x_i，计算x_i与其同一个簇内的全部其余元素距离的平均值，记做a_i，用于量化簇内的凝聚度。
选取x_i外的一个簇b，计算x_i与b中全部点的平均距离，遍历全部其余簇，找到最近的这个平均距离,记做b_i，用于量化簇之间分离度。
对于元素x_i，轮廓系数s_i = (b_i – a_i)/max(a_i,b_i)
计算全部x的轮廓系数，求出平均值即为当前聚类的总体轮廓系数
从上面的公式，不难发现若s_i小于0，说明x_i与其簇内元素的平均距离小于最近的其余簇，表示聚类效果很差。若是a_i趋于0，或者b_i足够大，那么s_i趋近与1，说明聚类效果比较好。
K值选取
在实际应用中，因为Kmean通常做为数据预处理，或者用于辅助分类贴标签。因此k通常不会设置很大。能够经过枚举，令k从2到一个固定值如10，在每一个k值上重复运行数次kmeans(避免局部最优解)，并计算当前k的平均轮廓系数，最后选取轮廓系数最大的值对应的k做为最终的集群数目。
实际应用
下面经过例子(R实现，完整代码见附件)讲解kmeans使用方法，会将上面提到的内容所有串起来
加载实验数据iris，这个数据在机器学习领域使用比较频繁，主要是经过画的几个部分的大小，对花的品种分类，实验中须要使用fpc库估计轮廓系数，若是没有能够经过install.packages安装。
对iris的4个feature作数据正规化，每一个feature均是花的某个不为的尺寸。
评估k，因为通常K不会太大，太大了也不易于理解，因此遍历K为2到8。因为kmeans具备必定随机性，并非每次都收敛到全局最小，因此针对每个k值，重复执行30次，取并计算轮廓系数，最终取平均做为最终评价标准，能够看到以下的示意图，
当k取2时，有最大的轮廓系数，虽然实际上有3个种类。
聚类完成后，有源原始数据是4纬，没法可视化，因此经过多维定标(Multidimensional scaling)将纬度将至2为，查看聚类效果，以下
能够发现原始分类中和聚类中左边那一簇的效果仍是拟合的很好的，右测原始数据就连在一块儿，kmeans没法很好的区分，须要寻求其余方法。
kmeans最佳实践
1. 随机选取训练数据中的k个点做为起始点
2. 当k值选定后，随机计算n次，取获得最小开销函数值的k做为最终聚类结果，避免随机引发的局部最优解
3. 手肘法选取k值：绘制出k--开销函数闪点图，看到有明显拐点(以下)的地方，设为k值，能够结合轮廓系数。
4. k值有时候须要根据应用场景选取，而不能彻底的依据评估参数选取。
参考

含义

轮廓系数（Silhouette Coefficient），是聚类效果好坏的一种评价方式。     

轮廓系数的值是介于 [-1,1] ，越趋近于1代表内聚度和分离度都相对较优。

计算步骤

1）对于簇中的每个向量，分别计算它们的轮廓系数。

      对于其中的一个点 i 来说：

      计算 簇内不相似度a(i) ：i向量到同簇内其他点不相似程度的平均值，体现凝聚度

      计算 簇间不相似度b(i) ：i向量到其他簇的平均不相似程度的最小值，体现分离度

      那么第i个对象的轮廓系数就为：



      si接近1，则说明样本i聚类合理；si接近-1，则说明样本i更应该分类到另外的簇；若si 近似为0，则说明样本i在两个簇的边界上。

2）将所有点的轮廓系数求平均，就是该聚类结果总的轮廓系数。

python实现

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn import metrics

#假如我要构造一个聚类数为10的聚类器
estimator = KMeans(n_clusters=10, random_state=777)#构造聚类器,设定随机种子
estimator.fit(kmeans_data_tf)#聚类

r1 = pd.Series(estimator.labels_).value_counts()  #统计各个类别的数目
r2 = pd.DataFrame(estimator.cluster_centers_)     #找出聚类中心
r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns = list(kmeans_data_tf.columns) + [u'类别数目'] #重命名表头
print(r)
print("轮廓系数：", metrics.silhouette_score(kmeans_data_tf, estimator.labels_, metric='euclidean'))