1 误差平方和(SSE The sum of squares due to error)：¶

举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)

在k-means中的应用:

公式各部分内容:

上图中: k=2

• SSE图最终的结果,对图松散度的衡量.(eg: SSE(左图)<SSE(右图))

• SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定:

• 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.

2 “肘”方法 (Elbow method) — K值确定¶

（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；

（2）平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。

（3）在这个平方和变化过程中，会出现一个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。

在决定什么时候停止训练时，肘形判据同样有效，数据通常有更多的噪音，在**增加分类无法带来更多回报时，我们停止增加类别**。

3 轮廓系数法（Silhouette Coefficient）¶

结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果：

目的：

​ 内部距离最小化，外部距离最大化

计算样本i到同簇其他样本的平均距离ai，ai 越小样本i的簇内不相似度越小，说明样本i越应该被聚类到该簇。

计算样本i到最近簇Cj 的所有样本的平均距离bij，称样本i与最近簇Cj 的不相似度，定义为样本i的簇间不相似度：bi =min{bi1, bi2, ..., bik}，bi越大，说明样本i越不属于其他簇。

求出所有样本的轮廓系数后再求平均值就得到了**平均轮廓系数**。

平均轮廓系数的取值范围为[-1,1]，系数越大，聚类效果越好。

簇内样本的距离越近，簇间样本距离越远

案例：

下图是500个样本含有2个feature的数据分布情况，我们对它进行SC系数效果衡量：

n_clusters = 2 The average silhouette_score is : 0.7049787496083262

n_clusters = 3 The average silhouette_score is : 0.5882004012129721

n_clusters = 4 The average silhouette_score is : 0.6505186632729437

n_clusters = 5 The average silhouette_score is : 0.56376469026194

n_clusters = 6 The average silhouette_score is : 0.4504666294372765

n_clusters 分别为 2，3，4，5，6时，SC系数如下，是介于[-1,1]之间的度量指标：

每次聚类后，每个样本都会得到一个轮廓系数，当它为1时，说明这个点与周围簇距离较远，结果非常好，当它为0，说明这个点可能处在两个簇的边界上，当值为负时，暗含该点可能被误分了。

离差、偏差、残差、误差

关于离差（与平均值的差值）

AVERAGE

AVERAGE（期望、平均值）

AVEDEV

AVEDEV（平均差）：Average Deviation、Mean Deviation

平均差是各个数据与平均数之差的绝对值的和的平均数。

SST、VAR、STD

SST（离差平方和）

VAR（方差）：Variance

STD（标准差）：Standard Deviation

方差是各个数据与平均数之差的平方的和的平均数。

关于残差（与观测值的差值）

SSE、MSE、RMSE

SSE（残差平方和、和方差、误差平方和）：Sum of Squares due to Error

MSE(均方差、均方误差)：Mean Squared Error

RMSE(均方根误差、标准误差)：Root Mean Squared Error

SSE、SSR、SST、R_square

SSE（残差平方和、和方差、误差平方和）：Sum of Squares due to Error

SSR(回归平方和)：Sum of Squares of the Regression

SST(总离差平方和)：Total Sum of Squares

R-square(决定系数)：Coefficient of Determination

R、R_squre、Adjusted R_square

R(相关系数)：

R_square(决定系数)：Coefficient of Determination

Adjusted R_square(校正决定系数)：Degree-of-freedomadjusted coefficient of determination

【求助】为什么要用Adjusted R square做修正？

（机器学习）如何评价回归模型？——Adjusted R-Square（校正决定系数）

【统计学习3】线性回归：R方（R-squared）及调整R方（Adjusted R-Square）

R-squared 和 Adjusted R-squared 的区别

统计学中的R-square是什么？怎么计算？

R-squared与Adjust R-squared