聚类分析是指将数据对象的集合分组为由类似的对象组成的多个类的分析过程。

基本概念

聚类（Clustering）就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作簇。处于相同簇中的数据实例彼此相同，处于不同簇中的实例彼此不同。

聚类技术通常又被称为无监督学习，与监督学习不同的是，在簇中那些表示数据类别的分类或者分组信息是没有的。

数据之间的相似性是通过定义一个距离或者相似性系数来判别的。图 1 显示了一个按照数据对象之间的距离进行聚类的示例，距离相近的数据对象被划分为一个簇。



图 1  聚类分析示意

聚类分析可以应用在数据预处理过程中，对于复杂结构的多维数据可以通过聚类分析的方法对数据进行聚集，使复杂结构数据标准化。

聚类分析还可以用来发现数据项之间的依赖关系，从而去除或合并有密切依赖关系的数据项。聚类分析也可以为某些数据挖掘方法（如关联规则、粗糙集方法），提供预处理功能。

在商业上，聚类分析是细分市场的有效工具，被用来发现不同的客户群，并且它通过对不同的客户群的特征的刻画，被用于研究消费者行为，寻找新的潜在市场。

在生物上，聚类分析被用来对动植物和基因进行分类，以获取对种群固有结构的认识。

在保险行业上，聚类分析可以通过平均消费来鉴定汽车保险单持有者的分组，同时可以根据住宅类型、价值、地理位置来鉴定城市的房产分组。

在互联网应用上，聚类分析被用来在网上进行文档归类。

在电子商务上，聚类分析通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，从而帮助电子商务企业了解自己的客户，向客户提供更合适的服务。

聚类分析方法的类别

目前存在大量的聚类算法，算法的选择取决于数据的类型、聚类的目的和具体应用。聚类算法主要分为 5 大类：基于划分的聚类方法、基于层次的聚类方法、基于密度的聚类方法、基于网格的聚类方法和基于模型的聚类方法。

1. 基于划分的聚类方法

基于划分的聚类方法是一种自顶向下的方法，对于给定的 n 个数据对象的数据集 D，将数据对象组织成 k(k≤n) 个分区，其中，每个分区代表一个簇。图 2 就是基于划分的聚类方法的示意图。



图 2  层次聚类算法示意

基于划分的聚类方法中，最经典的就是k-平均（k-means）算法和 k-中心（k-medoids）算法，很多算法都是由这两个算法改进而来的。

基于划分的聚类方法的优点是，收敛速度快，缺点是，它要求类别数目 k 可以合理地估计，并且初始中心的选择和噪声会对聚类结果产生很大影响。

2. 基于层次的聚类方法

基于层次的聚类方法是指对给定的数据进行层次分解，直到满足某种条件为止。该算法根据层次分解的顺序分为自底向上法和自顶向下法，即凝聚式层次聚类算法和分裂式层次聚类算法。

1）自底向上法。

首先，每个数据对象都是一个簇，计算数据对象之间的距离，每次将距离最近的点合并到同一个簇。然后，计算簇与簇之间的距离，将距离最近的簇合并为一个大簇。不停地合并，直到合成了一个簇，或者达到某个终止条件为止。

簇与簇的距离的计算方法有最短距离法、中间距离法、类平均法等，其中，最短距离法是将簇与簇的距离定义为簇与簇之间数据对象的最短距离。自底向上法的代表算法是AGNES(AGglomerativeNESing)算法。

2）自顶向下法。

该方法在一开始所有个体都属于一个簇，然后逐渐细分为更小的簇，直到最终每个数据对象都在不同的簇中，或者达到某个终止条件为止。自顶向下法的代表算法是 DIANA（DivisiveANAlysis）算法。

基于层次的聚类算法的主要优点包括，距离和规则的相似度容易定义，限制少，不需要预先制定簇的个数，可以发现簇的层次关系。基于层次的聚类算法的主要缺点包括，计算复杂度太高，奇异值也能产生很大影响，算法很可能聚类成链状。

3. 基于密度的聚类方法

基于密度的聚类方法的主要目标是寻找被低密度区域分离的高密度区域。与基于距离的聚类算法不同的是，基于距离的聚类算法的聚类结果是球状的簇，而基于密度的聚类算法可以发现任意形状的簇。

基于密度的聚类方法是从数据对象分布区域的密度着手的。如果给定类中的数据对象在给定的范围区域中，则数据对象的密度超过某一阈值就继续聚类。

这种方法通过连接密度较大的区域，能够形成不同形状的簇，而且可以消除孤立点和噪声对聚类质量的影响，以及发现任意形状的簇，如图 3 所示。

基于密度的聚类方法中最具代表性的是 DBSAN 算法、OPTICS 算法和 DENCLUE 算法。 图 2 是基于层次的聚类算法的示意图，上方是显示的是 AGNES 算法的步骤，下方是 DIANA 算法的步骤。这两种方法没有优劣之分，只是在实际应用的时候要根据数据特点及想要的簇的个数，来考虑是自底而上更快还是自顶而下更快。



图 3  密度聚类算法示意

4. 基于网格的聚类方法

基于网格的聚类方法将空间量化为有限数目的单元，可以形成一个网格结构，所有聚类都在网格上进行。基本思想就是将每个属性的可能值分割成许多相邻的区间，并创建网格单元的集合。每个对象落入一个网格单元，网格单元对应的属性空间包含该对象的值，如图 4 所示。



图 4  基于网格的聚类算法示意

基于网格的聚类方法的主要优点是处理速度快，其处理时间独立于数据对象数，而仅依赖于量化空间中的每一维的单元数。这类算法的缺点是只能发现边界是水平或垂直的簇，而不能检测到斜边界。另外，在处理高维数据时，网格单元的数目会随着属性维数的增长而成指数级增长。

5. 基于模型的聚类方法

基于模型的聚类方法是试图优化给定的数据和某些数学模型之间的适应性的。该方法给每一个簇假定了一个模型，然后寻找数据对给定模型的最佳拟合。假定的模型可能是代表数据对象在空间分布情况的密度函数或者其他函数。这种方法的基本原理就是假定目标数据集是由一系列潜在的概率分布所决定的。

图 5 对基于划分的聚类方法和基于模型的聚类方法进行了对比。左侧给出的结果是基于距离的聚类方法，核心原则就是将距离近的点聚在一起。右侧给出的基于概率分布模型的聚类方法，这里采用的概率分布模型是有一定弧度的椭圆。

图 5 中标出了两个实心的点，这两点的距离很近，在基于距离的聚类方法中，它们聚在一个簇中，但基于概率分布模型的聚类方法则将它们分在不同的簇中，这是为了满足特定的概率分布模型。



图 5  聚类方法对比示意

在基于模型的聚类方法中，簇的数目是基于标准的统计数字自动决定的，噪声或孤立点也是通过统计数字来分析的。基于模型的聚类方法试图优化给定的数据和某些数据模型之间的适应性。

推荐学习目录：54.聚类分析简介

55.k-means聚类算法

模糊数学模型系列博文：

【1】基本概念： 隶属函数、模糊集合的表示方法、模糊关系、模糊矩阵

【2】模糊模式识别：海明贴近度 、欧几里得贴近度 、黎曼贴近度、 格贴近度、最大隶属原则、择近原则

【3】模糊聚类分析方法：模糊等价矩阵、模糊相似矩阵、传递闭包法、布尔矩阵法 

【4】模糊决策分析方法

在工程技术和经济管理中，常常需要对某些指标按照一定的标准(相似的程度或亲 疏关系等)进行分类处理。例如，根据生物的某些性态对其进行分类，根据空气的性质 对空气质量进行分类，以及工业上对产品质量的分类、工程上对工程规模的分类、图像 识别中对图形的分类、地质学中对土壤的分类、水资源中的水质分类等等。这些对客观 事物按一定的标准进行分类的数学方法称为聚类分析，它是多元统计“物以聚类”的一种分类方法。然而，在科学技术、经济管理中有许多事物的类与类之间并无清晰的划分， 边界具有模糊性，它们之间的关系更多的是模糊关系。对于这类事物的分类，一般用模糊数学方法、我们把应用模糊数学方法进行的聚类分析，称为模糊聚类分析。

目录

1 预备知识

1.1 模糊等价矩阵                       n 阶等价布尔矩阵                           模糊分类

1.2 模糊相似矩阵

2 模糊聚类分析法的基本步骤

(1) 获取数据

(2) 数据的标准化处理             ① 平移—标准差变换                        ② 平移—极差变换

Step2: 建立模糊相似矩阵

(1) 数量积法                                            (2) 夹角余弦法

(3) 相关系数法                                         (4) 指数相似系数法

(5) 最大最小值法                                     (6) 算术平均值法

(7) 几何平均值法                                     (8) 绝对值倒数法

(9) 绝对值指数法                                     (10) 海明距离法

(11) 欧氏距离法                                      (12) 切比雪夫距离法

(13) 主观评分法

Step3: 聚类

(1) 传递闭包法                (2) 布尔矩阵法              (3) 直接聚类法

3 模糊聚类分析应用案例

（1）建立模糊集合                                  （2）利用格贴近度建立模糊相似矩阵

（3）求 R 的传递闭包                             （4）选择保留观测站的准则

1 预备知识

1.1 模糊等价矩阵



 

 

n 阶等价布尔矩阵



模糊分类









 

1.2 模糊相似矩阵





 



2 模糊聚类分析法的基本步骤

Step1: 数据标准化

(1) 获取数据



(2) 数据的标准化处理

在实际问题中，不同的数据可能有不同的性质和不同的量纲，为了使原始数据能够 适合模糊聚类的要求，需要将原始数据矩阵 A 作标准化处理，即通过适当的数据变换，将其转化为模糊矩阵。常用的方法有以下两种：

① 平移—标准差变换



② 平移—极差变换



Step2: 建立模糊相似矩阵



(1) 数量积法





(2) 夹角余弦法



(3) 相关系数法



(4) 指数相似系数法



(5) 最大最小值法

                  式中 ∧ 为取小运算min，∨ 代表取大运算max



(6) 算术平均值法



(7) 几何平均值法



(8) 绝对值倒数法



(9) 绝对值指数法



(10) 海明距离法



(11) 欧氏距离法



(12) 切比雪夫距离法



(13) 主观评分法



Step3: 聚类

所谓聚类方法就是依据模糊矩阵将所研究的对象进行分类的方法。对于不同的置信 水平λ ∈[0,1]，可以得到不同的分类结果，从而形成动态聚类图。常用的方法如下：

(1) 传递闭包法

从 Step2 中求出的模糊相似矩阵 R 出发，来构造一个模糊等价矩阵  。其方法就 是用平方法求出 R 的传递闭包t(R) ，则  t(R) =  ；然后，由大到小取一组λ ∈[0,1] ， 确定相应的λ 截矩阵，则可以将其分类，同时也可以构成动态聚类图。

(2) 布尔矩阵法





(3) 直接聚类法

此方法是直接由模糊相似矩阵求出聚类图的方法，具体步骤如下：



3 模糊聚类分析应用案例

例 15 某地区内有 12 个气象观测站，10 年来各站测得的年降水量如表 3 所示。 为了节省开支，想要适当减少气象观测站，试问减少哪些观察站可以使所得到的降水量 信息仍然足够大？





解 我们把 12 个气象观测站的观测值看成 12 个向量组，由于本题只给出了 10 年 的观测数据，根据线性代数的理论可知，若向量组所含向量的个数大于向量的维数，则 该向量组必然线性相关。于是只要求出该向量组的秩就可确定该向量组的最大无关组所 含向量的个数，也就是需保留的气象观测站的个数。由于向量组中的其余向量都可由极 大线性无关组线性表示，因此，可以使所得到的降水信息量足够大。



到目前为止，问题似乎已经完全解决了，可其实不然，因为如果上述观测站的数 据不是 10 年，而是超过 12 年，则此时向量的维数大于向量组所含的向量个数，这样的 向量组未必线性相关。故上述的解法不具有一般性，下面我们考虑一般的解法，首先， 我们利用已有的 12 个气象观测站的数据进行模糊聚类分析，最后确定从哪几类中去掉 几个观测站。

（1）建立模糊集合







（2）利用格贴近度建立模糊相似矩阵



（3）求 R 的传递闭包



其余观测站属于中间水平。

（4）选择保留观测站的准则

显然，去掉的观测站越少，则保留的信息量越大。为此，我们考虑在去掉的观测 站数目确定的条件下，使得信息量最大的准则。由于该地区的观测站分为 4 类，且第 4 类只含有一个观测站，因此，我们从前 3 类中各去掉一个观测站，我们的准则如下：







（5）求解的 MATLAB 程序如下：

i）求模糊相似矩阵的 MATLAB 程序

a=[276.2 324.5 158.6 412.5 292.8 258.4 334.1 303.2 292.9 243.2 159.7 331.2
251.5 287.3 349.5 297.4 227.8 453.6 321.5 451.0 466.2 307.5 421.1 455.1
192.7 433.2 289.9 366.3 466.2 239.1 357.4 219.7 245.7 411.1 357.0 353.2
246.2 232.4 243.7 372.5 460.4 158.9 298.7 314.5 256.6 327.0 296.5 423.0
291.7 311.0 502.4 254.0 245.6 324.8 401.0 266.5 251.3 289.9 255.4 362.1
466.5 158.9 223.5 425.1 251.4 321.0 315.4 317.4 246.2 277.5 304.2 410.7
258.6 327.4 432.1 403.9 256.6 282.9 389.7 413.2 466.5 199.3 282.1 387.6
453.4 365.5 357.6 258.1 278.8 467.2 355.2 228.5 453.6 315.6 456.3 407.2
158.2 271.0 410.2 344.2 250.0 360.7 376.4 179.4 159.2 342.4 331.2 377.7
324.8 406.5 235.7 288.8 192.6 284.9 290.5 343.7 283.4 281.2 243.7 411.1];
mu=mean(a),sigma=std(a)
for i=1:12
    for j=1:12
        r(i,j)=exp(-(mu(j)-mu(i))^2/(sigma(i)+sigma(j))^2);
    end
end
r
save data1 r a

ii）矩阵合成的 MATLAB 函数

function rhat=hecheng(r);
n=length(r);
for i=1:n
    for j=1:n
        rhat(i,j)=max(min([r(i,:);r(:,j)']));
    end
end

iii）求模糊等价矩阵和聚类的程序

load data1
r1=hecheng(r)
r2=hecheng(r1)
r3=hecheng(r2)
bh=zeros(12);
bh(find(r2>0.998))=1 

iv)计算表6的程序  编写计算误差平方和的函数如下：

function err=wucha(a,t);
b=a;b(:,t)=[];
mu1=mean(a,2);mu2=mean(b,2);
err=sum((mu1-mu2).^2);

计算28个方案的主程序如下：

load data1
ind1=[1,5];ind2=[2:3,6,8:11];ind3=[4,7];
so=[];
for i=1:length(ind1)
    for j=1:length(ind3)
        for k=1:length(ind2)
            t=[ind1(i),ind3(j),ind2(k)];
            err=wucha(a,t);
            so=[so;[t,err]];
        end
    end
end
so
tm=find(so(:,4)==min(so(:,4)));
shanchu=so(tm,1:3)

模糊数学模型系列博文：

【1】基本概念： 隶属函数、模糊集合的表示方法、模糊关系、模糊矩阵

【2】模糊模式识别：海明贴近度 、欧几里得贴近度 、黎曼贴近度、 格贴近度、最大隶属原则、择近原则

【3】模糊聚类分析方法：模糊等价矩阵、模糊相似矩阵、传递闭包法、布尔矩阵法 

【4】模糊决策分析方法

 

from: http://bluewhale.cc/2016-06-30/analysis-of-correlation.html

相关分析（Analysis of Correlation）是网站分析中经常使用的分析方法之一。通过对不同特征或数据间的关系进行分析，发现业务运营中的关键影响及驱动因素。并对业务的发展进行预测。本篇文章将介绍5种常用的分析方法。在开始介绍相关分析之前，需要特别说明的是相关关系不等于因果关系。



相关分析的方法很多，初级的方法可以快速发现数据之间的关系，如正相关，负相关或不相关。中级的方法可以对数据间关系的强弱进行度量，如完全相关，不完全相关等。高级的方法可以将数据间的关系转化为模型，并通过模型对未来的业务发展进行预测。下面我们以一组广告的成本数据和曝光量数据对每一种相关分析方法进行介绍。

以下是每日广告曝光量和费用成本的数据，每一行代表一天中的花费和获得的广告曝光数量。凭经验判断，这两组数据间应该存在联系，但仅通过这两组数据我们无法证明这种关系真实存在，也无法对这种关系的强度进行度量。因此我们希望通过相关分析来找出这两组数据之间的关系，并对这种关系进度度量。



1，图表相关分析（折线图及散点图）

第一种相关分析方法是将数据进行可视化处理，简单的说就是绘制图表。单纯从数据的角度很难发现其中的趋势和联系，而将数据点绘制成图表后趋势和联系就会变的清晰起来。对于有明显时间维度的数据，我们选择使用折线图。

 

为了更清晰的对比这两组数据的变化和趋势，我们使用双坐标轴折线图，其中主坐标轴用来绘制广告曝光量数据，次坐标轴用来绘制费用成本的数据。通过折线图可以发现，费用成本和广告曝光量两组数据的变化和趋势大致相同，从整体的大趋势来看，费用成本和广告曝光量两组数据都呈现增长趋势。从规律性来看费用成本和广告曝光量数据每次的最低点都出现在同一天。从细节来看，两组数据的短期趋势的变化也基本一致。



经过以上这些对比，我们可以说广告曝光量和费用成本之间有一些相关关系，但这种方法在整个分析过程和解释上过于复杂，如果换成复杂一点的数据或者相关度较低的数据就会出现很多问题。

比折线图更直观的是散点图。散点图去除了时间维度的影响，只关注广告曝光量和费用成本这里两组数据间的关系。在绘制散点图之前，我们将费用成本标识为X，也就是自变量，将广告曝光量标识为y，也就是因变量。下面是一张根据每一天中广告曝光量和费用成本数据绘制的散点图，X轴是自变量费用成本数据，Y轴是因变量广告曝光量数据。从数据点的分布情况可以发现，自变量x和因变量y有着相同的变化趋势，当费用成本的增加后，广告曝光量也随之增加。



折线图和散点图都清晰的表示了广告曝光量和费用成本两组数据间的相关关系，优点是对相关关系的展现清晰，缺点是无法对相关关系进行准确的度量，缺乏说服力。并且当数据超过两组时也无法完成各组数据间的相关分析。若要通过具体数字来度量两组或两组以上数据间的相关关系，需要使用第二种方法：协方差。

2，协方差及协方差矩阵

第二种相关分析方法是计算协方差。协方差用来衡量两个变量的总体误差，如果两个变量的变化趋势一致，协方差就是正值，说明两个变量正相关。如果两个变量的变化趋势相反，协方差就是负值，说明两个变量负相关。如果两个变量相互独立，那么协方差就是0，说明两个变量不相关。以下是协方差的计算公式：



下面是广告曝光量和费用成本间协方差的计算过程和结果，经过计算，我们得到了一个很大的正值，因此可以说明两组数据间是正相关的。广告曝光量随着费用成本的增长而增长。在实际工作中不需要按下面的方法来计算，可以通过Excel中COVAR()函数直接获得两组数据的协方差值。



协方差只能对两组数据进行相关性分析，当有两组以上数据时就需要使用协方差矩阵。下面是三组数据x，y，z，的协方差矩阵计算公式。



协方差通过数字衡量变量间的相关性，正值表示正相关，负值表示负相关。但无法对相关的密切程度进行度量。当我们面对多个变量时，无法通过协方差来说明那两组数据的相关性最高。要衡量和对比相关性的密切程度，就需要使用下一个方法：相关系数。,

3，相关系数

第三个相关分析方法是相关系数。相关系数(Correlation coefficient)是反应变量之间关系密切程度的统计指标，相关系数的取值区间在1到-1之间。1表示两个变量完全线性相关，-1表示两个变量完全负相关，0表示两个变量不相关。数据越趋近于0表示相关关系越弱。以下是相关系数的计算公式。



其中rxy表示样本相关系数，Sxy表示样本协方差，Sx表示X的样本标准差，Sy表示y的样本标准差。下面分别是Sxy协方差和Sx和Sy标准差的计算公式。由于是样本协方差和样本标准差，因此分母使用的是n-1。

Sxy样本协方差计算公式：



Sx样本标准差计算公式：



Sy样本标准差计算公式：



下面是计算相关系数的过程，在表中我们分别计算了x，y变量的协方差以及各自的标准差，并求得相关系数值为0.93。0.93大于0说明两个变量间正相关，同时0.93非常接近于1，说明两个变量间高度相关。



在实际工作中，不需要上面这么复杂的计算过程，在Excel的数据分析模块中选择相关系数功能，设置好x，y变量后可以自动求得相关系数的值。在下面的结果中可以看到，广告曝光量和费用成本的相关系数与我们手动求的结果一致。



相关系数的优点是可以通过数字对变量的关系进行度量，并且带有方向性，1表示正相关，-1表示负相关，可以对变量关系的强弱进行度量，越靠近0相关性越弱。缺点是无法利用这种关系对数据进行预测，简单的说就是没有对变量间的关系进行提炼和固化，形成模型。要利用变量间的关系进行预测，需要使用到下一种相关分析方法，回归分析。,

4，一元回归及多元回归

第四种相关分析方法是回归分析。回归分析（regression analysis)是确定两组或两组以上变量间关系的统计方法。回归分析按照变量的数量分为一元回归和多元回归。两个变量使用一元回归，两个以上变量使用多元回归。进行回归分析之前有两个准备工作，第一确定变量的数量。第二确定自变量和因变量。我们的数据中只包含广告曝光量和费用成本两个变量，因此使用一元回归。根据经验广告曝光量是随着费用成本的变化而改变的，因此将费用成本设置为自变量x，广告曝光量设置为因变量y。

以下是一元回归方程，其中y表示广告曝光量，x表示费用成本。b0为方程的截距，b1为斜率，同时也表示了两个变量间的关系。我们的目标就是b0和b1的值，知道了这两个值也就知道了变量间的关系。并且可以通过这个关系在已知成本费用的情况下预测广告曝光量。



这是b1的计算公式，我们通过已知的费用成本x和广告曝光量y来计算b1的值。



以下是通过最小二乘法计算b1值的具体计算过程和结果，经计算，b1的值为5.84。同时我们也获得了自变量和因变量的均值。通过这三个值可以计算出b0的值。



以下是b0的计算公式，在已知b1和自变量与因变量均值的情况下，b0的值很容易计算。



将自变量和因变量的均值以及斜率b1代入到公式中，求出一元回归方程截距b0的值为374。这里b1我们保留两位小数，取值5.84。



在实际的工作中不需要进行如此繁琐的计算，Excel可以帮我们自动完成并给出结果。在Excel中使用数据分析中的回归功能，输入自变量和因变量的范围后可以自动获得b0（Intercept）的值362.15和b1的值5.84。这里的b0和之前手动计算获得的值有一些差异，因为前面用于计算的b1值只保留了两位小数。

这里还要单独说明下R Square的值0.87。这个值叫做判定系数，用来度量回归方程的拟合优度。这个值越大，说明回归方程越有意义，自变量对因变量的解释度越高。



将截距b0和斜率b1代入到一元回归方程中就获得了自变量与因变量的关系。费用成本每增加1元，广告曝光量会增加379.84次。通过这个关系我们可以根据成本预测广告曝光量数据。也可以根据转化所需的广告曝光量来反推投入的费用成本。获得这个方程还有一个更简单的方法，就是在Excel中对自变量和因变量生成散点图，然后选择添加趋势线，在添加趋势线的菜单中选中显示公式和显示R平方值即可。



以上介绍的是两个变量的一元回归方法，如果有两个以上的变量使用Excel中的回归分析，选中相应的自变量和因变量范围即可。下面是多元回归方程。



5，信息熵及互信息

最后一种相关分析方法是信息熵与互信息。前面我们一直在围绕消费成本和广告曝光量两组数据展开分析。实际工作中影响最终效果的因素可能有很多，并且不一定都是数值形式。比如我们站在更高的维度来看之前的数据。广告曝光量只是一个过程指标，最终要分析和关注的是用户是否购买的状态。而影响这个结果的因素也不仅仅是消费成本或其他数值化指标。可能是一些特征值。例如用户所在的城市，用户的性别，年龄区间分布，以及是否第一次到访网站等等。这些都不能通过数字进行度量。

度量这些文本特征值之间相关关系的方法就是互信息。通过这种方法我们可以发现哪一类特征与最终的结果关系密切。下面是我们模拟的一些用户特征和数据。在这些数据中我们忽略之前的消费成本和广告曝光量数据，只关注特征与状态的关系。



对于信息熵和互信息具体的计算过程请参考我前面的文章《决策树分类和预测算法的原理及实现》，这里直接给出每个特征的互信息值以及排名结果。经过计算城市与购买状态的相关性最高，所在城市为北京的用户购买率较高。



到此为止5种相关分析方法都已介绍完，每种方法各有特点。其中图表方法最为直观，相关系数方法可以看到变量间两两的相关性，回归方程可以对相关关系进行提炼，并生成模型用于预测，互信息可以对文本类特征间的相关关系进行度量




Read more: http://bluewhale.cc/2016-06-30/analysis-of-correlation.html#ixzz5QaUT4iXJ

日志分析方法



日志分析方法
分析方法：

1.特征字符分析（Signature-based）：
2.访问频率分析（Frequency analysis）

1.漏洞扫描检测:
2.暴力破解检测:
3.webshell 检测




难点：
风险评估模型：
参考：






分析方法：



1.特征字符分析（Signature-based）：

在日志中查找已知的漏洞特征，去发现黑客攻击行为， 是最简单的方法。



2.访问频率分析（Frequency analysis）

在黑客攻击过程中，需要对系统进行各种特定的访问，这些访问与正常用户访问有很大差别， 每种攻击行为都有不同的特征。 

通过对大量用户访问数据的挖掘，可以发现这些异常访问行为。





1.漏洞扫描检测:

黑客使用漏洞扫描器对 Web 应用进行扫描，可以用匹配 User-Agent 特征的方式进行检测。如果自定义扫描器的 User-Agent，这个方法的效果可能会不好。

但可匹配扫描器扫描的行为，


访问目标离散
来源地址相对固定
访问结果大多数失败


根据这些特征对 Web 访问日志进行分析，即可提取出来可疑的扫描行为。



2.暴力破解检测:

暴力破解密码的特征是


相对固定的来源地址
对登录URL短时间内高频率发起请求


与漏洞扫描的区别主要是目标 URL 固定。



3.webshell 检测

如果黑客发现系统漏洞，并且利用漏洞获得上传权限，会向系统 上传 webshell。

webshell 是一种后门程序，此程序由脚本语言编写， 可以在 Web 服务器上运行，攻击者可以通过网页执行系统命令，读写 系统文件。

从访问行为的角度看，webshell 通常


只有攻击者访问
来源地址相对固定
访问时间相对集中
无内嵌其他页面


通过这些特 征即可提取出可疑文件，再通过人工确认的方式，检测出 webshell。





难点：


1.日志中POST数据是不记录的，所以攻击者如果找到的漏洞点为POST请求，那么刚刚上面的注入请求就不会在日志中体现
2.状态码虽然表示了响应状态，但是存在多种不可信情况，如服务器配置自定义状态码。

如在我经验中，客户服务器配置网站应用所有页面状态码皆为200，用页面内容来决定响应,或者说服务器配置了302跳转，用302到一个内容为“不存在页面”（你可以尝试用curl访问http://www.baidu.com/test.php看看响应体）
3.攻击者可能使用多个代理IP，假如我是一个恶意攻击者，为了避免日后攻击被溯源、IP被定位，会使用大量的代理IP从而增加分析的难度（淘宝上，一万代理IP才不到10块钱，就不说代理IP可以采集免费的了） 

如果一个攻击者使用了大量不同的IP进行攻击，那么使用上面的方法可能就无法进行攻击行为溯源了
4.无恶意webshell访问记录，刚才我们采用的方法是通过“webshell”这个文件名从日志中找到恶意行为，如果分析过程中我们没有找到这么一个恶意webshell访问，又该从何入手寻找攻击者的攻击路径呢？
5.分析过程中我们还使用恶意行为关键字来对日志进行匹配，假设攻击者避开了我们的关键字进行攻击？比如使用了各种编码，16进制、Base64等等编码，再加上攻击者使用了代理IP使我们漏掉了分析中攻击者发起的比较重要的攻击请求
6.APT攻击，攻击者分不同时间段进行攻击，导致时间上无法对应出整个攻击行为
7.日志数据噪声（这词我也不知道用得对不对）上文提到过，攻击者可能会使用扫描器进行大量的扫描，此时日志中存在大量扫描行为，此类行为同样会被恶意行为关键字匹配出，但是此类请求我们无法得知是否成功扫描到漏洞，可能也无法得知这些请求是扫描器发出的，扫描器可使用代理IP、可进行分时策略、可伪造客户端特征、可伪造请求来源或伪造成爬虫。此时我们从匹配出的海量恶意请求中很难得出哪些请求攻击成功了






风险评估模型：

在这些 Web 日志中提取出动态页面的动态交互参数， 

通过字符串截取或正则匹配的方式便能完成这样的需求。在获得了交互参数后， 

统计这些参数中含有某种类型攻击的关键词的数量，以及 

这些关键词占总提交参数的百分比， 

- 在Web日志中





参考：

携程ELK日志分析平台深耕之路

B站日志系统的前世今生