在概率论和信息论中，两个随机变量的互信息(Mutual Information，简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。

互信息的定义

正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：

其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。

在连续随机变量的情形下，求和被替换成了二重定积分：

其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。

互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底，互信息的单位是bit。

直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y(或 X)单独包含的不确定度相同，称作 Y(或 X)的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)

互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出：当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：

此外，互信息是非负的(即 I(X;Y) ≥ 0; 见下文)，而且是对称的(即 I(X;Y) = I(Y;X))。

互信息特征选择算法的步骤①划分数据集

②利用互信息对特征进行排序

③选择前n个特征利用SVM进行训练

④在测试集上评价特征子集计算错误率

缺点

此种特征选择方法是最大化特征与分类变量之间的相关度，就是选择与分类变量拥有最高相关度的前k个变量。但是，在特征选择中，单个好的特征的组合并不能增加分类器的性能，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余。

代码

注意使用的数据集是dlbcl，大概五千多维，可以从UCI上下载，最终选择前100特征进行训练。

主函数代码：

MATLAB

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19clear all

close all

clc;

[X_train,Y_train,X_test,Y_test] = divide_dlbcl();

Y_train(Y_train==0)=-1;

Y_test(Y_test==0)=-1;

% number of features

numF = size(X_train,2);

[ ranking , w] = mutInfFS( X_train, Y_train, numF );

k = 100; % select the Top 2 features

svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);

C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);

err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate

conMat = confusionmat(Y_test,C); % the confusion matrix

fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);

mutInfFS.m

MATLAB

1

2

3

4

5

6

7

8

9

10function [ rank , w] = mutInfFS( X,Y,numF )

rank = [];

for i = 1:size(X,2)

rank = [rank; -muteinf(X(:,i),Y) i];

end;

rank = sortrows(rank,1);

w = rank(1:numF, 1);

rank = rank(1:numF, 2);

end

muteinf.m

MATLAB

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58function info = muteinf(A, Y)

n = size(A,1);%实例数量

Z = [A Y];%所有实例的维度值及标签

if(n/10 > 20)

nbins = 20;

else

nbins = max(floor(n/10),10);%设置区间的个数

end;

pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来，求每个区间的概率

pA = pA ./ n;%除以实例数量

i = find(pA == 0);

pA(i) = 0.00001;%不能使某一区间的概率为0

od = size(Y,2);%一个维度

cl = od;

%下面是求实例不同标签的的概率值，也就是频率

if(od == 1)

pY = [length(find(Y==+1)) length(find(Y==-1))] / n;

cl = 2;

else

pY = zeros(1,od);

for i=1:od

pY(i) = length(find(Y==+1));

end;

pY = pY / n;

end;

p = zeros(cl,nbins);

rx = abs(max(A) - min(A)) / nbins;%每个区间长度

for i = 1:cl

xl = min(A);%变量的下界

for j = 1:nbins

if(i == 2) && (od == 1)

interval = (xl <= Z(:,1)) & (Z(:,2) == -1);

else

interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);

end;

if(j < nbins)

interval = interval & (Z(:,1) < xl + rx);

end;

%find(interval)

p(i,j) = length(find(interval));

if p(i,j) == 0 % hack!

p(i,j) = 0.00001;

end

xl = xl + rx;

end;

end;

HA = -sum(pA .* log(pA));%计算当前维度的信息熵

HY = -sum(pY .* log(pY));%计算标签的信息熵

pA = repmat(pA,cl,1);

pY = repmat(pY',1,nbins);

p = p ./ n;

info = sum(sum(p .* log(p ./ (pA .* pY))));

info = 2 * info ./ (HA + HY);%计算互信息

前100个特征的效果：

Accuracy: 86.36%, Error-Rate: 0.14

选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图：

Accuracy: 75.00%, Error-Rate: 0.25

网站所有原创代码采用Apache 2.0授权

网站文章采用知识共享许可协议BY-NC-SA4.0授权

© 2018 · OmegaXYZ–版权所有 转载请注明出处 -皖ICP备 17007601

我们现在处于一个数据驱动的时代，但并不是所有的数据都是有意义的。只有有效的数据才能

带给我们"信息"，无效的数据并不能带给我们"信息"。

如果我们在做一件事情之前，可以通过各种数据得到这件事情所有相关信息，那么我们就可以

最初最完美的决策，使利益最大化。

基于熵的特征选择方法就是选择一个能提供给类别尽可能多"信息"的特征子集，从而得到关于类别更多的"信息"，进而为分类提供帮助。

如何衡量数据所携带信息的多少呢，克劳德·艾尔伍德·香农给出了熵的概念，通过熵我们可以

衡量数据携带信息的多少。香农

熵的定义如下：

举一个简单的例子：如果有人告诉你11点过60分钟是12点，你一定觉得他说的是废话；但是

如果有人告诉你你的期末成绩优秀，你一定很感兴趣。这是因为前者的概率

因此它的熵为0，所以给你提供的信息也是0。

而后者的概率

(不及格，及格，中等，良好，优秀)

因此这件事情的熵为0.69，所以会提供给你一些信息。熵

第一步先介绍一下熵的相关概念。维恩图

上图

,

表示事件

,

的信息；

被称为条件熵：表示在知道事件

的情况下，此时再知道事件

可以提供给我们

的信息。

被称为互信息：表示事件

和

共同提供的信息；也可以理解为知道了事件

可以对事件

提供多少信息，反之亦然。

被称为联合熵：表示知道事件

和

之后可以提供给我们的信息。

其中有：

(怎么计算

等公式我就不写了，主要是理解各种信息的关系)特征选择

这部分稍微谈一下特征选择方法。特征选择方法根据是否与后续的分类器交互分为过滤式、嵌

入式以及包裹式。其中过滤式特征选择不需要与分类器交互，而其他两种都需要和分类器进行

交互。特征选择流程

特征选择主要分为子集生成、子集评价、停止准则三大部分。

子集生成主要是如何选择特征，例如穷举法，前向选择、后向消除、启发式选择等等。

子集评价中有很多度量方法：准确率、距离、相关性、互信息等等；使用不同的度量方法最终

得到的特征子集也不一样。

停止准则是满足什么条件的时候停止特征选择过程，通常有特征子集达到一定的大小，选择阈

值以上的特征等等。基于互信息的特征选择方法

OK，当你对上面两部分有了了解之后，这部分就来说一下基于互信息的特征选择方法。

基于互信息的特征选择方法选择特征的过程比较简单。子集生成使用前向生成法，子集评价这

部分等下要讨论的部分，停止准则一般为特征子集大小到达一个预设值就停止。举个例子说：

我们数据集有100个特征，我们要选择20个，那么此方法就会遍历特征20次，每次都根据评价

准则选择最优的特征放入特征子集。

假设我们数据集特征为

，类别为

。如何设置评价标准才比较合理。

最简单的想法就是只考虑每个特征和类别之间的互信息

，根据互信息的大小对特征

排序，然后选择最前面的

个特征作为特征子集。这种特征选择方法也被称为MIM。其中

为候选的特征。

但是MIM方法有很明显的缺点，只考虑了特征和类别之间的相关性，没有考虑类别和类别的相

关性，机会造成特征子集的冗余；也就是可能出现

和

值都很大，但是

也很大(甚至接近1)，这种情况

和

取其一即可。为了解决冗余性的问题，又

有两种不同的算法MIFS和MRMR被提出:

其中

为已经选择的特征，

表示

的大小。这样在选择新特征的时候不仅考虑了候选

特征和类别之间的互信息，也考虑了候选特征和已选特征之间的相关性，减少了冗余度。事情

到这里似乎已经很完美了，毕竟及考虑了相关性，也考虑了冗余性。然而，还有一个问题需要

考虑。

我们选择特征子集的首要目标是希望特征子集针对类别的相关性高，冗余性小。但是

是两个特征之间的互信息，并没有考虑到类别。进一步说，两个特征之间的冗余

大，并不一定能说明这两个特征在类别上的冗余也大。据此，一系列考虑类内冗余的方法

也被提出，例如CIFE算法：

第二项为类内特征冗余，即我们知道了类别信息，不同特征再次基础上的互信息。

下面再看一个维恩图：

其中

表示类别的信息量，

表示已选择特征子集

，

表示候选特征。

最终的目标就是希望可以用尽可能的少的特征，使得

较大。上图中：

但是其中

这部分和类别没有关系，也就说这部分信息对于类别是无用的，我们

需要的只有类内冗余

这部分，也就是

。

其他关于降维的文章：超爱学习：10种常用降维算法源代码(python)​zhuanlan.zhihu.com超爱学习：你知道PCA的四种写法么​zhuanlan.zhihu.com