朴素贝叶斯
朴素贝叶斯

朴素贝叶斯

在sklearn中，提供了若干种朴素贝叶斯的实现算法，不同的朴素贝叶斯算法，主要是对P(xi|y)的分布假设不同，进而采用不同的参数估计方式。我们能够发现，朴素贝叶斯算法，主要就是计算P(xi|y)，一旦P(xi|y)确定，最终属于每个类别的概率，自然也就迎刃而解了。

常用的三种朴素贝叶斯为：

高斯朴素贝叶斯
伯努利朴素贝叶斯
多项式朴素贝叶斯

高斯朴素贝叶斯
适用于连续变量，其假定各个特征xi在各个类别y下是服从正态分布的，算法内部使用正态分布的概率密度函数来计算概率如下：




import numpy as np
import pandas as pd
from sklearn.naive_bayes import GaussianNB

np.random.seed(0)
x = np.random.randint(0,10,size=(6,2))
y = np.array([0,0,0,1,1,1])
data = pd.DataFrame(np.concatenate([x, y.reshape(-1,1)], axis=1), columns=['x1','x2','y'])
display(data)

gnb = GaussianNB()
gnb.fit(x,y)
#每个类别的先验概率
print('概率：', gnb.class_prior_)
#每个类别样本的数量
print('样本数量：', gnb.class_count_)
#每个类别的标签
print('标签：', gnb.classes_)
#每个特征在每个类别下的均值
print('均值：',gnb.theta_)
#每个特征在每个类别下的方差
print('方差：',gnb.sigma_)

#测试集
x_test = np.array([[6,3]])
print('预测结果：', gnb.predict(x_test))
print('预测结果概率：', gnb.predict_proba(x_test))


伯努利朴素贝叶斯
设试验E只有两个可能的结果：A与A¯，则称为E为伯努利试验。

伯努利朴素贝叶斯，适用于离散变量，其假设各个特征xi在各个类别y下是服从n重伯努利分布（二项分布）的，因为伯努利试验仅有两个结果，因此，算法会首先对特征值进行二值化处理（假设二值化的结果为1与0）。

计算方式如下：



在训练集中，会进行如下的估计：




from sklearn.naive_bayes import BernoulliNB

np.random.seed(0)
x = np.random.randint(-5,5,size=(6,2))
y = np.array([0,0,0,1,1,1])
data = pd.DataFrame(np.concatenate([x,y.reshape(-1,1)], axis=1), columns=['x1','x2','y'])
display(data)

bnb = BernoulliNB()
bnb.fit(x,y)
#每个特征在每个类别下发生（出现）的次数。因为伯努利分布只有两个值。
#我们只需要计算出现的概率P(x=1|y)，不出现的概率P(x=0|y)使用1减去P(x=1|y)即可。
print('数值1出现次数：', bnb.feature_count_)
#每个类别样本所占的比重，即P(y)。注意该值为概率取对数之后的结果，
#如果需要查看原有的概率，需要使用指数还原。
print('类别占比p(y)：',np.exp(bnb.class_log_prior_))
#每个类别下，每个特征（值为1）所占的比例（概率），即p（x|y）
#该值为概率取对数之后的结果，如果需要查看原有的概率，需要使用指数还原
print('特征概率：',np.exp(bnb.feature_log_prob_))


多项式朴素贝叶斯
多项式朴素贝叶斯，适用于离散变量，其假设各个特征xi在各个类别y下是服从多项式分布的，故每个特征值不能是负数。

计算如下：


from sklearn.naive_bayes import MultinomialNB

np.random.seed(0)
x = np.random.randint(0,4,size=(6,2))
y = np.array([0,0,0,1,1,1])
data = pd.DataFrame(np.concatenate([x,y.reshape(-1,1)], axis=1), columns=['x1','x2','y'])
display(data)

mnb = MultinomialNB()
mnb.fit(x,y)
#每个类别的样本数量
print(mnb.class_count_)
#每个特征在每个类别下发生（出现）的次数
print(mnb.feature_count_)
#每个类别下，每个特征所占的比例（概率），即P(x|y)
#该值为概率取对数之后的结果，如果需要查看原有的概率，需要使用指数还原
print(np.exp(mnb.feature_log_prob_))

贝叶斯方法与朴素贝叶斯
1.生成模型与判别模型
2.贝叶斯
2.1贝叶斯公式
2.2贝叶斯方法
3朴素贝叶斯
3.1条件独立性假设
3.2朴素贝叶斯Naive在何处？
3.3朴素贝叶斯的三种模型
3.4平滑技术
3.5朴素贝叶斯优缺点
3.6朴素贝叶斯的应用与代码实现

1.生成模型与判别模型
  在概率生成模型(Probabilistic Generative Model)与朴素贝叶斯(Naive Bayes)中大概学习了一下概率生成模型以及朴素贝叶斯，今天在这里再总结一下生成模型与判别模型。



  上面这张图可以清楚的解释二者的差别。前面我们讲到， 所谓的机器学习模型，本质上是一个函数，其作用是实现从一个样本 $x$ 到样本的标记值 $y$ 的映射，即 $f(x;\theta ^{*})\rightarrow y$，或者求得标签的条件概率：



  例如有C1以及C2两种类别，我们需要判断样本属于哪一个class：

判别式模型：要确定一个样本是属于C1还是C2，用判别模型的方法是从历史数据中学习到模型，然后通过提取该样本的特征来预测出该样本属于C1的概率以及C2的概率。
生成式模型：根据C1的特征首先学习出一个C1的模型，然后根据C2的特征学习出一个C2的模型，然后从该样本中提取特征，放到C1模型中看概率是多少，然后再放到C2模型中看概率是多少，哪个大就是哪个。
判别模型之所以称为判别模型，就是因为它只是简单地判别就好了。根据样本X来判别它所属的类别，直接就求出了$p(y|x)$的大小
而生成模型，在概率生成模型(Probabilistic Generative Model)与朴素贝叶斯(Naive Bayes)中我们可以看到，我们要求：



P(C1)与P(C2)很好求，我们要求的是P(x|C1)以及P(x|C2)，也就是说我们要先求得C1与C2的具体分布，也就是上面说的，分别根据C1与C2的特征学得两个模型，得到模型之后代入，若P(C1|x)>0.5那x就属于C1，否则属于C2。

2.贝叶斯
2.1贝叶斯公式


  学过概率论的都应该对上面这个公式很熟悉，这里就不再细讲了。这里需要注意的点是注意区分先验概率、后验概率、联合概率三个概念。
2.2贝叶斯方法
  机器学习的最终目的就是回归 or 分类，这里二者都可以理解为预测，回归很好理解，分类也可以理解为预测属于某一类的概率是多少。 我们把上述贝叶斯公式中的X理解为“具有某特征”，把Y理解成“类别标签”，那么贝叶斯公式就可以表示为：

P(“属于某类”|“具有某特征”)=P(“具有某特征”|“属于某类”)P(“属于某类”)/P(“具有某特征”)。
  贝叶斯方法把计算“具有某特征条件下属于某类（就是分类）”的概率转化为需要计算“属于某类条件下具有某特征（分别训练模型）”的概率，属于有监督学习。
3朴素贝叶斯
  我们以垃圾邮件识别来引出朴素贝叶斯。



  我们要做的是判断上面那个邮件：“我司可办理正规发票（保真）17%增值税发票点数优惠”是否属于垃圾邮件。我们不能直接判断一整个邮件是否属于垃圾邮件，我们首先想到的应该是“分词”，所谓分词就是把邮件拆成一个个的词语，通过该词语是否属于训练样本中的垃圾邮件来做出进一步判断：



前面我们提到：

  贝叶斯方法把计算“具有某特征条件下属于某类（就是分类）”的概率转化为需要计算“属于某类条件下具有某特征（分别训练模型）”的概率，属于有监督学习。 也就是说，我们现在要计算的是：正常邮件 or 垃圾邮件中具有上述那些词语的概率。
3.1条件独立性假设
  引入条件独立假设：



  我们把求某一类邮件中包含上述那些词语的概率等同于某一类邮件中包含每一种词语概率的乘积！！这其实就是朴素贝叶斯的实质，也是条件独立假设的实质。

  既然如此，那每一项都变得特别好求解了：



要算P(x1|C)，那就直接在训练集中统计一下，看看x1在类别c1中出现的概率是多少即可。
3.2朴素贝叶斯Naive在何处？

加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）
由于乘法交换律，朴素贝叶斯中算出来交换词语顺序的条件概率完全一样

  上述2的意思是：对于朴素贝叶斯模型来讲，“我司可办理正规发票”与“正规发票可办理我司”是一样的，会给出相同的判别结果，这点应该很好理解，因为你有了条件独立假设，abc与cba肯定大小是一样的，自然概率也是一样的，判别结果也就一样了。
3.3朴素贝叶斯的三种模型


多项式模型



多项式模型跟我们思维是一样的，例如在上述条件概率中，“发票”一词语出现了三次，那利用条件独立假设条件之后，自然应该出现三次方，这就是多项式模型。


伯努利模型



在伯努利模型中我们可以看到，即使“发票”一词出现三次，但是我们在最终计算时只算一次。


混合模型



在混合模型中，我们计算句子概率时不考虑重复词语出现的次数，但在统计计算词语概率时考虑重复次数。

一张图概括三种模型：




3.4平滑技术
  我们先来看这样一种可能：我们在求P(“正规发票”|S)时，通常的做法就是在训练集中遍历，看看“正规发票”一词出现了多少次，但是好巧不巧，该词在训练集中一次都没有出现过，那概率不就是0了么，然后条件独立假设相乘。。。于是整个概率都变成了0，这显然是极不合理的，但是这种情况却不少见。

  于是我们引入了平滑技术这一概念来解决这个问题：



这样，上述概率就不为0了，方便后续判断。
3.5朴素贝叶斯优缺点
优点：

对待预测样本进行预测，过程简单速度快
对于多分类问题也同样有效，复杂度也不会有大程度地上升。
在分布独立这个假设成立的情况下，贝叶斯的分类效果很好，会略胜于逻辑回归，我们需要的样本量也更少一点。
对于类别类的输入特征变量，效果非常好。对于数值型变量特征，我们默认它符合正态分布。

缺点：

如果测试集中的一个类别变量特征在训练集里面没有出现过，那么概率就是0，预测功能就将失效，平滑技术可以解决这个问题
朴素贝叶斯中有分布独立的假设前提，但是在现实生活中，这个条件很难满足。

3.6朴素贝叶斯的应用与代码实现
  作业：编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，对“测1”样本进行判别。

数据集长这样：



代码实现：
import pandas as pd

def readfile():
    datasets = pd.read_csv(r'E:\Program Files\PyCharm 2019.2\machinelearning\homework\西瓜3.0.csv', encoding="gbk")
    del datasets['编号']
    del datasets['好瓜']
    return datasets

def NaiveBayes(test):
    data = readfile()
    data = data.values.tolist()
    goodMelon = [];badMelon = []
    for i in range(len(data)):
        if data[i][8] == 1:
            goodMelon.append(data[i])
        else:
            badMelon.append(data[i])
    # 计算p(x|C1)=p1与p(x|C2)=p2
    p1 = 1.0;p2 = 1.0
    for j in range(len(test)):
        x=0.0
        for k in range(len(goodMelon)):
            if goodMelon[k][j] == test[j]:
                x = x + 1.0
        p1 = p1 * ((x + 1.0) / (len(goodMelon) + 2.0))  # 拉普拉斯平滑
    for j in range(len(test)):
        x=0.0
        for k in range(len(badMelon)):
            if badMelon[k][j] == test[j]:
                x = x + 1.0
        p2 = p2 * ((x + 1.0) / (len(badMelon) + 2.0))  # 拉普拉斯平滑
    pc1 = len(goodMelon) / len(data)
    pc2 = 1 - pc1
    #贝叶斯公式
    p_good = p1*pc1;p_bad=p2*pc2
    if p_good > p_bad:
        print('好瓜')
    else:
        print('坏瓜')

if __name__ == '__main__':
    test=['青绿','蜷缩','浊响','清晰','凹陷','硬滑',0.697,0.460]
    NaiveBayes(test)
    

结果：好瓜，分类正确。

最新人工智能论文：http://paperreading.club

带你搞懂朴素贝叶斯分类算

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。

 



1  分类问题综述



 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。

 

既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？

 

从数学角度来说，分类问题可做如下定义：已知集合和，确定映射规则y = f(x)，使得任意有且仅有一个,使得成立。

 

其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合（特征集合），其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。

 

分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。那么如何由指定特征，得到我们最终的类别，也是我们下面要讲的，每一个不同的分类算法，对应着不同的核心思想。

 

本篇文章，我会用一个具体实例，对朴素贝叶斯算法几乎所有的重要知识点进行讲解。

 



2  朴素贝叶斯分类



那么既然是朴素贝叶斯分类算法，它的核心算法又是什么呢？

是下面这个贝叶斯公式：

 



 

换个表达形式就会明朗很多，如下：



 

 

我们最终求的p(类别|特征)即可！就相当于完成了我们的任务。

 



3  例题分析



下面我先给出例子问题。

 

给定数据如下：

 



 

现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

 

这是一个典型的分类问题，转为数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！

这里我们联系到朴素贝叶斯公式：

 



 

我们需要求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量.

 

p(不帅、性格不好、身高矮、不上进|嫁)、p（不帅、性格不好、身高矮、不上进)、p(嫁)（至于为什么能求，后面会讲，那么就太好了，将待求的量转化为其它可求的值，这就相当于解决了我们的问题！）

 



4  朴素贝叶斯算法的朴素一词解释



那么这三个量是如何求得？

 

是根据已知训练数据统计得来，下面详细给出该例子的求解过程。

回忆一下我们要求的公式如下：

 



 

那么我只要求得p(不帅、性格不好、身高矮、不上进|嫁)、p（不帅、性格不好、身高矮、不上进)、p(嫁)即可，好的，下面我分别求出这几个概率，最后一比，就得到最终结果。

 

p(不帅、性格不好、身高矮、不上进|嫁) = p(不帅|嫁)*p(性格不好|嫁)*p(身高矮|嫁)*p(不上进|嫁)，那么我就要分别统计后面几个概率，也就得到了左边的概率！

 

等等，为什么这个成立呢？学过概率论的同学可能有感觉了，这个等式成立的条件需要特征之间相互独立吧！

 

对的！这也就是为什么朴素贝叶斯分类有朴素一词的来源，朴素贝叶斯算法是假设各个特征之间相互独立，那么这个等式就成立了！

 

但是为什么需要假设特征之间相互独立呢？

 

 

1、我们这么想，假如没有这个假设，那么我们对右边这些概率的估计其实是不可做的，这么说，我们这个例子有4个特征，其中帅包括{帅，不帅}，性格包括{不好，好，爆好}，身高包括{高，矮，中}，上进包括{不上进，上进}，那么四个特征的联合概率分布总共是4维空间，总个数为2*3*3*2=36个。

 

36个，计算机扫描统计还可以，但是现实生活中，往往有非常多的特征，每一个特征的取值也是非常之多，那么通过统计来估计后面概率的值，变得几乎不可做，这也是为什么需要假设特征之间独立的原因。

 

2、假如我们没有假设特征之间相互独立，那么我们统计的时候，就需要在整个特征空间中去找，比如统计p(不帅、性格不好、身高矮、不上进|嫁),

 

我们就需要在嫁的条件下，去找四种特征全满足分别是不帅，性格不好，身高矮，不上进的人的个数，这样的话，由于数据的稀疏性，很容易统计到0的情况。 这样是不合适的。

 

根据上面俩个原因，朴素贝叶斯法对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯也由此得名！这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

 

好的，上面我解释了为什么可以拆成分开连乘形式。那么下面我们就开始求解！

 

我们将上面公式整理一下如下：

 



 

下面我将一个一个的进行统计计算（在数据量很大的时候，根据中心极限定理，频率是等于概率的，这里只是一个例子，所以我就进行统计即可）。

 

p(嫁)=？

首先我们整理训练数据中，嫁的样本数如下：

 



则 p(嫁) = 6/12（总样本数） = 1/2

 

p(不帅|嫁)=？统计满足样本数如下：

 



则p(不帅|嫁) = 3/6 = 1/2 在嫁的条件下，看不帅有多少

 

p(性格不好|嫁)= ？统计满足样本数如下：

 



则p(性格不好|嫁)= 1/6

 

p（矮|嫁） = ?统计满足样本数如下：

 



则p(矮|嫁) = 1/6

 

p(不上进|嫁) = ?统计满足样本数如下：

 



则p(不上进|嫁) = 1/6

 

下面开始求分母，p(不帅)，p（性格不好），p（矮），p（不上进）

统计样本如下：

 



 

不帅统计如上红色所示，占4个，那么p（不帅） = 4/12 = 1/3

 



 

性格不好统计如上红色所示，占4个，那么p（性格不好） = 4/12 = 1/3

 



 

身高矮统计如上红色所示，占7个，那么p（身高矮） = 7/12

 



 

不上进统计如上红色所示，占4个，那么p（不上进） = 4/12 = 1/3

 

到这里，要求p(不帅、性格不好、身高矮、不上进|嫁)的所需项全部求出来了，下面我带入进去即可，

 



= (1/2*1/6*1/6*1/6*1/2)/(1/3*1/3*7/12*1/3)

 

下面我们根据同样的方法来求p(不嫁|不帅，性格不好，身高矮，不上进)，完全一样的做法，为了方便理解，我这里也走一遍帮助理解。首先公式如下：

 



 

下面我也一个一个来进行统计计算，这里与上面公式中，分母是一样的，于是我们分母不需要重新统计计算！

 

p（不嫁）=？根据统计计算如下（红色为满足条件）：

 



 

则p(不嫁)=6/12 = 1/2

 

p(不帅|不嫁) = ？统计满足条件的样本如下（红色为满足条件）：

 



 

则p（不帅|不嫁） = 1/6

 

p（性格不好|不嫁） = ？据统计计算如下（红色为满足条件）：




则p（性格不好|不嫁） =3/6 = 1/2

 

p（矮|不嫁） = ？据统计计算如下（红色为满足条件）：

 



则p（矮|不嫁） = 6/6 = 1

 

p（不上进|不嫁） = ？据统计计算如下（红色为满足条件）：



则p（不上进|不嫁） = 3/6 = 1/2

 

那么根据公式：

 

p (不嫁|不帅、性格不好、身高矮、不上进) = ((1/6*1/2*1*1/2)*1/2)/(1/3*1/3*7/12*1/3)

很显然(1/6*1/2*1*1/2) > (1/2*1/6*1/6*1/6*1/2)

 

于是有p (不嫁|不帅、性格不好、身高矮、不上进)>p (嫁|不帅、性格不好、身高矮、不上进)

 

所以我们根据朴素贝叶斯算法可以给这个女生答案，是不嫁！！！！

 



5  朴素贝叶斯分类的优缺点



优点：

（1） 算法逻辑简单,易于实现（算法思路很简单，只要使用贝叶斯公式转化医学即可！）

（2）分类过程中时空开销小（假设特征相互独立，只会涉及到二维存储）

 

缺点：

 

理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。

 

而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

 

整个例子详细的讲解了朴素贝叶斯算法的分类过程，希望对大家的理解有帮助~

 

参考：李航博士《统计学习方法》

算法杂货铺--分类算法之朴素贝叶斯分类(Naive Bayesian classification)

 

致谢：德川，皓宇，继豪，施琦



原文地址：https://mp.weixin.qq.com/s?__biz=MzI4MDYzNzg4Mw==&mid=2247483819&idx=1&sn=7f1859c0a00248a4c658fa65f846f341&chksm=ebb4397fdcc3b06933816770b928355eb9119c4c80a1148b92a42dc3c08de5098fd6f278e61e#rd