基础知识：

①条件概率 ：P(B|A) = P(AB) / P(A)       其中P(AB) = P(A∩B) 即事件A 和事件B同时发生的概率

 由上式变形可知  P(AB) = P(A) *  P(B|A)。

②全概率公式 ： 在计算一个比较复杂事件的概率时，我们总是希望从已知的简单地事件的概率来计算，为此经常把一个复杂事件分解为若干个不相容的简单事件的和，再分别计算这些简单事件的概率，最后利用有限可加性得到较复杂事件的概率。

设A1,A2,A3,···,An是样本空间Ω的一个划分（A1-An中 每次实验有且仅有一个发生）B是任意一个事件，则 全概率公式的表达形式： 

③先验概率/后验概率：

后验概率  是   由果推因 你知道是这个结果 那么造成这个结果的原因的概率是多少呢？

 似然概率 是   由因推果   哪个原因最有可能导致这个结果的概率。 

贝叶斯公式：

贝叶斯公式是求解后验概率的一种方法：

贝叶斯公式内容 :      

证明：

其中P(B|Ai)   叫做似然概率 他一般代表观测的准确性  。

       比如用体重计测量体重  P(A1 = 100) 表示重量为100kg的估计概率 ， P(A2 = 101)表示总量为101kg的概率  。实际的体重在测量时 B = 100.5，但是这个测量值也是有误差的，并不是真实值。那么 P(B|A1)的含义就是当真实体重为100.5kg时，体重计测得体重为100kg的概率是多少。

       后验概率 所有的 值加起来概率和为1，这个可以通过全概率公式很好的算出来，但是似然概率之间的大小并没有影响。

贝叶斯单一观测

$$p(x/z)=\frac{p(z/x)p(x)}{p(z)}$$

贝叶斯多种观测

$$p(x/z,u)=\frac{p(z,x,u)}{p(z,u)}=\frac{p(z/x,u)p(x,u)}{p(z,u)}=\frac{p(z/x,u)p(x/u)p(u)}{p(z/u)p(u)}=\frac{p(z/x,u)p(x/u)}{p(z/u)}$$

SLAM中贝叶斯公式推导

$$\begin{array}{rl}Bel(x_t)& =p(x_t/x_0,z_{1:t},u_{1:t})\\ & =\frac{p(z_t/x_t,z_{1:t-1},u_{1:t})p(x_t/x_0,z_{1:t-1},u_{1:t})}{p(z_t/z_{1:t-1},u_{1:t})}(1)\\ & =\eta p(z_t/x_t)p(x_t/x_0,z_{1:t-1},u_{1:t})(2)\\ & =\eta p(z_t/x_t)\int p(x_t/x_{t-1},z_{1:t-1},u_{1:t})p(x_{t-1}/x_0,z_{1:t-1},u_{1:t})d{x}_{t-1}(3)\\ & =\eta p(z_t/x_t)\int p(x_t/x_{t-1},u_t)p(x_{t-1}/x_0,z_{1:t-1},u_{1:t})d{x}_{t-1}(4)\\ & =\eta p(z_t/x_t)\int p(x_t/x_{t-1},u_t)p(x_{t-1}/x_0,z_{1:t-1},u_{1:t-1})d{x}_{t-1}(5)\\ & =\eta p(z_t/x_t)\int p(x_t/x_{t-1},u_t)Bel(x_{t-1})d{x}_{t-1}\end{array}$$
(1)式到(2)式，分母与x无关，是一个常数，为了方便表示用$\eta$表示，由马尔科夫假设，在已知$x_t$的情况下，$z_t$与{$z_{1:t-1},u_{1:t}$}无关，所以分子第一项化简为$p(z_t/x_t)$

(2)式到(3)式，当前状态$x_t$是基于之前所有状态估计得到的，至少它会受$x_{t-1}$影响，于是按照$x_{t-1}$时刻为条件概率展开:$p(x_{t-1}/x_0,z_{1:t-1},u_{1:t})=p(x_{t-1}/x_0,z_{1:t-1},u_{1:t-1})=Bel(x_{t-1})$

(3)式到(4)式，由马尔科夫假设，当前时刻状态只和上一个时刻有关，所以$\int p(x_t/x_{t-1},z_{1:t-1},u_{1:t})=\int p(x_t/x_{t-1},u_t)$

(4)式到(5)式，考虑到ｔ时刻的输入量$u_t$与 t−1 时刻的状态无关，所以把$u_t$拿掉，$p(x_{t-1}/x_0,z_{1:t-1},u_{1:t})=p(x_{t-1}/x_0,z_{1:t-1},u_{1:t-1})=Bel(x_{t-1})$

总结：从最终的式子可以看出，SLAM中的贝叶斯框架就是：我们用轮速里程计运动数据$u_t$来预测下一时刻机器人的位姿$x_t$，接着用视觉传感器观测数据$z_t$来对预测的位姿$x_t$进行校正，这样就获得了当前时刻状态的后验。其实就是两个过程，状态预测和状态更新。

I . 贝叶斯分类器

---

1 . 贝叶斯分类器 :

① 原理 : 基于统计学方法贝叶斯 ( Bayes ) 理论 , 预测样本某个属性的分类概率 ;

② 性能分析 : 朴素贝叶斯 分类器 , 与 决策树 , 神经网络 分类器 性能基本相同 , 性能指标处于同一数量级 , 适合大数据处理 ;

2 . 贝叶斯分类器的类型 :

① 朴素贝叶斯分类器 : 样本属性都是独立的 ;

② 贝叶斯信念网络 : 样本属性间有依赖关系的情况 ;

决策树 , 贝叶斯 , 神经网络 都是机器学习的核心方法

II . 贝叶斯推断 ( 逆向概率 )

---

1 . 贝叶斯推断 : 是统计学方法 , 贝叶斯定理的应用 , 用于估算统计量的性质 ;

2 . 正向概率 与 逆向概率 :

① 正向概率 : 盒子中有 $N$ 个白球 , $M$ 个黑球 , 摸出黑球的概率是 $\frac{\mathrm{M}}{\mathrm{N}+\mathrm{M}}$ ;

② 逆向概率 : 事先不知道盒子中白球和黑球的数量 , 任意摸出 $X$ 个球 , 通过观察这些球的颜色 , 推测盒子中有多少白球 , 多少黑球 ;

III . 贝叶斯推断 应用场景 ( 垃圾邮件过滤 )

---

1 . 传统垃圾邮件过滤方法 :

① 关键词法 : 识别特定词语 , 识别 “发票” “培训” 等关键字 ;

② 检验码法 : 计算邮件中文本的校验码 , 与已知的垃圾邮件对比 ;

③ 效果 : 关键词法 和 校验码法 对垃圾邮件的识别效果不好 , 容易规避 ;

④ 问题本质 : 垃圾邮件过滤是二元分类问题 , 针对每个邮件 , 都需要判定其是否是垃圾邮件 ,

2 . 贝叶斯推断过滤垃圾邮件 :

① 效果 : 准确性很高 , 并且没有误判 ;

② 原理 : 贝叶斯推断的垃圾邮件过滤器有学习能力 , 收到的邮件越多 , 训练集越大 , 判定越准确 ;

IV . 贝叶斯方法 由来

---

1 . 贝叶斯方法 由来 :

① 现实情况 : 现实世界本身的状况复杂 , 不确定性很大 , 人的观察能力也有限 ;

② 人的应对方案 : 多数情况下 , 只能根据观察到的结果 , 来估算实际的情况 ;

2 . 贝叶斯 处理 逆向概率 问题示例 :

① 盒子白球黑球问题 : 从盒子中取出白球和黑球 , 不知道盒子中有多少白球和黑球 , 只能根据从盒子中取出球的情况 , 估算盒子中的白球和黑球数 ;

② 互联网垃圾邮件问题 : 互联网中发送邮件 , 有多少是正常邮件 , 有多少是垃圾邮件是不知道的 , 只能根据当前收到的垃圾邮件 , 反向估算实际情况 ;

V . 贝叶斯方法

---

贝叶斯方法 :

① 提出假设 : 给出样本属性的 不同类型 的猜测的 属性值 , 如 : 邮件是否是垃圾邮件 , 是 或者 否 ;

② 计算每种取值的可能性 : 计算每种猜测的可能性 ;

③ 确定猜测 : 选取可能性最大的猜测 , 作为贝叶斯推断的结果 ;

VI . 贝叶斯公式

---

1 . 贝叶斯公式 :

公式 ①

$$P(B|A)=\frac{P(A|B)\times P(B)}{P(A|B)\times P(B)+P(A|\sim B)\times P(\sim B)}$$

简写形式 :

公式 ②

$$P(B|A)=\frac{P(AB)}{P(A)}$$

或

公式 ③

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

2 . 公式中的事件说明 : 有两个事件 , 事件 $A$ , 和事件 $B$ ;

3 . 概率的表示方法 :

① 事件 $A$ 发生的概率 : 表示为 $P(A)$ ;

② 事件 $B$ 发生的概率 : 表示为 $P(B)$ ;

③ $AB$两个事件同时发生的概率 : 表示为 $P(A,B)$ ;

④ 事件 $A$ 发生时 $B$ 发生的概率 : 表示为 $P(B|A)$ ;

VII . 贝叶斯公式 ③ 推导过程

---

1 . 事件 $A$ 和 $B$ 同时发生的概率 ( 第 $1$ 种求法 ) :

① 先求 $A$ 发生的概率 : $P(A)$

② 再求 $A$ 发生时 $B$ 发生的概率 : $P(B|A)$

③ $AB$ 同时发生的概率 : $P(A,B)=P(A)\times P(B|A)$

2 . 事件 $A$ 和 $B$ 同时发生的概率 ( 第 $2$ 种求法 ) :

① 先求 $B$ 发生的概率 : $P(B)$

② 再求 $B$ 发生时 $A$ 发生的概率 : $P(A|B)$

③ $AB$ 同时发生的概率 : $P(A,B)=P(B)\times P(A|B)$

3 . 公式 ③ 推导过程 :

$P(A)\times P(B|A)$ 与 $P(B)\times P(A|B)$ 两个公式是等价的 , 可推导出如下公式 :

$$P(A)\times P(B|A)=P(B)\times P(A|B)$$

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

VIII . 使用贝叶斯公式求逆向概率

---

使用贝叶斯公式求逆向概率 :

知道 $B$ 发生时 , $A$ 发生的概率 $P(A|B)$ , 求其逆概率 : $A$ 发生时 , $B$ 发生的概率 $P(B|A)$ ;

可将已知的 $P(A|B)$ 概率 , 和 $AB$ 单独发生的概率 $P(A)$ , $P(B)$ , 代入如下公式 :

$$P(B|A)=\frac{P(B)\times P(A|B)}{P(A)}$$

即可得到其逆概率 , $B$ 发生时 , $A$ 发生的概率 ;