精华内容
下载资源
问答
  • 正态分布均值的贝叶斯估计公式的详细推导
  • 贝叶斯估计

    2017-11-27 11:02:08
    贝叶斯估计 贝叶斯估计 贝叶斯估计 贝叶斯估计 贝叶斯估计
  • 贝叶斯估计2

    2018-01-04 21:51:46
    贝叶斯估计(Bayesian estimation)是利用贝斯定理结合新的证据及以前的先验概率,来得到新的概率。它提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
  • 卡尔曼滤波作为递归贝叶斯估计 这是一个从直方图滤镜到N维卡尔曼滤镜的分步教程。 它基于塞巴斯蒂安·特伦(Sebastian Thrun)提供的出色的Udacity课程: 它涵盖:
  • 贝叶斯估计matlab代码HMeta-d 分层meta-d'模型(HMeta-d) 史蒂夫·弗莱明(Steve Fleming) 这个MATLAB工具箱使用Matlab和JAGS在一个分层贝叶斯框架中实现了meta-d'模型(Maniscalco&Lau,2012),Matlab和JAGS是...
  • 用matlab软件 设计实现贝叶斯估计的例子 仿真实验 计算错误率
  • 贝叶斯估计与跟踪实用指南英文版 近年出版的书,滤波算法比较全
  • 贝叶斯估计示例: 我们使用两个传感器对状态 (x) 进行了两次测量。 x1=3 来自传感器 1,x2=5 来自传感器 2。我们知道传感器 1 具有零均值高斯噪声,方差=1,传感器 2 具有零均值高斯噪声,方差=0.25。 求 x 及其...
  • matlab隶属度代码用于贝叶斯估计(MBE)的Matlab工具箱 概要 这是用于贝叶斯估计的Matlab工具箱。 该代码的基础是在以下论文(Kruschke,2013),书籍(Kruschke,2014)和网站()中描述的Kruschke R代码的Matlab...
  • 朴素贝叶斯算法,matlab程序,极大似然估计,贝叶斯估计
  • 该文章是中文版,英文版Research on Multi-source Data Fusion Method Based on Bayesian Estimation,2017年EI已检索
  • 第11章:缺少数据建模和贝叶斯估计视图示例 第12章:蒙特卡洛模拟研究查看示例 第13章:示例:特殊功能 第14章:特殊建模问题 第 15 章:标题、数据、变量和定义命令 第16章:分析命令 第17章:MODEL命令 第 ...
  • 6.4贝叶斯估计

    2017-11-26 16:26:34
    6.4贝叶斯估计 6.4贝叶斯估计 6.4贝叶斯估计 最优估计
  • best, 贝叶斯估计取代t 检验 基于的两组贝叶斯估计这个 python 包实现了在Kruschke,John ( 2012 ) 估计取代了t 检验。 实验心理学杂志:一般。实现了两组贝叶斯估计,提供了效果大小。组方法。差异。标准差等数据。...
  • 预算matlab代码VC-贝叶斯估计 用于使用贝叶斯估计技术估计动态随机一般均衡(DSGE)模型的代码。 这些代码可从以下位置在线获得: 要求 Matlab(R) 使用Matlab(R)R2018a和以下工具箱对代码进行了测试 符号工具箱 ...
  • 贝叶斯估计.rar

    2019-10-30 23:20:21
    基于MATLAB的模式识别的贝叶斯决策,处理水环境分类问题,共分为5类,最后得出五类总的识别率(概率)。
  • 贝叶斯估计学习笔记

    2021-01-05 18:10:59
    【学习笔记】贝叶斯估计 文章目录【学习笔记】贝叶斯估计1.基本概念2.贝叶斯定理(Bayes' Theorem)3.贝叶斯估计4.一个例子——贝叶斯公式的密度函数4.共轭分布参考资料 计量学习中充斥了各种参数估计方法,假设参数...

    【学习笔记】贝叶斯估计


    计量学习中充斥了各种参数估计方法,假设参数存在的情况下,回想一下我们经常见到的估计方法。脑子里几乎能立刻想到OLS(最小二乘估计)和MLE(最大似然估计),那么贝叶斯估计是什么样的估计方法呢?

    翻一翻计量课本,我们隐约觉得OLS、MLE和贝叶斯估计之间不太一样。深入去看,我们发现OLS和MLE在计算参数的时候总是把待求的参数当作一个固定的未知数,然后通过最小均方误差最大化样本概率来求出这个未知的参数。但当我们看贝叶斯估计的时候,我们发现贝叶斯估计似乎并不直接估计参数的值,而是允许参数服从一定的概率分布,也就是说贝叶斯估计的参数是一个用概率分布表示的随机变量

    更深入一些,我们发现上面我们所讨论的两大类不同的估计方法其实属于不同的学派。

    参数估计(Parameter Estimation)在统计学领域有两个学派:频率学派也叫古典学派(最大似然估计MLE、最大后验估计MAP,最小二乘估计OLS等)与贝叶斯学派(贝叶斯估计BPE) 。频率派在进行统计推断时使用的是总体信息和样本信息,但贝叶斯估计认为还应使用先验信息是否使用先验信息也是贝叶斯估计区别于频率派的主要特点。

    另外,频率派认为未知参数 θ \theta θ是客观存在的,不会改变,是固定值;贝叶斯派则认为未知参数 θ \theta θ是随机值,可以用一个概率分布去描述。 贝叶斯估计要求在得到样本之后,总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 θ \theta θ的新分布——后验分布,此后任何关于 θ \theta θ的统计推断都应基于 θ \theta θ的后验分布进行。

    一般而言,频率派最常关心的是似然函数,而贝叶斯派最常关心的是后验分布。贝叶斯派因为所有的参数都是随机变量,都有分布,因此可以使用一些基于采样的方法(如MCMC)使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布,因此更加客观,也更加无偏,在一些保守的领域(比如制药业、法律)比贝叶斯方法更受到信任。

    上面是一个对贝叶斯估计的整体概述,但想要真正了解贝叶斯估计就要从基本概念开始。

    2

    1.基本概念

    🔸 后验分布(posterior distribution):由果推因。也就是已知结果,然后根据结果估计原因的概率分布即为后验分布。

    举个例子,新学期开始的时候你的博士同学小拉告诉你他花了三个小时才到了学校,那么花了三个小时到学校就是结果,你想根据这个结果猜测(估计)他来学校的交通方式即猜测原因,用公式表达就是:
    P [ ( 原 因 ) 交 通 方 式 ∣ ( 结 果 ) 花 费 的 时 间 ] P[(原因)交通方式|(结果)花费的时间] P[()()]
    θ \theta θ表示事件原因, x x x表示事件结果,那么正规的公式可以表达成:
    P ( θ ∣ x ) P(\theta | x) P(θx)
    🔸 先验分布(prior distribution):在结果发生前根据历史规律确定原因的概率分布即为后验分布,也就是不知道结果的前提下的一种主观判断。

    举个例子,我们不用知道你的博士同学小拉花了多长时间来的学校,但是你和小拉很熟悉,你知道他在当地居住,但他是个健身爱好者,更倾向于跑步过来。所以这个时候博士同学小拉的交通工具选择与花费时间不再相关,我们在结果发生之前就开始进行主观猜测,用公式表示就是:
    P [ 交 通 方 式 ( 原 因 ) ] P[交通方式(原因)] P[]
    借由上面的表达式,将其正规化得到:
    P ( θ ) P(\theta) P(θ)
    🔸 似然估计:如果从因果的角度去看,似然估计是由果推因,它表示的含义和概率刚好是相反的。但在形式上似然函数 L ( θ ∣ x ) = P ( x ∣ θ ) L(\theta|x)=P(x|\theta) L(θx)=P(xθ),这里具体的区别请参考知乎文章似然与似然函数详解,里面非常详细地对似然函数与概率进行了区分。

    🔸 样本发生的概率分布:如果忽略原因,只看结果,我们可以得到结果的概率分布。用上面的例子来看,如果我们忽略博士小拉可能选择的交通方式,只统计他每天到达学校的使劲,那么我们可以得到一组时间的概率分布。用公式表达就是:
    P [ 时 间 ( 结 果 ) ] P[时间(结果)] P[()]
    也就是:
    P ( x ) P(x) P(x)

    2.贝叶斯定理(Bayes’ Theorem)

    🔸在知道后验分布、先验分布和似然估计的概念之后,我们开始引入贝叶斯定理。

    如果 P ( A ) P(A) P(A) 表示先验概率, B B B表示样本数据,那么贝叶斯定理可以用以下公式来表示:
    P ( A ∣ B ) = P ( B ∣ A ) ∗ P ( A ) P ( B ) P(A|B)=\frac{P(B|A)*P(A)}{P(B)} P(AB)=P(B)P(BA)P(A)
    如果借用上面的例子,我们还可以采取下面这种表达形式:
    P ( θ ∣ x ) = P ( x ∣ θ ) ∗ P ( θ ) P ( x ) P(\theta|x)=\frac{P(x|\theta)*P(\theta)}{P(x)} P(θx)=P(x)P(xθ)P(θ)

    这里可以看到贝叶斯公式中常用 P ( x ∣ θ ) P(x|\theta) P(xθ)来代表
    后 验 概 率 = 似 然 估 计 ∗ 先 验 概 率 样 本 发 生 的 概 率 分 布 后验概率=\frac{似然估计*先验概率}{样本发生的概率分布} =

    上面的公式其实也可以这样理:解在我们不知道博士同学小拉到学校多长时间 x x x 的前提下,我们根据对小拉的了解推测其可能采用的交通方式 P ( θ ) P(\theta) P(θ) ,这是先验概率,这里我们假设我们根据对小拉是个跑步爱好者的了解推断其可能会跑步来学校。

    P ( x ∣ θ ) P ( x ) \frac{P(x|\theta)}{P(x)} P(x)P(xθ) 是可能性函数,表示当我们了解了一些新信息(比如现在你知道了小拉到学校需要花3个小时),比如你知道了今天早上下雨了,那么小拉很有可能不再跑步来学校,这里的可能性函数很有可能小于1,也就是削弱了你之前的先验判断 P ( θ ) P(\theta) P(θ) 。可能性函数起到对你先验信息进行调节的作用,最后让你根据你拥有的先验信息(对博士同学小拉可能采取的交通方式的了解)推测出后验信息(小拉花了3个小时到学校可能采用什么交通方式)。

    所以,贝叶斯估计的实质就在于:

    反复使用贝叶斯定理,将先验分布与样本数据综合为后验分布。

    🔸下面我们用随机变量的概率密度再一次描述贝叶斯公式

    p ( x ∣ θ ) p(x|\theta) p(xθ)是总体的概率函数,表示在随机变量 θ \theta θ取某个给定值时总体的条件概率密度; π ( θ ) \pi(\theta) π(θ)是根据参数 θ \theta θ确定的先验分布。从贝叶斯的观点来看,样本 X = ( x 1 , … , x n ) X=(x_1,…,x_n) X=(x1,,xn)的产生分两步进行。第一步设想从先验分布 π ( θ ) \pi(\theta) π(θ)产生一个样本 θ 0 \theta_0 θ0,这一步是"老天爷"做的,我们是看不到的。第二步从 p ( X ∣ θ 0 ) p(X| \theta_0) p(Xθ0)中产生一组样本。这时样本 X = ( x 1 , … , x n ) X=(x_1,…,x_n) X=(x1,,xn)联合条件概率密度为:
    p ( X ∣ θ 0 ) = p ( x 1 , … , x n ∣ θ 0 ) = ∏ i = 1 n p ( x i ∣ θ 0 ) p(X|\theta_0)=p(x_1,…,x_n|\theta_0)=\prod_{i = 1}^{n}p(x_i|\theta_0) p(Xθ0)=p(x1,xnθ0)=i=1np(xiθ0)
    这里的 p ( X ∣ θ 0 ) p(X|\theta_0) p(Xθ0)其实就等价于似然函数(但似然函数和密度函数或者概率是不同的含义,有点绕)。
    这个分布综合了总体信息和样本信息。

    由于 θ 0 \theta_0 θ0是我们设想出来的,还是未知的,它是按照先验分布 π ( θ ) \pi(\theta) π(θ)产生的。我们把先验信息考虑进去,不仅只考虑发生 θ 0 \theta_0 θ0的情况,对于 θ \theta θ的其他发生值也加入考虑,这里便需要 π ( θ ) \pi(\theta) π(θ)来进行综合。所以,样本 X X X θ \theta θ的联合分布
    h ( X , θ ) = p ( X ∣ θ ) π ( θ ) h(X,\theta)=p(X|\theta)\pi(\theta) h(X,θ)=p(Xθ)π(θ)
    上面这个分布则把总体信息、样本信息和先验信息全都综合进去了。

    我们需要依据 h ( X , θ ) h(X,\theta) h(X,θ)对参数 θ \theta θ作出推断,因此我们把 h ( X , θ ) h(X,\theta) h(X,θ)进行分解:
    h ( X , θ ) = π ( θ ∣ X ) m ( X ) h(X,\theta)=\pi(\theta|X)m(X) h(X,θ)=π(θX)m(X)
    m ( X ) m(X) m(X) X X X的边际概率函数
    m ( X ) = ∫ Θ h ( X , θ ) d θ = ∫ Θ p ( X ∣ θ ) π ( θ ) d θ m(X)=\int_{\Theta}h(X,\theta)d\theta=\int_{\Theta}p(X|\theta)\pi(\theta)d\theta m(X)=Θh(X,θ)dθ=Θp(Xθ)π(θ)dθ
    由于 m ( X ) m(X) m(X)中不含 θ \theta θ的任何信息,所以我们只能用 π ( θ ∣ X ) \pi(\theta|X) π(θX)来进行推断,其计算公式为:
    π ( θ ∣ X ) = h ( X , θ ) m ( X ) = p ( X ∣ θ ) π ( θ ) ∫ Θ p ( X ∣ θ ) π ( θ ) d θ \pi(\theta|X)=\frac{h(X,\theta)}{m(X)}=\frac{p(X|\theta)\pi(\theta)}{\int_{\Theta}p(X|\theta)\pi(\theta)d\theta} π(θX)=m(X)h(X,θ)=Θp(Xθ)π(θ)dθp(Xθ)π(θ)
    上面这个分布就是后验分布,也是贝叶斯公式的密度函数形式,它集合了总体、样本和先验信息中的一切信息,是使用总体和样本信息对先验分布 π ( θ ) \pi(\theta) π(θ)进行调整的结果,因此比 π ( θ ) \pi(\theta) π(θ)更接近 θ \theta θ的实际情况。

    3.贝叶斯估计

    从后验分布 π ( θ ∣ X ) \pi(\theta|X) π(θX)来进行推断 θ \theta θ有三种常用方法:

    🔸使用后验分布的密度函数最大值点作为 θ \theta θ点估计的最大后验估计。

    🔸使用后验分布的中位数作为 θ \theta θ的点估计的后验中位数估计。

    🔸使用后验分布的均值作为 θ \theta θ的点估计的后验期望估计。

    使用最多的是后验期望估计,一般简称为贝叶斯估计,记为 θ B ^ \hat{\theta_B} θB^

    4.一个例子——贝叶斯公式的密度函数

    下面举一个简单的例子:

    例子:假设总体X服从二项分布,即 X − B ( N , θ ) X-B(N,\theta) XB(N,θ) N N N已知, θ \theta θ是未知数, θ \theta θ的先验分布是0到1的均匀分布,即 θ − U ( 0 , 1 ) \theta-U(0,1) θU(0,1)。现在有n个样本 X 1 , X 2 … , X n {X_1,X_2…,X_n} X1,X2,Xn,求 θ \theta θ的贝叶斯估计。

    解:

    步骤一:写出先验分布密度 π ( θ ) \pi(\theta ) π(θ)
    π ( θ ) = 1 b − a = 1 \pi(\theta)=\frac{1}{b-a}=1 π(θ)=ba1=1
    步骤二:写出样本数据{ X n {X_n} Xn}的联合概率密度,也就是 p ( X ∣ θ ) p(X|\theta) p(Xθ)
    p ( X ∣ θ ) = ∏ i = 1 n C N x i θ x i ( 1 − θ ) N − x i p(X|\theta)=\prod_{i = 1}^{n}{C^{x_i}_N}\theta^{x_i}(1-\theta)^{N-x_i} p(Xθ)=i=1nCNxiθxi(1θ)Nxi
    步骤三:根据贝叶斯定理,写出后验分布的密度核。

    回想我们之前使用的计算后验概率的公式(后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1),写出贝叶斯公式的密度函数形式:
    π ( θ ∣ x ) = h ( X , θ ) m ( X ) = p ( X ∣ θ ) π ( θ ) ∫ 0 1 p ( X ∣ θ ) π ( θ ) d θ \pi(\theta|x)=\frac{h(X,\theta)}{m(X)}=\frac{p(X|\theta)\pi(\theta)}{\int_{0}^{1}p(X|\theta)\pi(\theta)d\theta} π(θx)=m(X)h(X,θ)=01p(Xθ)π(θ)dθp(Xθ)π(θ)

    = ∏ i = 1 n C N x i θ x i ( 1 − θ ) N − x i ∫ 0 1 ∏ i = 1 n C N x i θ x i ( 1 − θ ) N − x i d θ =\frac{\prod_{i=1}^{n}{C^{x_i}_N}\theta^{x_i}(1-\theta)^{N-x_i}}{\int_{0}^{1}\prod_{i=1}^{n}{C^{x_i}_N}\theta^{x_i}(1-\theta)^{N-x_i}d\theta} =01i=1nCNxiθxi(1θ)Nxidθi=1nCNxiθxi(1θ)Nxi

    = θ ∑ X i ( 1 − θ ) n N − ∑ X i ∫ 0 1 θ ∑ X i ( 1 − θ ) n N − ∑ X i d θ =\frac{\theta ^{\sum X_i}(1-\theta)^{nN-\sum X_i}}{\int_{0}^{1}\theta^{\sum X_i}(1-\theta)^{nN-\sum X_i}d\theta} =01θXi(1θ)nNXidθθXi(1θ)nNXi

    = Γ ( n N + 2 ) θ ∑ X i ( 1 − θ ) n N − ∑ X i Γ ( 1 + ∑ X i ) Γ ( n N − ∑ X i + 1 ) =\frac{\Gamma(nN+2) \theta ^{\sum X_i}(1-\theta)^{nN-\sum X_i}}{\Gamma(1+\sum X_i)\Gamma(nN-\sum X_i +1)} =Γ(1+Xi)Γ(nNXi+1)Γ(nN+2)θXi(1θ)nNXi

    这个后验分布结果说明 θ ∣ x ∼ B e ( 1 + ∑ X i , n N − ∑ X i + 1 ) \theta|x \thicksim Be(1+\sum X_i,nN-\sum X_i +1) θxBe(1+Xi,nNXi+1)

    步骤四:贝叶斯估计

    那么后验期望估计为:
    θ ^ = ∫ 0 1 θ π ( θ ∣ x ) d θ = 1 + ∑ X i n N + 2 \hat\theta=\int_{0}^{1} \theta\pi (\theta|x)d\theta =\frac{1+\sum X_i}{nN+2} θ^=01θπ(θx)dθ=nN+21+Xi
    (注:如果不用先验信息,只用总体和样本信息,则参数 θ \theta θ的最大似然估计为 θ ^ M = ∑ X i n N \hat\theta_M=\frac{\sum X_i}{nN} θ^M=nNXi,请读者自己计算一下)

    4.共轭分布

    到此我们就把贝叶斯估计的基本原理讲完了,最后介绍一下共轭分布的概念。

    概念:设样本 x = ( x 1 , x 2 , … x n ) x=(x_1,x_2,…x_n) x=(x1,x2,xn)来自于总体 p ( x ∣ θ ) p(x|\theta) p(xθ),其中 θ \theta θ是参数。已知 π ( θ ) \pi(\theta) π(θ) θ \theta θ的先验密度函数。另外, p ( X ∣ θ ) p(X|\theta) p(Xθ)是样本联合密度函数,即似然函数。如果后验密度函数 π ( θ ∣ x ) \pi(\theta|x) π(θx)与先验密度函数 π ( θ ) \pi(\theta) π(θ)来自于同一个分布族,那么称 π ( θ ) \pi(\theta) π(θ)共轭于似然函数 p ( X ∣ θ ) p(X|\theta) p(Xθ),同时,我们称 π ( θ ) \pi(\theta) π(θ) 是参数 θ \theta θ的共轭先验分布。

    定义中的“共轭”体现在参数的先验分布样本的似然函数上。就是说,参数的先验分布与样本的似然函数是一对。参数的先验分布只有在经过特定的样本更新之后,才能得到一个与先验同分布族的后验。

    共轭先验分布可以简化计算。具体体现在我们在知道了先验分布和似然函数之后,可以直接判断后验属于什么分布。

    具体的共轭分布解析及其常见共轭分布可以参考https://zhuanlan.zhihu.com/p/121775911的讲解。

    参考资料

    [1] https://zhuanlan.zhihu.com/p/121775911

    [2] https://blog.csdn.net/qq_23947237/article/details/78265026

    [3] https://m.medsci.cn/article/show_article.do?id=7b72e047700&onlybody=1

    [4] 《概率论与数理统计教程(第二版》 作者:茆诗松等

    .com/p/121775911

    [2] https://blog.csdn.net/qq_23947237/article/details/78265026

    [3] https://m.medsci.cn/article/show_article.do?id=7b72e047700&onlybody=1

    [4] 《概率论与数理统计教程(第二版》 作者:茆诗松等

    [5]《高级计量经济学及Stata应用(第二版)》 作者:陈强

    展开全文
  • 在参数估计中,寿命数据是非常重要的. 传统的估计是基于完全精确的寿命数据.... 本文将贝叶斯估计方法与模糊集理论相结合,给出了正态总体中两参数的模糊贝叶斯估计. 最后,用一个数值例子演示了本文的方法.
  • 正态分布时的贝叶斯估计

    千次阅读 2021-09-20 17:23:55
    正态分布时的贝叶斯估计 前导知识:【贝叶斯估计】 下面以最简单的一维正态分布模型为例来说明贝叶斯估计的应用。假设模型的均值μ\muμ是待估计的参数,方差为σ2\sigma^2σ2为已知,分布密度写为: ρ(x∣μ)=12π...

    正态分布时的贝叶斯估计

    前导知识:【贝叶斯估计】
    下面以最简单的一维正态分布模型为例来说明贝叶斯估计的应用。假设模型的均值 μ \mu μ是待估计的参数,方差为 σ 2 \sigma^2 σ2为已知,分布密度写为:
    ρ ( x ∣ μ ) = 1 2 π σ e − 1 2 ( x − μ σ ) 2 (1) \rho(x|\mu)=\frac{1}{\sqrt{2\pi \sigma}} e^{-\frac{1}{2} (\frac{x- \mu}{\sigma})^2} \tag 1 ρ(xμ)=2πσ 1e21(σxμ)2(1)
    假定均值 μ \mu μ的先验分布也是正态分布,其均值为 μ 0 \mu_0 μ0、方差为 σ 0 2 \sigma_0^2 σ02,即:
    ρ ( μ ) = 1 2 π σ 0 e − 1 2 ( μ − μ 0 σ 0 ) 2 (2) \rho(\mu)=\frac{1}{\sqrt{2\pi \sigma_0}} e^{-\frac{1}{2} (\frac{\mu- \mu_0}{\sigma_0})^2} \tag 2 ρ(μ)=2πσ0 1e21(σ0μμ0)2(2)
    对均值进行估计:
    ρ ( μ ∣ X ) = ρ ( X ∣ μ ) ρ ( θ ) ∫ Θ ρ ( X ∣ μ ) ρ ( θ ) d θ (3) \rho(\mu|X)=\frac{\rho(X|\mu) \rho(\theta)}{\int_{\Theta} \rho(X|\mu) \rho(\theta) d\theta} \tag 3 ρ(μX)=Θρ(Xμ)ρ(θ)dθρ(Xμ)ρ(θ)(3)
    我们已经知道,这里的分母只是用来估计出的后验概率进行归一化的常数项,可以暂时不考虑。对于上式分子部分:
    ρ ( X ∣ μ ) ρ ( μ ) = ρ ( μ ) ∏ i = 1 N ρ ( x i ∣ μ ) = 1 2 π σ 0 e − 1 2 ( μ − μ 0 σ 0 ) 2 ∏ i = 1 N 1 2 π σ e − 1 2 ( x i − μ σ ) 2 (4) \rho(X|\mu)\rho(\mu)=\rho(\mu) \prod_{i=1}^{N} \rho(x_i|\mu) \\ = \frac{1}{\sqrt{2\pi \sigma_0}} e^{-\frac{1}{2} (\frac{\mu- \mu_0}{\sigma_0})^2} \prod_{i=1}^{N} \frac{1}{\sqrt{2\pi \sigma}} e^{-\frac{1}{2} (\frac{x_i- \mu}{\sigma})^2} \tag 4 ρ(Xμ)ρ(μ)=ρ(μ)i=1Nρ(xiμ)=2πσ0 1e21(σ0μμ0)2i=1N2πσ 1e21(σxiμ)2(4)
    把所有不依赖于 μ \mu μ的量都写入一个常数中,上式可以整理为:
    ρ ( X ∣ μ ) ρ ( μ ) = a e − 1 2 ( μ − μ N σ N ) 2 (5) \rho(X|\mu)\rho(\mu) = a e^{-\frac{1}{2} (\frac{\mu- \mu_N}{\sigma_N})^2} \tag 5 ρ(Xμ)ρ(μ)=ae21(σNμμN)2(5)
    可见 ρ ( μ ∣ X ) \rho(\mu|X) ρ(μX)也是一个正态分布,可以得到:
    ρ ( μ ∣ X ) = 1 2 π σ N e − 1 2 ( μ − μ N σ N ) 2 (6) \rho(\mu|X)=\frac{1}{\sqrt{2\pi \sigma_N}} e^{-\frac{1}{2} (\frac{\mu- \mu_N}{\sigma_N})^2} \tag 6 ρ(μX)=2πσN 1e21(σNμμN)2(6)
    其中参数满足:
    1 σ N 2 = 1 σ 0 2 + N σ 2 (7) \frac{1}{\sigma_N^2}=\frac{1}{\sigma_0^2}+\frac{N}{\sigma^2} \tag 7 σN21=σ021+σ2N(7)
    μ N = σ N 2 ( μ 0 σ 0 2 + ∑ i = 1 N x i σ 2 ) (8) \mu_N=\sigma_N^2(\frac{\mu_0}{\sigma_0^2}+\frac{\sum_{i=1}^{N} x_i}{\sigma^2}) \tag 8 μN=σN2(σ02μ0+σ2i=1Nxi)(8)
    进一步整理后得:
    μ N = N σ 0 2 N σ 0 2 + σ 2 m N + σ 2 N σ 0 2 + σ 2 μ 0 (9) \mu_N=\frac{N\sigma_0^2}{N\sigma_0^2+\sigma^2} m_N+\frac{\sigma^2}{N \sigma_0^2+\sigma^2} \mu_0 \tag 9 μN=Nσ02+σ2Nσ02mN+Nσ02+σ2σ2μ0(9)
    σ N 2 = σ 0 2 σ 2 N σ 0 2 + σ 2 (10) \sigma_N^2=\frac{\sigma_0^2\sigma^2}{N\sigma_0^2+\sigma^2} \tag {10} σN2=Nσ02+σ2σ02σ2(10)
    其中, m N = 1 N ∑ i = 1 N x i m_N=\frac{1}{N} \sum_{i=1}^{N} x_i mN=N1i=1Nxi是所有观测样本的算术平均。
    所以,贝叶斯估计说,待估计的样本密度函数的均值参数服从均值为 μ N \mu_N μN、方差为 σ N 2 \sigma_N^2 σN2的正态分布。于是有:
    μ ^ = ∫ μ ρ ( μ ∣ X ) d μ = ∫ μ 2 π σ N e − 1 2 ( μ − μ N σ N ) 2 d μ = μ N (11) \hat{\mu}=\int \mu \rho(\mu|X)d\mu=\int \frac{\mu}{\sqrt{2\pi \sigma_N}}e^{-\frac{1}{2} (\frac{\mu- \mu_N}{\sigma_N})^2}d\mu = \mu_N \tag {11} μ^=μρ(μX)dμ=2πσN μe21(σNμμN)2dμ=μN(11)
    ( 9 ) (9) (9)中,正态分布下贝叶斯估计的结果是由两项组成的,一项是样本的算术平均,另一项是对均值的先验认识

    1. 当样本数目趋于无穷大时,第一项的系数趋于1而第二项的系数趋于0,即估计的均值就是样本的算术平均
    2. 当样本数目有限时,如果先验知识非常确定,那么先验分布的方差 σ 0 2 \sigma_0^2 σ02就很小,此时第一项的系数就很小,而第二项的系数接近于1,估计主要由先验知识来决定。
      一般情况下,均值的贝叶斯估计是在样本算术平均与先验分布均值之间进行加权平均。

    贝叶斯估计的优势不但在于使用样本中提供的信息进行估计,而且能够很好地把关于待估计参数的先验知识融合进来,并且能够根据数据量大小先验知识的确定程度来调和两部分信息的相对贡献。

    在此背景下, ρ ( x ∣ X ) \rho(x|X) ρ(xX)的计算公式为:
    ρ ( x ∣ X ) = ∫ Θ ρ ( x ∣ μ ) ρ ( μ ∣ X ) d θ (12) \rho(x|X)=\int_{\Theta} \rho(x|\mu) \rho(\mu|X) d\theta \tag {12} ρ(xX)=Θρ(xμ)ρ(μX)dθ(12)
    根据上述推导结果有:
    ρ ( x ∣ X ) = 1 2 π σ 2 + σ N 2 e − 1 2 ( x − μ N σ 2 + σ N 2 ) 2   N ( μ N , σ 2 + σ N 2 ) (13) \rho(x|X)=\frac{1}{\sqrt{2\pi \sqrt{\sigma^2+\sigma_N^2}}} e^{-\frac{1}{2} (\frac{x- \mu_N}{\sqrt{\sigma^2+\sigma_N^2}})^2} ~ N(\mu_N,\sigma^2+\sigma_N^2) \tag {13} ρ(xX)=2πσ2+σN2 1e21(σ2+σN2 xμN)2 N(μN,σ2+σN2)(13)

    展开全文
  • 贝叶斯估计与跟踪

    2017-12-17 19:14:47
    贝叶斯估计与跟踪 里面有matlab代码 很经典也很浅显易懂 推荐下载
  • 基于对偶树复小波变换和贝叶斯估计技术,提出了一种图像噪声去除方法.与常用的离散二进小波变换相比,该方法具有逼近的移不变性和更多的方向选择性,有利于特征的跟踪、定位和保留.结合贝叶斯估计技术和自适应分布...
  • 针对现有超分辨率方法对不同低分辨率图像的超分辨率效果差异较大的问题,提出了一种基于稀疏贝叶斯估计的单图像超分辨率方法。该方法将单图像超分辨率问题看做是回归问题,采用Kronecker脉冲函数作为回归基函数,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,328
精华内容 16,531
关键字:

贝叶斯估计