精华内容
下载资源
问答
  • 概率分布

    千次阅读 2016-06-14 19:41:56
    常见的概率分布,其中E表示期望,var表示方差,mode表示众数,H表示熵。 1.伯努利分布 单一二元变量x∈{0,1}的分布,例如,抛硬币的结果。它由一个连续参数∈[0,1]控制,这个参数表示x = 1的概率。 伯努利...

    常见的概率分布,其中E表示期望,var表示方差,mode表示众数,H表示熵。

    1.伯努利分布

    单一二元变量x∈{0,1}的分布,例如,抛硬币的结果。它由一个连续参数∈[0,1]控制,这个参数表示x = 1的概率。

    伯努利分布式二项分布对于单一观测的特殊情况。它对于的共轭先验是Beta分布。

    2.Beta分布

    连续变量∈[0,1]的分布,经常用于表示某些二元事件的概率。它有两个参数a和b.为了保证分布能够归一化,我们要求a>0并且b>0。

    Beta分布式伯努利分布的共轭先验,其中a和b可以分别表示为x=1和x=0的观测的有效先验数量。如果a>=1且b>=1,那么它的概率密度是有限值,否则在=0和(或)=1处会有奇异值。对于a=b=1的情况,它就简化成了均匀分布。Beta分布式K状态狄利克雷分布在K=2的特殊情况。

    3.二项分布

    二项分布给出了来自伯努利分布的N个样本中观察到m次x=1的概率。伯努利分布中,观察到x=1的概率是∈[0,1]。

    二项分布中N=1这一特殊情形被称为伯努利分布,对于大的N值,二项分布近似于高斯分布。的共轭先验是Beta分布。

    4.狄利克雷分布

    狄利克雷分布式K个随机变量的多变量分布

    其中

    ,

    我们有

    其中

    并且

    这里

    被称为digamma函数。为了保证概率归一化,参数满足限制>0

    • 狄利克雷分布式多项式分布的共轭先验,是Beta分布的推广。这种情况下,参数是K维二元观测向量x对应值的有效观测数量。和Beta分布相同,如果对于所有的k都有>=1,那么狄利克雷分布在空间中所有位置的密度均为有限值。

    5.Gamma分布

    Gamma分布式正随机变量>0的概率分布,参数为a和b,满足限制a>0和b>0,保证概率分布式归一化的。

    其中,定义的digamma函数。Gamma分布是单变量高斯分布(方差倒数)的共轭先验。当a >= 1时,概率密度处处为有限值,a=1这一特殊情况被称为指数分布。

    6.高斯分布

    高斯分布式连续变量中最广泛使用的概率分布。它也被称为正态分布。在一元变量x∈(-∞,+∞)的情况下,它由两个参数控制:均值∈(-∞,+∞)和方差>0。

    方差的倒数被称为精度,方差的平方根被称为标准差。的共轭先验是高斯分布,的共轭先验是Gamma分布。如果都是未知的,那么他们的联合共轭先验是高斯-Gamma分布

    7.多项式分布

    多项式分布是二项分布对于多元变量的推广,给出一个具有K个状态的离散变量在总计N次观测中状态k的次数的分布。

    其中,

    并且,

    • 给出了把N个相同的物体中的个放到箱子k中的方案总数,其中k=1,2,….,K。的值给出了随机变量处于k状态的概率,因此必须满足。参数的共轭先验是狄利克雷分布。

    8.均匀分布

    连续变量x的一种简单分布。x定义在有限区间x∈[a,b],且b > a。

    如果x服均匀分布U(x|0,1),那么a+(b-a)x服从均匀分布U(x|a,b)。

    接下来的数理统计中非常常见的三大分布,都是连续型

    9.分布

    • 定义
      为n个(n>=1)相互独立的随机变量,它们都服从标准正态分布N(0,1).,则随机变量Y的分布称为自由度为n的分布。记为(n)。
    • 概率密度

      利用伽马函数,容易验证
    • 定理
      设X与Y是相互独立的随机变量,且X~(m),Y~(n),则Z = X+ Y ~(m+n)

    10.学生t分布

    • 在一元变量的形式下,学生t分布可以通过下列方式获得:拿出一元高斯分布的精度的共轭先验,然后把精度变量积分出来。因此这个分布可以看成无限多个有着相同均值不同方差的高斯分布的混合。

    这里>0被称为分布的自由度数量。=1的特殊情况被叫做柯西分布

    • 对于一个D维变量x,学生t分布是将多元高斯的精度矩阵关于共轭Wishart先验积分的结果。形式为

    其中,是平方马氏距离,定义为
    在极限→∞的情况下,t分布简化为均值,精度为的高斯分布。学生t分布提供了对高斯分布泛化的一种形式,这种分布的最大似然参数对离群点比较鲁棒。

    11.F分布

    • 定义
      设随机变量X,Y相互独立,且X~(),Y~(),则称随机变量

      所服从的分布为第一自由度为,第二自由度为的F分布,记为F(,)。
    • 性质.

    参考文献
    1.PRML
    2.图片资源来自于网络

    展开全文
  • 如何简单理解概率分布函数和概率密度函数?

    万次阅读 多人点赞 2018-09-11 16:56:19
    本篇文章是在《应该如何理解概率分布函数和概率密度函数?》的基础上整理来的。非常感谢原作者。 目录 1先从离散型随机变量和连续性随机变量说起 2离散型随机变量的概率函数,概率分布和分布函数 2.1概率函数和...

    本篇文章是在《应该如何理解概率分布函数和概率密度函数?》的基础上整理来的。非常感谢原作者。

    目录

    1 先从离散型随机变量和连续性随机变量说起

    2 离散型随机变量的概率函数,概率分布和分布函数

    2.1 概率函数和概率分布

    2.1.1 概率函数

    2.1.1 概率分布

    2.2 分布函数

    3 连续型随机变量的概率函数和分布函数

    4 参考文献


     

    1 先从离散型随机变量和连续性随机变量说起

    对于如何分辨离散型随机变量和连续性随机变量,在贾俊平老师的《统计学》教材中,给出了这样的区分:

    如果随机变量的值都可以逐个列举出来,则为离散型随机变量。如果随机变量X的取值无法逐个列举则为连续型变量。

    进一步解释,离散型随机变量是指其数值只能用自然数或整数单位计算的则为离散变量。例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得。反之,在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。例如,生产零件的规格尺寸,人体测量的身高,体重,胸围等为连续变量,其数值只能用测量或计量的方法取得。

    形象点来解释::

    画一幅画,左边是梯子,右边是斜坡。
    像梯子一样能说出有多少层的,可描述的,是离散型随机变量;
    像斜坡一样不能说出有多少层阶梯,不可描述的,是连续性随机变量。
    需要注意的是,实际操作中梯子的阶高可能很小,看起来很像斜坡,需要放大看。

    2 离散型随机变量的概率函数,概率分布和分布函数

    在理解概率分布函数和概率密度函数之前,我们先来看看概率函数和概率分布是咋回事。

    为什么我们花这么大的力气去研究这个概念。因为它实在太重要了,为什么呢?在这里,直接引用陈希孺老师在他所著的《概率论与数理统计》这本书中说的:

    研究一个随机变量,不只是要看它能取哪些值,更重要的是它取各种值的概率如何!

    这句是本文的核心内容,本文的所有概念,包括概率密度,概率分布,概率函数,都是在描述概率!

    2.1 概率函数和概率分布

    2.1.1 概率函数

    概率函数,就是用函数的形式来表达概率。

    pi=P(X=ai)(i=1,2,3,4,5,6)

    在这个函数里,自变量(X)是随机变量的取值,因变量(pi)是取值的概率。它就代表了每个取值的概率,所以顺理成章的它就叫做了X的概率函数。从公式上来看,概率函数一次只能表示一个取值的概率。比如P(X=1)=1/6,这代表用概率函数的形式来表示,当随机变量取值为1的概率为1/6,一次只能代表一个随机变量的取值。

    2.1.1 概率分布

    接下来讲概率分布,顾名思义就是概率的分布,这个概率分布还是讲概率的。我认为在理解这个概念时,关键不在于“概率”两个字,而在于“分布”这两个字。为了理解“分布”这个词,我们来看一张图。

                                                                     离散型随机变量的值和概率的分布列表

    在很多教材中,这样的列表都被叫做离散型随机变量的“概率分布”。其实严格来说,它应该叫“离散型随机变量的值分布和值的概率分布列表”,这个名字虽然比“概率分布”长了点,但是肯定好理解了很多。因为这个列表,上面是值,下面是这个取值相应取到的概率,而且这个列表把所有可能出现的情况全部都列出来了!

    举个例子吧,一颗6面的骰子,有1,2,3,4,5,6这6个取值,每个取值取到的概率都为1/6。那么你说这个列表是不是这个骰子取值的”概率分布“?

    长得挺像的,上面是取值,下面是概率,这应该就是骰子取值的“概率分布”了吧!大错特错!少了一个最重要的条件!对于一颗骰子的取值来说,它列出的不是全部的取值,把6漏掉了!

    2.2 分布函数

    说完概率分布,就该说说分布函数了。这个分布函数是个简化版的东西!全名应该叫概率分布函数

    看看下图中的分布律,这里的分布律明明就是我们刚刚讲的“概率函数”,完全就是一个东西。但是我知道很多教材就是叫分布律的。

                                                                    概率分布函数就是把概率函数累加

    我们来看看图上的公式,其中的F(x)就代表概率分布函数啦。这个符号的右边是一个长的很像概率函数的公式,但是其中的等号变成了小于等于号的公式。你再往右看看,这是一个一个的概率函数的累加!

    发现概率分布函数的秘密了吗?它其实根本不是个新事物,它就是概率函数取值的累加结果!所以它又叫累积概率函数!

    概率函数和概率分布函数就像是一个硬币的两面,它们都只是描述概率的不同手段!


    3 连续型随机变量的概率函数和分布函数

    连续型随机变量的“概率函数”换了一个名字,叫做“概率密度函数”。

    为啥要这么叫呢?我们还是借用大师的话来告诉你,在陈希孺老师所著的《概率论与数理统计》这本书中,

    如果这么解析你还是不太懂的话,看看下面的这个公式:

    概率密度函数用数学公式表示就是一个定积分的函数,定积分在数学中是用来求面积的,而在这里,你就把概率表示为面积即可!

    左边是F(x)连续型随机变量分布函数画出的图形,右边是f(x)连续型随机变量的概率密度函数画出的图像,它们之间的关系就是,概率密度函数是分布函数的导函数

    两张图一对比,你就会发现,如果用右图中的面积来表示概率,利用图形就能很清楚的看出,哪些取值的概率更大!所以,我们在表示连续型随机变量的概率时,用f(x)概率密度函数来表示,是非常好的!

    但是,可能读者会有这样的问题:

    Q:概率密度函数在某一点的值有什么意义?

    A:比较容易理解的意义,某点的 概率密度函数 即为 概率在该点的变化率(或导数)。很容易误以为 该点概率密度值 为 概率值.

    比如: 距离(概率)和速度(概率密度)的关系.

    • 某一点的速度, 不能以为是某一点的距离
    • 没意义,因为距离是从XX到XX的概念
    • 所以, 概率也需要有个区间.
    • 这个区间可以是x的邻域(可以无限趋近于0)。对x邻域内的f(x)进行积分,可以求得这个邻域的面积,就代表了这个邻域所代表这个事件发生的概率。

    4 参考文献

    【1】https://www.jianshu.com/p/b570b1ba92bb

    【2】https://www.zhihu.com/question/23237834

     


     

     

     

    展开全文
  • 条件概率分布与边缘概率分布

    千次阅读 2018-11-07 13:21:54
    1.条件概率分布 这是理解马尔科夫链的重要概念,单独成文 参考百科:http://baike.baidu.com/view/1969485.htm?fr=aladdin 大家都能理解概率分布,但加了条件二字,就难理解了。我比较讨厌官方的定义,术语太绕,...

    1.条件概率分布
    这是理解马尔科夫链的重要概念,单独成文

    参考百科:http://baike.baidu.com/view/1969485.htm?fr=aladdin

    大家都能理解概率分布,但加了条件二字,就难理解了。我比较讨厌官方的定义,术语太绕,我的理解如下:

    设X和Y分别是概率分布(如正态分布那种直观的),那么(X,Y)就是联合概率分布,又称为二维随机变量。这种联合概率分布就不那么直观了。但用条件概率分布这个概念定义,可以把抽象变为形象。

    具体这样做,假设X是均匀分布,1-10这个数字出现的可能性都是0.1,而Y也是均匀分布,21-30数组出现的可能性都是0.1。

    把Y取一个固定值,如:1,这样Y就是100%出现了,只需要考虑X的概率分布。21出现的可能性是X21,即0.1的概率。但是如果想得到联合概率(X21,Y1),要怎么做?这时把X1的概率也算进去就可以了,用P(X=1)*P(Y=21),就可以算出P(X=1,Y=21)。

    可见,条件概率分布,作用是简化“联合概率分布”,这样,联合概率分布成为可以被“数学运算”的概念。这是处理复杂随机过程的一个基本理念,虽然简单(就是把复杂的概率概念,转化为简单的概率概念,是一个化繁为简的思想),但要铭记于心。

    可见,要处理复杂问题,关键是掌握化繁为简的能力,从简单概念入手是掌握随机过程的诀窍。想到马尔科夫链,首先要想到条件概率,然后要想到普通的概率分布。

    2.边缘概率分布
    下文写的不错,就不画蛇添足了。
    下文转自:http://www.baike.com/wiki/边缘分布
    某一组概率的加和,叫边缘概率。边缘概率的分布情况,就叫边缘分布。和“边缘”两个字本身没太大关系,因为是求和,在表格中往往将这种值放在margin(表头)的位置,所以叫margin distribution。

    marginal distribution,边缘分布(有时也翻译成边界分布)。

    如果我们把每一个变量的概率分布称为一个概率分布,那么边缘分布就是若干个变量的概率加和所表现出的分布。举个例子,假设P(B),P(C),P(A|B),P(A|C)已知,求P(A)。那么P(A)=sum(P(B)*P(A|B),P(C)*P(A|C))。

    再举个简单的例子:对于一个任意大小(n*n)的概率矩阵X,每一个元素表示一个概率,对于其中任一行或任一列求和,得到的概率就是边缘概率。如果写成式子,就是第i行有以下边缘分布:P(i)=sum(P(i,j),for each j in n)。

    对,定义就是这么简单。就是指的某一些概率的加和值的分布,其实就对应一个等式,让它等于某种概率加和运算。

    为什么叫"marginal"呢?是因为这个值曾经用于表示某一个概率矩阵中某一行或某一列的概率加和,而这个加和在table中往往放在margin(表头)的位置,所以叫marginal distribution,翻译过来变成了边缘概率,汗…偶还以为很边缘……

    展开全文
  • 条件概率分布最好和联合概率分布还有边缘概率分布一起说吧。 举一个例子应该就都说清楚了:今天晚上天山童姥玩扔飞镖,飞镖偏离靶心的偏离其实是不确定的,所以适合用概率模型来描述,对吧。概率就是衡量可能...

    条件概率分布最好和联合概率分布还有边缘概率分布一起说吧。

    举一个例子应该就都说清楚了:今天晚上天山童姥玩扔飞镖,飞镖偏离靶心的偏离其实是不确定的,所以适合用概率模型来描述,对吧。概率就是衡量可能性的指标。飞镖偏离靶心小于1厘米的概率,和风速,标靶距离都有关系。假定标靶距离可以是10到20米,风速可以是1米/秒到10米/秒,我们可以把每个距离下,每个风速情况下的偏离小于1厘米的概率,大于1厘米的概率整理成一个表格,就是距离与风速的联合概率分布。

    距离(米) 风速(米/秒) 偏离小于1厘米的概率 偏离大于1厘米的概率

    10 1 99% 1%

    11 1 98% 2%

    12 1 97% 3%

    … … … ...

    10 2 89% 11%

    11 2 88% 12%

    12 2 87% 13%

    以上就是联合概率分布,那什么是条件概率分布?

    就是有条件的联合概率分布,比如,如果风速确定为1米/秒不变,那么偏离小于1厘米的概率,就只和距离有关系了,对吧。所以距离为10的时候,概率是99%和1%,距离为11的时候,概率是98%和2%... ;当风速确定为2时,距离为10的时候,概率是89%和11%,距离为11的时候,概率为88%和12%。。。这就是条件概率分布(风速是条件)

    那什么是边缘概率分布:更简单,一组概率的加和,叫边缘概率。概率的分布情况,就叫边缘概率分布。那为什么取名叫边缘概率呢?

    说起来不好意思,是这样的:一般你制作表格的时候,表格中一列数字的求和,往往都放在表格这一列的最上方或者最下方把?也就是表格的最靠边缘的位置。所以概率的求和值就叫边缘概率了。

    展开全文
  • 联合概率分布及相关概念理解 刚开始学机器学习的时候,很多概念都没有理解清楚,现在对一些基础概念进行一下整理 概率密度和概率分布的区别 首先要理解概率密度函数,就要先分清离散型随机变量和连续型随机变量。 ...
  • 概率分布:离散概率分布和连续概率分布 随机变量:量化的随机世界的函数 分布:数据在统计图中的形状 概率分布:用统计图来表示随机变量所有可能的结果和对应结果发生的概率 离散的概率计算是体积; 连续的...
  • 概率分布概率分布函数

    万次阅读 多人点赞 2018-05-21 21:25:14
    大学的时候,我的《概率论和数理统计》这门课一共挂过3次,而且我记得最后一次考过的时候刚刚及格,只有60分。你可以想象我的《概率论》这...今天我就讲讲应该如何理解概率分布函数和概率密度函数的问题。是不是乍一...
  • 概率函数 概率分布 分布函数

    千次阅读 2018-07-29 10:34:13
    先来讨论离散型随机变量的概率分布,概率函数,分布函数 概率函数:用函数的形式来表达概率(一次只能表示一个取值的概率) 概率分布:理解这个概念的重点在“分布”二字。下图可以表示的是:离散型随机变量的值...
  • 在领域自适应的定义中,涉及到条件概率分布与边缘概率分布,先就其定义解释如下。 首先定义联合概率。假设有随机变量X与Y,此时P(X=a, Y=b)用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为...
  • 常见分布及其概率分布

    万次阅读 2019-05-09 16:40:49
    概率分布有两种类型:离散(discrete)概率分布和连续(continuous)概率分布。 离散概率分布也称为概率质量函数(probability mass function)。离散概率分布包括: 伯努利分布(Bernoulli distribution) 二项...
  • 概率分布函数(又称分布函数) 累积 F(x) = P{X<x}, x∈(﹣无穷,+无穷) 2.概率分布律(又成分布律,针对离散型变量) 单个 P(X=Xk)=Pk, k = 1,2,3,… 3.概率密度函数(又称密度函数,针对连续性变量) 累积 F(x)=...
  • 联合概率分布

    千次阅读 2018-08-29 11:14:31
     联合概率分布简称联合分布,是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示,也可以以函数的形式表示...
  • 概率分布函数 概率密度函数

    千次阅读 2019-08-27 09:59:05
    离散型随机变量的概率分布 对于离散型随机变量,设 为变量X的取值,而 为对应上述取值的概率,则离散型随机变量X的概率分布为 且概率 应满足条 。因此,离散型随机变量X的概率分布函数为 连续...
  • 常见概率分布的特征函数推导

    万次阅读 多人点赞 2018-09-07 17:24:24
    一、离散概率分布 1.单点分布 单点分布的分布列为。 其特征函数计算方法如下: 2.二项分布 二项分布的分布列为。 其特征函数的计算方法如下: 3.泊松分布 泊松分布的分布列为。 其特征函数的计算方法...
  • 概率分布汇总

    千次阅读 2019-08-29 15:22:26
    概率分布、总体分布、抽样分布,一开始很容易搞混,还以为是同一个理论,不同的概念,毕竟都是分布,又都是统计学里面的概率。今天就来理解理解这个东西吧。 概率分布是指随机变量的各取值与该取值对应的概率之间...
  • 概率分布之二项分布、泊松分布

    千次阅读 2019-08-03 22:41:13
    概率分布之二项分布、泊松分布、正态分布 1.概率分布 概率分布是指事件的不同结果对应的发生概率所构成的分布,可以利用二维坐标进行形象地解释。如下图所示,两幅图的横轴代表的都是事件所有的可能结果,纵轴则是...
  • 离散型概率分布1、柏松概率分布定义柏松分布是一种常见的离散型概率分布,它主要用来估计在特定时间段或空间中某事件发生的次数。泊松实验的性质:第一、在任意两个相等长度的区间上,事件发生的概率相等;第二、...
  • 离散概率分布

    2016-10-20 05:49:27
    第五章 离散概率分布5.1 随机变量随机变量定义: 离散型随机变量 连续型随机变量 5.2 离散型概率分布离散型概率分布函数f(x)需满足的两个条件: 常见离散型概率分布函数 1. 均匀分布 2.二项分布 ...
  • 联合概率分布笔记

    千次阅读 2018-10-12 10:14:22
    1、什么是联合概率分布? 联合概率分布简称联合分布,是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示...
  • 莱斯分布概率分布曲线

    千次阅读 2019-04-30 21:20:00
    莱斯分布概率分布曲线 有关莱斯分布的介绍在之前的博文中已经有涉及,这里不再赘述。莱斯分布主要是用来描述存在一条比较强的直流分量的时候,叠加上多径干扰的信道模型。 下面给出莱斯分布的代码实现: close ...
  • 9.3 概率分布

    2017-08-20 17:00:58
    概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性的大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。离散型变量和概率质量函数离散型变量的概率...
  • 贝叶斯概率推断:概率分布

    千次阅读 2018-02-15 16:28:25
    概率分布  假设x是一个随即变量,存在一个关于x的概率分布函数,x可以取任何值.同概率分布函数都得到一个概率值.随即变量分为三种类型: 1.离散随机变量:变量的取值在固定的列表中. 2.连续随机变量:连续...
  • 1、用到的时候总结一下,回过来...3、概率密度函数(probability density function)和概率分布函数(Cumulative Distribution Function,累积密度函数)。通过讲解正态分布去理解。 可以参考一下资料:https://zhuanl
  • 概率分布概率分布函数

    千次阅读 2019-05-31 13:48:02
    概率函数是用函数的形式表示概率 Pi=P(X=ai)(i=1,2,3,4,5,6)P_i=P(X=a_i)(i=1,2,3,4,5,6)Pi​=P(X=ai​)(i=1,2,3,4,5,6) 在这个函数里,自变量 X 是随机变量的取值,因变量 PiP_iPi​是取值的概率。它就代表了每...
  • 离散型概率分布

    千次阅读 2019-03-21 16:24:16
    1.2 离散型概率分布 1.3 数学期望与方差、标准差 1.3.1 数学期望 1.3.2 方差 1.3.3 标准差 1.3.4 线性变换的通用公式 1.3.5 独立观测值 1.4 二项概率分布(binomial probability distribution) 1.5 泊松...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,109
精华内容 8,843
关键字:

概率分布