精华内容
下载资源
问答
  • 常见概率分布

    2015-04-29 09:11:50
    下面介绍几种常见概率分布。 离散概率分布 关于期望和方差的计算,说明如下: 首先假设有一个伯努利试验。试验有两个可能的结果:1和0,前者发生的概率为p,后者的概率为1 − p。该试验的期望值等于μ = 1...
    下面介绍几种常见的概率分布。 
    
    离散概率分布

    泊松分布可以参见:http://www.ruanyifeng.com/blog/2013/01/poisson_distribution.html
    关于期望和方差的计算,说明如下:
    首先假设有一个伯努利试验。试验有两个可能的结果:1和0,前者发生的概率为p,后者的概率为1 − p。该试验的期望值等于μ = 1 · p + 0 · (1−p) = p。试验的方差也可以类似地计算:σ2 = (1−p)2·p + (0−p)2·(1−p) = p(1 − p)。一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和。

    连续概率分布




    展开全文
  • 常见概率分布介绍

    千次阅读 2019-07-11 18:44:38
    常见概率分布 Bernoulli分布 Bernoulli分布是单个二值随机变量分布, 单参数ϕ​\phi​ϕ​∈[0,1]控制,ϕ​\phi​ϕ​给出随机变量等于1的概率. 主要性质有: P(x)=px(1−p)1−x={p if x=1q if&...

    常见概率分布

    Bernoulli分布

    Bernoulli分布是单个二值随机变量分布, 单参数 ϕ ​ \phi​ ϕ∈[0,1]控制, ϕ ​ \phi​ ϕ给出随机变量等于1的概率. 基本形式为:
    P ( x ) = p x ( 1 − p ) 1 − x = { p  if  x = 1 q  if  x = 0 P(x)=p^{x}(1-p)^{1-x}=\left\{\begin{array}{ll}{p} & {\text { if } x=1} \\ {q} & {\text { if } x=0}\end{array}\right. P(x)=px(1p)1x={pq if x=1 if x=0

    其期望为:
    E ( x ) = ∑ x P ( x ) = 0 × q + 1 × p = p E(x)=\sum x P(x)=0 \times q+1 \times p=p E(x)=xP(x)=0×q+1×p=p
    其方差为:
    Var ⁡ ( x ) = E [ ( x − E ( x ) ) 2 ] = ∑ ( x − p ) 2 P ( x ) = p q \operatorname{Var}(x)=E\left[(x-E(x))^{2}\right]=\sum(x-p)^{2} P(x)=p q Var(x)=E[(xE(x))2]=(xp)2P(x)=pq

    Multinoulli分布也叫范畴分布, 是单个k值随机分布,经常用来表示对象分类的分布. 其中 k k k是有限值.Multinoulli分布由向量 p ⃗ ∈ [ 0 , 1 ] k − 1 \vec{p}\in[0,1]^{k-1} p [0,1]k1参数化,每个分量 p i p_i pi表示第 i i i个状态的概率, 且 p k = 1 − 1 T p ​ p_k=1-1^Tp​ pk=11Tp.

    适用范围: 伯努利分布适合对离散型随机变量建模.

    高斯分布

    高斯也叫正态分布(Normal Distribution), 概率度函数如下:
    N ( x ; μ , σ 2 ) = 1 2 π σ 2 e x p ( − 1 2 σ 2 ( x − μ ) 2 ) N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi\sigma^2}}exp\left ( -\frac{1}{2\sigma^2}(x-\mu)^2 \right ) N(x;μ,σ2)=2πσ21 exp(2σ21(xμ)2)
    其中, μ ​ \mu​ μ σ ​ \sigma​ σ分别是均值和方差, 中心峰值x坐标由 μ ​ \mu​ μ给出, 峰的宽度受 σ ​ \sigma​ σ控制, 最大点在 x = μ ​ x=\mu​ x=μ处取得, 拐点为 x = μ ± σ ​ x=\mu\pm\sigma​ x=μ±σ

    正态分布中,±1 σ \sigma σ、±2 σ \sigma σ、±3 σ \sigma σ下的概率分别是68.3%、95.5%、99.73%,这3个数最好记住。

    此外, 令 μ = 0 , σ = 1 ​ \mu=0,\sigma=1​ μ=0,σ=1高斯分布即简化为标准正态分布:
    N ( x ; μ , σ 2 ) = 1 2 π e x p ( − 1 2 x 2 ) N(x;\mu,\sigma^2) = \sqrt{\frac{1}{2\pi}}exp\left ( -\frac{1}{2}x^2 \right ) N(x;μ,σ2)=2π1 exp(21x2)
    对概率密度函数高效求值:
    N ( x ; μ , β − 1 ) = β 2 π e x p ( − 1 2 β ( x − μ ) 2 ) N(x;\mu,\beta^{-1})=\sqrt{\frac{\beta}{2\pi}}exp\left(-\frac{1}{2}\beta(x-\mu)^2\right) N(x;μ,β1)=2πβ exp(21β(xμ)2)

    其中, β = 1 σ 2 \beta=\frac{1}{\sigma^2} β=σ21通过参数 β ∈ ( 0 , ∞ ) ​ \beta∈(0,\infty)​ β0来控制分布精度。

    何时采用正态分布

    问: 何时采用正态分布?
    答: 缺乏实数上分布的先验知识, 不知选择何种形式时, 默认选择正态分布总是不会错的, 理由如下:

    1. 中心极限定理告诉我们, 很多独立随机变量均近似服从正态分布, 现实中很多复杂系统都可以被建模成正态分布的噪声, 即使该系统可以被结构化分解.
    2. 正态分布是具有相同方差的所有概率分布中, 不确定性最大的分布, 换句话说, 正态分布是对模型加入先验知识最少的分布.

    正态分布的推广:
    正态分布可以推广到 R n R^n Rn空间, 此时称为多位正态分布, 其参数是一个正定对称矩阵 Σ ​ \Sigma​ Σ:
    N ( x ; μ ⃗ , Σ ) = 1 ( 2 π ) n d e t ( Σ ) e x p ( − 1 2 ( x ⃗ − μ ⃗ ) T Σ − 1 ( x ⃗ − μ ⃗ ) ) N(x;\vec\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^ndet(\Sigma)}}exp\left(-\frac{1}{2}(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec{\mu})\right) N(x;μ ,Σ)=(2π)ndet(Σ)1 exp(21(x μ )TΣ1(x μ ))
    对多为正态分布概率密度高效求值:
    N ( x ; μ ⃗ , β ⃗ − 1 ) = d e t ( β ⃗ ) ( 2 π ) n e x p ( − 1 2 ( x ⃗ − μ ⃗ ) T β ( x ⃗ − μ ⃗ ) ) N(x;\vec{\mu},\vec\beta^{-1}) = \sqrt{det(\vec\beta)}{(2\pi)^n}exp\left(-\frac{1}{2}(\vec{x}-\vec\mu)^T\beta(\vec{x}-\vec\mu)\right) N(x;μ ,β 1)=det(β ) (2π)nexp(21(x μ )Tβ(x μ ))
    此处, β ⃗ \vec\beta β 是一个精度矩阵。

    指数分布

    深度学习中, 指数分布用来描述在 x = 0 ​ x=0​ x=0点处取得边界点的分布, 指数分布定义如下:
    p ( x ; λ ) = λ I x ≥ 0 e x p ( − λ x ) p(x;\lambda)=\lambda I_{x\geq 0}exp(-\lambda{x}) p(x;λ)=λIx0exp(λx)
    指数分布用指示函数 I x ≥ 0 ​ I_{x\geq 0}​ Ix0来使 x ​ x​ x取负值时的概率为零。

    Laplace 分布

    一个联系紧密的概率分布是 Laplace 分布(Laplace distribution),它允许我们在任意一点 μ \mu μ处设置概率质量的峰值
    L a p l a c e ( x ; μ ; γ ) = 1 2 γ e x p ( − ∣ x − μ ∣ γ ) Laplace(x;\mu;\gamma)=\frac{1}{2\gamma}exp\left(-\frac{|x-\mu|}{\gamma}\right) Laplace(x;μ;γ)=2γ1exp(γxμ)

    Dirac分布和经验分布

    Dirac分布可保证概率分布中所有质量都集中在一个点上. Diract分布的狄拉克 δ ​ \delta​ δ函数(也称为单位脉冲函数)定义如下:
    p ( x ) = δ ( x − μ ) , x ≠ μ p(x)=\delta(x-\mu), x\neq \mu p(x)=δ(xμ),x̸=μ

    ∫ a b δ ( x − μ ) d x = 1 , a &lt; μ &lt; b \int_{a}^{b}\delta(x-\mu)dx = 1, a &lt; \mu &lt; b abδ(xμ)dx=1,a<μ<b

    Dirac 分布经常作为 经验分布(empirical distribution)的一个组成部分出现
    p ^ ( x ⃗ ) = 1 m ∑ i = 1 m δ ( x ⃗ − x ⃗ ( i ) ) \hat{p}(\vec{x})=\frac{1}{m}\sum_{i=1}^{m}\delta(\vec{x}-{\vec{x}}^{(i)}) p^(x )=m1i=1mδ(x x (i))
    , 其中, m个点 x 1 , . . . , x m x^{1},...,x^{m} x1,...,xm是给定的数据集, 经验分布将概率密度 1 m ​ \frac{1}{m}​ m1赋给了这些点.

    当我们在训练集上训练模型时, 可以认为从这个训练集上得到的经验分布指明了采样来源.

    适用范围: 狄拉克δ函数适合对连续型随机变量的经验分布.

    期望、方差、协方差、相关系数

    期望

    在概率论和统计学中,数学期望(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

    • 线性运算: E ( a x + b y + c ) = a E ( x ) + b E ( y ) + c E(ax+by+c) = aE(x)+bE(y)+c E(ax+by+c)=aE(x)+bE(y)+c
    • 推广形式: E ( ∑ k = 1 n a i x i + c ) = ∑ k = 1 n a i E ( x i ) + c E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c} E(k=1naixi+c)=k=1naiE(xi)+c
    • 函数期望:设 f ( x ) f(x) f(x) x x x的函数,则 f ( x ) f(x) f(x)的期望为
      • 离散函数: E ( f ( x ) ) = ∑ k = 1 n f ( x k ) P ( x k ) E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)} E(f(x))=k=1nf(xk)P(xk)
      • 连续函数: E ( f ( x ) ) = ∫ − ∞ + ∞ f ( x ) p ( x ) d x E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx} E(f(x))=+f(x)p(x)dx

    注意:

    • 函数的期望大于等于期望的函数(Jensen不等式),即 E ( f ( x ) ) ⩾ f ( E ( x ) ) E(f(x))\geqslant f(E(x)) E(f(x))f(E(x))
    • 一般情况下,乘积的期望不等于期望的乘积。
    • 如果 X X X Y Y Y相互独立,则 E ( x y ) = E ( x ) E ( y ) ​ E(xy)=E(x)E(y)​ E(xy)=E(x)E(y)

    方差

    概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。方差是一种特殊的期望。定义为:

    V a r ( x ) = E ( ( x − E ( x ) ) 2 ) Var(x) = E((x-E(x))^2) Var(x)=E((xE(x))2)

    方差性质:

    1) V a r ( x ) = E ( x 2 ) − E ( x ) 2 Var(x) = E(x^2) -E(x)^2 Var(x)=E(x2)E(x)2
    2)常数的方差为0;
    3)方差不满足线性性质;
    4)如果 X X X Y Y Y相互独立, V a r ( a x + b y ) = a 2 V a r ( x ) + b 2 V a r ( y ) Var(ax+by)=a^2Var(x)+b^2Var(y) Var(ax+by)=a2Var(x)+b2Var(y)

    协方差

    协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为:
    C o v ( x , y ) = E ( ( x − E ( x ) ) ( y − E ( y ) ) ) Cov(x,y)=E((x-E(x))(y-E(y))) Cov(x,y)=E((xE(x))(yE(y)))

    方差是一种特殊的协方差。当 X = Y X=Y X=Y时, C o v ( x , y ) = V a r ( x ) = V a r ( y ) Cov(x,y)=Var(x)=Var(y) Cov(x,y)=Var(x)=Var(y)

    协方差性质:

    1)独立变量的协方差为0。
    2)协方差计算公式:

    C o v ( ∑ i = 1 m a i x i , ∑ j = 1 m b j y j ) = ∑ i = 1 m ∑ j = 1 m a i b j C o v ( x i y i ) Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)} Cov(i=1maixi,j=1mbjyj)=i=1mj=1maibjCov(xiyi)

    3)特殊情况:

    C o v ( a + b x , c + d y ) = b d C o v ( x , y ) Cov(a+bx, c+dy) = bdCov(x, y) Cov(a+bx,c+dy)=bdCov(x,y)

    相关系数

    相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为:
    C o r r ( x , y ) = C o v ( x , y ) V a r ( x ) V a r ( y ) Corr(x,y) = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}} Corr(x,y)=Var(x)Var(y) Cov(x,y)

    相关系数的性质:
    1)有界性。相关系数的取值范围是 [-1,1],可以看成无量纲的协方差。
    2)值越接近1,说明两个变量正相关性(线性)越强。越接近-1,说明负相关性越强,当为0时,表示两个变量没有相关性。

    展开全文
  • 16种常见概率分布概率密度函数、意义及其应用.doc
  • 常见概率分布间的逻辑关系 (1982年)
  • 常见概率分布的特征函数推导

    万次阅读 多人点赞 2018-09-07 17:24:24
    一、离散概率分布 1.单点分布 单点分布的分布列为。 其特征函数计算方法如下: 2.二项分布 二项分布的分布列为。 其特征函数的计算方法如下: 3.泊松分布 泊松分布的分布列为。 其特征函数的计算方法...

    特征函数定义是:设X是实值随机变量,则对任意实数t,有特征函数 称为随机变量X的特征函数,其中i

    一、离散概率分布

    1.单点分布
    单点分布的分布列为单点分布
    其特征函数计算方法如下:
    单点分布
    2.二项分布
    二项分布的分布列为二项分布
    其特征函数的计算方法如下:
    二项分布
    3.泊松分布
    泊松分布的分布列为泊松分布
    其特征函数的计算方法如下:
    泊松分布
    4.几何分布
    几何分布的分布列为几何分布
    特征函数的计算方法如下:
    几何分布

    二、连续概率分布

    1.正态分布
    正态分布的分布密度是正态分布
    特征函数推导过程如下:
    正态分布
    2.均匀分布
    均匀分布的分布密度是均匀分布
    特征函数推导过程如下:
    均匀分布
    3.指数分布
    指数分布的分布密度是指数分布
    特征函数推导过程如下:
    指数分布

    展开全文
  • 概率密度函数是概率论中的核心概念之一,用于描述连续型随机变量所服从的概率分布。 从随机事件说起 回忆我们在学习概率论时的经历,随机事件是第一个核心的概念,它定义为可能发生也可能不发生的事件,因此是否发生...

    1. 概率函数

    概率函数,就是用函数的形式来表达概率。
    p i = P ( X = a i ) ( i = 1 , 2 , 3 , 4 , 5 , 6 ) p_i=P(X=a_i)(i=1,2,3,4,5,6) pi=P(X=ai)(i=1,2,3,4,5,6)
    在这个函数里,自变量(X)是随机变量的取值,因变量( p i p_i pi)是取值的概率。这就叫啥,这叫用数学语言来表示自然现象!它就代表了每个取值的概率,所以顺理成章的它就叫做了X的概率函数。
    从公式上来看,概率函数一次只能表示一个取值的概率。比如P(X=1)=1/6,这代表用概率函数的形式来表示,当随机变量取值为1的概率为1/6,一次只能代表一个随机变量的取值。

    2. 概率分布

    概率分布,就是概率的分布,这个概率分布还是讲概率的。我认为在理解这个概念时,关键不在于“概率”两个字,而在于“分布”这两个字。为了理解“分布”这个词,我们来看一张图。
    在这里插入图片描述
    在很多教材中,这样的列表都被叫做离散型随机变量的“概率分布”。其实严格来说,它应该叫“离散型随机变量的值分布和值的概率分布列表”,这个名字虽然比“概率分布”长了点,但是对于我们这些笨学生来说,肯定好理解了很多。因为这个列表,上面是值,下面是这个取值相应取到的概率,而且这个列表把所有可能出现的情况全部都列出来了!

    举个例子吧,一颗6面的骰子,有1,2,3,4,5,6这6个取值,每个取值取到的概率都为1/6。那么你说这个列表是不是这个骰子取值的”概率分布“?
    在这里插入图片描述
    长得挺像的,上面是取值,下面是概率,这应该就是骰子取值的“概率分布”了吧!大错特错!少了一个最重要的条件!对于一颗骰子的取值来说,它列出的不是全部的取值,把6漏掉了!

    这么一说你就应该明白概率分布是个什么鬼了吧。

    3. 分布函数

    说完概率分布,就该说说分布函数了。这个分布函数又是个简化版的东西!我真的很讨厌我们的教材中老是故弄玄虚,卖弄概念!你就老老实实的写成”概率分布函数“,让我们这些笨学生好理解一些不行吗?

    看看下图中的分布律!这又是一个不统一叫法的丑恶典型!这里的分布律明明就是我们刚刚讲的“概率函数”,完全就是一个东西嘛!但是我知道很多教材就是叫分布律的。
    在这里插入图片描述
    我们来看看图上的公式,其中的F(x)就代表概率分布函数啦。这个符号的右边是一个长的很像概率函数的公式,但是其中的等号变成了大于等于号的公式。你再往右看看,这是一个一个的概率函数的累加!发现概率分布函数的秘密了吗?它其实根本不是个新事物,它就是概率函数取值的累加结果!所以它又叫累积概率函数!其实,我觉得叫它累积概率函数还更好理解!!

    概率函数和概率分布函数就像是一个硬币的两面,它们都只是描述概率的不同手段!

    4. 概率密度函数

    概率密度函数是概率论中的核心概念之一,用于描述连续型随机变量所服从的概率分布。

    4.1 从随机事件说起

    研究一个随机变量,不只是要看它能取哪些值,更重要的是它取各种值的概率如何!
    回忆我们在学习概率论时的经历,随机事件是第一个核心的概念,它定义为可能发生也可能不发生的事件,因此是否发生具有随机性。例如,抛一枚硬币,可能正面朝上,也可能反面朝上,正面朝上或者反面朝上都是随机事件。掷骰子,1到6这6种点数都可能朝上,每种点数朝上,都是随机事件。
    在这里插入图片描述
    在这里插入图片描述

    4.2 整数集与实数集

    高中时我们学过集合的概念,并且知道整数集是z,实数集是R。对于有限集,可以统计集合中元素的数量即集合的基数(cardinal number,也称为集合的势cardinality)。对于无限集,元素的个数显然是无穷大,但是,都是无穷大,能不能分个三六九等呢?

    回忆微积分中的极限,对于下面的极限:
    在这里插入图片描述

    虽然当x趋向于正无穷的时候,x和exp(x)都是无穷大,但它们是有级别的,在exp(x)面前,x是小巫见老巫。

    同样的,对于整数集和实数集,也是有级别大小的。任意两个整数之间,如1与2之间,都密密麻麻的分布着无穷多个实数,而且,只要两个实数不相等,不管它们之间有多靠近,如0.0000001和0.0000002,在它们之间还有无穷多个实数。在数轴上,整数是离散的,而实数则是连续的,密密麻麻的布满整个数轴。因此,实数集的元素个数显然比整数要高一个级别。

    4.3 随机变量

    变量是我们再熟悉不过的概念,它是指一个变化的量,可以取各种不同的值。随机变量可以看做是关联了概率值的变量,即变量取每个值有一定的概率。例如,你买彩票,最后的中奖金额x就是一个随机变量,它的取值有3种情况,以0.9的概率中0元,0.09的概率中100元,0.01的概率中1000元。变量的取值来自一个集合,可以是有限集,也可以是无限集。对于无限集,可以是离散的,也可以是连续的,前者对应于整数集,后者对应于实数集。

    4.3.1 离散型随机变量

    随机变量是取值有多种可能并且取每个值都有一个概率的变量。它分为离散型和连续型两种,离散型随机变量的取值为有限个或者无限可列个(整数集是典型的无限可列),连续型随机变量的取值为无限不可列个(实数集是典型的无限不可列)。
    在这里插入图片描述

    4.3.2 连续型随机变量

    把分布表推广到无限情况,就可以得到连续型随机变量的概率密度函数。此时,随机变量取每个具体的值的概率为0,但在落在每一点处的概率是有相对大小的,描述这个概念的,就是概率密度函数。你可以把这个想象成一个实心物体,在每一点处质量为0,但是有密度,即有相对质量大小。
    在这里插入图片描述
    在这里插入图片描述
    在概率论和统计学中,拉普拉斯是一种连续概率分布。由于它可以看做是俩个不同位置的指数分布背靠背拼在一起,所以它也叫做双指数分布。如果随机变量的概率密度函数分布为:
    在这里插入图片描述
    那么他就是拉普拉斯分布。u为位置参数,b>0是尺度参数。与正态分布相比,正态分布是用相对于u平均值的差的平方来表示,而拉普拉斯概率密度用相对于差的绝对值来表示。因此,拉普拉斯的尾部比正态分布更加平坦。
    在这里插入图片描述

    在这里插入图片描述
    概率密度函数用数学公式表示就是一个定积分的函数,定积分在数学中是用来求面积的,而在这里,你就把概率表示为面积即可!
    在这里插入图片描述
    左边是F(x)连续型随机变量分布函数画出的图形,右边是f(x)连续型随机变量的概率密度函数画出的图像,它们之间的关系就是,概率密度函数是分布函数的导函数。

    两张图一对比,你就会发现,如果用右图中的面积来表示概率,利用图形就能很清楚的看出,哪些取值的概率更大!这样看起来是不是特别直观,特别爽!!所以,我们在表示连续型随机变量的概率时,用f(x)概率密度函数来表示,是非常好的!

    但是,可能读者会有这样的问题:
    Q:概率密度函数在某一点的值有什么意义?
    A:比较容易理解的意义,某点的 概率密度函数 即为 概率在该点的变化率(或导数)。很容易误以为 该点概率密度值 为 概率值.
    比如: 距离(概率)和速度(概率密度)的关系.某一点的速度, 不能以为是某一点的距离,没意义,因为距离是从XX到XX的概念,所以, 概率也需要有个区间.
    这个区间可以是x的邻域(可以无限趋近于0)。对x邻域内的f(x)进行积分,可以求得这个邻域的面积,就代表了这个邻域所代表这个事件发生的概率。

    4.4 期望E(X)与方差Var(X)

    随机变量(Random Variable)X是一个映射,把随机试验的结果与实数建立起了一一对应的关系。而期望与方差是随机变量的两个重要的数字特这。

    期望(Expectation, or expected value)是度量一个随机变量取值的集中位置或平均水平的最基本的数字特征;

    方差(Variance)是表示随机变量取值的分散性的一个数字特征。 方差越大,说明随机变量的取值分布越不均匀,变化性越强;方差越小,说明随机变量的取值越趋近于均值,即期望值。
    在这里插入图片描述

    4.4.1 期望和方差的运算性质

    4.4.1.1 期望运算性质

    在这里插入图片描述

    4.4.1.2 方差的运算性质

    在这里插入图片描述
    在这里插入图片描述

    4.4.1.3 期望与方差的联系

    在这里插入图片描述

    4.4.2 协方差

    在这里插入图片描述

    4.4.2.1 协方差的运算性质

    在这里插入图片描述

    4.4.3 相关系数

    4.4.3.1 定义

    相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为:
    在这里插入图片描述

    4.4.3.2 性质

    1、有界性
    相关系数的取值范围为-1到1,其可以看成是无量纲的协方差。

    2、统计意义
    值越接近1,说明两个变量正相关性(线性)越强,越接近-1,说明负相关性越强,当为0时表示两个变量没有相关性。

    在这里插入图片描述

    5. 常见概率分布

    5.1 均匀分布(Uniform Distribution)

    在这里插入图片描述
    在这里插入图片描述

    5.2 伯努利分布(Bernoulli Distribution)

    在这里插入图片描述

    在这里插入图片描述

    5.3 二项分布(Binomial Distribution)

    二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布。
    在这里插入图片描述

    从定义可以看出,伯努利分布是二项分布在n=1时的特例

    在这里插入图片描述

    5.4 负二项分布(Negative Binomial Distribution)

    在这里插入图片描述
    在这里插入图片描述

    5.5 几何分布(Geometric Distribution)

    假定我们有一系列伯努利试验,其中每一个的成功概率为 p p p,失败概率为 q = 1 − p q=1-p q=1p。在获得一次成功前要进行多次试验?
    注意,这里的随机变量的概率分布就是一种几何分布。具体如下:

    在这里插入图片描述
    几何分布的概率分布图如下,见之会有更形象地认知。
    在这里插入图片描述
    为什么单独把几何分布和二项分布单独列出,一方面其代表的概率试验的普适性,另一方面其期望和方差都是有特殊技巧。
    在这里插入图片描述
    其实有意思的是,这里面的求解过程;但是本文不具体涉及了。因为像几何分布和二项分布这种可能要多写几章,当然是否连续写就不知道了。本着实用主义来。
    一般简单地肯定在前面讲,复杂一些得也更有意思一些的肯定是在后面,比如二项分布明显就在几何分布后面了。

    不同于几何分布描述的运行到第几次才成功,二项分布描述是的N次试验里有多少次成功。具体如下:
    在这里插入图片描述

    在这里插入图片描述

    5.6 超几何分布(Hypergeometric Distibution)

    在这里插入图片描述

    5.7 正态/高斯分布 (Normal / Gaussian Distribution)

    正态分布是很多应用中的合理选择。如果某个随机变量取值范围是实数,且对它的概率分布一无所知,通常会假设它服从正态分布。有两个原因支持这一选择:

    • 建模的任务的真实分布通常都确实接近正态分布。中心极限定理表明,多个独立随机变量的和近似正态分布。
    • 在具有相同方差的所有可能的概率分布中,正态分布的熵最大(即不确定性最大)。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.7.1 一维正态分布

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.7.2 多维正态分布

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.8 拉普拉斯分布

    在这里插入图片描述

    5.9 泊松分布(Poisson Distribution)

    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    5.10 指数分布

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.11 伽马分布

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    5.12 贝塔分布

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.13 狄拉克分布

    在这里插入图片描述

    5.14 多项式分布与狄里克雷分布

    多项式分布(Multinomial Distribution)是二项式分布的推广。二项式做n次伯努利实验,规定了每次试验的结果只有两个,如果现在还是做n次试验,只不过每次试验的结果可以有多m个,且m个结果发生的概率互斥且和为1,则发生其中一个结果X次的概率就是多项式分布。

    扔骰子是典型的多项式分布。扔骰子,不同于扔硬币,骰子有6个面对应6个不同的点数,这样单次每个点数朝上的概率都是1/6(对应p1~p6,它们的值不一定都是1/6,只要和为1且互斥即可,比如一个形状不规则的骰子),重复扔n次,如果问有k次都是点数6朝上的概率就是
    在这里插入图片描述
    在这里插入图片描述

    5.15 混合概率分布

    在这里插入图片描述

    5.16 总结

    在这里插入图片描述

    在这里插入图片描述

    https://www.jianshu.com/p/b570b1ba92bb
    https://zhuanlan.zhihu.com/p/48140593
    https://www.bookstack.cn/read/huaxiaozhuan-ai/spilt.4.6f06ed449f5ed789.md
    https://zhuanlan.zhihu.com/p/94181395
    https://zhuanlan.zhihu.com/p/64859161
    https://blog.csdn.net/touristman5/article/details/56281887
    https://zhuanlan.zhihu.com/p/32932782

    展开全文
  • 概率论:常见概率分布

    万次阅读 2014-09-05 09:54:52
    常见离散概率分布 Note: 一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和。 皮皮blog 常见连续概率分布 常见概率分布_文库下载...
  • 常见概率分布的无记忆性分析

    万次阅读 2019-08-20 18:28:38
    关于常见概率分布函数的记忆性定义及验证分析 定义: 附: 证明部分(手写): 几何分布的无记忆性证明: 指数分布的无记忆性证明: 泊松分布的有记忆性证明: 参考博客原文链接:...
  • 常见概率分布及在R中的应用

    千次阅读 2016-08-06 23:20:24
    常见概率分布及在R中的应用 转载 :http://eyejava.iteye.com/blog/324189 常见概率分布及在R中的应用 博客分类:  BI QtF#PHP    R提供工具来计算累计分布函数p(cummulative ...
  • 1.常见离散变量的概率分布 2.常见连续变量的概率分布: 拉普拉斯分布 3.共轭分布: 3.1 在贝叶斯概率理论中,如果后验概率和先验概率满足同样的分布律,那么先验分布和后验分布被叫做共轭分布 3.2 ...
  • 常见概率分布及其意义

    千次阅读 2018-10-31 19:56:33
    离散型概率分布 二项分布 设在一个试验中事件 A 发生的概率是 ppp,则独立重复 nnn 次试验后,事件 A 发生 iii 次的概率为 pi=B(n,p)=(ni)pi(1−p)n−i,i=0,1,...,np_i = B(n, p) = \left(\begin{matrix} n \\ i \...
  • 常见概率分布(一)

    2019-03-05 23:54:49
    在机器学习领域有一些常用的概率分布需要我们熟悉,下面我们对这些分布做一下总结。 1. 伯努利分布以和二项分布 考虑随机变量,对应抛一枚硬币(不一定均匀),当硬币正面朝上取1, 反面朝上取0。如果 x = 1 的概率...
  • distribution)是n个独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。实际上,当n= 1时,二项分布就是伯努利分布。二项分布是显著性差异的二项...
  • 1 导入包导入本次实验所用的4种常见分布,连续分布的代表:beta分布、正态分布,均匀分布,离散分布的代表:二项分布。import numpy as np from scipy.stat...
  • R语言之几大常见概率分布

    万次阅读 2018-05-21 11:38:50
    1.离散型 (1)0_1分布 为一种特殊的二项分布,略过。 (2)二项分布 抛一枚不均匀的硬币,每次结果为正面的概率为0.33,抛100次,其中恰好有20次的概率为: ...二项分布概率分布律图: plot(dbinom(1 : 100, ...
  • 离散型随机变量的常见概率分布

    千次阅读 2018-01-07 21:48:37
    伯努利0-1分布 事件A在某次试验中发生的概率稳定计为pp,但A要么发生要么不发生,随机变量XX,单次试验中A发生记为1,没有发生记为0,则P(X=1)=p,P(X=0)=1−pP(X=1)=p,P(X=0)=1-p,也可以统一成这个公式: f(x|p)=...
  • 方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。
  • 本文介绍六种概率分布的原理、举例、均值、方差、期望、概率分布图等,分布分别为伯努利分布、均匀分布、二项分布、正态分布、泊松分布、指数分布;另外介绍各种分布之间的关系和不同
  • 常见分布及其概率分布

    万次阅读 多人点赞 2019-05-09 16:40:49
    概率分布有两种类型:离散(discrete)概率分布和连续(continuous)概率分布。 离散概率分布也称为概率质量函数(probability mass function)。离散概率分布包括: 伯努利分布(Bernoulli distribution) 二项...
  • 常见概率分布

    千次阅读 2019-02-27 21:09:44
    常见概率分布 目录 常见概率分布 Bernoulli(伯努利)分布: Multinouli分布(范畴分布) 高斯分布(正态分布) 指数分布 Laplace分布 Bernoulli(伯努利)分布: 二值的随机变量,满足如下条件 ...
  • 常见衰落模型的概率分布函数
  • 本文介绍一些常见的概率论知识和概率分布
  • 常见概率分布模型

    千次阅读 2015-02-06 15:46:06
    常见概率分布模型
  • 概率论-常见概率分布模型

    千次阅读 2020-03-06 19:11:37
    文章目录常见概率分布模型离散概率分布函数连续概率分布函数联合分布函数多项分布(Multinomial Distribution)多项分布简介多项分布公式解析伯努利分布(Bernoulli Distribution)伯努利分布简介伯努利分布的期望...
  • 常见的连续概率分布

    千次阅读 2016-09-22 15:24:26
    常见的连续概率分布:高斯分布,拉普拉斯分布....
  • 常见概率分布(matlab作图)

    万次阅读 2013-04-30 21:09:58
    原文地址:常见概率分布(matlab作图)作者:吴国强 一、常见概率分布 表1.1 概率分布分类表 连续随机变量分布 连续统计量分布 离散随机变量分布 分布 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 63,835
精华内容 25,534
关键字:

常见概率分布