精华内容
下载资源
问答
  • 联合分布

    2014-10-30 19:58:08
    谢谢!   我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)...联合分布的多个随机变量都定义在同一个样本空间中。 对于联合分布

    作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

     

    我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)描述了多个随机变量的概率分布,是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。

    对于联合分布来说,最核心的依然是概率测度这一概念。 

     

    离散随机变量的联合分布

    我们先从离散的情况出发,了解多个随机变量并存的含义。

    之前说,一个随机变量是从样本空间到实数的映射。然而,所谓的映射是人为创造的。从一个样本空间,可以同时产生多个映射。比如,我们的实验是连续三次投硬币,样本空间为

    Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}

    h为正面,t为反面。在同一样本空间上,我们可以定义多个随机变量,比如:

    • X : 投掷为正面的总数,可以取值0,1,2,3
    • Y : 最后一次出现负面的总数,可以取值0,1
    • Z : 将正面记为10,负面记为5,第一次与第三次取值的差,可以有5, -5, 0

    这三个随机变量可以看作一个有三个分量的矢量。所以定义在同一样本空间的多随机变量,是一个从样本空间到矢量的映射。 

    (从这个角度上说,单一随机变量是一个从样本空间到一个有一个分量的矢量的映射)

     

    如果样本空间 Ω 中每个结果出现的概率相等。而样本空间中共有8个结果,那么个每个结果的出现的概率都是1/8。据此,我们可以计算联合概率,比如

    P(X=0,Y=1)=P({ttt})=1/8

    P(X=1,Y=1)=P({htt,tht})=2/8

    对于 X=x,Y=y ,我们寻找样本空间中满足这两个取值的所有元素。这些元素构成一个样本空间的子集,该子集的概率就是 P(X=x,Y=y) 的联合概率。 p(x,y)=P(X=x,Y=y) 称为联合概率质量函数(joint PMF, joint probability mass function)。联合概率可以看做两个事件同时发生时的概率,事件A为 X=x ,事件B为 Y=y ,即 P(AB)

    找到所有可能取值组合的概率,就找到了这两个随机变量的联合分布:

    X Y P(X,Y) 对应子集
    0 0 0 Φ
    1 0 1/8 tth
    2 0 2/8 thh, hth
    3 0 1/8 hhh
    0 1 1/8 ttt
    1 1 2/8 htt, tht
    2 1 1/8 hht
    3 1  0 Φ

     联合分布

    联合分布描述了所有可能的取值情况。因此,联合概率密度函数的累积和为1。

     

    连续随机变量的联合分布

    我们知道,单个连续随机变量的概率是变量在某个区间(某段线的“长度”)取值的概率。做类似的推广,多个连续随机变量的概率,是这多个随机变量在多维区间的概率。比如两个随机变量,我们需要表达一个二维区间的概率,比如 P(aXb,cYd) 。这个二维区间可以有一个类似于一个小补丁的“面积”。二维区间对应的概率是一个体积。

     

    面积对应的体积

     

    在单变量情况下,概率是一个“面积”,是由区间的“长度”和密度函数(一条曲线)围成的。这里的“体积”是二维区间的“面积”和密度函数(一个曲面)围成的。我们可以使用联合概率密度函数(joint PDF, joint probability density function)来表达多随机变量的分布。对于双变量的联合分布来说,它等于无穷小块的概率,除以无穷小块的面积。

    用微积分的语言来说,就是

    P(aXb,cYd)=badcf(x,y)dxdy

    f(x,y) 就是描述X和Y的联合分布的联合概率密度函数。

     

    联合概率密度函数描述了所有可能取值的情况,因此有

    +f(x,y)dxdy=1

     

    实例

    下面是两个连续随机变量的联合PDF:

    f(x,y)={2x0forfor0x,y1else

    通过积分,计算X在0到0.5,而Y在0到1的概率:

    P(0X0.5,0Y1)=0.50102xdxdy=0.25

     

    我们之间也说到,单个随机变量的概率对应线段到概率密度曲线之间的面积。而两个随机变量的概率对应小块到概率密度面之间的体积。

    我们可以绘制 f(x,y) 的分布图形,即一个二维的平面。图中的颜色标记了f(x, y)值的大小。如下: 

    可以看到,f(x, y)随X增大而增大,在X值确定时,f(x, y)不随Y变化。

    复制代码
    # By Vamei
    
    from mpl_toolkits.mplot3d import Axes3D
    from matplotlib import cm
    from matplotlib.ticker import LinearLocator, FormatStrFormatter
    import matplotlib.pyplot as plt
    import numpy as np
    
    fig = plt.figure()
    ax = fig.gca(projection='3d')
    X = np.arange(0, 1, 0.05)
    Y = np.arange(0, 1, 0.05)
    X, Y = np.meshgrid(X, Y)
    Z = 2*X
    surf = ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap=cm.coolwarm,
            linewidth=0, antialiased=False)
    ax.set_zlim(0.0, 2.5)
    
    ax.zaxis.set_major_locator(LinearLocator(10))
    ax.zaxis.set_major_formatter(FormatStrFormatter('%.02f'))
    
    ax.set_xlabel("X")
    ax.set_ylabel("Y")
    ax.set_zlabel("f(x,y)")
    fig.colorbar(surf, shrink=0.5, aspect=5)
    
    plt.show()
    复制代码

     

    边缘概率

    联合分布包含了多个随机变量的分布信息。我们当然可以从联合分布中,提取出任意一个单一随机变量的分布,也就是所谓的边缘分布(marginal distribution)。

    对于离散随机变量,可以获得边缘概率质量函数(marginal pmf):

    pX(x)=allyp(x,y)

    pY(y)=allxp(x,y)

    在求X的单一边缘分布时, 我们累加了相同x值、不同y值时的多个联合概率,从而获得该x值的的总体概率,即边缘概率。

     

    连续随机变量X的边缘密度函数(marginal pdf, marginal probability density function)可以定义为

    fX(x)=+f(x,y)dy

    fX(x) 是联合密度函数对Y的积分。通过积分,我们将不同Y取值时的联合概率加在一起,就获得纯粹的单一X的分布状况。

    类似的,Y的边缘密度函数为

    fY(y)=+f(x,y)dx

     

    取离散随机分布的例子,即掷三次硬币

      0 1 2 3 p(y)
    0 0 1/8 2/8 1/8 1/2
    1 1/8 2/8 1/8 0 1/2
    p(x) 1/8 3/8 3/8 1/8  

    边缘概率是对各行和列的累加。最后一列p(y)是Y的分布,Y有1/2的概率取0,1/2的概率取1。最后一行p(x)是X的分布。

     

    取连续随机分布的例子,即下面的连续分布:

    f(x,y)={2x0forfor0x,y1else

    可以得到:

    fX(x)=2x,0x1

    fY(y)=1,0y1

     

    条件分布

    我们之前基于事件介绍了条件概率,即如果事件B发生,那么事件A发生的概率。相同的概念可以引申到随机变量。随机变量取某个值,这可以看做一个事件。我们想知道,随机变量Y取值y,另一个随机变量X为x的概率。

     

    事件的条件概率类似,假设 pY(y)0 ,在 Y=y 的条件下,随机变量X取值为x的概率定义为: 

    p(x|y)=p(x,y)pY(y)

    X=x,Y=y 同时发生的概率,除以Y取值为y的的概率。

     

    以掷三次硬币为例。条件为Y值取值0,即最后一次投掷为正面时。此时,X取值为2有两种可能,即前两次为ht和th。由于前两次投掷有四种组合,所以概率为0.5。

    我们可以通过条件概率的公式计算并验证:

    p(2|0)=p(2,0)pY(0)=2/81/2=0.5

     

    如果说概率是分一个总和为1的大饼,如果大饼分八块,每块就是1/8。假设半个饼上撒胡椒,另半个饼上撒辣椒。那么在胡椒饼(相当于我们的条件)上选取一块的概率,就是1/4。此时,也就是用原来的概率除以胡椒饼所占的比重。

     

    对于连续随机变量,假设 fY(y)0 ,给定Y=y,随机变量X的条件分布为:

    f(x|y)=f(x|Y=y)=f(x,y)fY(y)

     

    独立随机变量

    正如事件之间可以相互独立一样,随机变量之间也可以相互独立。当X独立于Y时,我们可以相像,Y的取值,将不影响X的概率。也就是说

    p(x|y)=pX(x)

    这意味着,当且仅当

    p(x,y)=pX(x)pY(y)

    时,X和Y相互独立。

    可以验证,连续投掷三次硬币的例子中,X和Y并不独立,比如

    p(1,1)=2/8

    pX(1)=3/8

    pY(1)=1/2

    因此,

    p(1,1)pX(1)pY(1)

    X和Y并不独立。

    对于连续随机变量来说,当且仅当

    f(x,y)=fX(x)fY(y)

    时,X和Y相互独立。

    对于分布

    f(x,y)={2x0forfor0x,y1else

    使用之前获得的边际分布,可以验证

    f(x,y)=fX(x)fY(y)

    因此,对于该分布来说,X和Y相互独立。

     

    总结

    通过联合分布,我们将单随机变量的分布拓展到多随机变量的分布。同样的,在单随机变量中引入的条件概率,也可以使用到多随机变量。我们还探讨了随机变量的独立性。

    展开全文
  • 概率论 联合分布

    千次阅读 2017-01-08 16:27:09
    谢谢!   我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)...联合分布的多个随机变量都定义在同一个样本空间中。 对于联合分布

    作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

     

    我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)描述了多个随机变量的概率分布,是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。

    对于联合分布来说,最核心的依然是概率测度这一概念。 

     

    离散随机变量的联合分布

    我们先从离散的情况出发,了解多个随机变量并存的含义。

    之前说,一个随机变量是从样本空间到实数的映射。然而,所谓的映射是人为创造的。从一个样本空间,可以同时产生多个映射。比如,我们的实验是连续三次投硬币,样本空间为

    Ω={hhh,hht,hth,thh,htt,tht,tth,ttt} Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}

    h为正面,t为反面。在同一样本空间上,我们可以定义多个随机变量,比如:

    • X X: 投掷为正面的总数,可以取值0,1,2,3
    • Y Y: 最后一次出现负面的总数,可以取值0,1
    • Z Z: 将正面记为10,负面记为5,第一次与第三次取值的差,可以有5, -5, 0

    这三个随机变量可以看作一个有三个分量的矢量。所以定义在同一样本空间的多随机变量,是一个从样本空间到矢量的映射。 

    (从这个角度上说,单一随机变量是一个从样本空间到一个有一个分量的矢量的映射)

     

    如果样本空间 Ω Ω中每个结果出现的概率相等。而样本空间中共有8个结果,那么个每个结果的出现的概率都是1/8。据此,我们可以计算联合概率,比如

    P(X=0,Y=1)=P({ttt})=1/8 P(X=0,Y=1)=P({ttt})=1/8

    P(X=1,Y=1)=P({htt,tht})=2/8 P(X=1,Y=1)=P({htt,tht})=2/8

    对于 X=x,Y=y X=x,Y=y,我们寻找样本空间中满足这两个取值的所有元素。这些元素构成一个样本空间的子集,该子集的概率就是 P(X=x,Y=y) P(X=x,Y=y)的联合概率。 p(x,y)=P(X=x,Y=y) p(x,y)=P(X=x,Y=y)称为联合概率质量函数(joint PMF, joint probability mass function)。联合概率可以看做两个事件同时发生时的概率,事件A为 X=x X=x,事件B为 Y=y Y=y,即 P(AB) P(A∩B)

    找到所有可能取值组合的概率,就找到了这两个随机变量的联合分布:

    X X Y Y P(X,Y) P(X,Y) 对应子集
    0 0 0 Φ Φ
    1 0 1/8 tth
    2 0 2/8 thh, hth
    3 0 1/8 hhh
    0 1 1/8 ttt
    1 1 2/8 htt, tht
    2 1 1/8 hht
    3 1  0 Φ Φ

     联合分布

    联合分布描述了所有可能的取值情况。因此,联合概率密度函数的累积和为1。

     

    连续随机变量的联合分布

    我们知道,单个连续随机变量的概率是变量在某个区间(某段线的“长度”)取值的概率。做类似的推广,多个连续随机变量的概率,是这多个随机变量在多维区间的概率。比如两个随机变量,我们需要表达一个二维区间的概率,比如 P(aXb,cYd) P(a≤X≤b,c≤Y≤d)。这个二维区间可以有一个类似于一个小补丁的“面积”。二维区间对应的概率是一个体积。

    在单变量情况下,概率是一个“面积”,是由区间的“长度”和密度函数(一条曲线)围成的。这里的“体积”是二维区间的“面积”和密度函数(一个曲面)围成的。我们可以使用联合概率密度函数(joint PDF, joint probability density function)来表达多随机变量的分布。对于双变量的联合分布来说,它等于无穷小块的概率,除以无穷小块的面积。

    用微积分的语言来说,就是

    P(aXb,cYd)=badcf(x,y)dxdy P(a≤X≤b,c≤Y≤d)=∫ab∫cdf(x,y)dxdy

    f(x,y) f(x,y)就是描述X和Y的联合分布的联合概率密度函数。

     

    联合概率密度函数描述了所有可能取值的情况,因此有

    +f(x,y)dxdy=1 ∫−∞+∞∫−∞∞f(x,y)dxdy=1

     

    实例

    下面是两个连续随机变量的联合PDF:

    f(x,y)={2x0forfor0x,y1else f(x,y)={2xfor0≤x,y≤10forelse

    通过积分,计算X在0到0.5,而Y在0到1的概率:

    P(0X0.5,0Y1)=0.50102xdxdy=0.25 P(0≤X≤0.5,0≤Y≤1)=∫00.5∫012xdxdy=0.25

     

    我们之间也说到,单个随机变量的概率对应线段到概率密度曲线之间的面积。而两个随机变量的概率对应小块到概率密度面之间的体积。

    我们可以绘制 f(x,y) f(x,y)的分布图形,即一个二维的平面。图中的颜色标记了f(x, y)值的大小。如下: 

    可以看到,f(x, y)随X增大而增大,在X值确定时,f(x, y)不随Y变化。

    # By Vamei


    from mpl_toolkits.mplot3d import Axes3D
    from matplotlib import cm
    from matplotlib.ticker import LinearLocator, FormatStrFormatter
    import matplotlib.pyplot as plt
    import numpy as np


    fig = plt.figure()
    ax = fig.gca(projection='3d')
    X = np.arange(0, 1, 0.05)
    Y = np.arange(0, 1, 0.05)
    X, Y = np.meshgrid(X, Y)
    Z = 2*X
    surf = ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap=cm.coolwarm,
            linewidth=0, antialiased=False)
    ax.set_zlim(0.0, 2.5)


    ax.zaxis.set_major_locator(LinearLocator(10))
    ax.zaxis.set_major_formatter(FormatStrFormatter('%.02f'))


    ax.set_xlabel("X")
    ax.set_ylabel("Y")
    ax.set_zlabel("f(x,y)")
    fig.colorbar(surf, shrink=0.5, aspect=5)


    plt.show()

    边缘概率

    联合分布包含了多个随机变量的分布信息。我们当然可以从联合分布中,提取出任意一个单一随机变量的分布,也就是所谓的边缘分布(marginal distribution)。

    对于离散随机变量,可以获得边缘概率质量函数(marginal pmf):

    pX(x)=allyp(x,y) pX(x)=∑allyp(x,y)

    pY(y)=allxp(x,y) pY(y)=∑allxp(x,y)

    在求X的单一边缘分布时, 我们累加了相同x值、不同y值时的多个联合概率,从而获得该x值的的总体概率,即边缘概率。

     

    连续随机变量X的边缘密度函数(marginal pdf, marginal probability density function)可以定义为

    fX(x)=+f(x,y)dy fX(x)=∫−∞+∞f(x,y)dy

    fX(x) fX(x)是联合密度函数对Y的积分。通过积分,我们将不同Y取值时的联合概率加在一起,就获得纯粹的单一X的分布状况。

    类似的,Y的边缘密度函数为

    fY(y)=+f(x,y)dx fY(y)=∫−∞+∞f(x,y)dx

     

    取离散随机分布的例子,即掷三次硬币

      0 1 2 3 p(y)
    0 0 1/8 2/8 1/8 1/2
    1 1/8 2/8 1/8 0 1/2
    p(x) 1/8 3/8 3/8 1/8  

    边缘概率是对各行和列的累加。最后一列p(y)是Y的分布,Y有1/2的概率取0,1/2的概率取1。最后一行p(x)是X的分布。

     

    取连续随机分布的例子,即下面的连续分布:

    f(x,y)={2x0forfor0x,y1else f(x,y)={2xfor0≤x,y≤10forelse

    可以得到:

    fX(x)=2x,0x1 fX(x)=2x,0≤x≤1

    fY(y)=1,0y1 fY(y)=1,0≤y≤1

     

    条件分布

    我们之前基于事件介绍了条件概率,即如果事件B发生,那么事件A发生的概率。相同的概念可以引申到随机变量。随机变量取某个值,这可以看做一个事件。我们想知道,随机变量Y取值y,另一个随机变量X为x的概率。

     

    事件的条件概率类似,假设 pY(y)0 pY(y)≠0,在 Y=y Y=y的条件下,随机变量X取值为x的概率定义为: 

    p(x|y)=p(x,y)pY(y) p(x|y)=p(x,y)pY(y)

    X=x,Y=y X=x,Y=y同时发生的概率,除以Y取值为y的的概率。

     

    以掷三次硬币为例。条件为Y值取值0,即最后一次投掷为正面时。此时,X取值为2有两种可能,即前两次为ht和th。由于前两次投掷有四种组合,所以概率为0.5。

    我们可以通过条件概率的公式计算并验证:

    p(2|0)=p(2,0)pY(0)=2/81/2=0.5 p(2|0)=p(2,0)pY(0)=2/81/2=0.5

     

    如果说概率是分一个总和为1的大饼,如果大饼分八块,每块就是1/8。假设半个饼上撒胡椒,另半个饼上撒辣椒。那么在胡椒饼(相当于我们的条件)上选取一块的概率,就是1/4。此时,也就是用原来的概率除以胡椒饼所占的比重。

     

    对于连续随机变量,假设 fY(y)0 fY(y)≠0,给定Y=y,随机变量X的条件分布为:

    f(x|y)=f(x|Y=y)=f(x,y)fY(y) f(x|y)=f(x|Y=y)=f(x,y)fY(y)

     

    独立随机变量

    正如事件之间可以相互独立一样,随机变量之间也可以相互独立。当X独立于Y时,我们可以相像,Y的取值,将不影响X的概率。也就是说

    p(x|y)=pX(x) p(x|y)=pX(x)

    这意味着,当且仅当

    p(x,y)=pX(x)pY(y) p(x,y)=pX(x)pY(y)

    时,X和Y相互独立。

    可以验证,连续投掷三次硬币的例子中,X和Y并不独立,比如

    p(1,1)=2/8 p(1,1)=2/8

    pX(1)=3/8 pX(1)=3/8

    pY(1)=1/2 pY(1)=1/2

    因此,

    p(1,1)pX(1)pY(1) p(1,1)≠pX(1)pY(1)

    X和Y并不独立。

    对于连续随机变量来说,当且仅当

    f(x,y)=fX(x)fY(y) f(x,y)=fX(x)fY(y)

    时,X和Y相互独立。

    对于分布

    f(x,y)={2x0forfor0x,y1else f(x,y)={2xfor0≤x,y≤10forelse

    使用之前获得的边际分布,可以验证

    f(x,y)=fX(x)fY(y) f(x,y)=fX(x)fY(y)

    因此,对于该分布来说,X和Y相互独立。

     

    总结

    通过联合分布,我们将单随机变量的分布拓展到多随机变量的分布。同样的,在单随机变量中引入的条件概率,也可以使用到多随机变量。我们还探讨了随机变量的独立性。

    欢迎继续阅读“数据科学”系列文章 




    展开全文
  • 概率论之联合分布

    千次阅读 2013-11-22 10:19:01
    联合分布的多个随机变量都定义在同一个样本空间中。   多个随机变量并存 离散随机变量的联合分布 我们先从离散的情况出发,了解多个随机变量并存的含义。 之前说,一个随机变量是从样本空间到实数

    我之前一直专注于单一的随机变量及其概率分布。现在开始考虑多个随机变量的情况。联合分布(joint distribution)描述了多个随机变量的概率分布,是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。

     

    多个随机变量并存

    离散随机变量的联合分布

    我们先从离散的情况出发,了解多个随机变量并存的含义。

    之前说,一个随机变量是从样本空间到实数的映射。然而,所谓的映射是人为创造的。从一个样本空间,可以同时产生多个映射。比如,我们的实验是连续三次投硬币,样本空间为

    Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}

    h为正面,t为反面。在同一样本空间上,我们可以定义多个随机变量,比如:

    • X : 投掷为正面的总数,可以取值0,1,2,3
    • Y : 最后一次出现负面的总数,可以取值0,1
    • Z : 将正面记为10,负面记为5,第一次与第三次取值的差,可以有5, -5, 0

    这三个随机变量可以看作一个有三个分量的矢量。所以定义在同一样本空间的多随机变量,是一个从样本空间到矢量的映射。 

    (从这个角度上说,单一随机变量是一个从样本空间到一个有一个分量的矢量的映射)

    如果样本空间 Ω 中每个结果出现的概率相等。而样本空间中共有8个结果,那么个每个结果的出现的概率都是1/8。据此,我们可以计算联合概率,比如

    P(X=0,Y=1)=P({ttt})=1/8

    P(X=1,Y=1)=P({htt,tht})=2/8

    对于 X=x,Y=y ,我们寻找样本空间中满足这两个取值的所有元素。这些元素构成一个样本空间的子集,该子集的概率就是 P(X=x,Y=y) 的联合概率。 p(x,y)=P(X=x,Y=y) 称为联合概率质量函数(joint PMF, joint probability mass function)。联合概率可以看做两个事件同时发生时的概率,事件A为 X=x ,事件B为 Y=y ,即 P(AB)

    找到所有可能取值组合的概率,就找到了这两个随机变量的联合分布:

    X Y P(X,Y) 对应子集
    0 0 0 Φ
    1 0 1/8 tth
    2 0 2/8 thh, hth
    3 0 1/8 hhh
    0 1 1/8 ttt
    1 1 2/8 htt, tht
    2 1 1/8 hht
    3 1  0 Φ

     联合分布

    联合分布描述了所有可能的取值情况。因此,联合概率密度函数的累积和为1。

     

    连续随机变量的联合分布

    连续随机变量的概率是变量在某个区间取值的概率。为了表示多个连续随机变量的联合分布,我们需要表达随机变量在两个区间的概率,即 P(aXb,cYd)

     

    正如单随机变量的情况,我们可以更方便的使用联合概率密度函数(joint PDF, joint probability density function),即

    P(aXb,cYd)=badcf(x,y)dxdy

    f(x,y) 就是描述X和Y的联合分布的联合概率密度函数。

     

    联合概率密度函数描述了所有可能取值的情况,因此有

    +f(x,y)dxdy=1

     

    实例

    下面是两个连续随机变量的联合PDF:

    f(x,y)={2x0forfor0x,y1else

    通过积分,计算X在0到0.5,而Y在0到1的概率:

    P(0X0.5,0Y1)=0.50102xdxdy=0.25

     

    我们可以绘制 f(x,y) 的分布图形,即一个二维的平面。图中的颜色标记了f(x, y)值的大小。如下: 

    可以看到,f(x, y)随X增大而增大,在X值确定时,f(x, y)不随Y变化。

    复制代码
    # By Vamei
    
    from mpl_toolkits.mplot3d import Axes3D
    from matplotlib import cm
    from matplotlib.ticker import LinearLocator, FormatStrFormatter
    import matplotlib.pyplot as plt
    import numpy as np
    
    fig = plt.figure()
    ax = fig.gca(projection='3d')
    X = np.arange(0, 1, 0.05)
    Y = np.arange(0, 1, 0.05)
    X, Y = np.meshgrid(X, Y)
    Z = 2*X
    surf = ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap=cm.coolwarm,
            linewidth=0, antialiased=False)
    ax.set_zlim(0.0, 2.5)
    
    ax.zaxis.set_major_locator(LinearLocator(10))
    ax.zaxis.set_major_formatter(FormatStrFormatter('%.02f'))
    
    ax.set_xlabel("X")
    ax.set_ylabel("Y")
    ax.set_zlabel("f(x,y)")
    fig.colorbar(surf, shrink=0.5, aspect=5)
    
    plt.show()
    复制代码

     

    边缘概率

    联合分布包含了多个随机变量的分布信息。我们当然可以从联合分布中,提取出任意一个单一随机变量的分布,也就是所谓的边缘分布(marginal distribution)。

    对于离散随机变量,可以获得边缘概率质量函数(marginal pmf):

    pX(x)=allyp(x,y)

    pY(y)=allxp(x,y)

    在求X的单一边缘分布时, 我们累加了相同x值、不同y值时的多个联合概率,从而获得该x值的的总体概率,即边缘概率。

     

    连续随机变量X的边缘密度函数(marginal pdf, marginal probability density function)可以定义为

    fX(x)=+f(x,y)dy

    fX(x) 是联合密度函数对Y的积分。通过积分,我们将不同Y取值时的联合概率加在一起,就获得纯粹的单一X的分布状况。

    类似的,Y的边缘密度函数为

    fY(y)=+f(x,y)dx

     

    取离散随机分布的例子,即掷三次硬币

      0 1 2 3 p(y)
    0 0 1/8 2/8 1/8 1/2
    1 1/8 2/8 1/8 0 1/2
    p(x) 1/8 3/8 3/8 1/8  

    边缘概率是对各行和列的累加。最后一列p(y)是Y的分布,Y有1/2的概率取0,1/2的概率取1。最后一行p(x)是X的分布。

     

    取连续随机分布的例子,即下面的连续分布:

    f(x,y)={2x0forfor0x,y1else

    可以得到:

    fX(x)=2x,0x1

    fY(y)=1,0y1

     

    条件分布

    我们之前基于事件介绍了条件概率,即如果事件B发生,那么事件A发生的概率。相同的概念可以引申到随机变量。随机变量取某个值,这可以看做一个事件。我们想知道,随机变量Y取值y,另一个随机变量X为x的概率。

     

    事件的条件概率类似,假设 pY(y)0 ,在 Y=y 的条件下,随机变量X取值为x的概率定义为: 

    p(x|y)=p(x,y)pY(y)

    X=x,Y=y 同时发生的概率,除以Y取值为y的的概率。

     

    以掷三次硬币为例。条件为Y值取值0,即最后一次投掷为正面时。此时,X取值为2有两种可能,即前两次为ht和th。由于前两次投掷有四种组合,所以概率为0.5。

    我们可以通过条件概率的公式计算并验证:

    p(2|0)=p(2,0)pY(0)=2/81/2=0.5

     

    如果说概率是分一个总和为1的大饼,如果大饼分八块,每块就是1/8。假设半个饼上撒胡椒,另半个饼上撒辣椒。那么在胡椒饼(相当于我们的条件)上选取一块的概率,就是1/4。此时,也就是用原来的概率除以胡椒饼所占的比重。

     

    对于连续随机变量,假设 fY(y)0 ,给定Y=y,随机变量X的条件分布为:

    f(x|y)=f(x|Y=y)=f(x,y)fY(y)

     

    独立随机变量

    正如事件之间可以相互独立一样,随机变量之间也可以相互独立。当X独立于Y时,我们可以相像,Y的取值,将不影响X的概率。也就是说

    p(x|y)=pX(x)

    这意味着,当且仅当

    p(x,y)=pX(x)pY(y)

    时,X和Y相互独立。

    可以验证,连续投掷三次硬币的例子中,X和Y并不独立,比如

    p(1,1)=2/8

    pX(1)=3/8

    pY(1)=1/2

    因此,

    p(1,1)pX(1)pY(1)

    X和Y并不独立。

    对于连续随机变量来说,当且仅当

    f(x,y)=fX(x)fY(y)

    时,X和Y相互独立。

    对于分布

    f(x,y)={2x0forfor0x,y1else

    使用之前获得的边际分布,可以验证

    f(x,y)=fX(x)fY(y)

    因此,对于该分布来说,X和Y相互独立。

     

    总结

    通过联合分布,我们将单随机变量的分布拓展到多随机变量的分布。同样的,在单随机变量中引入的条件概率,也可以使用到多随机变量。我们还探讨了随机变量的独立性。

    欢迎继续阅读“数据科学”系列文章 

    展开全文
  • 概率论07 联合分布

    2014-05-06 10:28:11
    谢谢!   我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)...联合分布的多个随机变量都定义在同一个样本空间中。 对于联合分布

    作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

     

    我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint distribution)描述了多个随机变量的概率分布,是对单一随机变量的自然拓展。联合分布的多个随机变量都定义在同一个样本空间中。

    对于联合分布来说,最核心的依然是概率测度这一概念。 

     

    离散随机变量的联合分布

    我们先从离散的情况出发,了解多个随机变量并存的含义。

    之前说,一个随机变量是从样本空间到实数的映射。然而,所谓的映射是人为创造的。从一个样本空间,可以同时产生多个映射。比如,我们的实验是连续三次投硬币,样本空间为

    Ω={hhh,hht,hth,thh,htt,tht,tth,ttt}

    h为正面,t为反面。在同一样本空间上,我们可以定义多个随机变量,比如:

    • X : 投掷为正面的总数,可以取值0,1,2,3
    • Y : 最后一次出现负面的总数,可以取值0,1
    • Z : 将正面记为10,负面记为5,第一次与第三次取值的差,可以有5, -5, 0

    这三个随机变量可以看作一个有三个分量的矢量。所以定义在同一样本空间的多随机变量,是一个从样本空间到矢量的映射。 

    (从这个角度上说,单一随机变量是一个从样本空间到一个有一个分量的矢量的映射)

     

    如果样本空间 Ω 中每个结果出现的概率相等。而样本空间中共有8个结果,那么个每个结果的出现的概率都是1/8。据此,我们可以计算联合概率,比如

    P(X=0,Y=1)=P({ttt})=1/8

    P(X=1,Y=1)=P({htt,tht})=2/8

    对于 X=x,Y=y ,我们寻找样本空间中满足这两个取值的所有元素。这些元素构成一个样本空间的子集,该子集的概率就是 P(X=x,Y=y) 的联合概率。 p(x,y)=P(X=x,Y=y) 称为联合概率质量函数(joint PMF, joint probability mass function)。联合概率可以看做两个事件同时发生时的概率,事件A为 X=x ,事件B为 Y=y ,即 P(AB)

    找到所有可能取值组合的概率,就找到了这两个随机变量的联合分布:

    X Y P(X,Y) 对应子集
    0 0 0 Φ
    1 0 1/8 tth
    2 0 2/8 thh, hth
    3 0 1/8 hhh
    0 1 1/8 ttt
    1 1 2/8 htt, tht
    2 1 1/8 hht
    3 1  0 Φ

     联合分布

    联合分布描述了所有可能的取值情况。因此,联合概率密度函数的累积和为1。

     

    连续随机变量的联合分布

    我们知道,单个连续随机变量的概率是变量在某个区间(某段线的“长度”)取值的概率。做类似的推广,多个连续随机变量的概率,是这多个随机变量在多维区间的概率。比如两个随机变量,我们需要表达一个二维区间的概率,比如 P(aXb,cYd) 。这个二维区间可以有一个类似于一个小补丁的“面积”。二维区间对应的概率是一个体积。

     

    面积对应的体积

     

    在单变量情况下,概率是一个“面积”,是由区间的“长度”和密度函数(一条曲线)围成的。这里的“体积”是二维区间的“面积”和密度函数(一个曲面)围成的。我们可以使用联合概率密度函数(joint PDF, joint probability density function)来表达多随机变量的分布。对于双变量的联合分布来说,它等于无穷小块的概率,除以无穷小块的面积。

    用微积分的语言来说,就是

    P(aXb,cYd)=badcf(x,y)dxdy

    f(x,y) 就是描述X和Y的联合分布的联合概率密度函数。

     

    联合概率密度函数描述了所有可能取值的情况,因此有

    +f(x,y)dxdy=1

     

    实例

    下面是两个连续随机变量的联合PDF:

    f(x,y)={2x0forfor0x,y1else

    通过积分,计算X在0到0.5,而Y在0到1的概率:

    P(0X0.5,0Y1)=0.50102xdxdy=0.25

     

    我们之间也说到,单个随机变量的概率对应线段到概率密度曲线之间的面积。而两个随机变量的概率对应小块到概率密度面之间的体积。

    我们可以绘制 f(x,y) 的分布图形,即一个二维的平面。图中的颜色标记了f(x, y)值的大小。如下: 

    可以看到,f(x, y)随X增大而增大,在X值确定时,f(x, y)不随Y变化。

    复制代码
    # By Vamei
    
    from mpl_toolkits.mplot3d import Axes3D
    from matplotlib import cm
    from matplotlib.ticker import LinearLocator, FormatStrFormatter
    import matplotlib.pyplot as plt
    import numpy as np
    
    fig = plt.figure()
    ax = fig.gca(projection='3d')
    X = np.arange(0, 1, 0.05)
    Y = np.arange(0, 1, 0.05)
    X, Y = np.meshgrid(X, Y)
    Z = 2*X
    surf = ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap=cm.coolwarm,
            linewidth=0, antialiased=False)
    ax.set_zlim(0.0, 2.5)
    
    ax.zaxis.set_major_locator(LinearLocator(10))
    ax.zaxis.set_major_formatter(FormatStrFormatter('%.02f'))
    
    ax.set_xlabel("X")
    ax.set_ylabel("Y")
    ax.set_zlabel("f(x,y)")
    fig.colorbar(surf, shrink=0.5, aspect=5)
    
    plt.show()
    复制代码

     

    边缘概率

    联合分布包含了多个随机变量的分布信息。我们当然可以从联合分布中,提取出任意一个单一随机变量的分布,也就是所谓的边缘分布(marginal distribution)。

    对于离散随机变量,可以获得边缘概率质量函数(marginal pmf):

    pX(x)=allyp(x,y)

    pY(y)=allxp(x,y)

    在求X的单一边缘分布时, 我们累加了相同x值、不同y值时的多个联合概率,从而获得该x值的的总体概率,即边缘概率。

     

    连续随机变量X的边缘密度函数(marginal pdf, marginal probability density function)可以定义为

    fX(x)=+f(x,y)dy

    fX(x) 是联合密度函数对Y的积分。通过积分,我们将不同Y取值时的联合概率加在一起,就获得纯粹的单一X的分布状况。

    类似的,Y的边缘密度函数为

    fY(y)=+f(x,y)dx

     

    取离散随机分布的例子,即掷三次硬币

      0 1 2 3 p(y)
    0 0 1/8 2/8 1/8 1/2
    1 1/8 2/8 1/8 0 1/2
    p(x) 1/8 3/8 3/8 1/8  

    边缘概率是对各行和列的累加。最后一列p(y)是Y的分布,Y有1/2的概率取0,1/2的概率取1。最后一行p(x)是X的分布。

     

    取连续随机分布的例子,即下面的连续分布:

    f(x,y)={2x0forfor0x,y1else

    可以得到:

    fX(x)=2x,0x1

    fY(y)=1,0y1

     

    条件分布

    我们之前基于事件介绍了条件概率,即如果事件B发生,那么事件A发生的概率。相同的概念可以引申到随机变量。随机变量取某个值,这可以看做一个事件。我们想知道,随机变量Y取值y,另一个随机变量X为x的概率。

     

    事件的条件概率类似,假设 pY(y)0 ,在 Y=y 的条件下,随机变量X取值为x的概率定义为: 

    p(x|y)=p(x,y)pY(y)

    X=x,Y=y 同时发生的概率,除以Y取值为y的的概率。

     

    以掷三次硬币为例。条件为Y值取值0,即最后一次投掷为正面时。此时,X取值为2有两种可能,即前两次为ht和th。由于前两次投掷有四种组合,所以概率为0.5。

    我们可以通过条件概率的公式计算并验证:

    p(2|0)=p(2,0)pY(0)=2/81/2=0.5

     

    如果说概率是分一个总和为1的大饼,如果大饼分八块,每块就是1/8。假设半个饼上撒胡椒,另半个饼上撒辣椒。那么在胡椒饼(相当于我们的条件)上选取一块的概率,就是1/4。此时,也就是用原来的概率除以胡椒饼所占的比重。

     

    对于连续随机变量,假设 fY(y)0 ,给定Y=y,随机变量X的条件分布为:

    f(x|y)=f(x|Y=y)=f(x,y)fY(y)

     

    独立随机变量

    正如事件之间可以相互独立一样,随机变量之间也可以相互独立。当X独立于Y时,我们可以相像,Y的取值,将不影响X的概率。也就是说

    p(x|y)=pX(x)

    这意味着,当且仅当

    p(x,y)=pX(x)pY(y)

    时,X和Y相互独立。

    可以验证,连续投掷三次硬币的例子中,X和Y并不独立,比如

    p(1,1)=2/8

    pX(1)=3/8

    pY(1)=1/2

    因此,

    p(1,1)pX(1)pY(1)

    X和Y并不独立。

    对于连续随机变量来说,当且仅当

    f(x,y)=fX(x)fY(y)

    时,X和Y相互独立。

    对于分布

    f(x,y)={2x0forfor0x,y1else

    使用之前获得的边际分布,可以验证

    f(x,y)=fX(x)fY(y)

    因此,对于该分布来说,X和Y相互独立。

     

    总结

    通过联合分布,我们将单随机变量的分布拓展到多随机变量的分布。同样的,在单随机变量中引入的条件概率,也可以使用到多随机变量。我们还探讨了随机变量的独立性。

    展开全文
  • 统计学习——联合概率分布

    万次阅读 多人点赞 2018-12-16 14:33:21
    什么是联合概率分布 联合概率 联合概率表示为包含多个条件并且所有的条件都同时成立的概率,记作 P(X=a,Y=b)P(X=a,Y=b)P(X=a,Y=b) 或 P(a,b)P...联合概率分布简称联合分布,是两个及以上随机变量组成的随机变量的...
  • 联合概率分布

    千次阅读 2014-12-18 16:19:29
    谢谢!   我之前一直专注于单一的随机变量及其概率分布。我们自然的会想将以前的结论推广到多个随机变量。联合分布(joint ...联合分布的多个随机变量都定义在同一个样本空间中。 对于联合分布来说,最核
  • 联合分布适配(JDA)

    千次阅读 2020-02-19 13:22:08
    问题描述 ...在已知道源数据的输入XSX_SXS​输出YSY_SYS​以及目标数据的输入XTX_TXT​的情况下,预测XTX_TXT​对应的输出YTY_TYT​,并且假设源数据目标数据的边缘分布有很多差异,即P(XS)≠Q(XT...
  • 基于联合分布适配的迁移学习Abstract 迁移学习应用在计算机视觉是一种有效的技术,可以利用源域中丰富的标记数据为目标域构建准确的分类器。然而,大多数现有方法并没有同时减少域间边缘分布条件分布的差异。在...
  • 联合密度分布

    千次阅读 2018-08-25 21:51:20
    最近参与翻译的一本书,以下是我翻译的其中一章,其余可以阅读 https://github.com/apachecn/prob140-textbook-zh 英文原文:... 17. 联合密度 我们现在开始研究两个连续随机变量的联合概率密度。这些...
  • 什么是联合概率分布

    万次阅读 多人点赞 2018-05-12 15:33:37
    联合概率分布简称联合分布,是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示,也可以以函数的形式表示;...
  • 作者提出了一种可视分析方法,通过高维可视化手段、重构并展示大量潜在的联合分布,以帮助用户识别其中符合事实或预期的、有价值的分布。
  • 1 定义 1.1 联合概率 联合概率表示为包含多个条件并且所有的...联合概率分布简称联合分布,是两个及以上随机变量组成的随机变量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量...
  • 行业分类-物理装置-一种用井震联合法获取铀异常在砂体中空间分布位置的方法.zip
  • 输入空间X与输出空间Y遵循联合概率分布: P(X,Y) P(X,Y) P(X,Y)并依联合概率分布P(X,Y)独立同分布产生。 联合概率分布:两个及以上随机变量组成的随机变量的概率分布 独立同分布:在概率统计理论中,指随机过程中,...
  • 京津跨域通勤特征与职住空间分布研究 引言随着京津冀区域一体化进程加速,北京与天津之间的人员往来日益紧密。京津城际铁路自2008年开通客流量稳步提升,目前已达到8-9万人次/日;武清城际车站发送量由开通之初的...
  • 高维空间中的高斯分布和随机投影

    万次阅读 2015-08-25 17:20:51
    Computer Science Theory for the Information Age-3: 高维空间中的高斯分布和随机投影 - Boostable - 博客园 Boostable
  • 摘要 ... 我们提出了一种新颖的方法,称为连续频率空间的情节学习(ELCFS),通过使每个客户端都能在数据分散的挑战性约束下利用多源数据分布来解决此问题。 我们的方法通过有效的连续频率空间插值
  • 为了优选煤层气页岩气联合研究与开发的有利区域,以扬子地区二叠系龙潭组及其上下部组合地层为研究对象,分析页岩气煤层气的资源分布特点;讨论成藏地质条件及气藏聚集模式,依据龙潭组及其上下部地层组合的分布特征...
  • (博客上编辑公式很麻烦,大多上自己文档的截图了) (随机试验,样本空间等可参考 ...) 1. 随机变量(random variable) ...(概率分布函数针对离散连续型随机变量,概率密度函数只针对连续型随机变量)
  • 假设监督学习的输入与输出的随机变量XY遵循联合概率分布P(X,Y),对于学习系统来说,联合概率分布的具体定义是未知的,训练数据测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。XY具有联合概率分布就是...
  • 以国家四部委联合评审认定的山西省129处中国传统村落及239处省级传统村落为研究对象,应用Arcgis10.0技术平台,对山西省传统村落的空间分布特征进行分析。研究发现,山西省传统村落在空间分布上呈现出较强的聚集性,在各...
  • 考虑到AC系数在DCT块中空间位置的不同而体现信息不同的特点,为AC系数分布熵设置了权值,避免了由于AC系数分布熵相同而系数空间分布不同造成的误检漏检情况. 该算法不仅体现了DCT块中各个系数的统计分布,同时也...
  • [memory]虚拟地址空间分布

    千次阅读 2016-03-02 11:00:18
    在将应用程序加载到内存空间执行时,操作系统负责代码段、数据段BSS段的加载,并在内存中为这些段分配空间。栈也由操作系统分配管理;堆由程序员自己管理,即显式地申请释放空间。  BSS段、数据段代码段...
  • 联合概率

    万次阅读 2018-05-30 14:44:20
     联合概率分布简称联合分布,是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示,也可以以函数的形式表示...
  • C++联合类型

    千次阅读 2017-04-13 11:49:01
    联合类型(又称共同体类型),一种能够表示多种数据(类型可以... 在语义上,联合类型结构类型的区别是,联合类型的所有成员占用同一块内存空间,该内存的空间大小是其最大成员的内存空间大小。 2. 操作  
  • 概率图模型       对于一个实际问题,我们希望能够挖掘隐含在...概率图中的节点分为隐含节点观测节点,边分为有向边无向边。从概率论的角度,节点对应于随机变量,边对应于随机变...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 47,169
精华内容 18,867
关键字:

联合分布和联合空间