精华内容
下载资源
问答
  • 有的材料按照 一维离散 -> 一维连续 -> 多维离散 -> 多维连续的角度讲解。我比较喜欢先讲清楚离散,再扩展到连续。...Geometric 和 Binomial 分布的 PMF,期望,方差公式和推导过程。随机变量的分布函数...

    有的材料按照 一维离散 -> 一维连续 -> 多维离散 -> 多维连续的角度讲解。

    我比较喜欢先讲清楚离散,再扩展到连续。

    这也跟 MIT 6.041 课程 的编排一致

    1. 随机变量和随机过程,不一样。要区分开。
    2. 独立性,依旧是一个重要议题。在伯努利“独立”重复实验相关的计算中,很实用。
    3. Geometric 和 Binomial 分布的 PMF,期望,方差公式和推导过程。
    4. 随机变量的分布函数
      在下一篇讨论: 概率论笔记3--连续随机变量、数学期望和方差

    目录

    1. 随机变量定义。是 function,而非 variable
    2. PMF 公式。how to compute(图), Geometric, Binomial
    3. 数学期望。
      ,
    4. 方差
    5. 条件 PMF 和条件期望。在新的样本空间里,缩放 PMF。
    6. Geometric PMF 期望计算。Memoryless & Total Expectation theorem
    7. 联合分布和边缘分布。
    8. 独立性。独立联合分布的 E 和 Var 计算。
    9. Binomial means and variance。

    1. Random variables 随机变量的定义

    An assignment of a value (number) to every possible outcome.

    Mathematically: A function from the sample space Ω to the real numbers.

    随机变量,不是一个变量,而是一个 function(函数)。

    一个 sample space 可以定义多个 Random variables,即多个特征。

    比如,sample space 是一个班级里的所有学生,Random variables 可以是身高函数、体重函数。

    Notation:

    • random variable X -- 大写
    • numerical value x -- 小写

    2 个性质:

    2. Probability mass function (PMF) 分布律

    两种写法:

    分布律也可以用表格的形式表示,如

    f9c3fcb0341818c891697110b2b3133c.png

    How to compute a PMF

    22ad020f57335b2fa1d823c32be04370.png
    • collect all possible outcomes for which X is equal to x
    • add their probabilities
    • repeat for all x

    找准 sample space 里的所有互斥事件,并满足

    找准 random variable 的所有取值,同样满足 sum = 1

    找准映射关系,累加起来。

    2.1. Example:Geometric PMF 几何分布的 PMF

    几何级数:X = number of coin tosses until first had

    几何级数的 PMF:

    等比数列

    2.2. Example: Binomial PMF 二项分布的 PMF

    二项分布:X = number of heads in n independent coin tosses

    二项分布的 PMF:

    3. Expectation 数学期望

    加权求平均。

    center of gravity of PMF -- 计算 PMF 图形很规则的 E[X] 时,可以直接写出结果。

    级数绝对收敛

    关键公式:

    作为对比,如果不是线性函数,

    ca68b36d4226ee717fd555e5518809c5.png

    关键公式的推导:从 sample space 到 X 再到 Y 的转换,可以以 sample space 为最小 element 计算,也可以以 X 为最小 element 计算 Y。

    如果以 X 计算,那就是 x 的值 g(x) 乘以对应的分布律

    性质:

    线性函数的数学期望,等于数学期望的线性函数。

    如果不是线性函数,则不满足, 即

    4. Variance 方差

    推导过程,反复使用 :

    5. Conditional PMF and expectation 条件 PMF 和条件期望

    在新的样本空间里重新计算 PMF 和 expectation 即可。

    没有新的概念和知识,但在计算中很实用。

    a40b058541253ae17ff208a0f447253a.png

    在这个特例中,加条件前后的样本空间,PMF 形状不变,只是少了 X=1.

    将剩下的概率值做一次缩放即可,从 1/4 缩放到 1/3

    6. Geometric PMF, Memoryless Property & Total Expectation theorem

    几何级数:X = number of coin tosses until first had

    几何级数的 PMF:

    用代数推导的过程:

    两边同乘 (1-p), 得

    旧式 减 新式 ,

    左侧,得到

    右侧错位相减,得到

    所以,

    Memoryless Property: Given that X > 2, 1/4 the r.v. X − 2 has same geometric PMF

    84bc743cfd6ead936b677680d1d7c945.png

    与前面的条件 PMF 一样,曲线形状不变,做一次放缩。

    Total Expectation theorem:

    利用全概率公式

    78b7c8222d90bd33592892363d50edae.png

    Geometric Example:

    其中,

    事件

    ,只有一个事件,且值为 1(投掷次数)。所以,

    事件

    7. Joint PMFs and marginal PMFs 联合分布和边缘分布

    在一个 sample space 上可以定义多个随机变量,比如,学生的身高

    和体重
    .

    随机变量之间,不一定独立,需要作为一个整体来研究。

    类似一维随机变量的分布律,二维的叫 联合分布律,也可以用二维表格表示。

    关于 X 的边缘分布律

    关于 Y 的边缘分布律

    三维的条件分布律

    8. independence 独立性

    X, Y, Z 相互独立:

    注意,此处的 X,Y,Z 来自同一个 sample space。

    6d01fc08c1841fe3549b82e7b7c0fe5f.png

    5ae8f1c1c0297a7c4b67c208301d8c9d.png

    9. Binomial means and variance 二项分布的数学期望和方差

    二项分布是 N 重独立实验,利用独立性计算期望和方差,可以口算。

    1c8fffa6939cfaf269787d8dbdde21f2.png

    可知,
    时,方差最大,不确定性最大。

    Reference:

    • MIT 6.041 Probabilistic Systems Analysis and Applied Probability, Fall 2010 Video 5-7
    • 概率论与数理统计 -- 浙江大学 chapter 2-4
    展开全文
  • 概论:一维随机变量期望与方差二维随机变量期望与方差协方差1.一维随机变量期望与方差:公式:离散型:E(X)=∑i=1...+∞g(x)f(x)dx方差:D(x)=E(x²)-E²(x)标准差:根号下的方差常用分布的数学期望和方差:0~1分布 ...

    概论:

    一维随机变量期望与方差

    二维随机变量期望与方差

    协方差

    1.一维随机变量期望与方差:

    公式:

    离散型:

    E(X)=∑i=1->nXiPi

    Y=g(x)

    E(Y)=∑i=1->ng(x)Pi

    连续型:

    E(X)=∫-∞->+∞xf(x)dx

    Y=g(x)

    E(Y)=∫-∞->+∞g(x)f(x)dx

    方差:D(x)=E(x²)-E²(x)

    标准差:根号下的方差

    常用分布的数学期望和方差:

    0~1分布 期望p 方差p(1-p)

    二项分布B(n,p) 期望np,方差np(1-p)

    泊松分布π(λ) 期望λ 方差λ

    几何分布 期望1/p ,方差(1-p)/p²

    正态分布 期望μ,方差σ²

    均匀分布,期望a+b/2,方差(b-a)²/12

    指数分布E(λ)期望1/λ,方差1/λ²

    卡方分布,x²(n) 期望n 方差2n

    期望E(x)的性质:

    E(c)=c

    E(ax+c)=aE(x)+c

    E(x+-Y)=E(X)+-E(Y)

    X和 Y相互独立:

    E(XY)=E(X)E(Y)

    ff8dab518b4b7101433f361979b3a59c.png

    方差D(X)的性质:

    D(c)=0

    D(aX+b)=a²D(x)

    D(X+-Y)=D(X)+D(Y)+-2Cov(X,Y)

    X和Y相互独立:

    D(X+-Y)=D(X)+D(Y)

    2.二维随机变量的期望与方差:

    3.协方差:Cov(X,Y):

    D(X+-Y)=D(X)+D(Y)+-2Cov(X,Y)

    协方差:

    Cov(X,Y)=E(XY)-E(X)E(Y)

    相关系数:

    ρxY=Cov(X,Y)/X的标准差*Y的标准差

    ρxY=0为X与Y不相关

    记住:独立一定不相关 ,不相关不一定独立。

    协方差的性质:

    Cov(X,Y)=Cov(Y,X)

    Cov(X,C)=0

    CoV(X,X)=D(X)

    Cov(ax+b,Y)=aCov(X,Y)

    展开全文
  • 数学期望离散型随机变量的数学期望1. 两点分布2. 分布3. 泊松分布4. 几何分布5. 超几何分布6. 其他连续性随机变量的数学期望1. 均匀分布2. 指数分布3. 正态分布 离散型随机变量的数学期望 1. 两点分布 2. 项...

    1. 两点分布

    • 定义: 实验的结果只有两种情况,即随机变量只有两个值,则称随机变量ξ服从两点分布。

    • 分布律
      在这里插入图片描述
      -p:表示实验成功的概率。

    • 分布函数

    • 概率密度函数

    • 期望: E(ξ) = p

    • 方差: D(ξ) = p(1-p)

    2. 二项分布/伯努利分布 【X~B(n, p)】

    • 定义: n个相互独立的两点分布的组合,具体分布律如下:
      在这里插入图片描述
      (ⅰ)当n为1时,即为两点分布。
      (ⅱ)当n趋于无穷大时,即为泊松分布。

    • 分布函数:

    • 概率密度函数:

    • 期望: E(ξ) = np

    • 方差: D(ξ) = np(1-p)

    ✈二项分布最大值问题。

    3. 泊松分布【ξ ~ P(λ)】

    • 定义:
      在这里插入图片描述
      
      -λ:(一次实验中,实验成功的概率pn )× (总的试验次数n)

    • 分布函数

    • 概率密度函数

    • 期望: E(ξ) = λ

    • 方差: D(ξ) = λ

    泊松定理

    4. 几何分布【ξ ~ Ge§】

    • 分布函数
    • 概率密度函数
    • 期望: E(ξ) = 1/p
    • 方差: D(ξ) = (1-p) / p2

    几何分布的无记忆性

    5. 超几何分布 【ξ ~ H(n, M , N)】

    • 分布函数
    • 概率密度函数
    • 期望
      在这里插入图片描述
    • 方差
      在这里插入图片描述
      超几何分布的二项分布近似:
      当n<<N时,

    6. 负二项分布

    期望
    在这里插入图片描述
    方差
    在这里插入图片描述

    展开全文
  • 离散随机变量 基础上,讨论连续随机变量有差异性质。连续随机变量公式和计算,以微积分为基础。但是在边界条件、可导性、可积性等,没有太多展开。毕竟有限个点概率和,依旧是 0。并不影响最终概率值...

    在 离散随机变量 的基础上,讨论连续随机变量有差异的性质。

    连续随机变量的公式和计算,以微积分为基础。

    但是在边界条件、可导性、可积性等,没有太多的展开。

    毕竟有限个点的概率和,依旧是 0。并不影响最终的概率值。

    1. PDF 概率密度函数
    2. CDF 分布函数
    3. 联合分布

    1. Probability density function (PDF) 概率密度函数

    连续随机变量,任一指定实数值的概率,都是 0.

    用离散变量的方式计算概率,不再适用。

    连续随机变量,讨论在一个区间(可能是无限小区间)内的概率,而非一个点的概率。

    定义概率密度函数

    在边界 a, b 上的概率,不做严格性讨论。

    性质:

    2. Expectations and variance 数学期望和方差

    与离散随机变量相似,公式改为积分的形式。

    69ecd972c104065a7a4ed88e7df10c65.png

    3. Cumulative distribution function (CDF) 分布函数

    对离散和连续函数都适用的,统一的表述方式

    可能存在不连续的点,因为在具体一点上的概率都是 0,所以,忽略有限个边界点不影响积分结果。

    可以是连续随机变量的
    和离散随机变量的 PMF 累加的结果。

    4a3a1dec1e6f34a076d7e99ba429fbfb.png

    4. Gaussian (normal) PDF 高斯(正态)分布 PDF

    aad83dd7108a7dce95a34a622eaf192b.png

    5. 联合分布函数

    Reference:

    • MIT 6.041 Probabilistic Systems Analysis and Applied Probability, Fall 2010 Video 8-9
    • 概率论与数理统计 -- 浙江大学 chapter 2-4
    展开全文
  • 多维随机变量(函数)的数学期望和方差若二维随机变量 的分布用联合分布列 或用联合密度函数 表示,下面讨论:1.多维随机变量的数学期望和方差在离散场合: 的数学期望 的方差: 同样可给出 的数学期望和方差。在...
  • 文章目录离散型1、离散型随机变量的数学期望例1例22、离散型随机变量函数的数学期望例33、二维离散型随机变量函数的数学期望例4连续型1、连续型随机变量数学期望 离散型 1、离散型随机变量的数学期望 说明: 它...
  • 戳这里:概率论思维导图 !!! 数学期望 离散型随机变量的数学期望 (这里要求级数绝对收敛,若不绝对收敛,...二维随机变量的数学期望 (1)设(X,Y)是离散型随机变量,联合分布率为: 若绝对收敛,则Z=g(X,Y...
  • 概论:一维随机变量期望与方差二维随机变量期望与方差协方差1.一维随机变量期望与方差:公式:离散型:E(X)=∑i=1...+∞g(x)f(x)dx方差:D(x)=E(x²)-E²(x)标准差:根号下的方差常用分布的数学期望和方差:0~1分布 ...
  • 文章目录一、数学期望1.1 一维离散型随机变量的数学期望1.1.1 几种常见离散型分布的数学期望1.2 一维离散型随机变量函数的数学期望1.3 一维连续型随机变量的数学期望1.3.1 几种常见连续型分布的数学期望1.4 一维连续...
  • 一、随机变量的数学期望 1、定义 ① ② 2、常见分布的期望 ①、两点分布 ②、泊松分布 ③、均匀分布 ④、指数分布 ⑤、正态分布 E(X)=u 、随机变量函数的数学期望 1、一随机变量z=g(X) ①、离散 ②、连续...
  •  7.7.3 二维离散型随机变量   7.7.4 二维连续型随机变量   小结   复习题七   第8章 随机变量的数字特征   8.1 数学期望   8.1.1 离散型随机变量的数学期望   8.1.2 连续型随机变量...
  • 联合分布函数的基本性质:联合分布列联合密度函数:联合密度函数性质:常用多维分布#正态分布边缘分布:随机变量间的独立性离散场合的卷积公式变量变换法多维随机变量函数的数学期望协方差 联合分布函数: 由它们...
  • 第一章 概率论基本概念 随机试验 样本...第三章 多维随机变量及其分布 二维随机变量 边缘分布 条件分布 相互独立随机变量 两个随机变量函数的分布 第四章 随机变量数字特征 数学期望 方差 协方差及相关系数...
  • 矩和协方差

    2020-10-27 15:33:45
    目录数学期望离散型连续型矩协方差矩n维整体分布一维二维正态分布的性质 数学期望 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一...
  • 文章目录概率论之随机变量的数字特征一、数学期望1.1、定义1.2、常用分布数学期望及方差1.3、一随机变量函数的数学期望1.4、数学期望的性质、中位数三、方差3.1、定义3.2、方差的计算3.3、方差的性质四、矩、...
  • 数学本身是一个工具,更是一门科学,这门科学在机器学习及深度学习领域起着灵魂支柱的作用,复杂的数学思想都是起源于平凡且朴素的假设,从数学意义上讲,概率对应着某种面积,而...二维随机变量 边缘分布 期望和...
  • 统计建模与R

    2020-06-01 19:00:49
    第一章 概率统计 1.1随机事件与概率 随机试验: 随机事件之间关系 随机事件运算律 概率 概率性质 古典概型 几何概型 ...1.2随机变量及其分布 ...分布函数 离散型随机变量 ...数学期望 方差 协方差 相
  • 5.离散型、连续型一维随机变量和二维随机变量函数的分布 3.随机变量及分布的运用 习题7 8.随机变量的数字特征 1.随机变量的数字特征的引入 1.随机变量的数字特征引入 2.期望、方差的定义 2.期望与方差的计算 1...
  • 13.2.3 一维离散小波分析工具 13.3 小波分析在图像处理中应用 13.3.1 基于小波变换图像局部压缩 13.3.2 二维小波变换图像压缩 13.3.3 图像压缩中阈值确定与作用命令 13.3.4 基于小波包变换图像...
  • 3.4 随机变量函数的数学期望的L-S积分表示与积分变换定理 3.5 离散型和连续型随机变量 3.6 γ次平均收敛与空间Lγ 3.7 不定积分与σ-可加集函数的分解 第4章 乘积测度空间 4.1 有限乘积测度 4.2 Fubini定理...
  • 切比雪夫不等式二、二维随机变量数字特征1. 数学期望2. 协方差与相关系数(1)概念(2) 性质三、独立性与相关性判定 一、一维随机变量数字特征 1. 数学期望 (1)概念定义 如果 XXX 是离散型随机变量,其...
  • 0 预备知识 ...则称为X的数学期望或均值 l 设连续型随机变量X的概率密度函数(PDF)为 其数学期望定义为 l称为随机变量X的方差,称为X的标准差 l正态分布~ 概率密度函数 l 设(X, Y)为二维...
  • 第一节 数学期望 第二节 方差 第三节 协方差与相关系数 第四节 矩协方差矩阵 第五节 二维正态分布 第五章 大数定律和中心极限定理 第一节 大数定律 第二节 中心极限定理 第六章 样本及抽样分布 第一节 总体与样本...
  • 则称 为X的数学期望或均值 l 设连续型随机变量X的概率密度函数(PDF)为 其数学期望定义为 l 称为随机变量X的方差,称为X的标准差 l 正态分布 ~ 概率密度函数 l 设(X, Y)为二维随机变量,...
  • 随机过程(1)

    2019-03-11 22:13:57
    离散随机过程的理解一个随机过程的自相关函数数学期望与自由度联合分布的意义离散随机过程的二维概率分布随机变量与其自身的联合概率 一个随机过程的自相关函数 我们按照如下定义计算一个随机过程的自相关函数: R...

空空如也

空空如也

1 2
收藏数 37
精华内容 14
关键字:

二维离散分布的数学期望