精华内容
下载资源
问答
  • 概率论知识点

    2019-03-26 21:56:22
    1. 概率分布 https://zhuanlan.zhihu.com/p/26810566 2.期望、方差、协方差及相关系数的基本运算 https://blog.csdn.net/touristman5/article/details/56281887 3. 假设检验 ...
    展开全文
  • 概率论知识点.pdf

    2021-05-08 23:41:28
    概率论知识点.pdf
  • 概率论知识点&公式总结.pdf
  • 概率论知识点总结.pdf

    2020-05-24 20:33:41
    概率论知识点总结共24页包括“随机事件及其概率”,“随机变量及其分布”,“二维随机变量及其分布”,“随机变量的数字特征”,“大数定律和中心极限定理”,“样本及其抽样分布”,“参数估计”,“假设检验”
  • 概率论知识点速记

    2019-08-16 09:23:40
    文章目录概率论知识点速记第一章:概率论的基本概念第二章:随机变量及其分布第三章:多维随机变量及其分布第四章:随机变量的数字特征第五章:大数定律及中心极限定理第六章:样本及抽样分布第七章:参数估计第八章...

    概率论知识点速记


    第一章:概率论的基本概念

    • 随机试验:每次试验的结果不止一个,在试验结束前不知道哪个结果会出现

    • 样本空间:随机试验所有可能结果组成的集合

    • 样本点:样本空间中的每个元素

    • 随机事件:样本空间的子集

    • 基本事件:一个样本点组成的单点集

    • 必然事件:一定会发生的事件

    • 不可能事件:不可能发生的事件

    • 积事件:两个随机事件的交集

    • 和事件:两个随机事件的并集

    • 互斥事件:两个事件不能同时发生

    • 对立事件:两个事件构成随机事件,但是两个事件不能同时发生

    • 频率:事件发生的次数/试验的次数

    • 概率:每一个事件发生的可能性

    • 古典概型:有限等可能

    • 公式

      若事件B包含于事件A
      P(A-B)=P(A)-P(B)

      x1x2....xnx_1、x_2....x_n相互独立
      P(x1+x2+....+xn)=P(x1)+P(x2)+....+P(xn)P(x_1+x_2+....+x_n)=P(x_1)+P(x_2)+....+P(x_n)

      条件概率
      P(A|B)=P(AB)/P(B)

      贝叶斯公式
      若随机事件S可划分为B1B2.....BnB_1、B_2.....B_n,则事件A发生的概率为
      P(A)=P(AB1)+P(AB2)+....+P(ABn)=P(B1)P(AB1)+P(B2)P(AB2)+...+P(Bn)P(ABn)\begin{aligned} P(A)=&P(AB_1)+P(AB_2)+....+P(AB_n)\\ =&P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n) \end{aligned}

      全概率公式
      若随机事件S可划分为B1B2.....BnB_1、B_2.....B_n,则有
      P(BiA)=P(ABi)P(A)=P(ABi)P(Bi)/[P(B1)P(AB1)+P(B2)P(AB2)+...+P(Bn)P(ABn)]\begin{aligned} P(B_i|A)=&\frac{P(AB_i)}{P(A)}\\ =&P(A|B_i)*P(B_i)/[P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n)] \end{aligned}

      独立性
      若A与B独立,则有 P(AB)=P(A)P(B)


    第二章:随机变量及其分布

    • 离散型随机变量

      • 通过分布律表明各个随机变量发生的概率,分布律的形式如下:
        在这里插入图片描述

      • 常用离散型随机变量

        • 0-1分布:离散型随机变量只有两个取值,分别为0和1
        • 二项分布:n次独立实验,每次实验只有两种结果,某个结果出现m次的概率为CnmPmQnmC_n^mP^mQ^{n-m}
        • 泊松分布:λkeλk!\frac{\lambda^k e^{-\lambda}}{k!}
    • 连续型随机变量

      • 通过概率密度函数上的积分表示随机变量发生的概率

      • 一元概率密度函数的形式为:f(x)

      • 常用的概率密度函数

        • 均匀分布
        • 正态分布
        • 指数分布
    • 分布函数

      • F(x)=P(Xx)F(x)=P(X \leq x)
      • 离散型随机变量的分布函数:F(x)=i=1xPiF(x)=\sum_{i=1}^{x}P_i
      • 连续型随机变量的分布函数:xf(x)dx\int_{-\infty}^{x}f(x)dx
      • P(axb)=F(b)F(a)P(a \leq x \leq b)=F(b)-F(a)

    第三章:多维随机变量及其分布

    此处介绍二维随机变量

    • 联合分布律与联合概率密度函数

    离散型二维随机变量的联合分布律
    在这里插入图片描述 连续型二维随机变量的联合概率密度函数:f(x,y)

    • 多维随机变量的分布函数
    • 离散型二维随机变量的联合分布函数:F(n,m)=i=1nj=1mPijF(n,m)=\sum_{i=1}^{n}\sum_{j=1}^{m}P_{ij}
    • 连续型二维随机变量的联合分布函数:F(n,m)=nmf(x,y)dxdyF(n,m)=\int_{-\infty}^{n}\int_{-\infty}^{m}f(x,y)dxdy
    • 联合分布函数特点:x1xx2y1yy2P(x1xx2,y1yy2)=F(x2,y2)F(x1,y2)F(x2,y1)+F(x1,y1)x_1 \leq x \leq x_2,y_1 \leq y \leq y_2,P(x_1 \leq x \leq x_2,y_1 \leq y \leq y_2)=F(x_2,y_2)-F(x_1,y_2)-F(x_2,y_1)+F(x_1,y_1)
    • 边缘分布
    • 离散型二维随机变量的边缘分布:P(x=xi)=j=1nPijP(x=x_i)=\sum_{j=1}^nP_{ij}
    • 连续型二维随机变量的边缘分布:Fx(x)=+f(x,y)dyFy(y)=+f(x,y)dxF_x(x)=\int_{-\infty}^{+\infty}f(x,y)dy,F_y(y)=\int_{-\infty}^{+\infty}f(x,y)dx
    • 二维正态分布的概率密度函数:x符合N(u1,o12)N(u_1,o_1^2),y符合N(u2,o22)N(u_2,o_2^2),则(x,y)的概率密度函数为:在这里插入图片描述

    记为(x,y)符合N(u1,u2,o1,o2,ρ)N(u_1,u_2,o_1,o_2,\rho)

    • 条件分布
    • 分布律与概率密度函数的条件分布

      • 离散型二维随机变量的条件分布:P(x=xiy=yj)=P(x=xi,y=yj)P(y=yi)P(x=x_i|y=y_j)=\frac{P(x=x_i,y=y_j)}{P(y=y_i)}
      • 连续型二维随机变量的条件分布:f(xy)=f(x,y)fx(y)f(x|y)=\frac{f(x,y)}{f_x(y)}
    • 分布函数

    Fx(xy)=F(x,y)Fy(y)F_x(x|y)=\frac{F(x,y)}{F_y(y)}

    • 独立性
    • 分布律与概率密度函数的独立性
    • 离散型二维随机变量的独立性:P(x=xi,y=yi)=P(x=xi)P(y=yi)P(x=x_i,y=y_i)=P(x=x_i)P(y=y_i)
    • 连续型二维随机变量的独立性:f(x,y)=fx(x)fy(y)f(x,y)=f_x(x)f_y(y)
    • 分布函数

    F(x,y)=Fx(x)Fy(y)F(x,y)=F_x(x)F_y(y)

    第四章:随机变量的数字特征

    • 期望:相当于平均值

      • 离散型随机变量:E(x)=i=1nxipiE(x)=\sum_{i=1}^nx_ip_i
      • 连续型随机变量:E(x)=abf(x)dxE(x)=\int_{a}^{b}f(x)dx
      • 期望的其他性质
      • E(cx)=cE(x)

      • E(x+y)=E(x)+E(y)

      • 若x与y相互独立:E(xy)=E(x)E(y)

      • 离散型随机变量x:E(f(x))=i=1nf(xi)piE(f(x))=\sum_{i=1}^{n}f(x_i)p_i

      • 连续型随机变量x,x的概率密度函数为g(x):E(f(x))=+f(x)g(x)dxE(f(x))=\int_{-\infty}^{+\infty}f(x)g(x)dx

    • 方差:度量离散程度

      离散型随机变量:D(x)=i=1n(xiE(x))2piD(x)=\sum_{i=1}^n(x_i-E(x))^2p_i

      连续型随机变量:D(x)=ab(xE(x))2f(x)dxD(x)=\int_{a}^{b}(x-E(x))^2f(x)dx

      方差的其他性质

      • D(cx)=c2c^2D(x)

      • D(x+y)=D(x)+D(y)+2cov(x,y)

      • D(x)=E(x2)[E(x)]2E(x^2)-[E(x)]^2

      • 若X和Y相互独立,则D(XY)=D(X)D(Y),D(X+Y)=D(X)+D(Y)

    • 协方差

      • cov(x,y)=E{[xE(x)][yE(y)]}cov(x,y)=E\{[x-E(x)][y-E(y)]\}

      • 两个随机变量相互独立,协方差为0,协方差为0,相关系数为0,两个随机变量不相关

    • 相关系数

      • ρ=cov(x,y)(D(x))(D(y))\rho=\frac{cov(x,y)}{\sqrt(D(x))\sqrt(D(y))}

      • 相关系数的绝对值越趋近于1,两个随机变量的线性相关程度越高

    • k阶矩:E(xk)E(x^k)

    • k阶中心矩:E[xE(x)]kE{[x-E(x)]^k}

    • k+l阶混合矩:E(xkyl)E(x^ky^l)

    • k+l阶混合中心矩:E[xE(x)]k[yE(y)]lE{[x-E(x)]^k[y-E(y)]^l}


    第五章:大数定律及中心极限定理

    • 辛钦大数定理:独立同分布且均值为u的随机变量X1,X2,X3...,XnX_1,X_2,X_3...,X_n,当n趋近于无穷时,随机变量的算数平均值趋近于分布的均值u
    • 伯努利大数定理:当实验次数趋近于无穷时,频率将趋近于概率
    • 中心极限定理:独立同分布,且均值为u,方差为o的随机变量X1,X2,....,XnX_1,X_2,....,X_n,当n趋近于无穷时,1nk=1nXk\frac{1}{n}\sum_{k=1}^{n}X_k服从N(u,o2n)N(u,\frac{o^2}{n})

    第六章:样本及抽样分布

    • 总体:试验的全部可能观察值

    • 个体:每一个可能的观察值

    • 容量:总体中所包含个体的个数

    • X1,X2,...,XnX_1,X_2,...,X_n独立,服从分布函数F,则称X1,X2,...,XnX_1,X_2,...,X_n为分布函数F的样本,它们的观察值称为样本值

    • 样本值的统计量

      • 平均值:x^=1ni=1nXi\hat{x}=\frac{1}{n}\sum_{i=1}^nX_i
      • 样本的方差:1n1i=1n(xx^)2\frac{1}{n-1}\sum_{i=1}^{n}(x-\hat{x})^2,常用于度量样本值的离散程度
      • 样本标准差:1n1i=1n(xix^)\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\hat{x})}
      • 样本k阶矩:1ni=1n(xi)k\frac{1}{n}\sum_{i=1}^{n}(x_i)^k
      • 样本k阶中心矩:1ni=1n(xix^)k\frac{1}{n}\sum_{i=1}^{n}(x_i-\hat{x})^k
    • 经验分布函数:设X1,X2,X3,....,XnX_1,X_2,X_3,....,X_n是总体F的一个样本,用S(x)表示X1,X2,...,XnX_1,X_2,...,X_n中不大于x的随机变量的个数,经验分布函数定义为F(x)=1nS(x)F(x)=\frac{1}{n}S(x),当样本数量足够多时,可以将经验分布函数作为总体分布函数来使用

    • 统计量的分布称为抽样分布,常用统计量的分布包括X2X^2分布,TT分布,FF分布

      X2X^2分布

      在这里插入图片描述

      T分布

      在这里插入图片描述

      F分布
      在这里插入图片描述

    • 正态总体的样本均值与样本方差的抽样分布,满足三个重要的定理

      定理一

      在这里插入图片描述

      定理二

      在这里插入图片描述

      定理三

      在这里插入图片描述

      定理四

      在这里插入图片描述


    第七章:参数估计

    • 参数估计的目的:假设总体X的分布函数的形式已知,但它的一个或多个参数未知,借助于总体X的一个样本来估计未知参数的值

    • 矩估计法:样本矩依概率收敛于总体矩,总而列出一个方程组进行求解

    • 极大似然估计法

      对于离散随机变量而言,设一批样本X1,X2,...,XnX_1,X_2,...,X_n独立,满足分布律P(x;θ)P(x;\theta)θ\theta为待估参数,样本值为x1,x2,...,xnx_1,x_2,...,x_n,样本值同时出现的概率为

      P(x1x2x3...xn;θ)=i=1nP(xi;θ)P(x_1x_2x_3...x_n;\theta)=\prod_{i=1}^nP(x_i;\theta)

      对于连续型随机变量而言,设一批样本X1,X2,....,XnX_1,X_2,....,X_n独立,概率密度函数为f(x;θ)f(x;\theta)θ\theta为待估参数,样本值为x1,x2,....,xnx_1,x_2,....,x_n,样本值同时出现的概率为

      P(x1x2x3...xn;θ)=i=1nf(xi;θ)dx=i=1nf(xi;θ)(i=1ndx)P(x_1x_2x_3...x_n;\theta)=\prod_{i=1}^nf(x_i;\theta)dx=\prod_{i=1}^nf(x_i;\theta)(\prod_{i=1}^ndx)

      由于(i=1ndx)(\prod_{i=1}^ndx)为常数,所以连续型随机变量的似然函数为i=1nf(xi;θ)\prod_{i=1}^nf(x_i;\theta)

      现在已经取得了样本值x1,x2,...,xnx_1,x_2,...,x_n了,意味着取得这一样本值的概率应该取得很大,即似然函数的取值应该取最大,因此我们将最大化似然函数,由于x与logx的单调性一致,通常我们会最大化对数似然,即

      i=1nlog(P(xi;θ))\sum_{i=1}^nlog(P(x_i;\theta))

      i=1nlog(f(xi;θ))\sum_{i=1}^nlog(f(x_i;\theta))

    • 估计量的评选标准

      • 作用:对同一参数,使用不同的估计方法得出的估计量不同,需要一个标准衡量统计量的优劣

      • 设参数θ\theta的估计量为θ^\hat\theta,无偏性:E(θ^)=θE(\hat\theta)=\theta,无偏性是指对于某些样本值,由这一估计量得到的估计值相对于真值来说偏大或是偏小,但是反复使用这一估计量多次,平均来说,其均值为真值

      • 设参数θ\theta的估计量为θ^\hat\theta,有效性:设θ^1,θ^2\hat\theta_1,\hat\theta_2都是θ\theta的无偏估计量,若D(θ^1)D(θ^2)D(\hat\theta_1)\leq D(\hat\theta_2),则θ^1\hat\theta_1θ^2\hat\theta_2有效

      样本的均值是总体均值的无偏估计,样本的方差是总体方差的无偏估计

    • 置信区间

      • 概念:参数估计可以依据样本值估计参数值,我们也可以依据样本值估计参数的区间,若来自XX的样本X1,X2,....XnX_1,X_2,....X_n确定的两个统计量A(X1,X2,...,Xn),B(X1,X2,...,Xn)A(X_1,X_2,...,X_n),B(X_1,X_2,...,X_n),使得P(A(X1,X2,...,Xn)<θ<B(X1,X2,...,Xn))1αP(A(X_1,X_2,...,X_n)<\theta<B(X_1,X_2,...,X_n))\geq1-\alpha,则称(A,B)(A,B)为置信水平为1α1-\alpha的置信区间,A(X1,X2,...,Xn)A(X_1,X_2,...,X_n)称为置信下限,B(X1,X2,...,Xn)B(X_1,X_2,...,X_n)称为置信上限,A(X1,X2,...,Xn),B(X1,X2,...,Xn)A(X_1,X_2,...,X_n),B(X_1,X_2,...,X_n)通常为样本值的函数,因此不同的样本值,得出的区间大小是不一样的

      • 置信区间的含义:若反复抽样多次,每个样本值确定一个区间范围,这么多区间中,将会1α1-\alpha的区间包含有参数真值

      • 求解置信区间的步骤:

      • 寻求一个样本X1,X2,...,XnX_1,X_2,...,X_n和参数θ\theta的函数W=W(X1,X2,...,Xn;θ)W=W(X_1,X_2,...,X_n;\theta)
      • WW函数满足的分布是已知的,则对于给定的置信水品1α1-\alpha,可以定出常数a,ba,b,使得P{a<W(X1,X2,...,Xn;θ)<b}=1αP\{a<W(X_1,X_2,...,X_n;\theta)<b\}=1-\alpha
      • 依据a<W(X1,X2,...,Xn;θ)<ba<W(X_1,X_2,...,X_n;\theta)<b,求解出A(X1,X2,...,Xn),B(X1,X2,...,Xn)A(X_1,X_2,...,X_n),B(X_1,X_2,...,X_n)

    第八章:假设检验

    • 为了推断总体的某些未知特性,提出的关于总体的假设,根据样本对提出的假设做出接收或是拒绝的决策

    • 第一类错误:原假设为真,但是拒绝原假设

    • 第二类错误:原假设为假,但是接受原假设

    • 降低犯第一类错误的概率会导致犯第二类错误的概率上升

    • 显著性检验:控制犯第一类错误的概率,而不考虑犯第二类错误的概率

    • 双边备择假设

      总体的分布函数已知,但其中的参数未知,对参数的取值做出假设:H0:u=u0H1:uu0H_0:u=u_0,H_1:u \ne u_0H0H_0称为原假设,H1H_1称为备择假设

    • 右边检验

      总体的分布函数已知,但其中的参数未知,对参数的取值范围做出假设:H0:uu0,H1:u>u0H_0:u\leq u_0,H_1:u > u_0

    • 左边j检验

      总体的分布函数已知,但其中的参数未知,对参数的取值范围做出假设:H0:uu0,H1:u<u0H_0:u \geq u_0,H_1:u < u_0

    • 右边检验与左边检验统称为单边检验

    • 假设检验的具体步骤

      • 确定样本的统计量X,统计量含有待估参数

      • 确定显著性水平α\alpha

      • 假设原假设为真,依据显著性水平得出统计量应该满足的条件,通常是一个范围

      • 如果样本的取值在这个范围内,则接受原假设,否则,拒绝原假设,出发点是:如果原假设为真,那么一次试验样本值落入这个范围的概率应该很大(显著性水平设的高),但是一次试验样本值没有落入这个范围,小概率事件发生了,我们有理由相信原假设出现了错误

      • 拒绝原假设的区域称为拒绝域,拒绝域的边界点称为临界点

    展开全文
  • 概率论知识点总结

    2017-04-12 14:48:56
    概率论经典教程 常见面试知识点
  • 概率论知识点误区

    万次阅读 多人点赞 2019-12-11 11:31:05
    1. 为什么要写这篇博客?   最近在和几个小...所以将概率论的容易理解错误而且至关重要的基本概念整理出来,从而方便大家学习。 2. 基本概念 2.1 什么是随机变量?   随机变量并不是变量,而是函数,它是把随...

    1. 为什么要写这篇博客?

      最近在和几个小伙伴一起复习《统计学习方法》。由于该书为经典教材,所以采用一字不差的方法进行阅读。但在学习过程中遇到了各种各样的问题,总结了一下原因,其中很重要的一点是基本概念理解不透彻(甚至从来就没理解)。所以将概率论的容易理解错误而且至关重要基本概念整理出来,从而方便大家学习。

      如果基础较好,可以直接看2.5(极大似然估计)部分,如果对叙述中的概念都非常明了,就可以去学习更多高阶的知识了。反之,建议从基本概念开始学起,除了博客的内容,更推荐去阅读参考教材1。

    2. 基本概念

    2.0 伯努利分布和二项分布的区别是什么?

      伯努利分布和两点分布是一样的。该问题较为简单,就是有时候容易记混。

    2.1 什么是随机变量?

      随机变量并不是变量,而是函数,它是把随机试验的结果转换为数值的函数。数值有两种可能,一种是实数(有大小关系),另外一种只是数字化后的结果(没有大小关系,类似于LabelEncoder的结果,这点来自于参考教材1)。

      常见误区如下所示:

    1. 随机变量是一个变量。
    2. 随机变量的值域中的值与值之间为大小关系。

    2.2 p()中;和,的区别

      具体来说,这个问题就是p(x,θ)p(x,\theta)p(x;θ)p(x;\theta)两者之间的区别。前者表示的是θ\theta是个随机变量,而后者表示θ\theta是个未知的常量。其实这两者也对应的是贝叶斯派和频率派的符号表示。

    2.3 什么是样本?

      样本对应的英文词汇是sample,使用英英词典进行查询,结果为a small part or amount of something that is examined in order to find out something about the whole。抽取的一部分总体单元的全体称为抽自总体的一个样本,被抽到样本里的总体单元称为样本单元(参考教材1 P145)

      常见误区如下所示:

    1. 把样本误认为了样本单元。

    2.4 什么是总体?总体和随机变量的关系是什么?

      把某一个问题所涉及对象的全体称为总体。组成总体的每一个基本单元(具体对象)称为总体单元。为刻画总体单元在某一方面特性而采用的名称叫做总体指标。但需要注意的是,经常用随机变量X表示人们所关心的一个总体指标,此时研究总体就等价于研究一个随机变量X,在本书中总体和随机变量X是可以等同起来的。(参考教材1 P143)。

      也就是说本来总体是研究多个指标,但在所学书籍中,只研究单个指标(潜规则)。所以在本书中(大学阶段),总体和单个随机变量是等同的。

    2.5 极大似然估计

    2.5.1 理论

      先研究离散型总体。假设总体XX的概率函数P{X=x}=P(x;θ)P\{X=x\}=P(x;\theta),(θΘ\theta \in \Theta)的形式已知,θ\theta为待估参数,Θ\Thetaθ\theta的取值范围,X1,X2,,XnX_1,X_2,\dots,X_n为来自总体XX的简单随机样本,x1,x2,,xnx_1,x_2,\dots,x_n是样本的一个实现,则样本X1,X2,,XnX_1,X_2,\dots,X_n分布的概率函数在x1,x2,,xnx_1,x_2,\dots,x_n的函数值为:
    L(X1,X2,,Xn;θ)=i=1nP(Xi;θ)(θΘ)L(X_1,X_2,\dots,X_n;\theta)=\prod \limits _{i=1}^n P(X_i;\theta) \quad (\theta \in \Theta)

      如果能对上述这段话有清晰的理解,具体来说就是总体XXX1,X2,,XnX_1,X_2,\dots,X_n为来自总体XX的简单随机样本,x1,x2,,xnx_1,x_2,\dots,x_n是样本的一个实现这几句话有清晰的理解,基本上就说明对概率论的部分基本概念理解了。

    2.5.2 实践

      检验理论的最好方式就是实践,以抛硬币为例。假如有一枚正常的硬币,向上抛五次,五次均是正面朝上,使用极大似然估计法求解再抛一次硬币是正面的概率是多少?

      用一组随机变量X1,X2,...X5X_1,X_2,...\dots X_5表示样本,每个样本单元的基本含义为每一次扔钢镚正面朝上(1)、正面朝下(0)。假设抛硬币正面朝上的概率为μ\mu,可得每次均是正面朝上的概率表示为:
    P(X1=1,X2=1,X3=1,X4=1,X5=1;μ)P(X_1=1,X_2=1,X_3=1,X_4=1,X_5=1;\mu)

    =i=15P(Xi=1;μ)=μ5=\prod \limits _{i=1} ^{5} P(X_i=1;\mu)=\mu^5

    μ=arg maxμu5u[0,1]\mu=\argmax _{\mu} u^5 \quad u \in [0,1]

    可求得
    μ=1\mu=1

    2.5.3 实践扩展

      相同的问题,假如我们不用多个随机变量来表示样本,而是用单个随机变量来表示样本,此时随机变量(XX)的值表示的是正面朝上的次数(样本单元从5个变成了1个,连乘的次数也就从5变成了1)。

      假设抛硬币正面朝上的概率为μ\muP(X=5;μ)=i=11C55μ5(1μ)0=μ5P(X=5;\mu)=\prod \limits _{i=1}^1 C_{5}^{5} \mu^5(1-\mu)^{0}=\mu^5。后续计算过程是相同的,也就是说对同一问题采用不同的建模方法得到的结果是相同的。

    3. 参考教材

    参考教材1:《概率论与数理统计》(作者:郭满才)

    4. 一些不等式证明

    4.1 当x与y独立时,p(x|yz)不等于p(x|z)

    注:仅仅为了方便书写,所以采用小写字母进行证明:

      假设p(xyz)=p(xz)p(x|yz) = p(x|z)
    则:
    p(xyz)p(z)p(yz)=p(xz)p(z)\frac{p(xy|z)p(z)}{p(yz)}=\frac{p(xz)}{p(z)}

    [p(z)]2=p(xz)p(yz)p(xyz)[p(z)]^2= \frac{p(xz) p(yz)}{p(xy|z)}

    假设p(xyz)=p(xz)p(yz)p(xy|z)=p(x|z)p(y|z),则等式成立。

    那么当x与y独立时,p(xyz)=p(xz)p(yz)p(xy|z)=p(x|z)p(y|z)是否成立呢?
    由于x与y相互独立,则p(xy)=p(x)p(y)p(xy)=p(x)*p(y)

    p(zxy)p(xy)p(z)=p(zx)p(x)p(zy)p(y)p(z)p(z)\frac{p(z|xy) *p(xy)}{p(z)} = \frac{p(z|x) *p(x)* p(z|y) * p(y)}{p(z)*p(z)}

    p(zxy)1=p(zx)p(zy)p(z)\frac{p(z|xy)}{1} = \frac{p(z|x)*p(z|y)}{p(z)}

    p(xyz)p(xy)=p(xz)p(yz)p(x)p(y)p(z)\frac{p(xyz)}{p(xy)}=\frac{p(xz)*p(yz)}{p(x)*p(y)*p(z)}

    所以p(xyz)p(z)=p(xz)p(yz)p(xyz)*p(z)=p(xz)*p(yz)

    很显然最后的式子是不成立的,所以得到整个结论。那么什么时候式子成立呢?z为常数时,而不是为随机变量时成立。

    展开全文
  • 概率论知识点复习

    2016-03-15 11:45:11
    概率论最重要知识点梳理
  • 机器学习基础 概率论知识点,对在机器学习中用到的概率知识进行了总结。
  • 考研过来人总结考研数学之概率论知识点归纳
  • 概率论知识点整理

    万次阅读 多人点赞 2018-03-25 17:31:14
    概率论 (《概率论与数理统计》 主编 金大勇 徐永) 1.2.3 概率的性质 加法定理 A,B是任意两个事件,则P(AUB)=P(A)+P(B)-P(AB) A,B是任意两个事件,则P(A-B)=P(A非B)=P(A)-P(AB) 1.3 ...

    概率论 (《概率论与数理统计》 主编 金大勇 徐永)

    1.2.3 概率的性质

    加法定理
    A,B是任意两个事件,则P(AUB)=P(A)+P(B)-P(AB)
    A,B是任意两个事件,则P(A-B)=P(A非B)=P(A)-P(AB)

    1.3 古典概型(抽球!)

    1.4 条件概率

    定义1.4 A,B是两个事件,且P(A)>0,称P(AB)/P(A)为在事件A发生的条件下事件B发生的条件概率,记为P(B|A),即有 P(B|A)=P(AB)/P(A)
    条件概率也满足
    P((~B)|A)=1-P(B|A)
    P((B1UB2)|A)=P(B1|A)+P(B2|A)-P[(B1B2)|A]
    当B属于C时,P[(C-B)|A] =P(C|A)-P(B|A)

    典型考题:考察一个有两个小孩的家庭,假如已看见该家庭中的一个小孩是男孩,问另一个小孩也是男孩的概率是多大(假设另一个小孩是男孩还是女孩是等可能的)
    设A:已看见一个是男孩 A={(男,女),(女,男),(男,男)} B=另一个小孩是男孩 AB={(男,男)}
    P(A)=3/4 P(AB)=1/4
    P(B|A)=P(AB)/P(A)=(1/4) / (3/4) =1/3

    定义1.8(概率乘法公式
    若P(A)>0,则 P(AB)=P(A)P(B|A)
    若P(A)>0,P(AB)>0,则P(ABC)=P(A)P(B|A)P(C|AB)

    定理1.9 (全概率公式
    设A1,A2,A3是样本空间 Ω的一个划分,B是任意一个事件,则P(B)= ∑P(Ai)P(B|Ai) (从i到n求和)

    定理1.10(贝叶斯公式
    P(Ai|B)=P(AiB)|P(B)= P(Ai)P(B|Ai) / Σ从k=1加和到n(P(Ak)P(B|Ak))

    1.5随机事件的独立性

    P(AB)=P(A)P(B)代表 A 和B事件相互独立

    1.5.1两个随机事件的独立性

    1.5.2多个随机事件的独立性

    1.5.3 n重伯努利试验(抛硬币,射击,天气预报)

    抛硬币就是N重伯努利试验,特点:
    在每次试验中,任意事件出现概率与其他各次试验的结果无关
    一次试验只有两个结果:A和 非A

    定理1.13 在伯努利试验E中,成功的概率是p,即P(A)=p,则在n重伯努利试验En中,成功k次的概率是:
    Pn(k)=Cnkpk(1-p)n-k,k=0,1,…,n.

    2.2 离散型随机变量

    2.2.2 几种常见的随机型随机变量

    二项分布
    设随机变量X的分布列为
    Pk=Cnkpk(1-p)n-k,k=0,1,…,n;0

    2.3 连续型随机变量

    2.3.2 几种常见的连续型随机变量

    均匀分布
    正态分布:
    设随机变量X服从正态分布N(μ,σ 2),则E(x)=μ,D(x)=σ 2
    指数分布
    设随机变量X服从参数为λ的指数分布,D(x)=1/λ 2

    随机变量的数字特征

    数学期望

    4.1.4数学期望的性质

    性质1 设c是常数,则有E(c)=c
    性质2 设X是随机变量,c是常数,则
    E(cx)=cE(X)
    性质3 设X,Y是任意两个随机变量,则有
    E(X+Y)=E(X)+E(Y)
    性质4 设X,Y是两个相互独立的随机变量,择优
    E(XY)=E(X)E(Y)

    方差

    D(X)=Var(X)=E{[X-E(X)]2}
    经过计算整理得
    D(X)=E(X2)-E[(X)]2
    性质1 设c是常数,则有D(c)=0 证明略
    性质2 设X是随机变量,c是常数,则有D(cX)=c2D(X). 证明略
    性质3 设X,Y为任意两个随机变量,则
    D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]}
    特别,当X与Y相互独立时,有
    D(X+Y)=D(X)+D(Y)
    证明略

    期望 和 方差 例题

    例题1:若ξ,η相互独立且同服从分布N(0,1) ,Z=ξ+2η,则( )
    由题意知 E(ξ+2η)=E(ξ)+2E(η)=0+2*0=0
    D(ξ+2η)=D(ξ)+22 * D(η)1+4 * 1=5
    所以:E(z)=0,D(z)=5,Z~N(0,5)
    注明: N(0,1)的N 表示正态分布,0是均值,1是方差

    例题2:
    若ξ~N(0,1),η=2ξ+1,则η~( 1,4 )
    由题意知: E(η)=2E(ξ)+1=2 * 0+1=1
    D(η)=22D(ξ)=4 * 1=4

    几何概型(画图求阴影面积!)

    在区间[-2, 2]里任取两个实数,它们的和>1的概率是(9/32)
    解析:
    画直角坐标系,x和y的取值范围都在[-2,2],所以是一个面积为4 * 4=16的正方形
    画x+y=1,即y=-x+1的直线,与正方形相交于(-1,3)和(2,-1),所以线与正方形围城一个面积为3 * 3 * 0.5=4.5的三角形
    所以概率为4.5/16=9/32

    三集合容斥原理

    AUBUC=A+B+C-A交B-B交C-A交C+A交B交C
    例题:参加支付宝夜谈分享的同学共有50人,现设有甲、乙、丙三个夜谈主题。有40人选择参加甲夜谈主题,36人选选择参加乙夜谈主题,30人选择参加丙夜谈主题,兼选甲乙夜谈主题的有28人,兼选甲丙夜谈主题的有26人,兼选乙丙两门夜谈主题的有24人,甲乙丙三个夜谈主题均选的有20人,问三个夜谈主题未选的有多少人?( 2)

    例题:假设一段公路上,1小时内有汽车经过的概率为96%,那么,30分钟内有汽车经过的概率为?
    解析:一小时有车的概率 = 1 - 一小时没车的概率 = 1 - 两个半小时都没车的概率 = 1 - (1 - 半小时有车的概率)^2
    1-(1-x)^2=0.96
    x = 0.8

    欢迎使用Markdown编辑器写博客

    本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:

    • Markdown和扩展Markdown简洁的语法
    • 代码块高亮
    • 图片链接和图片上传
    • LaTex数学公式
    • UML序列图和流程图
    • 离线写博客
    • 导入导出Markdown文件
    • 丰富的快捷键

    快捷键

    • 加粗 Ctrl + B
    • 斜体 Ctrl + I
    • 引用 Ctrl + Q
    • 插入链接 Ctrl + L
    • 插入代码 Ctrl + K
    • 插入图片 Ctrl + G
    • 提升标题 Ctrl + H
    • 有序列表 Ctrl + O
    • 无序列表 Ctrl + U
    • 横线 Ctrl + R
    • 撤销 Ctrl + Z
    • 重做 Ctrl + Y

    Markdown及扩展

    Markdown 是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式编写文档,然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

    使用简单的符号标识不同的标题,将某些文字标记为粗体或者斜体,创建一个链接等,详细语法参考帮助?。

    本编辑器支持 Markdown Extra ,  扩展了很多好用的功能。具体请参考Github.

    表格

    Markdown Extra 表格语法:

    项目 价格
    Computer $1600
    Phone $12
    Pipe $1

    可以使用冒号来定义对齐方式:

    项目 价格 数量
    Computer 1600 元 5
    Phone 12 元 12
    Pipe 1 元 234

    定义列表

    Markdown Extra 定义列表语法:
    项目1
    项目2
    定义 A
    定义 B
    项目3
    定义 C

    定义 D

    定义D内容

    代码块

    代码块语法遵循标准markdown代码,例如:

    @requires_authorization
    def somefunc(param1='', param2=0):
        '''A docstring'''
        if param1 > param2: # interesting
            print 'Greater'
        return (param2 - param1 + 1) or None
    class SomeClass:
        pass
    >>> message = '''interpreter
    ... prompt'''

    脚注

    生成一个脚注1.

    目录

    [TOC]来生成目录:

    数学公式

    使用MathJax渲染LaTex 数学公式,详见math.stackexchange.com.

    • 行内公式,数学公式为:Γ(n)=(n1)!nNΓ(n)=(n−1)!∀n∈N
    • 块级公式:

    x=b±b24ac2ax=−b±b2−4ac2a

    更多LaTex语法请参考 这儿.

    UML 图:

    可以渲染序列图:

    Created with Raphaël 2.1.2张三张三李四李四嘿,小四儿, 写博客了没?李四愣了一下,说:忙得吐血,哪有时间写。

    或者流程图:

    Created with Raphaël 2.1.2开始我的操作确认?结束yesno
    • 关于 序列图 语法,参考 这儿,
    • 关于 流程图 语法,参考 这儿.

    离线写博客

    即使用户在没有网络的情况下,也可以通过本编辑器离线写博客(直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

    用户写博客的过程中,内容实时保存在浏览器缓存中,在用户关闭浏览器或者其它异常情况下,内容不会丢失。用户再次打开浏览器时,会显示上次用户正在编辑的没有发表的内容。

    博客发表后,本地缓存将被删除。 

    用户可以选择 把正在写的博客保存到服务器草稿箱,即使换浏览器或者清除缓存,内容也不会丢失。

    注意:虽然浏览器存储大部分时候都比较可靠,但为了您的数据安全,在联网后,请务必及时发表或者保存到服务器草稿箱

    浏览器兼容

    1. 目前,本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
    2. IE9以下不支持
    3. IE9,10,11存在以下问题
      1. 不支持离线功能
      2. IE9不支持文件导入导出
      3. IE10不支持拖拽文件导入


    1. 这里是 脚注内容.
    展开全文
  • 概率论知识点--上半学期

    千次阅读 2019-10-22 17:09:49
    第一章:概率论的基本概念 //素材来源于B站猴博士,如有侵权立即删除 这里大部分是初中学的,引入了很少的几个概念: P(A‾\overline{A}A)= 1-P(A) 意思就是一件事的逆,一定等于一减这件事。 P(A-B)...
  • 随机变量: 高斯分布: 某变量服从高斯分布: 随机变量的均值:最有可能的值(或称状态) 随机变量的方差:不确定性
  • 1.全概率公式与贝叶斯公式回顾: 2.泊松分布: 3.协方差与相关系数: 4.
  • 1.互斥事件和独立事件 比如,投两次硬币,第一次正面朝上,第二次背面朝上。两者互为独立事件,却不互为互斥事件。 2.C和A的计算 C是从n个中取出r个,不用排序,所以小一点,要除以r的阶乘;...
  • 一、切比雪夫不等式 证明: 二、常用离散分布 ...超几何分布:N件产品中有M件不合格,从中随机抽n件,其中不合格件数X服从的分布 几何分布:记事件A发生的概率为p,则X为时间A首次出现的概率 ...
  • 一、引言 最近写了许多关于机器...这里只对本人觉得经常用到的概率论知识点做一次小结,主要是基本概念,因为机器学习中涉及概率论的地方,往往知道基本概念就不难理解,后面会不定期更新,希望博友们多留言补充。...
  • 概率论与数理统计知识点总结。
  • 概率论期末知识点汇总

    千次阅读 2019-06-28 17:32:00
     古典概型:加法原理、乘法原理 (样本空间中样本有限)  主要计算方法:涉及分类时,加法原理;涉及分步骤时,使用乘法原理;  考虑顺序,用排列;不考虑顺序,用组合公式。  几何概型:样本空间中样本...
  • 概率论与数理统计知识点总结
  • 概率论知识要点整理

    千次阅读 2019-06-19 17:36:49
    参考教材:概率论与数理统计(浙大第四版)
  • 概率论知识整理

    2020-02-24 10:43:44
    概率论知识点整理 1.概率基本公式 (1)逆事件的概率 (2)加法公式 (3)减法公式 (4)条件概率 (5)乘法公式 (6)全概率公式 (7)贝叶斯公式 2.独立与互斥、包含的关系 3.常见的分布 (1)0-1分布 (2)二项...
  • 概率论一些知识

    万次阅读 多人点赞 2018-01-19 21:28:21
    1.1、几个基本概念 1..2、随机变量及其分布 第二节、从数学期望、方差、协方差到中心极限定理 2.1、数学期望、方差、协方差 2.2、中心极限定理 第三节、从数理统计简史中看正态分布的历史由来 3.1、正态分布...
  • 众所周知,概率论知识点又多又杂,需要我们系统的归类并掌握,这样才能获得高分。为此,小编整理了“2020考研数学:概率论各章节知识点梳理”的相关内容,希望对大家有所帮助。 第一部分:随机事件和概率 (1)样本...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 16,985
精华内容 6,794
关键字:

概率论知识点