常用分布之二项分布
 
 
 典型例题 
 
 
常用分布之泊松分布
 
Poisson分布 
  
 典型例题 
 
 
常用分布之均匀分布
 
均匀分布 
  
 典型例题 
 
 
常用分布之指数分布
 
指数分布 
  
 典型例题 
 
 
常用分布之正态分布
 
正态分布N(0,1) 
  
 标准正态分布 
  
 典型例题 
 

0-1分布
 
设随机变量X只可能取0与1两个值，分布律为
 
 
则称X服从以p为参数的0-1分布
 
即
 
 
X
 
 
0
 
 
1
 
 
P
 
 
1-p
 
 
p
 
 
 
用于描述:
 
       对新生儿性别进行登记；检查产品质量是否合格；某车间的电力消耗是否超负荷
 
二项分布
 
设随机变量X只可能取0和1两个值，记: P(X=1)=p, P(X=0)=1-p,将该实验重复独立地进行n次，设X=1的次数为k，则
 
 
用于描述:
 
        对病人治疗结果的有效与无效，某种化验结果的阳性与阴性，接触某传染源的感染与未感染
 
二项分布（binomial distribution）就是对这类只具有两种互斥结果的离散型随机事件的规律性进行描述的一种概率分布
 
Matlab
 
 
 
 
 
 
 
泊松分布
 
设随机变量X的所有可能取值为0,1,2,3,…,而取各个值的概率为
 
 
其中λ>0是常数，则称X服从参数为λ的泊松分布，记做 X ~ π(λ)
 
用于描述:
 
        泊松分布适合于描述单位时间（或空间）内随机事件发生的次数
 
一本书一页中的印刷错误数；某地区一天内邮递遗失的信件数；某医院一天内的急诊病人数；某一地区一个时间间隔内发生交通事故的次数；在一个时间间隔内某种放射性物质发出的，经过计数器的粒子个数等。
 
Matlab
 
 
二项式分布与泊松分布的关系
 
 
均匀分布
 
若连续型随机变量X具有概率密度
 
 
则称X在区间[a,b]上服从均匀分布，记做X ~ U(a,b)
 
指数分布
 
若连续型随机变量X的概率密度为:
 
 
则称X服从参数λ的指数分布.其中λ > 0是分布的一个参数，常被称为率参数（rate parameter）。λ表示每单位时间内发生某事件的次数
 
用于描述:
 
        指数分布可以用来表示独立随机事件发生的时间间隔。比如旅客进机场的时间间隔、中文维基百科新条目出现的时间间隔；许多电子产品的寿命分布一般服从指数分布。有的系统的寿命分布也可用指数分布来近似
 
Matlab：
 
 
 
正态分布
 
若连续性随机变量X的概率密度为:
 
 
则称X为正态分布函数
 
用于描述:
 
        在生产条件不变的情况下,产品的强力、抗压强度、口径、长度等指标；同一种生物体的身长、体重等指标；同一种种子的重量；测量同一物体的误差；弹着点沿某一方向的偏差；某个地区的年降水量；以及理想气体分子的速度分量,等等.
 
Matlab：
 
 

概率论常用分布
 
伯努利分布
二项分布
几何分布
泊松分布
beta分布
均匀分布
指数分布
正态分布
卡方分布
 
 

矩估计和极大似然估计
 
矩估计基于辛钦大数定律：
 
当样本的容量足够大时，样本k阶距(A_k)收敛域总体k阶距(a_k)
 
样本的平均值去估计总体的均值(期望)
 
期望和均值
 
数学期望常称为“均值”，即“随机变量取值的平均值”之意，这个平均是以概率为权的平均，不是通常意义上的(总数)/(个数),数学期望由随机变量的分布完全决定。
 $$\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 (1)式，其实是平均值（期望是均值），对其求期望其实就是一个加权的过程，所以无论是哪种分布，都是E(x)=μ,而非X平均值=μ
 
方差：衡量一组数据离散程度的度量
 $$S^2=\frac{1}{n}\sum _{i=1}^n(X-\mu {)}^2$$
 误差分析：
 
因为X取得是样本，所以X的取值存在误差
因为我们事先是不知道是什么分布的，所以μ是不知道的，使用均值替代的话，也会出现误差
 
 
方差和修正方差的来源及其证明
 $$\begin{gathered} S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n[(x_i-\mu )-(\bar{X}-\mu ){]}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n[(x_i-\mu {)}^2-2(x_i-\mu )(\bar{X}-\mu )+(\bar{X}-\mu {)}^2] \\ {S}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}\sum _{i=1}^n(x_i-\mu )(\bar{X}-\mu )+(\bar{X}-\mu {)}^2 \\ {S}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-(\bar{X}-\mu {)}^2 \\ E(S^2)=E(\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-(\bar{X}-\mu {)}^2)={\sigma }^2-E((\bar{X}-\mu {)}^2) \\ E((\bar{X}-\mu {)}^2)=E({\bar{X}}^2-2\mu \bar{X}+{\mu }^2)=E({\bar{X}}^2)-E(\bar{X}{)}^2=D(X)=\frac{{\sigma }^2}{n} \\ E(S^2)={\sigma }^2-\frac{{\sigma }^2}{n}=\frac{n-1}{n}{\sigma }^2 \end{gathered}$$
 由上可知S^2和σ^2是有微小差距的，所以对此做修正，得到的方差就是修正方差
 $$\begin{gathered} E(\frac{n}{n-1}{S}^2)=\frac{n}{n-1}\frac{n-1}{n}{\sigma }^2={\sigma }^2 \\ \frac{n}{n-1}{S}^2=\frac{n}{n-1}\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \\ (S^{\ast }{)}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2 \end{gathered}$$
 本质：使用样本原点距去估计总体原点距的一种方法(用样本量估计总体量)
 
 
估计均值
 $$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}n\mu =\mu$$
 
$$\hat{u}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
估计方差
 $${\sigma }^2=a_2-a_1^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=S^2$$
 
$${\hat{\sigma }}^2=S^2$$
 
 
0-1分布:只有一个未知参数，所以也只能估P的值
 
X
0
1
P
1-p
p
$$p(x=x_i)=(1-p{)}^{1-x_i}{p}^{x_i}$$
 
矩估计:
 $$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}np=p$$
 
$$\hat{p}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
最大似然估计
 $$L(p)=(1-p{)}^{{\sum }_{x_i=1}^n(1-x_i)}{p}^{{\sum }_{x_i=1}^n{x}_i}$$
 
$$lnL(p)=\sum _{x_i=1}^n(1-x_i)ln(1-p)+\sum _{x_i=1}^n{x}_{i}lnp$$
 
$$令：\frac{\partial lnL(p)}{\partial p}=-\frac{{\sum }_{x_i=1}^n(1-x_i)}{1-p}+\frac{{\sum }_{x_i=1}^n{x}_i}{p}=0$$
 
$$\hat{p}=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
注：估计的P，其实表示的就是在n次试验下，出现1的次数的概率
 
 
泊松分布
 $$P(x=x_i)=\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}$$
 矩估计
 $$E(\bar{X})=E(\frac{1}{n}\sum _{i=1}^n{x}_i)=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}n\lambda =\lambda$$
 
$$\hat{\lambda }=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
注：E(x_i)=入的证明过程，其中使用到了泰勒公式进行变换
 $$E(X)=\sum _{i=1}^{\infty }{x}_{i}P(x=x_i)=\sum _{i=1}^{\infty }{x}_i\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}=\lambda e^{-\lambda }\sum _{i=1}^{\infty }\frac{{\lambda }^{x_i-1}}{(x_i-1)!}=\lambda e^{-\lambda }{e}^{\lambda }=\lambda$$
 最大似然估计
 $$L(\lambda )=\frac{{\lambda }^{{\sum }_{i=1}^n{x}_i}{e}^{-n\lambda }}{{\prod }_{i=1}^n{x}_i!}$$
 
$$lnL(\lambda )=\sum _{i=1}^n{x}_{i}ln(\lambda )-n\lambda -ln(\prod _{i=1}^n{x}_i!)$$
 
$$令：\frac{\partial lnL(\lambda )}{\partial \lambda }=\frac{{\sum }_{i=1}^n{x}_i}{\lambda }-n=0$$
 
$$可得:\hat{\lambda }=\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
 
均匀分布
 $$f(x)=\{\begin{array}{l}\frac{1}{b-a}a<x<b\\ 0其他\end{array}$$
 
注：这里有两个参数，分别是a和b，故需要至少列两个参数才能得到解
 
矩估计
 $$\begin{gathered} E(X)={\int }_a^{b}xf(x)dx={\int }_a^b\frac{x}{b-a}dx=\frac{1}{2}(b+a)=\bar{X} \\ {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2=S^2(下式原理) \\ \frac{1}{b-a}{\int }_a^b(x-\bar{X}{)}^{2}dx=\frac{1}{b-a}{\int }_a^b(x-\frac{1}{2}(b+a){)}^{2}dx=\frac{1}{12}(b-a{)}^2=S^2 \\ 解得：\{\begin{array}{l}{}_{\hat{b}=\bar{X}+\sqrt{3}S}^{\hat{a}=\bar{X}-\sqrt{3}S}\end{array} \end{gathered}$$
 最大似然估计
 
常规的，列最大似然函数，然后求导令为零是求不出估计值。
 
 
指数分布
 
特点：无记忆性，可以用于描述机器寿命。
 $$f(x)=\{\begin{array}{l}{}_{0其他}^{\lambda e^{-\lambda x}x>0}\end{array}$$
 矩估计：
 $$\begin{gathered} E(X)={\int }_0^{+\infty }\lambda x{e}^{-\lambda x}dx=\frac{1}{\lambda }=\bar{X} \\ \hat{\lambda }=\frac{1}{\bar{X}} \end{gathered}$$
 极大似然估计
 $$\begin{gathered} L(\lambda )={\lambda }^n{e}^{-\lambda {\sum }_{i=1}^n{x}_i} \\ lnL(\lambda )=nln\lambda -\lambda \sum _{i=1}^n{x}_i \\ 令：\frac{\partial (lnL(\lambda ))}{\partial \lambda }=\frac{n}{\lambda }-\sum _{i=1}^n{x}_i=0 \\ \hat{\lambda }=n\sum _{i=1}^n\frac{1}{x_i}=\frac{1}{\bar{X}} \end{gathered}$$
 
 
正态分布
 $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
 X~N(μ,σ^2)：
 $$\{\begin{array}{l}{}_{\hat{\sigma }=S}^{\hat{\mu }=\bar{X}}\end{array}$$
 
 
写笔记难免有错误，烦请指正！如有疑问可加QQ:1372931501