-
beta分布_多项分布与Dirichlet分布
2020-11-28 01:56:04前文我们介绍过二项分布与beta分布，本文是其一个更加generalized的版本。首先我们先看一个例子：假设我们有一个六个面的公平骰子，即，每个面出现的概率都是1/6。我们掷骰子 次后，1点、2点、...、6点出现的个数...展开全文前文我们介绍过二项分布与beta分布，本文是其一个更加generalized的版本。
首先我们先看一个例子：假设我们有一个六个面的公平骰子，即，每个面出现的概率都是1/6。我们掷骰子次后，1点、2点、...、6点出现的个数分别为
(
)的概率是多少呢。这个应用高中的概率知识就可以大致给出公式：
可以看出，与硬币不同，骰子有六个面，掷骰子结果不仅仅有两种可能，有多种可能。我们把这个模型generalize一下，对于
个可能发生的结果，每一个对应的概率是
，进行
次重复试验后，对于每个结果观测到的个数分别为
的概率为
这个就是多项分布。它是二项分布的一个generalized的版本。可以看出，当
时，多项分布也就退化成了二项分布。当然，也可以说二项分布是多项分布在
时的一个特例。
对于一次试验，我们用
表示得到的结果。我们知道
有
种可能。我们用
来表示所有可能的结果的集合。我们可以把结果
和
看成一个随机事件的两种结果，那么就可以将该模型简化为一个伯努利模型，
于是就变成了一个二项分布的变量。显然我们有
我们用一种one-hot的方式来表示一次试验的结果，那么
需要注意的是，在
中只有一个值为1，其他均为0。对于结果
来讲，
。 那么对于一次实验，我们得到
的概率为
这里我们用
来表示概率向量。显然，我们有
。
假设我们有一个数据集
（注意这里有一定的观测顺序），
表示第
次实验观察到的结果。因此，当概率为
的条件下，我们可以观测到
的概率为
基于贝叶斯定理，我们有
因为我们对
没有任何先验，我们既不倾向于
应该去什么值，也不讨厌
取到什么值。因此
，是一个常数。
这里我们需要解决一个棘手的积分，既
而且这里需要注意的是，积分实在一个超平面上进行的，既
。 其实我们可以看出
是和
成正比的，即
而上面说到的积分其实是帮助
归一的一个常数。这个积分实际上是一个多元beta函数，解法我们在这里按下，直接给出结论先。
令
，则有
这就是一个标准的Dirichlet分布。
我们现在来验证一个想法，假设我们在
到
时刻做试验，观测到的结果是
，而从
到
时刻实验观察到的结果则是
。我们以
的观察结果为先验，以
的结果为条件概率，那么来看一下
的后验概率为。首先，我们有
基于贝叶斯定理，我们可以求出
令
，于是
可见，结果仍然是一个Dirichlet分布。
参考资料
- wikipedia Multinomial function
- wikipedia Dirichlet function
- Christopher M. Bishop, PRML, ch2
-
机器学习之数学基础（二） 概率论与贝叶斯试验
2020-07-08 20:25:27文章目录概率公式统计数字的概率本福特定律条件概率与全概率公式贝叶斯公式概率分布两点分布二项分布泊松分布均匀分布指数分布正态分布常见分布总结Beta分布事件的独立性期望期望的类型和性质方差协方差协方差定义和...展开全文
-
机器学习数学基础（二）----概率论与贝叶斯先验
2019-10-15 21:25:55 -
Excel公式与函数大辞典.宋翔(带书签高清文字版).pdf
2019-03-02 08:33:51最后3 章还将公式与函数的应用扩展到了条件格式、数据验证及图表中，以便使它们发挥更强大的功能。本书采用理论与实践相结合的方式，提供了457 个案例，涉及多个行业，读者可以根据书中的案例举一反三，将其直接应用... -
常用的概率分布类型及其特征
2011-01-06 20:44:511、 两点分布 许多随机事件只有两个结果。如抽检产品的结果合格或不合格；产品或者可靠的工作，或者失效。描述这类随机事件变量只有两个取值，一般取0和1。它服从的分布称两点分布。 其概率分布为： 其中 Pk=P... -
论文研究 - 涡流函数公式在密闭环境中二维自然对流的数值模拟
2020-05-29 10:01:30我们通过选择两个点来分析随时间变化的温度波动，从而分析了不同瑞利数的热场。 因此，分析了腔体内流体的上升和下降运动的产生。 我们还为温度分布的图形表示建立了温度直方图。 使用“ Fortran 90”计算代码建立... -
-
数学基础加强（二）----- 概率论与贝叶斯
2020-11-12 06:28:57两点分布2. 二项分布3. 泊松分布4. 均匀分布5. 指数分布6. 正太分布7. Beta分布三. 统计量1. 期望2. 方差3. 协方差4. Pearson相关系数5. 协方差矩阵四. 定理1. 切比雪夫不等式2.大数定律3. 中心极限定理4. 最大...展开全文文章目录
一. 概率论基础
1. 概率公式
2. 贝叶斯公式
3.事件的独立性
二. 分布
复习各种常见分布本身的统计量
在复习各种分布的同时，重温积分、Taylor展式等前序知识
常见分布是可以完美统一为一类分布1. 两点分布
2. 二项分布
期望为np, 方差为np(1-p)3. 泊松分布
泊松分布的期望和方差都等于参数lambda4. 均匀分布
5. 指数分布
指数分布具有无记忆性6. 正太分布
7. Beta分布
三. 统计量
1. 期望
2. 方差
3. 协方差
4. Pearson相关系数
5. 协方差矩阵
四. 定理
1. 切比雪夫不等式
2.大数定律
3. 中心极限定理
4. 最大似然估计
-
《数学要项定理公式证明辞典》作者: [日]笹部贞市郎 译者: 高隆昌 / 王世璠 / 田景黄 / 罗朝杰 出版年: ...
2019-05-25 16:34:42第八章 排列·组合与二项式定理 1.排列 1·1 不同元素的排列 1·2 含相同元素的排列与重复排列 2.组合 2·1 不同元素的组合 2·2 重复组合 3.二项式定理 3·1 二项式定理 3·2 二项式系数间的关系 3·3 一般的二项式... -
《数学要项定理公式证明辞典》 作者: [日]笹部贞市郎 译者: 高隆昌 / 王世璠 / 田景黄 / 罗朝杰 出版年: ...
2019-05-25 16:46:49第八章 排列·组合与二项式定理 1.排列 1·1 不同元素的排列 1·2 含相同元素的排列与重复排列 2.组合 2·1 不同元素的组合 2·2 重复组合 3.二项式定理 3·1 二项式定理 3·2 二项式系数间的关系 3·3 一般的二项式... -
机器学习与数学分析（二）
2019-09-05 20:23:13两点分布 二项式分布 求和的过程是二项式展开的逆过程 (a+b)n=Cn0bn+Cn1abn−1+...+Cnkakbn−k+...+Cnnan(a+b)^{n} = {C_{n}}^{0}b^{n}+{C_{n}}^{1}ab^{n-1}+...+{C_{n}}^{k}a^{k}b^{n-k}+...+{C_{n}}^{n}a^{n}(a... -
《代数体函数的值分布》作者: 孙道椿 出版年: 2014年
2019-05-19 06:48:22代数体函数的值分布 出版时间：2014年版 丛编项： 现代数学基础丛书 内容简介 《代数体函数的值分布》主要介绍代数体函数的值分布，系统地阐述这一领域的基本理论和半个多世纪以来国内外的发展状况和最新研究成果... -
机器学习 数学系基础之概率论与贝叶斯先验
2020-04-03 21:46:07目录概率公式条件概率与全概率公式贝叶斯公式常见的概率分布两点分布二项分布泊松分布均匀分布指数分布正态分布常见概率分布的期望与方差Beta分布Beta分布的期望事件的独立性期望期望的性质方差协方差协方差的意义... -
概率论与贝叶斯先验
2020-10-22 10:24:38两点分布（0-1分布） 二项分布 泊松分布 均匀分布 指数分布 正态分布 总结： 一个新的分布： Beta分布 Sigmoid/Logistic函数的引入 统计量 期望方差协方差相关系数 独立和不相关 大数定律 中心极限定理 ... -
数学与概率
2019-03-23 08:43:54两点分布（0—1分布） 注意这里的q=1-p关于D(X)的推导： 二项分布Bernoulli distribution 常见分布的期望和方差总结 常用函数的导数 TayLor公式 — Maclaurin公式 补充一点：微分的应用 首先： ... -
python数学基础之概率论与数理统计
2020-04-19 13:58:45文章目录1. 概率论基础1.1 概率公式1.2 贝叶斯公式1.3 分布2. 统计量2.1 期望2.2 方差2.2 协方差2.2 相关系数3....二项分布(伯努利分布) 方法一: Taylor展开式 泊松分布 2. 统计... -
数学基础加强2---概率论与贝叶斯先验
2020-07-22 16:01:02分布1）两点分布2）二项分布3）泊松分布4）均匀分布5）指数分布6）正态分布7）前几个分布总结8）Beta分布9）指数族伯努利分布属于指数族高斯分布也属于指数族10）Sigmoid/Logistic函数二、统计量1.事件的独立性2.... -
线性代数基础知识-1
2015-12-11 19:39:14事件的关系与运算概率的基本公式 贝叶斯公式 独立重复试验 随机变量及其概率分布 随机变量的数字特征 ...常见分布两点分布 二项分布 泊松分布 均匀分布 指数分布 正态分布（高斯分布） -
c线性代数课件分享h4-2 方差.ppt
2020-02-15 20:55:03随机变量X的方差 两点分布二项分布泊松分布 2.方差的性质 均匀分布指数分布正态分布 3.常见分布的方差 (离散型,连续型,一般型) 计算方差的常用公式 1)D(C)=0 2)D(CX)=C2 D(X) 3) 4) X1 与 X2 相互独立,则 * * * * * ... -
机器学习--数学基础加强2
2020-08-02 20:59:08分布1）两点分布2）二项分布3）泊松分布4）均匀分布5）指数分布6）正态分布7）前几个分布总结8）Beta分布9）指数族伯努利分布属于指数族高斯分布也属于指数族10）Sigmoid/Logistic函数二、统计量1.事件的独立性2.... -
数理统计及概率论-核心知识总结
2020-06-04 15:38:39文章目录一.概率论基本概念1.什么是概率论2.随机试验3.样本空间4.事件运算关系5.事件运算律二.概率与古典概型1.概率的定义2.概率性质3....计算公式3....两点分布 & 0 - 1分布2.伯努利实验 & 二项分 -
-
软件工程知识点
2012-12-02 21:34:25模块是概要设计时构造软件的基本元素，因此，概要设计中软件也就主要体现在模块的构成与模块接口这两个方面上。结构化设计中的函数、过程，面向对象设计中的类、对象，它们都是模块。概要设计时并不需要说明模块的... -
计算机二级C语言考试题预测
2010-06-08 18:29:34今年9月份参加计算机二级考试的同学请转载 作者：天使~之戀 已被分享1次 评论(0) 复制链接 分享 转载 删除 下面的138道题目，在二级考试中命中率极高。 一、选择题 (1) 下面叙述正确的是(C) A. 算法的执行效率与... -
统计学基础训练营task1
2019-05-12 20:38:44任务1统计基础概念样本和总体一些描述量总体方差样本方差标准差诸方差公式概率相关知识随机变量概率密度函数二项分布期望值E(X)泊松过程大数定律正态分布 统计基础概念 两天的任务是看 可汗学院：统计学 视频复习... -
直视合成孔径激光成像雷达双面反射棱镜旋转发射装置内发射场的空间波前特性研究
2021-02-07 23:23:40采用自差接收探测和相位复数化处理，在交轨向产生与目标点横向位置成正比的线性项调制，在顺轨向产生与目标点纵向位置成中心的二次项相位历程，成像原理分别采用傅里叶变换和匹配滤波聚焦成像。提出了一种新的双面... -
-
数论的方法 [闵嗣鹤 著] 2011年版
2019-05-04 20:49:02第二篇介绍解析数论的一些基本理论与方法，包括关于黎曼ζ函数与狄氏L函数的一些基本理论及应用这些理论来研究自然数申中或一般算术级数中的素数分布的方法等；第三篇系统地论述了：角和方法，包括有理型三角和、素... -
张宇带你学高数
2018-06-11 13:35:2611.3.空间曲线积分与曲面积分的关系、利用斯托克斯公式计算空间曲线积分：转化为曲面积分 第十二章 无穷级数 12.1.常数项级数 12.1.1.概念与性质 概念：部分和序列的极限 性质 数乘运算 逐项相加、逐项相减 去掉、...
收藏数
70
精华内容
28