精华内容
下载资源
问答
  • 推导的部分和上面相同, 可得: 这里的 的概率分布和 是相同的, 因此也可以写成 (3) 拒绝随机 对于一些无法求出解析解的概率分布函数, 或者无法得到 反函数的概率分布函数, 可以用 拒绝随机方法. 假设我们现在想...
    TC130:游戏渲染进阶​zhuanlan.zhihu.com

    蒙特卡洛积分是图形学中常用的数学工具, 这里就来总结下蒙特卡洛积分的原理和使用方式. 很多教程中把概率分布和积分是混在一起讲的, 个人觉得分开讲比较合适. 这篇文章就先来讲下概率分布变换和随机采样的部分.

    概率论基础

    这里快速回顾下概率论的基础, 这里不会特别深入精确地描述. 需要的朋友可以参考概率论相关的教材.

    是随机变量,
    是任意实数, 称函数
    为随机变量
    分布函数/CDF, 或称
    服从
    , 记为
    .

    分布函数满足:

    1. 单调不减;
    2. 右连续, 即
      ;
    3. .

    从分布函数求概率:

    (1) 离散型变量

    随机变量

    只能取有限个可能的值, 称
    离散型随机变量, 称
    概率分布, 记为
    .

    可以用矩阵形式表示为:

    .

    离散型随机变量的概率分布满足

    .

    比如记掷骰子的点数为

    , 得

    的分布函数为

    (2) 连续型变量

    如果随机变量

    的分布函数可以表示为:

    连续型随机变量, 称
    概率密度函数/概率密度/PDF, 记为
    .

    概率密度函数满足

    .

    对任意实数

    , 有
    .

    取在某个区间的概率为:

    比如现在假设

    是一个均匀随机分布在
    上的连续随机变量, 得

    (3) 如果

    是定义在样本空间上n个随机变量, 则称
    n维随机变量.

    n维随机变量的分布函数定义为

    n维随机变量的性质和上面类似, 这里不再一一描述.

    随机值采样

    在计算机中, 得到一个均匀随机分布在

    上的随机数是很简单的, 我们这里用
    表示服从
    均匀分布的随机变量. 现在我们就来用
    来得到我们想要的服从特定概率分布的随机变量.

    (1) 离散型随机变量

    对于离散型随机变量, 计算过程比较简单, 已知

    , 假设从
    推导出
    的函数为
    .

    考虑到

    上均匀分布, 只需要将
    依概率映射到
    样本空间中每个值即可. 得到

    比如现在要得到

    易得

    (2) 连续型随机变量

    比如现在要得到概率密度为

    , 概率分布为
    的随机变量
    . 设变换函数为
    , 即
    . 为了下面计算方便, 我们先假设
    是一个单调递增函数.

    由概率分布定义可知:

    已知

    是单调递增函数, 可得:

    已知

    上均匀分布, 可得

    可以得到

    互为反函数, 即

    我们平时遇到的概率分布函数都是不满足单调递增的, 只需要去掉概率密度为0的部分即可.

    现在举两个例子:

    A. 次方分布

    上服从n次方分布, 即概率密度满足
    , 设
    , 由概率密度性质可知

    可以解得:

    由此算出

    的概率分布函数:

    限制在
    上, 可得

    B. 指数分布

    的概率密度满足
    .

    推导的部分和上面相同, 可得:

    这里的

    的概率分布和
    是相同的, 因此也可以写成

    (3) 拒绝式随机

    对于一些无法求出解析解的概率分布函数, 或者无法得到

    反函数的概率分布函数, 可以用
    拒绝式随机方法.

    假设我们现在想得到一个概率密度为

    的随机变量
    .

    现在我们已有一个概率密度为

    的随机变量 , 我们可以任意次得到一个服从
    分布的随机变量
    , 且其概率密度满足
    .

    7eb78b6c36a8b576cb5f9700a3362045.png

    这样, 我们就可以通过下面的方法来随机得到

    :
    1. 取一个服从
      分布的随机变量值
      ;
    2. 上随机得到一个变量值
      ;
    3. 如果
      , 则该次随机结果被接受, 返回
      . 否者该次随机被拒绝, 重新执行第一步.

    拒绝式随机方法的效率取决于

    之间的贴合程度, 如果二者之间空隙很大, 就可能需要多次随机, 效率会比较低.

    一个常见的拒绝式随机法的应用场景就是随机在一个圆中取一个点, 大致过程为:

    52a7280d47383f0f3de6e2fd4596f6f7.png
    随机在单位圆中取一点
    point 

    概率分布变换

    现在已知一个随机变量

    的概率密度为
    , 现在我们令
    , 现在我们要尝试求出
    的概率密度函数
    . 为了计算方便, 我们只考虑函数
    是严格单调递增的情况, 平时我们需要求解的函数大部分都是满足严格单调递增的.

    由概率分布函数定义可知:

    对两边一起求导得:

    这样, 我们成功计算出了

    的概率密度函数.

    比如现在有

    , 令
    , 可算出
    的概率密度为:

    现在, 让我们来考虑多维随机变量, 设

    都是n维的随机变量,
    之间的转换关系为
    .
    为矩阵函数, 即
    ,
    .

    可以推导得出:

    表示
    的雅可比矩阵的行列式的绝对值,
    的雅可比矩阵为:

    现在来看下实际应用的例子:

    A. 极坐标系

    极坐标系的变换为

    假设我们现在已知关于极坐标的概率密度函数

    , 现在来计算直角坐标系的概率密度.

    对应的雅可比矩阵为:

    求得行列式值为

    . 这样, 我们得到两种坐标系之间的变换公式为:

    B. 球坐标系

    球坐标系到直角坐标系变换为:

    可解得雅可比矩阵行列式值为

    , 相应的概率密度为:

    现在来考虑在单位球面上的情况. 在球坐标系中, 我们从立体角的定义可以得到:

    立体角在某个

    范围内的概率为:

    得到概率密度的转换为:

    二维随机变量采样

    现在可以来尝试从二维随机变量中采样.

    (1) 联合概率密度

    在开始之前, 我们还需要来简单回顾下联合概率密度的概念.

    设现在有二维连续型随机变量

    , 二维随机变量的
    联合概率密度
    ,
    联合分布函数

    二维随机变量的概率密度满足

    边缘概率密度为:

    的条件下,
    条件概率密度为:

    (2) 单位半球面采样

    在单位半球面上均匀采样时, 每个立体角上都是等可能的. 由此得关于立体角的概率密度

    是常数, 令其为
    , 得

    解得

    , 由前面得到的结论可知
    .

    先来计算

    , 得到
    的边缘概率密度为:

    再得到

    的条件概率密度为:

    的概率密度在
    确定时是固定的, 这和我们的直觉是相同的. 接下来来计算相应的概率分布函数:

    求相应的反函数, 并将

    替换为
    , 得到:

    将结果用直角坐标系来表示:

    (3) 随机单位球面采样

    推导过程和上面的几乎一模一样, 这里不再赘述. 最终结果为:

    (4) 随机单位圆采样

    一个常见的错误是随机取半径, 随机取角度, 使用

    来采样. 这样得到的结果会使得在圆的中心区域概率比边缘部分要高.

    b82ffa0170478770b0b1c80ecb4a5856.png
    左边是错误的采样方式得到的分布, 右边是正确的方式得到的分布

    在单位圆上均匀采样时, 关于面积的概率密

    是个常数, 可解得
    . 转换为极坐标系下得表示为
    . 使用和前面一样得推导过程得:

    确定时, 因为圆的对称性,
    是个固定常数. 进一步计算分布函数并取反函数可求得:

    另外一种方式是使用正方形随机采样, 然后同心映射到圆上.

    bd08144660a1fa5c0095c649ae938c1c.png

    其中一个1/8部分的映射公式为:

    1f23e7bfcd9b44865cd46ff1086ab941.png

    另外七个部分的映射公式可用相似的方式得到.

    (5) 单位半球面余弦权重采样

    求解图形学中的渲染方程时, 许多BRDF方程都是和夹角余弦相关的, 因此按照余弦采样是很有必要的. 即

    , 求解概率密度为:

    这样, 我们就可以继续使用上面的方式来推导出结果.

    不过这里要介绍下Malley方法的实现, Malley方法就是先在单位圆上随机采样, 然后将单位圆上的点作为半球面上点的投影, 来得到半球面上的点.

    下面我们来验证一下这种方式的正确性:

    698b33778816508e36fbe774db622aa1.png
    Malley方法得到半球面上按余弦权重采样点

    已知单位圆上随机采样的点极坐标为

    , 概率密度为
    . 单位半球面上对应的点极坐标系为
    , 两个坐标的关联为
    . 这样得到雅可比矩阵为:

    行列式值为

    , 变换概率密度分布得:

    刚好符合上面我们想要得概率密度函数, 这样就可以从单位圆采样得到单位半球面上得采样.

    其余的在锥形区域, 三角形, 长方形区域随机采样的过程和结果都是类似的, 这里不再给出. 这样我们可以随意按照自己想要的概率密度进行随机数采样, 下一篇会讲述如何使用随机数来实现蒙特卡洛积分.

    展开全文
  • 在理论推导过程中,都需要用雅各比行列,实现联合概率密度函数坐标系的转换。典型案例是由同相分量和正交分量的联合概率密度函数求一维包络和相位的联合概率密度函数,本文具体讲解雅各比行列在概率密度函数坐标...
  • 《数据结构 1800题》

    热门讨论 2012-12-27 16:52:03
    11. 顺序存储方式的优点是存储密度大,且插入、删除运算效率高。( )【上海海运学院 1999 一、1(1分)】 12. 数据结构的基本操作的设置的最重要的准则是,实现应用程序与存储结构的独立。( ) 【华南理工大学 2002...
  • 推论为本人学完第九周后自己推导得出,推论公式在文中下半部分。本来在word上编辑好了公式复制到博客上乱码了,所以有些公式是粘贴的图片,不影响观看。欢迎大家指正,交流。 在一般的高斯分布模型中,我们计算高斯...

           推论为本人学完第九周后自己推导得出,推论公式在文中下半部分。本来在word上编辑好了公式复制到博客上乱码了,所以有些公式是粘贴的图片,不影响观看。欢迎大家指正,交流。

          在一般的高斯分布模型中,我们计算高斯分布概率密度函数p(x),回顾高斯分布的基本知识。通常如果我们认为变量 x 符合高斯分布 x~N(μ,σ2)则其概率密度函数为:,其中,μ,σ2分别表示如下:

           假使我们有两个相关的特征,而且这两个特征的值域范围比较宽,这种情况下,一般的高斯分布模型可能不能很好地识别异常数据。其原因在于,一般的高斯分布模型尝试的是去同时抓住两个特征的偏差,因此创造出一个比较大的判定边界。

           下图中是两个相关特征,洋红色的线(根据 ε 的不同其范围可大可小)是一般的高斯分布模型获得的判定边界,很明显绿色的X 所代表的数据点很可能是异常值,但是其 p(x)值却仍然在正常范围内。多元高斯分布将创建像图中蓝色曲线所示的判定边界。


             在一般的高斯分布模型中,我们计算 p(x)的方法是: 通过分别计算每个特征对应的几率然后将其累乘起来,在多元高斯分布模型中,我们将构建特征的协方差矩阵,用所有的特征一起来计算p(x)。

             我们首先计算所有特征的平均值,然后再计算协方差矩阵:


    其中: ,

    注:其中 μ 是一个向量,其每一个单元都是原特征矩阵中一行数据的均值。Σ 表示的是协方差矩阵。最后我们计算多元高斯分布的p(x): 


    其中:|Σ|表示的是协方差矩阵Σ 的行列式 ; Σ(-1)表示的是协方差矩阵的逆。

           下面通过一般高斯分布概率密度函数来推导上述多元的高斯分布概率密度函数:

    一般高斯分布概率密度函数为:


    展开后:p(x) = 


    而协方差矩阵Σ是关于方差的n*n的对角矩阵,即:

    同时协方差矩阵Σ的伴随矩阵为:..........(1)


    这里:.......................(2)  

    伴随矩阵和可逆矩阵关系有:......................(3)


    对于指数部分通分后可写成如下形式:

    ....................(4)

    对于式子(4)的分子部分完全可以写成向量形式了: (注:(X-U)是一个n*1维向量,其转置是1*n维向量)


    综合(1)(2)(3)(4)式可知:



    则整理之后可得:


    证毕。


    注:1. 上面公式不能直接由word粘贴到这里,所以都是截的图。

           2. 对于高斯分布的概率密度函数必须要求m>n(m表示样本数目,n表示特征数目),要不然的话会导致协方差矩阵Σ不可逆,这里简单的证明一下,有兴趣的可以自行严格证明,假设A为nxm维矩阵,B为mxn维矩阵,m<n,故对于AB为nxn维矩阵的秩R(AB)<=R(A)<=m<n,说明AB不可逆。所以,要保证Σ可逆,必须保证要有m>n,实际更确切的讲,实际应用算法中,应当保证m>10n,即样本数至少要保证比样本特征数目多十倍。


    欢迎指正、交流学习。


    展开全文
  • [机器学习篇]机器学习知识总结篇

    万次阅读 热门讨论 2017-03-08 22:36:48
    1、机器学习的数学基础1 - 数学分析 机器学习的一般方法和横向比较 ... Taylor展的落地应用 gini系数 凸函数 Jensen不等式 组合数与信息熵的关系 2、机器学习的数学基础2 - 概率论与贝叶斯先验 概率论基础

    #1、机器学习的数学基础1 - 数学分析

    机器学习的一般方法和横向比较
    数学是有用的:以SVD为例
    机器学习的角度看数学
    复习数学分析
    直观解释常数e
    导数/梯度
    随机梯度下降
    Taylor展式的落地应用
    gini系数
    凸函数
    Jensen不等式
    组合数与信息熵的关系

    #2、机器学习的数学基础2 - 概率论与贝叶斯先验

    概率论基础
    古典概型
    贝叶斯公式
    先验分布/后验分布/共轭分布
    常见概率分布
    泊松分布和指数分布的物理意义
    协方差(矩阵)和相关系数
    独立和不相关
    大数定律和中心极限定理的实践意义
    深刻理解最大似然估计MLE和最大后验估计MAP
    过拟合的数学原理与解决方案

    #3、机器学习的数学基础3 - 矩阵和线性代数

    线性代数在数学科学中的地位
    马尔科夫模型
    矩阵乘法的直观表达
    状态转移矩阵
    矩阵和向量组
    特征向量的思考和实践计算
    QR分解
    对称阵、正交阵、正定阵
    数据白化及其应用
    向量对向量求导
    标量对向量求导
    标量对矩阵求导

    #3、机器学习的数学基础3 - 数理统计与参数估计

    统计量
    期望/方差/偏度/峰度
    中心矩/原点矩
    矩估计
    深刻理解最大似然估计
    过拟合的数学原理与解决方案
    最大后验估计MAP
    偏差方差二难

    4、Python基础1 - Python及其数学库
    解释器Python2.7与IDE࿱

    展开全文
  • 非中心F分布密度函数推导

    千次阅读 2019-01-10 21:35:25
    设 那么  ...这里我们可以看到上述子,是Poisson分布和构成的混合分布,此为非中心Z分布,即 ,从而为非中心F分布。当然,我们可以继续利用密度公式求出F统计量的密度函数  (1) 显然,可...

    那么 

    服从

    证明:为求其密度函数,设定

    其中

    这里我们可以看到上述式子,是Poisson分布和构成的混合分布,此为非中心Z分布,即 ,从而为非中心F分布。当然,我们可以继续利用密度公式求出F统计量的密度函数

                                                                       (1)

    显然,可以看出,这是Poisson分布和的混合分布。至此,我们得到了非中心F分布的密度函数(1)表达式。

    展开全文
  • 密度估计(kernel density estimation) 定义 是在概率论中用来估计未知的密度函数,属于非参数检验方法之一 非参数检验方法 核密度估计其实是对直方图的一个自然拓展。 直观理解 核密度估计=用...
  • 雷达线性调频信号的脉冲压缩处理

    万次阅读 多人点赞 2019-11-09 14:46:48
    设输入信号的频谱密度函数为S(f),而高斯白噪声的单边功率谱为n0/2,其中n0为高斯白噪声单边功率谱密度。 该信号通过匹配滤波器输出如图1.1所示 其中: S(t)=Acos(2πf_0 t+πμt^2) (0≤t≤τ) h(t)=ks_t^ (t_0-t) ...
  • 下面开始推导多维高斯随机变量X的概率密度函数 f X f_X f X ​ : 构造一个 n n n 维随机变量 Y = [ y 1 , y 2 , … , y n ] T Y=[y_1,y_2,\dots,y_n]^T Y = [ y 1 ​ , y 2 ​ , … , y n ​ ] T 其中 y 1 ...
  • (6-100)说明,磁心窗口面积Aw和磁心截面积Ac的乘积Aw·Ac与可以储能的值LI2成正比,与工作磁通密度BW、电流密度j、窗口面积利用系数Kw成反比。在合理的Bw、J、L、X,选值条件下,电流I会产生合适的温升。因此...
  • 理解傅里叶变换算法

    千次阅读 2018-12-31 18:36:54
    理解傅里叶变换算法 傅里叶变换( Fourier transform )是一种线性积分变换 ...这个可以从频谱密度 (spectral density) 得到理解,如下图就是个频谱图: 这是一个频谱图,横坐标表示频率大小,纵坐标...
  • LDPC编译码原理

    万次阅读 多人点赞 2019-08-01 20:45:32
     低密度校验码(LDPC码)是一种前向纠错码,LDPC码最早在20世纪60年代由Gallager在他的博士论文中提出,但限于当时的技术条件,缺乏可行的译码算法,此后的35年间基本上被人们忽略,其间由Tanner在1981年推广了LDPC...
  • 用户画像

    千次阅读 2018-12-03 22:25:44
    几乎覆盖了所有常用的聚类算法:层次化聚类、划分聚类、基于密度和网格的聚类等。  用户画像在推荐、个性化营销中都有重要的作用,在实施的过程中要注意的是:用户的标签要有衰减度和权重。 2、算法与应用...
  • 电导率σσ\sigma表征导体导电的能力,而电阻率ρρ\rho顾名思义是阻碍...J=σEJ=σE\boldsymbol{J}=\sigma \boldsymbol{E}(矢量形式,推导过程使用标量) 电阻RRR 定义为 R=ρlSR=ρlS R=\rho\frac{l}{S} ll...
  • Python蒙特卡洛算法

    千次阅读 多人点赞 2019-09-05 18:52:40
    一、什么是蒙特卡洛算法? 蒙特卡洛(Monte Carlo)法是一类随机算法的统称。随着二十世纪电子计算机的出现,蒙特卡洛法已经在诸多领域展现出了超强的能力。在机器学习和自然语言处理技术中,常常被用到的MCMC也是...
  • 基于密度的聚类算法

    千次阅读 2019-01-29 17:37:38
    基于密度的聚类方法 摘要:我们生活在数据大爆炸时代,每时每刻都在产生海量的数据如视频,文本,图像和等。由于数据的类型和大小已经超出了人们传统手工处理的能力范围,聚类,作为一种最常见的无监督学习技术,...
  • 密度估计

    千次阅读 2018-02-02 16:36:50
    比如,在这里可以推导出,最优的h应该是N的-1/5次方乘以一个常数c,也就是h =c*N(-1/5) 。对于正态分布而言,可以计算出c=1.05×标准差。 虽然我们估计出了概率密度函数(密度函数),但是从上面的公式可以看出,...
  • 感谢原作者的辛勤创作, 链接放在最后了, 为了防止链接失效,将原文copy...23 人赞同了该文章一维高斯分布的概率密度如下: (1)现在要证明为什么式(1)的积分为1,这也是PRML的exercise 1.7: 证明比较巧妙,采...
  • 图解极大似然估计

    千次阅读 2019-11-27 22:42:50
    机器学习之数学之旅 图解极大似然估计$(maximum likelihood estimation with 3D visualization)$ 极大似然估计**是神经网络和很多复杂模型得以优化求解的...要理解极大似然估计是什么, 首先要明白概率密度(质量)函数...
  • 互谱密度

    千次阅读 2019-06-24 16:16:25
    当波的功率频谱密度乘以一个适当的系数后将得到每单位频率波携带的功率,这被称为信号的功率谱密度(power spectral density, PSD);不要和 spectral power distribution(SPD) 混淆。功率谱...
  • LDPC码Gallager论文解读

    千次阅读 2019-12-30 21:34:32
    LDPC 码的奇偶校验矩阵H是一个稀疏矩阵,相对于行与列的长度,校验矩阵每行、列中非零元素的数目(我们习惯称作行重、列重)非常小,这也是LDPC码之所以称为低密度码的原因。由于校验矩阵H的稀疏性以及构造时所使用的...
  • 关于多元正态分布的条件概率密度

    万次阅读 2017-01-10 21:16:23
    原文来自师兄的博客:...多元正态分布的条件密度 多元正态分布多元正态分布的密度函数如下 : fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{
  • 卡尔曼滤波公式推导

    千次阅读 2019-03-05 15:36:03
    文章目录什么是卡尔曼滤波一、数学基础1. 贝叶斯公式2. 高斯分布3. 协方差矩阵二、进入正题1. 卡尔曼滤波公式全貌2. 贝叶斯应用于SLAM3. 系统模型4. 明确目的5. 确定先验分布$\bar{x_k}$(预测)6. 确定似然函数7. ...
  • 微表面的法线分布定义如下: 得到: 1) 所以得到以下子: 因为θ和φ独立,,,得: ... (2) ...看Beckmann–Spizzichino中,各向同性的分布...因为有(1)和 p(θ, φ) = sinθp(ω)代入(2)(见:pbrboo...
  • 它在某一点的概率为什么是g(x)dx且趋近于0呢? 如何形象的理解而非从几何或者代数的角度思考?解答在下: a. 先从离散的角度来考虑,假设甲在射箭,一共有x环,x在〔1,10〕间的正整数(靶子一共有从大到小10个区域...
  • 联合密度分布

    千次阅读 2018-08-25 21:51:20
    最近参与翻译的一本书,以下是我翻译的其中一章,其余可以阅读 https://github.com/apachecn/prob140-textbook-zh 英文原文:... 17. 联合密度 我们现在开始研究两个连续随机变量的联合概率密度。这些...
  • 密度估计与自适应带宽的核密度估计

    万次阅读 多人点赞 2017-06-29 22:26:44
    最近看论文,发现一个很不错的概率密度估计方法。在此小记一下。 先来看看准备知识。 密度估计经常在统计学中作为一种使用有限的样本来估计其概率密度函数的方法。 我们在研究随机变量的过程中,随机变量的概率...
  • 概率密度函数用数学公式表示就是一个定积分的函数(如上),定积分在数学中是用来求面积的,而在这里可把概率表示为面积即可。 a图是F(x)连续型随机变量分布函数画出的图形,b图是f(x)连续型随机变量的概率密度函数...
  • 弹性体的应变能密度

    千次阅读 2020-04-12 21:19:56
    应变能密度推导 考虑求解域 VVV ,弹性力学问题的平衡方程与边界条件为 {∇⋅σ+b=0 in Vn⋅σ=t on ∂Vu=uˉ on ∂Vu(1) \tag{1} \begin{cases} \nabla\cdot\boldsymbol{\sigma}+\...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,718
精华内容 3,887
关键字:

密度推导式是什么