精华内容
下载资源
问答
  • Python对数正态分布函数,python,中,的
    千次阅读
    2021-01-11 22:56:15

    你说I have a sample data, the logarithm of which follows a normal distribution.

    假设data是包含样本的数组。使此数据适合

    使用scipy.stats.lognorm的对数正态分布,使用:s, loc, scale = stats.lognorm.fit(data, floc=0)

    假设mu和sigma是

    基本正态分布。得到这些值的估计值

    从该配合中,使用:estimated_mu = np.log(scale)

    estimated_sigma = s

    (这些是而不是的平均值和标准差的估计值

    data中的样本。有关公式,请参见wikipedia page

    对于对数正态分布的均值和方差,用mu和sigma表示。)

    要组合直方图和PDF,可以使用,例如import matplotlib.pyplot as plt.

    plt.hist(data, bins=50, normed=True, color='c', alpha=0.75)

    xmin = data.min()

    xmax = data.max()

    x = np.linspace(xmin, xmax, 100)

    pdf = stats.lognorm.pdf(x, s, scale=scale)

    plt.plot(x, pdf, 'k')

    如果想查看数据日志,可以执行以下操作

    下面。注意,使用了正态分布的PDF

    在这里。logdata = np.log(data)

    plt.hist(logdata, bins=40, normed=True, color='c', alpha=0.75)

    xmin = logdata.min()

    xmax = logdata.max()

    x = np.linspace(xmin, xmax, 100)

    pdf = stats.norm.pdf(x, loc=estimated_mu, scale=estimated_sigma)

    plt.plot(x, pdf, 'k')

    顺便说一下,与stats.lognorm匹配的另一种方法是匹配log(data)

    使用stats.norm.fit:logdata = np.log(data)

    estimated_mu, estimated_sigma = stats.norm.fit(logdata)

    相关问题:

    更多相关内容
  • 网络日流量的对数正态分布模型,董颖,李明,本文以日本MAWI工作组(MAWI Working Group Traffic Archive)的网络日流量数据作为研究对象,分析了2007年和2018年中的UDP、FTP网络日流量数据的�
  • python中的对数正态分布

    千次阅读 2020-12-18 06:44:32
    你说I have a sample data, the logarithm of which ...使此数据适合使用scipy.stats.lognorm的对数正态分布,使用:s, loc, scale = stats.lognorm.fit(data, floc=0)假设mu和sigma是基本正态分布。得到这些值...

    你说I have a sample data, the logarithm of which follows a normal distribution.

    假设data是包含样本的数组。使此数据适合

    使用scipy.stats.lognorm的对数正态分布,使用:s, loc, scale = stats.lognorm.fit(data, floc=0)

    假设mu和sigma是

    基本正态分布。得到这些值的估计值

    从该配合中,使用:estimated_mu = np.log(scale)

    estimated_sigma = s

    (这些是而不是的平均值和标准差的估计值

    data中的样本。有关公式,请参见wikipedia page

    对于对数正态分布的均值和方差,用mu和sigma表示。)

    要组合直方图和PDF,可以使用,例如import matplotlib.pyplot as plt.

    plt.hist(data, bins=50, normed=True, color='c', alpha=0.75)

    xmin = data.min()

    xmax = data.max()

    x = np.linspace(xmin, xmax, 100)

    pdf = stats.lognorm.pdf(x, s, scale=scale)

    plt.plot(x, pdf, 'k')

    如果想查看数据日志,可以执行以下操作

    下面。注意,使用了正态分布的PDF

    在这里。logdata = np.log(data)

    plt.hist(logdata, bins=40, normed=True, color='c', alpha=0.75)

    xmin = logdata.min()

    xmax = logdata.max()

    x = np.linspace(xmin, xmax, 100)

    pdf = stats.norm.pdf(x, loc=estimated_mu, scale=estimated_sigma)

    plt.plot(x, pdf, 'k')

    顺便说一下,与stats.lognorm匹配的另一种方法是匹配log(data)

    使用stats.norm.fit:logdata = np.log(data)

    estimated_mu, estimated_sigma = stats.norm.fit(logdata)

    相关问题:

    展开全文
  • 二元对数正态分布 - bivariate lognormal distribution - 的几个性质摘要对数正态分布二元正态分布 (bivariate normal distribution) 摘要 本文讲简要介绍二元对数正态分布 (bivariate lognormal distribution) 的...

    摘要

    本文讲简要介绍二元对数正态分布 (bivariate lognormal distribution) 的期望、方差,以及其相关系数的计算与性质。

    对数正态分布

    如果随机变量 U U U 取值大于 0,并且 X = log ⁡ ( U ) X = \log (U) X=log(U), X ∼ N ( μ x ,   σ x 2 ) X \sim N(\mu_x, \, \sigma_x^2) XN(μx,σx2),我们就称 U U U 服从对数正态分布。

    我们看到对数正态分布是从正态分布派生出来的分布。自然的,二元对数正态分布也是从二元正态分布中派生的。我们先来回顾一下二元正态分布。

    二元正态分布 (bivariate normal distribution)

    在文章 生成一定相关性的二元正态分布 中我们有提到,如果二元随机变量 ( X ,   Y ) (X, \, Y) (X,Y) 服从二元正态分布 (bivariate normal distribution) ,那么其概率密度函数为

    f ( x ,   y ) = 1 2 π σ x σ Y 1 − ρ 2 × exp ⁡ ( − 1 2 ( 1 − ρ 2 ) ( ( x − μ x σ x ) 2 − 2 ρ ( x − μ X σ x ) ( y − μ y σ y ) + ( y − μ y σ y ) 2 ) ) ( ∗ ) \begin{aligned} f(x, \, y) &= \frac{1}{2\pi \sigma_x \sigma_Y \sqrt{1 - \rho^2}} \times \\ & \exp \left( -\frac{1}{2(1 - \rho^2)} \Big( \big( \frac{x - \mu_x}{\sigma_x} \big)^2 - 2 \rho (\frac{x - \mu_X}{\sigma_x}) (\frac{y - \mu_y}{\sigma_y}) + (\frac{y - \mu_y}{\sigma_y})^2 \Big) \right) (*) \end{aligned} f(x,y)=2πσxσY1ρ2 1×exp(2(1ρ2)1((σxxμx)22ρ(σxxμX)(σyyμy)+(σyyμy)2))()

    上式中的 ρ \rho ρ 即为 X X X Y Y Y 的相关性系数 (correlation coefficient)。 μ x \mu_x μx X X X 的期望, μ y \mu_y μy Y Y Y 的期望; σ x 2 \sigma_x^2 σx2 X X X 的方差, σ y 2 \sigma_y^2 σy2 Y Y Y 的方差。

    回顾了二元正态分布的概念之后,我们可以定义二元对数正态分布如下:

    定义:如果两个随机变量 ( X ,   Y ) (X, \, Y) (X,Y) 服从二元正态分布,且另外两个随机变量 ( U ,   V ) (U, \, V) (U,V),我们有 U = exp ⁡ ( X ) ,   V = exp ⁡ ( Y ) U = \exp(X), \, V = \exp(Y) U=exp(X),V=exp(Y)。我们称 ( U ,   V ) (U, \, V) (U,V) 服从二元对数正态分布。

    对数正态分布的期望与方差

    在看二元对数正态分布的性质之前,我们先来看一元对数正态分布的期望与方差。

    假设我们有随机变量 X ∼ N ( μ x , σ x 2 ) X \sim N(\mu_x, \sigma_x^2) XN(μx,σx2), U = exp ⁡ ( X ) U = \exp(X) U=exp(X)。那么我们可以直接用定义求出 U U U 的期望。

    E ( U ) = ∫ − ∞ ∞ e x ⋅ 1 2 π σ x e − ( x − μ x ) 2 2 σ x 2 d x = ∫ − ∞ ∞ 1 2 π σ x e − 1 2 σ x 2 ( ( x − μ x ) 2 − 2 σ x 2 x ) d x = ∫ − ∞ ∞ 1 2 π σ x e − 1 2 σ x 2 ( x 2 − 2 ( μ x + σ x 2 ) x + μ x 2 ) d x = ∫ − ∞ ∞ 1 2 π σ x e − 1 2 σ x 2 ( ( x − ( μ x + σ x 2 ) ) 2 − σ x 4 − 2 μ x σ x 2 ) d x = ( ∫ − ∞ ∞ 1 2 π σ x e − 1 2 σ x 2 ( x − ( μ x + σ x 2 ) ) 2 d x ) ⋅ e − 1 2 σ x 2 ( − σ x 4 − 2 μ x σ x 2 ) \begin{aligned} \displaystyle \mathbb{E}(U) &= \int_{-\infty}^{\infty} e^x \cdot \frac{1}{\sqrt{2 \pi} \sigma_x} e^{- \frac{(x - \mu_x)^2}{2 \sigma_x^2}} dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma_x} e^{-\frac{1}{2 \sigma_x^2} \big( (x - \mu_x)^2 - 2 \sigma_x^2 x \big)} dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma_x} e^{-\frac{1}{2 \sigma_x^2} \big( x^2 - 2 (\mu_x + \sigma_x^2) x + \mu_x^2 \big) } dx \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma_x} e^{-\frac{1}{2 \sigma_x^2} \big( (x - (\mu_x + \sigma_x^2) )^2 - \sigma_x^4 - 2 \mu_x \sigma_x^2 \big)} dx \\ &= \Big( \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma_x} e^{-\frac{1}{2 \sigma_x^2} (x - (\mu_x + \sigma_x^2) )^2 } dx \Big) \cdot e^{-\frac{1}{2 \sigma_x^2} (- \sigma_x^4 - 2 \mu_x \sigma_x^2) } \end{aligned} E(U)=ex2π σx1e2σx2(xμx)2dx=2π σx1e2σx21((xμx)22σx2x)dx=2π σx1e2σx21(x22(μx+σx2)x+μx2)dx=2π σx1e2σx21((x(μx+σx2))2σx42μxσx2)dx=(2π σx1e2σx21(x(μx+σx2))2dx)e2σx21(σx42μxσx2)

    注意到, ∫ − ∞ ∞ 1 2 π σ x e − 1 2 σ x 2 ( x − ( μ x + σ x 2 ) ) 2 d x \displaystyle \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi} \sigma_x} e^{-\frac{1}{2 \sigma_x^2} (x - (\mu_x + \sigma_x^2) )^2 } dx 2π σx1e2σx21(x(μx+σx2))2dx 这一项正是 N ( μ x + σ x 2 , σ x ) N(\mu_x + \sigma_x^2, \sigma_x) N(μx+σx2,σx) 的概率密度函数在 R \mathbb{R} R 上的积分,故其值等于 1。于是

    E [ U ] = e − 1 2 σ x 2 ( − σ x 4 − 2 μ x σ x 2 ) = exp ⁡ ( μ x + 1 2 σ x 2 ) \displaystyle \mathbb{E} [U] = e^{-\frac{1}{2 \sigma_x^2} (- \sigma_x^4 - 2 \mu_x \sigma_x^2)} = \exp {(\mu_x + \frac{1}{2} \sigma_x^2 )} E[U]=e2σx21(σx42μxσx2)=exp(μx+21σx2)

    如果读者熟悉距生成函数 (moment-generating function) 的概念,我们就可以直接得到 E [ U ] = E [ e X ] \displaystyle \mathbb{E} [U] = \mathbb{E} [e^{X}] E[U]=E[eX]

    我们先来回忆一下距生成函数的定义。

    定义: 随机变量 X X X 的距生成函数 M X ( t ) M_X (t) MX(t) 定义为
    M X ( t ) = E [ e t X ] \displaystyle M_X (t) = \mathbb{E} [e^{tX}] MX(t)=E[etX],其中须要 E [ e t X ] \mathbb{E} [e^{tX}] E[etX] t = 0 t = 0 t=0 附近是存在的。

    对于服从正态分布 N ( μ x ,   σ x 2 ) N(\mu_x, \, \sigma_x^2) N(μx,σx2) 的随机变量 X X X,可以计算其距生成函数是 exp ⁡ ( μ x t + 1 2 σ x 2 t 2 ) \displaystyle \exp \big( \mu_x t + \dfrac{1}{2} \sigma_x^2 t^2 \big) exp(μxt+21σx2t2)。令 t = 1 t = 1 t=1,我们就直接得到 E [ e X ] = exp ⁡ ( μ x + 1 2 σ x 2 ) \mathbb{E} [e^X] = \exp(\mu_x + \frac{1}{2} \sigma_x^2) E[eX]=exp(μx+21σx2)。这与我们上面得到的结果是一样的。

    有了对数正态分布的期望,其方差的计算可以根据定义 Var ( U ) = E [ U 2 ] − ( E [ U ] ) 2 \displaystyle \textrm{Var}(U) = \mathbb{E}[U^2] -(\mathbb{E}[U])^2 Var(U)=E[U2](E[U])2

    于是 Var ( U ) = exp ⁡ ( 2 μ x + 2 σ x 2 ) − exp ⁡ ( 2 μ x + σ x 2 ) = exp ⁡ ( 2 μ x + σ x 2 ) ⋅ ( exp ⁡ ( σ x 2 ) − 1 ) ) \displaystyle \textrm{Var}(U) = \exp(2 \mu_x +2 \sigma_x^2) - \exp(2 \mu_x + \sigma_x^2) = \exp(2 \mu_x + \sigma_x^2) \cdot (\exp(\sigma_x^2) - 1)) Var(U)=exp(2μx+2σx2)exp(2μx+σx2)=exp(2μx+σx2)(exp(σx2)1))

    二元对数正态分布的协方差

    现在我们来看二元对数正态分布的协方差。根据协方差的定义,我们有 C o v ( U ,   V ) = E ( U V ) − E ( U ) E ( V ) \displaystyle Cov(U, \, V) = \mathbb{E} (UV) - \mathbb{E}(U) \mathbb{E}(V) Cov(U,V)=E(UV)E(U)E(V)。假设 U = exp ⁡ ( X ) ,   V = exp ⁡ ( Y ) U = \exp(X), \, V = \exp(Y) U=exp(X),V=exp(Y),其中 X ∼ N ( μ x ,   σ x 2 ) ,   Y ∼ N ( μ y ,   σ y 2 ) \displaystyle X \sim N(\mu_x, \, \sigma_x^2), \, Y \sim N(\mu_y, \, \sigma_y^2) XN(μx,σx2),YN(μy,σy2)。根据上一节的介绍,我们知道 E ( U ) = exp ⁡ ( μ x + 1 2 σ x 2 ) \displaystyle \mathbb{E} (U) = \exp \big( \mu_x + \frac{1}{2} \sigma_x^2 \big) E(U)=exp(μx+21σx2), E ( V ) = exp ⁡ ( μ y + 1 2 σ y 2 ) \displaystyle \mathbb{E} (V) = \exp \big( \mu_y + \frac{1}{2} \sigma_y^2 \big) E(V)=exp(μy+21σy2)

    而对于 E ( U V ) = E ( e X + Y ) \mathbb{E} (UV) = \mathbb{E} (e^{X + Y}) E(UV)=E(eX+Y),我们知道 X + Y X + Y X+Y 仍然服从正态分布。这是因为,如果 ( X ,   Y ) (X, \, Y) (X,Y) 服从二元正态分布,即 ( X ,   Y ) (X, \, Y) (X,Y) 的概率密度函数是 (*) 式,那么我们有如下的定理:

    定理: 如果二元随机变量 ( X ,   Y ) (X, \, Y) (X,Y) 服从二元正态分布,即 ( X ,   Y ) (X, \, Y) (X,Y) 的概率密度函数是 ( ∗ ) (*) () 式。那么对于任意的常数 a ,   b a, \, b a,b, 我们有随机变量 a X + b Y a X + b Y aX+bY 服从正态分布,其均值为 a μ x + b μ y a \mu_x + b \mu_y aμx+bμy,方差是 a 2 σ x 2 + b 2 σ y 2 + 2 a b σ x σ y ρ a^2 \sigma_x^2 + b^2 \sigma_y^2 + 2 a b \sigma_x \sigma_y \rho a2σx2+b2σy2+2abσxσyρ

    根据上述定理,我们有 X + Y ∼ N ( μ x + μ y , σ x 2 + σ y 2 + 2 ρ σ x σ y ) X + Y \sim N(\mu_x + \mu_y, \sigma_x^2 + \sigma_y^2 + 2 \rho \sigma_x \sigma_y) X+YN(μx+μy,σx2+σy2+2ρσxσy)

    从而 E ( U V ) = E ( e X + Y ) = exp ⁡ ( μ x + μ y + 1 2 ( σ x 2 + σ y 2 + 2 ρ σ x σ y ) ) \displaystyle \mathbb{E} (UV) = \mathbb{E} (e^{X + Y}) = \exp \big( \mu_x + \mu_y + \frac{1}{2} (\sigma_x^2 + \sigma_y^2 + 2 \rho \sigma_x \sigma_y) \big) E(UV)=E(eX+Y)=exp(μx+μy+21(σx2+σy2+2ρσxσy))

    现在,我们就可以计算 Cov ( U ,   V ) \displaystyle \textrm{Cov}(U, \, V) Cov(U,V)。代入上述计算,我们有
    Cov ( U ,   V ) = exp ⁡ ( μ x + μ y + 1 2 ( σ x 2 + σ y 2 + 2 ρ σ x σ y ) ) − exp ⁡ ( μ x + 1 2 σ x 2 ) ⋅ exp ⁡ ( μ y + 1 2 σ y 2 ) = exp ⁡ ( μ x + μ y + 1 2 ( σ x 2 + σ y 2 ) ) ⋅ ( exp ⁡ ( ρ σ x σ y − 1 ) ) \displaystyle \textrm{Cov}(U, \, V) =\exp \big( \mu_x + \mu_y + \frac{1}{2} (\sigma_x^2 + \sigma_y^2 + 2 \rho \sigma_x \sigma_y) \big) - \exp \big( \mu_x + \frac{1}{2} \sigma_x^2 \big) \cdot \exp \big( \mu_y + \frac{1}{2} \sigma_y^2 \big) = \exp \big(\mu_x + \mu_y + \frac{1}{2} (\sigma_x^2 + \sigma_y^2) \big) \cdot \big( \exp(\rho \sigma_x \sigma_y - 1 ) \big) Cov(U,V)=exp(μx+μy+21(σx2+σy2+2ρσxσy))exp(μx+21σx2)exp(μy+21σy2)=exp(μx+μy+21(σx2+σy2))(exp(ρσxσy1))

    二元对数正态分布的相关系数

    那么, U , V U, V U,V 的相关系数即为:

    corr ( U ,   V ) = Cov ( U ,   V ) Var ( U ) ⋅ Var ( V ) \displaystyle \textrm{corr}(U, \, V) = \frac{\textrm{Cov}(U, \, V)}{\sqrt{ \textrm{Var}(U) \cdot \textrm{Var}(V) }} corr(U,V)=Var(U)Var(V) Cov(U,V)

    Cov ( U ,   V ) ,   Var ( U ) ,   Var ( V ) \textrm{Cov}(U, \, V), \, \textrm{Var}(U), \, \textrm{Var}(V) Cov(U,V),Var(U),Var(V) 代入,我们有

    corr ( U ,   V ) = e ( ρ σ x σ y ) − 1 ( e σ x 2 − 1 ) ( e σ y 2 − 1 ) ( ∗ ∗ ) \displaystyle \textrm{corr}(U, \, V) = \frac{e^{ (\rho \sigma_x \sigma_y)} - 1}{\sqrt{(e^{\sigma_x^2} - 1) (e^{\sigma_y^2} - 1) }} \hspace{2cm} (**) corr(U,V)=(eσx21)(eσy21) e(ρσxσy)1()

    模拟验证

    下面我们用代码快速检验下上面的相关系数的公式。 我们根据文章 生成一定相关性的二元正态分布 中的代码,生产 $N $ 对服从二元正态分布的随机数 ( X ,   Y ) (X, \, Y) (X,Y),然后取 U = exp ⁡ ( X ) ,   V = exp ⁡ ( V ) U = \exp(X), \, V = \exp(V) U=exp(X),V=exp(V),计算 U , V U, V U,V 的相关系数,然后与用公式计算得到的数值相比较。

    import numpy as np
    import matplotlib.pyplot as plt
    
    class bivariateNormal:
        
        def __init__(self, rho: 'float', m: int):
            """
            Suppose we want to generate a pair of 
            random variables X, Y, with X ~ N(0, 1), 
            Y ~ N(0, 1), and Cor(X, Y) = rho. m is 
            the number of data pairs we want to generate.
            """
            self.rho = rho
            self.m = m
        
        def generateBivariate(self) -> 'tuple(np.array, np.array)':
            """
            Generate two random variables X, Y, with X ~ N(0, 1), 
            Y ~ N(0, 1), and Cor(X, Y) = rho. 
            self.m is the number of sample points we generated.
            We return a tuple (X, Y). 
            """
            theta = np.arcsin(self.rho) / 2
            A = np.random.normal(0, 1, self.m)
            B = np.random.normal(0, 1, self.m)
            X = np.cos(theta) * A + np.sin(theta) * B
            Y = np.sin(theta) * A + np.cos(theta) * B
            return X, Y
    

    我们取 μ x = μ y = 0 ,   σ x = σ y = 1 \mu_x = \mu_y = 0, \, \sigma_x = \sigma_y = 1 μx=μy=0,σx=σy=1,生成 N N N 对服从二元正态分布的随机变量取值 ( X ,   Y ) (X, \, Y) (X,Y) 。这里取 N = 1 0 4 N = 10^4 N=104

    N = 10 ** 4
    exp_corr = 0 # 记录要模拟的二元对数正态分布的相关系数
    rho = -0.9
    m = 10 ** 4
    a = bivariateNormal(rho, m)
    for i in range(N):
        x, y = a.generateBivariate()
        x_exp = np.exp(x)
        y_exp = np.exp(y)
        exp_corr += np.corrcoef(x_exp, y_exp)[0][1]
    print(exp_corr / N)
    

    输出结果如下:

    -0.3475984850891084

    而根据上述的分析,其解析值应该为

    e − 0.9 − 1 e − 1 = − 0.34536263518051 \displaystyle \frac{e^{-0.9} - 1}{e - 1} = -0.34536263518051 e1e0.91=0.34536263518051

    可以看出模拟值与解析值很接近。

    二元正态分布与其对应的二元对数正态分布相关系数的比较

    假设 σ x = σ y = σ \sigma_x = \sigma_y = \sigma σx=σy=σ,代入 ( ∗ ∗ ) (**) () 式,我们有

    corr ( U ,   V ) = exp ⁡ ( ρ σ 2 ) − 1 exp ⁡ ( σ 2 ) − 1 \displaystyle \textrm{corr}(U, \, V) = \frac{\exp(\rho \sigma^2) - 1}{\exp(\sigma^2) - 1} corr(U,V)=exp(σ2)1exp(ρσ2)1

    rho = np.linspace(-1, 1, 20)
    corr_bi_lognormal_0p5 = (np.exp(rho * 0.5 ** 2) - 1) / (np.exp(0.5 ** 2) - 1)
    corr_bi_lognormal_1 = (np.exp(rho * 1 ** 2) - 1) / (np.exp(1 ** 2) - 1)
    corr_bi_lognormal_2 = (np.exp(rho * 2 ** 2) - 1) / (np.exp(2 ** 2) - 1)
    
    plt.figure(figsize=(12, 8))
    plt.plot(rho, corr_bi_lognormal, 'b*', 
             rho, corr_bi_lognormal_1, 'gs',
             rho, corr_bi_lognormal_2, 'yo', 
             rho, rho, 'r-', linewidth=2, markersize=10);
    plt.xlabel(r'$\rho$', fontsize=36)
    plt.ylabel("corr(U, V)", fontsize=36)
    plt.xticks(fontsize=20)
    plt.yticks(fontsize=20)
    plt.legend([r'$\sigma=0.5$', r'$\sigma=1$', r'$\sigma=2$', 'bivariate normal'], fontsize=24)
    

    请添加图片描述
    可以看出二元对数正态分布的相关性要低于相对应的二元正态分布的相关性。而当 ρ = 1 \rho = 1 ρ=1 时,即原来的二元正态分布的两个随机变量 X , Y X, Y X,Y 的相关系数为 1时,且 σ x = σ y \sigma_x = \sigma_y σx=σy,对应的二元对数正态分布的相关系数也是 1。

    参考文献

    [1] 40 Puzzles and Problems in Probability and Mathematical Statistics, Wolfgang Schwarz, page 114, Springer (2007)

    展开全文
  • 对数正态分布(Log-Normal Distribution)

    万次阅读 多人点赞 2017-11-01 16:02:07
    2017.11.1 人要有发耻心和羞耻心,突然想到了这么一句话,MARK一个博客困惑了...- 相关分布快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q 插入链接 Ctrl + L 插入代码 Ctrl + K 插入图片 Ctrl + G 提升标题 Ctrl

    2017.11.1 人要有发耻心和羞耻心,突然想到了这么一句话,MARK一个博客

    困惑了好久,还是写个博客Mark一下,方便以后查询使用

    • 概率密度函数
    • 局部期望

    - 相关分布

    概率密度函数

    对数正态分布是对数为正态分布的任意随机变量的概率分布。如果 Y 是正态分布的随机变量,则exp(Y)是对数正态分布;同样,如果 X 是对数正态分布,则ln(X)为正态分布,如果一个变量可以看成是许多很小独立因子的乘积,则这个变量可以看作是对数正态分布。 给定一个 x>0 ,对数正态分布的概率密度函数为:

    f(x;μ;σ)=12πxσe(lnxμ)22σ2

    其中, μ σ 分别是变量对数的平均值和标准差。期望值和方差分别为:
    E(X)=eμ+σ2/2

    var(X)=(eσ21)e2μ+σ2

    给定期望值与方差,也可以用这个关系求 μ σ 的大小
    μ=ln(E(X))12ln(1+var(X)E(X)2)
    σ2=ln(1+var(X)E(X)2)

    求解时,需要将 μ σ 计算出来带入到上面的 f(x;μ;σ) 中使用matlab带有的 logncdflognpdf获取对数正态分布的累积分布函数和密度函数。
    注解:已知变换后的数据的统计特征可以反过来推导出原始数据的统计特征,不存在数据信息的损失(对数转换后变量的均值可以直接由样本数据的均值得到,但不进行变化却需要由样本均值方法两方面去推断得到),参见: 机器学习小组知识点17 也可以发现对数正态分布实际上是对数据进行了对数变化,从而变成了正态分布,方便得到相关的统计学变量。

    局部期望

    随机变量 X 在阈值k上的局部期望定义为:

    g(k)=k(xk)f(x)dx

    其中 f(x) 是概率密度,对于对数正态概率密度,这个定义为:
    g(k)=exp(μ+σ2/2)Φ(ln(k)+μ+σ2σ)kΦ(ln(k)+μσ)

    其中 Φ 是标准正态分布的累积分布函数,对数正态分布的局部期望在经济领域应用广泛。

    相关分布

    这里指的是与高斯分布的关系
    如果 Y=ln(X) X LogN(μ,σ2) ,则 Y N(μ,σ2) 是正态分布.
    如果 Xm=LogN(μ,σ2m),m=1...n¯¯¯¯¯¯¯ 是有同样% μ 参数,而 σ 可能不同的统计独立对数正态分布变量,并且 Y=Nm=1Xm ,则 Y 也是正态分布变量:YLogN(nμ,nm=1σ2m),满足高斯分布求和性质。

    参数的最大似然估计

    为了确定对数正态分布参数 μ σ 最大似然估计,可以采用与正态分布参数最大似然估计同样的方法。

    fL(x;μ,σ)=1xfN(lnx;μ,σ)

    其中用 fL() 表示对数正态分布的概率密度函数,用 fN() 表示正态分布,因此,用与正态分布同样的指数,我们可以得到对数最大似然函数:
    lL(μ,σ|x1,x2,,xn)=klnxk+lN(μ,σ|lnx1,lnx2,,lnxn)=constant+lN(μ,σ|lnx1,lnx2,,lnxn)

    由于第一项相对于 μ sigma 来说是常数,两个对数最大似然函数 lL lN 在同样的 μ σ 处有最大值。因此,根据正态分布最大似然参数估计器的公式以及上面的方程,推导出对数正态分布参数最大似然估计为:
    μ^=klnxkn,σ^2=(lnxkμ^)2n

    展开全文
  • 对于大小为n的随机样本,间隔中的预期样本数为(cdf(b) - cdf(a))*n其中cdf(x)是累积分布函数 . 要绘制预期的直方图,您将计算每个bin的值 .下面的脚本显示了在matplotlib直方图上绘制预期直方图的一种方法 . 它生成...
  • 这一次我将使用简单的语言,使用实例的方式展示对数正态分布在数学建模比赛中的应用。 正态分布物理意义 我们先从正态分布的物理意义说起,虽然大家可能都知其公式,但是对其物理意义并没非常深刻的理解。简而言之...
  • 对数正态分布的期望方差

    万次阅读 多人点赞 2020-04-09 10:19:18
  • 最近遇到了一个联合对数正态分布的相关系数的问题,搜遍全网无果,索性自己动手。本文借鉴了这个知乎回答 首先我们有二维正态分布: X,Y∼BVN(μx,μy,σx2,σy2,ρxy)X,Y\sim \mathbf{BVN}(\mu_x,\mu_y,\sigma_x^2,...
  • 基于集中投资策略的思想,把股票价格服从对数正态分布与凯利优化模型相结合,使其能更好地运用于股票投资实践中,推导出投资者个股投资的资产配置比例与投资者对个股投资收益率和标准差预测值之间的数学关系,从而...
  • 概率密度函数在概率论与统计学中,对数正态分布是对数为正态分布的任意随机变量的概率分布。如果 XX 是正态分布的随机变量,则 exp(X)exp(X) 为对数正态分布;同样,如果Y Y 是对数正态分布,则 ln(Y)ln(Y) 为正态...
  • 根据对数正态分布产生随机数

    万次阅读 2016-08-10 16:44:54
    根据对数正态分布产生随机数
  • 简要介绍对数正态分布线性矩与分布参数的关系,提出两种可考虑历史洪水的样本线性矩估计公式.统计试验结果表明,估计公式均具有较高精度.从两种估算公式中推荐一种效果更好的供实际频率计算使用,从而解决了具有历史...
  • 通过此 Mathlab 代码提供的蒙特卡罗模拟对于评估不同载荷条件下结构的可靠性非常有用。
  • 从置信区间本质意义出发,得到了对数正态总体参数的联合置信域以及置信域的面积公式
  • 一、矩估计、极大似然估计、拟合、对数正态分布 ##导入数据 setwd("C:/Users/chang/Documents/SRM-PA/R简介/上课练习数据集") healthexpend <- read.csv(file="HealthExpend.csv",header=T) ##取其中EXPENDOP>...
  • 概要性介绍正态分布并给出基于python/scikit-learn的代码示例实验
  • matlab正态分布的拟合fit

    千次阅读 2021-04-18 09:56:44
    end legend('sj1','fit1','sj2','fit2','sj3','fit3','sj4','fit4','sj5','fit5','sj6','fit6','sj7','fit7','sj8','fit8','sj9','fit9','sj10','fit10') B 其实,原数据(次数分布)做得不很理想,而做成一个好的...
  • 大千世界随机现象众多,其分布各异。按数据变量类型划分可以分为离散型与连续性两类:离散型变量根据名称很好理解,就是数据的取值是不连续的。例如掷硬币就是一个典型的离散数据,因为抛硬币的就2种结果。你可以把...
  • 1,1) # 创建子图 1 ax1.scatter(s.index, s.values) plt.grid() # 绘制直方图 ax2 = fig.add_subplot(3,1,2) # 创建子图2 s.hist(bins=30,alpha = 0.5,ax = ax2) # 通过可视化(绘制直方图)判断是否符合正态分布 ...
  • 正态分布概率密度函数的推导

    万次阅读 2018-12-10 21:41:18
    看概率统计书上都是直接给出正态分布的概率密度函数,有时候好奇为什么要是这个样子,于是上网查了一下,发现其是可以通过一些合理的前提假定推导出来的。 链接如下: ...
  • 统计学相关-正态分布推导

    千次阅读 2021-04-07 18:49:55
    正态分布 由来:1805年勒让德计算彗星轨道时首次采用了最小二乘法, 高斯在1809年时在写<<天体运动理论>>,然后发现其计算过程中会出现误差,在求误差的过程中发现其误差呈正态分布(Normal distribution)...
  • golang实现正态分布生产随机数

    千次阅读 2020-12-08 13:15:02
    golang实现正态分布生产器 欢迎使用Markdown编辑器` var testData = []int64{} for i := 1; i < 100; i++ { xx := common.RandomNormalInt64(1, 100, 80, 50) println("测试:", i, xx) testData = append...
  • 一、正态分布 标准正态分布 标准正态分布就是均值为0,标准差为1的分布,如下图 一般正态分布 一般正态分布n,假设其均值是 μ,标准差为σ ,即服从 n~N(μ,σ) 经过变换可以转换成标准正态分布:另X = (N...
  • 在机器学习的世界中,以概率分布为核心的研究大都聚焦于正态分布。本文将阐述正态分布的概率,并解释它的应用为何如此的广泛,尤其是在数据科学和机器学习领域,它几乎无处不在。我将会从基础概念出发,解释有关正态...
  • 正态分布(用python画出相应的图)

    千次阅读 2022-02-10 19:31:19
    正态分布 正态分布代表了宇宙中大多数情况的运转状态。大量的随机变量被证明是正态分布的。 若随机变量X服从一个数学期望为???? 、方差为????^2的正态分布,记为N(???? ,????^2)。其概率密度函数为正态分布的期望...
  • java正态分布的运用

    千次阅读 2019-07-19 10:26:29
    1正态分布描述 正态分布是最重要的一种概率分布。正态分布概念是由德国的数学家和天文学家Moivre(棣莫弗)于1733年受次提出的,但由于德国数学家Gauss(高斯)率先将其应用于天文学家研究,故正态分布又叫高斯分布...
  • MATLAB绘制正态分布概率密度函数(normpdf)图形发布时间:2018-10-14 20:58,浏览次数:809, 标签:MATLABnormpdf这里是一个简单的实现代码x=linspace(-5,5,50); %生成负五到五之间的五十个数,行矢量y=normpdf(x,0,1)...
  • 问题1:标准正态分布(根据z值求p值),z值代表面积,p值代表概率; 用U表示标准正态分布,临界值Zα满足P(U&gt;Zα)=Zα,即P(U≤Zα)=1-α。当α=0.025时,就是查表中0.975对应的值,0.975在表中1.9那一行,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,368
精华内容 3,347
关键字:

对数正态分布公式

友情链接: phpmsnclass_gbgq5wcz.rar