对数正态分布

在概率论与统计学中，任意随机变量的对数服从正态分布，则这个随机变量服从的分布称为对数正态分布。如果$Y$是正态分布的随机变量，则$exp(Y)$（指数函数）为对数正态分布；同样，如果

正态分布

令$\Phi \left(y\right)$，$\phi \left(y\right)$分别表示正态分布$N\left(\mu ,{\sigma }^2\right)$的CDF和PDF，其中
$$\phi \left(y\right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\left(y-\mu \right)}^2}{2{\sigma }^2}},-\infty <y<+\infty$$
累积分布函数CDF是指随机变量$Y$小于或等于$y$的概率，正态分布的CDF用概率密度函数表示为：
$$F\left(y;\mu ,\sigma \right)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^y{e}^{-\frac{{\left(t-\mu \right)}^2}{2{\sigma }^2}}dt$$
正态分布的CDF能够由一个叫做误差函数的特殊函数表示：
$$\Phi \left(y\right)=\frac{1}{2}\left[1+erf\left(\frac{y-\mu }{\sigma \sqrt{2}}\right)\right]$$

正态分布与对数正态分布

因$Y=\ln X\sim N\left(\mu ,{\sigma }^2\right)$，则$X=e^Y$且$Y\sim N\left(\mu ,{\sigma }^2\right)$，于是当$x>0$时，
F X ( x ) = Pr ⁡ { X ≤ x } = Pr ⁡ { e Y ≤ x } = Pr ⁡ { Y ≤ ln ⁡ ( x ) } = Φ ( ln ⁡ x ) {{F}_{X}}\left( x \right)=\Pr \left\{ X\le x \right\}=\Pr \left\{ {{e}^{Y}}\le x \right\}=\Pr \left\{ Y\le \ln \left( x \right) \right\}=\Phi \left( \ln x \right) FX​(x)=Pr{X≤x}=Pr{eY≤x}=Pr{Y≤ln(x)}=Φ(lnx)

对数正态分布

$$\Phi \left(x\right)=\frac{1}{2}\left[1+erf\left(\frac{\ln x-\mu }{\sigma \sqrt{2}}\right)\right]$$

几个积分的计算

摘要

本文讲简要介绍二元对数正态分布 (bivariate lognormal distribution) 的期望、方差，以及其相关系数的计算与性质。

对数正态分布

如果随机变量 $U$ 取值大于 0，并且 $X=\log (U)$, $X\sim N({\mu }_x,{\sigma }_x^2)$，我们就称 $U$ 服从对数正态分布。

我们看到对数正态分布是从正态分布派生出来的分布。自然的，二元对数正态分布也是从二元正态分布中派生的。我们先来回顾一下二元正态分布。

二元正态分布 (bivariate normal distribution)

在文章 生成一定相关性的二元正态分布 中我们有提到，如果二元随机变量 $(X,Y)$ 服从二元正态分布 (bivariate normal distribution) ，那么其概率密度函数为

$$\begin{array}{rl}f(x,y)& =\frac{1}{2\pi {\sigma }_x{\sigma }_Y\sqrt{1-{\rho }^2}}\times \\ & \exp \left(-\frac{1}{2(1-{\rho }^2)}\left(\right(\frac{x-{\mu }_x}{{\sigma }_x}{)}^2-2\rho (\frac{x-{\mu }_X}{{\sigma }_x})(\frac{y-{\mu }_y}{{\sigma }_y})+(\frac{y-{\mu }_y}{{\sigma }_y}{)}^2)\right)(\ast )\end{array}$$

上式中的 $\rho$ 即为 $X$ 与 $Y$ 的相关性系数 (correlation coefficient)。${\mu }_x$ 为 $X$ 的期望，${\mu }_y$ 为 $Y$ 的期望；${\sigma }_x^2$ 为 $X$ 的方差，${\sigma }_y^2$ 为 $Y$ 的方差。

回顾了二元正态分布的概念之后，我们可以定义二元对数正态分布如下：

定义：如果两个随机变量 $(X,Y)$ 服从二元正态分布，且另外两个随机变量 $(U,V)$，我们有 $U=\exp (X),V=\exp (Y)$。我们称 $(U,V)$ 服从二元对数正态分布。

对数正态分布的期望与方差

在看二元对数正态分布的性质之前，我们先来看一元对数正态分布的期望与方差。

假设我们有随机变量 $X\sim N({\mu }_x,{\sigma }_x^2)$, $U=\exp (X)$。那么我们可以直接用定义求出 $U$ 的期望。

$$\begin{array}{rl}\mathbb{E}(U)& ={\int }_{-\infty }^{\infty }{e}^x\cdot \frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{(x-{\mu }_x{)}^2}{2{\sigma }_x^2}}dx\\ & ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{1}{2{\sigma }_x^2}((x-{\mu }_x{)}^2-2{\sigma }_x^{2}x)}dx\\ & ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{1}{2{\sigma }_x^2}(x^2-2({\mu }_x+{\sigma }_x^2)x+{\mu }_x^2)}dx\\ & ={\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{1}{2{\sigma }_x^2}((x-({\mu }_x+{\sigma }_x^2){)}^2-{\sigma }_x^4-2{\mu }_x{\sigma }_x^2)}dx\\ & =\left({\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{1}{2{\sigma }_x^2}(x-({\mu }_x+{\sigma }_x^2){)}^2}dx\right)\cdot e^{-\frac{1}{2{\sigma }_x^2}(-{\sigma }_x^4-2{\mu }_x{\sigma }_x^2)}\end{array}$$

注意到，${\int }_{-\infty }^{\infty }\frac{1}{\sqrt{2\pi }{\sigma }_x}{e}^{-\frac{1}{2{\sigma }_x^2}(x-({\mu }_x+{\sigma }_x^2){)}^2}dx$ 这一项正是 $N({\mu }_x+{\sigma }_x^2,{\sigma }_x)$ 的概率密度函数在 $\mathbb{R}$ 上的积分，故其值等于 1。于是

$\mathbb{E}[U]=e^{-\frac{1}{2{\sigma }_x^2}(-{\sigma }_x^4-2{\mu }_x{\sigma }_x^2)}=\exp ({\mu }_x+\frac{1}{2}{\sigma }_x^2)$ 。

如果读者熟悉距生成函数 (moment-generating function) 的概念，我们就可以直接得到 $\mathbb{E}[U]=\mathbb{E}[e^X]$。

我们先来回忆一下距生成函数的定义。

定义： 随机变量 $X$ 的距生成函数 $M_X(t)$ 定义为
$M_X(t)=\mathbb{E}[e^{tX}]$，其中须要 $\mathbb{E}[e^{tX}]$ 在 $t=0$ 附近是存在的。

对于服从正态分布 $N({\mu }_x,{\sigma }_x^2)$ 的随机变量 $X$，可以计算其距生成函数是 $\exp ({\mu }_{x}t+\frac{1}{2}{\sigma }_x^2{t}^2)$。令 $t=1$，我们就直接得到 $\mathbb{E}[e^X]=\exp ({\mu }_x+\frac{1}{2}{\sigma }_x^2)$。这与我们上面得到的结果是一样的。

有了对数正态分布的期望，其方差的计算可以根据定义 $\text{Var}(U)=\mathbb{E}[U^2]-(\mathbb{E}[U]{)}^2$，

于是 $\text{Var}(U)=\exp (2{\mu }_x+2{\sigma }_x^2)-\exp (2{\mu }_x+{\sigma }_x^2)=\exp (2{\mu }_x+{\sigma }_x^2)\cdot (\exp ({\sigma }_x^2)-1))$。

二元对数正态分布的协方差

现在我们来看二元对数正态分布的协方差。根据协方差的定义，我们有 $Cov(U,V)=\mathbb{E}(UV)-\mathbb{E}(U)\mathbb{E}(V)$。假设 $U=\exp (X),V=\exp (Y)$，其中 $X\sim N({\mu }_x,{\sigma }_x^2),Y\sim N({\mu }_y,{\sigma }_y^2)$。根据上一节的介绍，我们知道 $\mathbb{E}(U)=\exp ({\mu }_x+\frac{1}{2}{\sigma }_x^2)$, $\mathbb{E}(V)=\exp ({\mu }_y+\frac{1}{2}{\sigma }_y^2)$。

而对于 $\mathbb{E}(UV)=\mathbb{E}(e^{X+Y})$，我们知道 $X+Y$ 仍然服从正态分布。这是因为，如果 $(X,Y)$ 服从二元正态分布，即 $(X,Y)$ 的概率密度函数是 (*) 式，那么我们有如下的定理：

定理： 如果二元随机变量 $(X,Y)$ 服从二元正态分布，即 $(X,Y)$ 的概率密度函数是 $(\ast )$ 式。那么对于任意的常数 $a,b$, 我们有随机变量 $aX+bY$ 服从正态分布，其均值为 $a{\mu }_x+b{\mu }_y$，方差是 $a^2{\sigma }_x^2+b^2{\sigma }_y^2+2ab{\sigma }_x{\sigma }_y\rho$。

根据上述定理，我们有 $X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2+2\rho {\sigma }_x{\sigma }_y)$。

从而 $\mathbb{E}(UV)=\mathbb{E}(e^{X+Y})=\exp ({\mu }_x+{\mu }_y+\frac{1}{2}({\sigma }_x^2+{\sigma }_y^2+2\rho {\sigma }_x{\sigma }_y))$。

现在，我们就可以计算 $\text{Cov}(U,V)$。代入上述计算，我们有
$\text{Cov}(U,V)=\exp ({\mu }_x+{\mu }_y+\frac{1}{2}({\sigma }_x^2+{\sigma }_y^2+2\rho {\sigma }_x{\sigma }_y))-\exp ({\mu }_x+\frac{1}{2}{\sigma }_x^2)\cdot \exp ({\mu }_y+\frac{1}{2}{\sigma }_y^2)=\exp ({\mu }_x+{\mu }_y+\frac{1}{2}({\sigma }_x^2+{\sigma }_y^2))\cdot (\exp (\rho {\sigma }_x{\sigma }_y-1))$

二元对数正态分布的相关系数

那么，$U,V$ 的相关系数即为：

$\text{corr}(U,V)=\frac{\text{Cov}(U,V)}{\sqrt{\text{Var}(U)\cdot \text{Var}(V)}}$

将 $\text{Cov}(U,V),\text{Var}(U),\text{Var}(V)$ 代入，我们有

$\text{corr}(U,V)=\frac{e^{(\rho {\sigma }_x{\sigma }_y)}-1}{\sqrt{(e^{{\sigma }_x^2}-1)(e^{{\sigma }_y^2}-1)}}(\ast \ast )$

模拟验证

下面我们用代码快速检验下上面的相关系数的公式。 我们根据文章 生成一定相关性的二元正态分布 中的代码，生产 $N $ 对服从二元正态分布的随机数 $(X,Y)$，然后取 $U=\exp (X),V=\exp (V)$，计算 $U,V$ 的相关系数，然后与用公式计算得到的数值相比较。

import numpy as np
import matplotlib.pyplot as plt

class bivariateNormal:
    
    def __init__(self, rho: 'float', m: int):
        """
        Suppose we want to generate a pair of 
        random variables X, Y, with X ~ N(0, 1), 
        Y ~ N(0, 1), and Cor(X, Y) = rho. m is 
        the number of data pairs we want to generate.
        """
        self.rho = rho
        self.m = m
    
    def generateBivariate(self) -> 'tuple(np.array, np.array)':
        """
        Generate two random variables X, Y, with X ~ N(0, 1), 
        Y ~ N(0, 1), and Cor(X, Y) = rho. 
        self.m is the number of sample points we generated.
        We return a tuple (X, Y). 
        """
        theta = np.arcsin(self.rho) / 2
        A = np.random.normal(0, 1, self.m)
        B = np.random.normal(0, 1, self.m)
        X = np.cos(theta) * A + np.sin(theta) * B
        Y = np.sin(theta) * A + np.cos(theta) * B
        return X, Y

我们取 ${\mu }_x={\mu }_y=0,{\sigma }_x={\sigma }_y=1$，生成 $N$ 对服从二元正态分布的随机变量取值 $(X,Y)$ 。这里取 $N=10^4$。

N = 10 ** 4
exp_corr = 0 # 记录要模拟的二元对数正态分布的相关系数
rho = -0.9
m = 10 ** 4
a = bivariateNormal(rho, m)
for i in range(N):
    x, y = a.generateBivariate()
    x_exp = np.exp(x)
    y_exp = np.exp(y)
    exp_corr += np.corrcoef(x_exp, y_exp)[0][1]
print(exp_corr / N)

输出结果如下：

-0.3475984850891084

而根据上述的分析，其解析值应该为

$\frac{e^{-0.9}-1}{e-1}=-0.34536263518051$。

可以看出模拟值与解析值很接近。

二元正态分布与其对应的二元对数正态分布相关系数的比较

假设 ${\sigma }_x={\sigma }_y=\sigma$，代入 $(\ast \ast )$ 式，我们有

$\text{corr}(U,V)=\frac{\exp (\rho {\sigma }^2)-1}{\exp ({\sigma }^2)-1}$。

rho = np.linspace(-1, 1, 20)
corr_bi_lognormal_0p5 = (np.exp(rho * 0.5 ** 2) - 1) / (np.exp(0.5 ** 2) - 1)
corr_bi_lognormal_1 = (np.exp(rho * 1 ** 2) - 1) / (np.exp(1 ** 2) - 1)
corr_bi_lognormal_2 = (np.exp(rho * 2 ** 2) - 1) / (np.exp(2 ** 2) - 1)

plt.figure(figsize=(12, 8))
plt.plot(rho, corr_bi_lognormal, 'b*', 
         rho, corr_bi_lognormal_1, 'gs',
         rho, corr_bi_lognormal_2, 'yo', 
         rho, rho, 'r-', linewidth=2, markersize=10);
plt.xlabel(r'$\rho$', fontsize=36)
plt.ylabel("corr(U, V)", fontsize=36)
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
plt.legend([r'$\sigma=0.5$', r'$\sigma=1$', r'$\sigma=2$', 'bivariate normal'], fontsize=24)

可以看出二元对数正态分布的相关性要低于相对应的二元正态分布的相关性。而当 $\rho =1$ 时，即原来的二元正态分布的两个随机变量 $X,Y$ 的相关系数为 1时，且 ${\sigma }_x={\sigma }_y$，对应的二元对数正态分布的相关系数也是 1。

参考文献

[1] 40 Puzzles and Problems in Probability and Mathematical Statistics, Wolfgang Schwarz, page 114, Springer (2007)