使用Python计算方差，协方差和相关系数

[TOC]

数学定义

期望

设随机变量\(X\)只取有限个可能值\(a_i (i=0, 1, ..., m)\)，其概率分布为\(P (X = a_i) = p_i\). 则\(X\)的数学期望，记为\(E(X)\)或\(EX\)，定义为：

\[E(X) = \sum\limits_ia_ip_i\]

方差

设\(X\)为随机变量，分布为\(F\)，则

\[Var(X) = E(X-EX)^2 \]

称为\(X\)(或分布\(F\))的方差，其平方根\(\sqrt{Var(X)}\)称为\(X\)(或分布\(F\))的标准差.

方差和标准差是刻画随机变量在其中心位置附近散布程度的数字特征。

注意：样本方差和总体方差的区别

统计学上对于样本方差的无偏估计使用如下公式计算：

\[s^2 = \frac{1}{n-1} \sum\limits_{i=1}^n(x_i -\bar{x})^2 \]

前面有一个系数\(\frac{1}{n-1}\)，当时当样本数量很大的时候，\(\frac{n}{n-1}\)近似为1，可以直接使用总体方差公式进行计算。

协方差

协方差用来刻画两个随机变量\(X, Y\)之间的相关性，定义为

\[Cov(X, Y) = E[(X - EX)(Y-EY)]\]

如果协方差为正，说明X，Y同向变化，协方差越大说明同向程度越高；如果协方差为负，说明X，Y反向运动，协方差越小说明反向程度越高

相关系数

相关系数可以理解为标准化以后的协方差，设\(X\)的标准差为\(\sigma_x\)，\(Y\)的标准差为\(\sigma_y\)定义为

\[\rho = \frac{Cov(X, Y)}{\sigma_x\sigma_y}\]

相关系数消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度

协方差矩阵

协方差只能表示两个随机变量的相关程度(二维问题)，对于大于二维的随机变量，可以使用协方差矩阵表示.

协方差矩阵的每一个值就是对应下标的两个随机变量的协方差

对于三维协方差矩阵，\(C=\begin{bmatrix}Cov(X, X) & Cov(X, Y) & Cov(X, Z) \\ Cov(Y, X) & Cov(Y, Y) & Cov(X, Y) \\ Cov(Z, X) & Cov(Z, Y) & Cov(Z, Z)\end{bmatrix}\)

使用NumPy包计算

import numpy as np

# 随机生成两个样本

x = np.random.randint(0, 9, 1000)

y = np.random.randint(0, 9, 1000)

# 计算平均值

mx = x.mean()

my = y.mean()

# 计算标准差

stdx = x.std()

stdy = y.std()

# 计算协方差矩阵

covxy = np.cov(x, y)

print(covxy)

# 我们可以手动进行验证

# covx等于covxy[0, 0], covy等于covxy[1, 1]

# 我们这里的计算结果应该是约等于，因为我们在计算的时候是使用的总体方差(总体方差和样本方差是稍微有点区别的)

covx = np.mean((x - x.mean()) ** 2)

covy = np.mean((y - y.mean()) ** 2)

print(covx)

print(covy)

# 这里计算的covxy等于上面的covxy[0, 1]和covxy[1, 0]，三者相等

covxy = np.mean((x - x.mean()) * (y - y.mean()))

print(covxy)

# 下面计算的是相关系数矩阵(和上面的协方差矩阵是类似的)

coefxy = np.corrcoef(x, y)

print(coefxy)

一组可能的输出结果：

[[6.83907508 0.10925926]

[0.10925926 6.53390891]]

6.832236

6.527375

0.10914999999999989

[[1. 0.01634455]

[0.01634455 1. ]]

我有一个1043*261矩阵，在0和1之间有很小的数字，我用numpy.cov公司()功能。我试着运行代码几次，得到了相似的(不完全相同的)协方差矩阵，但是协方差矩阵中的元素在e-7尺度上略有不同。这有时会使协方差矩阵非PSD，这会给我带来严重的问题。在

有人知道为什么会有分歧，以及如何解决它吗？在

附件是两个协方差矩阵，我通过运行相同的代码两次。如果按元素对它们进行比较，您将看到细微差别：No. 1

[[ 5.05639177e-06 2.44041401e-06 3.30187175e-06 ..., 1.66634014e-06

4.03972183e-06 1.18433575e-06]

[ 2.44041401e-06 9.67277658e-06 9.04356309e-06 ..., 2.50668884e-06

5.43371939e-06 4.74297546e-06]

[ 3.30187175e-06 9.04356309e-06 2.09334309e-05 ..., 3.13977728e-06

8.69946165e-06 6.15981652e-06]

...,

[ 1.66634014e-06 2.50668884e-06 3.13977728e-06 ..., 4.20175297e-06

4.16076781e-06 1.59827406e-06]

[ 4.03972183e-06 5.43371939e-06 8.69946165e-06 ..., 4.16076781e-06

2.58010941e-05 3.02797946e-06]

[ 1.18433575e-06 4.74297546e-06 6.15981652e-06 ..., 1.59827406e-06

3.02797946e-06 6.60805238e-06]]

No.2

[[ 5.05997030e-06 2.42187179e-06 3.30788097e-06 ..., 1.66495376e-06

4.03676937e-06 1.17413702e-06]

[ 2.42187179e-06 9.60677140e-06 9.05219266e-06 ..., 2.50338648e-06

5.42679569e-06 4.75547515e-06]

[ 3.30788097e-06 9.05219266e-06 2.04172017e-05 ..., 3.13058624e-06

8.67976701e-06 6.28137859e-06]

...,

[ 1.66495376e-06 2.50338648e-06 3.13058624e-06 ..., 4.20175297e-06

4.16076781e-06 1.59827884e-06]

[ 4.03676937e-06 5.42679569e-06 8.67976701e-06 ..., 4.16076781e-06

2.58010941e-05 3.02810307e-06]

[ 1.17413702e-06 4.75547515e-06 6.28137859e-06 ..., 1.59827884e-06

3.02810307e-06 6.63834973e-06]]

非常感谢！在