精华内容
下载资源
问答
  • 自协方差函数(Autocovariance function)自协方差函数是描述随机信号X(t)在任意两个不同时刻t1,t2,的取值之间的二阶混合中心矩,用来描述X(t)在两个时刻取值的起伏变化(相对与均值)的相关程度,也称为中心化的...

    1.自相关函数(Autocorrelation function)

    自相关函数是描述随机信号X(t)在任意两个不同时刻t1,t2,的取值之间的相关程度

    0818b9ca8b590ca3270a3433284dd417.png

    2. 自协方差函数(Autocovariance function)

    自协方差函数是描述随机信号X(t)在任意两个不同时刻t1,t2,的取值之间的二阶混合中心矩,用来描述X(t)在两个时刻取值的起伏变化(相对与均值)的相关程度,也称为中心化的自相关函数。

    0818b9ca8b590ca3270a3433284dd417.png

    0818b9ca8b590ca3270a3433284dd417.png时, 

    0818b9ca8b590ca3270a3433284dd417.png

    显然,自协方差函数和自相关函数描述的特性基本相同。

    3. 协方差矩阵

    0818b9ca8b590ca3270a3433284dd417.png

    记住,X、Y是一个列向量,它表示了每种情况下每个样本可能出现的数。比如给定

    0818b9ca8b590ca3270a3433284dd417.png

    由于数据是二维的,所以协方差矩阵是一个2*2的矩阵,矩阵的每个元素为:元素(i,j) = (第 i 维所有元素 - 第 i 维的均值) * (第 j 维所有元素 - 第 j 维的均值) 。

    其中「*」代表向量内积符号,即两个向量求内积,对应元素相乘之后再累加。

    我们首先列出第一维:D1: (1,3,4,5) 均值:3.25

    D2: (2,6,2,2) 均值:3

    下面计算协方差矩阵第(1,2)个元素:

    元素(1,2)=(1-3.25,3-3.25,4-3.25,5-3.25)*(2-3,6-3,2-3,2-3)=-1

    类似的,我们可以把2*2个元素都计算出来:

    0818b9ca8b590ca3270a3433284dd417.png

    这个题目的最终结果就是:

    用matlab计算这个例子

    z=[1,2;3,6;4,2;5,2]

    cov(z)

    ans =

    2.9167   -0.3333

    -0.3333    4.0000

    可以看出,matlab计算协方差过程中还将元素统一缩小了3倍。所以,协方差的matlab计算公式为:

    协方差(i,j)=(第i列所有元素-第i列均值)*(第j列所有元素-第j列均值)/(样本数-1)

    参考:

    [1] http://en.wikipedia.org/wiki/Covariance_matrix

    [2] http://www.cnblogs.com/cvlabs/archive/2010/05/08/1730319.html

    [3]http://blog.csdn.net/ybdesire/article/details/6270328

    [4] http://202.117.122.42:9001/xhxt/xhyxt/xuexi/chart9/c_9_2_3_001.htm

    展开全文
  • MA模型自协方差证明

    2021-10-27 15:03:50
    MA模型的自协方差函数证明 ∵E(εt)=0∴ cov(Xt,Xt−k)=cov(εt−θ1εt−1−⋯−θqεt−q,εt−k−θ1εt−k−1−⋯−θqεt−k−q)=∑i=0q∑j=0qθiθjcov(εt−i,εt−k−j)=∑i=0q∑j=0qθiθjE(εt−i,ε...

    MA模型的自协方差函数证明

    ∵ E ( ε t ) = 0 ∴   c o v ( X t , X t − k ) = c o v ( ε t − θ 1 ε t − 1 − ⋯ − θ q ε t − q , ε t − k − θ 1 ε t − k − 1 − ⋯ − θ q ε t − k − q ) = c o v ( ε t , ε t − k ) − ∑ j = 1 q θ 0 θ j c o v ( ε t , ε t − k − j ) − ∑ i = 1 q θ i θ 0 c o v ( ε t − i , ε t − k ) + ∑ i = 1 q ∑ j = 1 q θ i θ j c o v ( ε t − i , ε t − k − j ) = E ( ε t , ε t − k ) − ∑ j = 1 q θ 0 θ j E ( ε t , ε t − k − j ) − ∑ i = 1 q θ i θ 0 E ( ε t − i , ε t − k ) + ∑ i = 1 q ∑ j = 1 q θ i θ j E ( ε t − i , ε t − k − j ) \because E(\varepsilon_t)=0\\ \therefore\ cov(X_t,X_{t-k})\\ =cov(\varepsilon_t-\theta_1\varepsilon_{t-1}-\dots-\theta_q\varepsilon_{t-q}, \varepsilon_{t-k}-\theta_1\varepsilon_{t-k-1}-\dots-\theta_q\varepsilon_{t-k-q}) \\=cov(\varepsilon_t,\varepsilon_{t-k})-\displaystyle\sum_{j=1}^q\theta_0\theta_jcov(\varepsilon_{t},\varepsilon_{t-k-j})-\displaystyle\sum_{i=1}^q\theta_i\theta_0cov(\varepsilon_{t-i},\varepsilon_{t-k})+\displaystyle\sum_{i=1}^q\displaystyle\sum_{j=1}^q\theta_i\theta_jcov(\varepsilon_{t-i},\varepsilon_{t-k-j}) \\=E(\varepsilon_t,\varepsilon_{t-k})-\displaystyle\sum_{j=1}^q\theta_0\theta_jE(\varepsilon_{t},\varepsilon_{t-k-j})-\displaystyle\sum_{i=1}^q\theta_i\theta_0E(\varepsilon_{t-i},\varepsilon_{t-k})+\displaystyle\sum_{i=1}^q\displaystyle\sum_{j=1}^q\theta_i\theta_jE(\varepsilon_{t-i},\varepsilon_{t-k-j}) E(εt)=0 cov(Xt,Xtk)=cov(εtθ1εt1θqεtq,εtkθ1εtk1θqεtkq)=cov(εt,εtk)j=1qθ0θjcov(εt,εtkj)i=1qθiθ0cov(εti,εtk)+i=1qj=1qθiθjcov(εti,εtkj)=E(εt,εtk)j=1qθ0θjE(εt,εtkj)i=1qθiθ0E(εti,εtk)+i=1qj=1qθiθjE(εti,εtkj)

    情况一: k = 0 时 k=0时 k=0
    c o v ( X t , X t − k ) = v a r ( X t ) = ( 1 + θ 1 2 + θ 2 2 + ⋯ + θ q 2 ) σ ε 2 cov(X_t,X_{t-k})= var(X_t)=(1+\theta_1^2+\theta_2^2+\dots+\theta_q^2)\sigma _\varepsilon^2 cov(Xt,Xtk)=var(Xt)=(1+θ12+θ22++θq2)σε2

    情况二: 1 ≤ k ≤ q 1\le k\le q 1kq时,当且仅当 ε t − i = ε t − k − i \varepsilon_{t-i}=\varepsilon_{t-k-i} εti=εtki时有意义,则有
    t − i = t − k − j i = k + j t-i=t-k-j\\ i=k+j ti=tkji=k+j

    E ( ε t − i , ε t − k − j ) = { σ ε 2 ,  i = k + j 0 ,  i ≠ k + j E(\varepsilon_{t-i},\varepsilon_{t-k-j}) = \begin{cases} \sigma_\varepsilon^2 &\text{, } i=k+j \\ 0 &\text{, } i\not=k+j \end{cases} E(εti,εtkj)={σε20i=k+ji=k+j
    那么有
    c o v ( X t , X t − k ) = { θ k + j θ j σ ε 2 ,  i = k + j 0 ,  i ≠ k + j cov(X_t,X_{t-k}) = \begin{cases} \theta_{k+j}\theta_j\sigma_\varepsilon^2 &\text{, } i=k+j \\ 0 &\text{, } i\not=k+j \end{cases} cov(Xt,Xtk)={θk+jθjσε20i=k+ji=k+j
    特别注意的是,这里假设前提是 θ 0 = 1 \theta_0=1 θ0=1
    故 当 j = 0    ⟹    k + j = k 时 故当j=0\implies k+j=k时 j=0k+j=k
    θ k + j θ j = θ k \theta_{k+j}\theta_j=\theta_k θk+jθj=θk
    由于 0 ≤ i ≤ q    ⟹    j ≤ q − k 0\le i\le q\implies j\le q-k 0iqjqk
    故就有 c o v ( X t , X t − k ) = ( − θ k + ∑ j = 0 q − k θ j θ k + j ) σ ε 2 cov(X_t,X_{t-k})=(-\theta_k+\displaystyle\sum_{j=0}^{q-k}\theta_j\theta_{k+j})\sigma_\varepsilon^2 cov(Xt,Xtk)=(θk+j=0qkθjθk+j)σε2
    情况三: k > q k>q k>q
    已知
    E ( ε t − i , ε t − k − j ) = { σ ε 2 ,  i = k + j 0 ,  i ≠ k + j E(\varepsilon_{t-i},\varepsilon_{t-k-j}) = \begin{cases} \sigma_\varepsilon^2 &\text{, } i=k+j \\ 0 &\text{, } i\not=k+j \end{cases} E(εti,εtkj)={σε20i=k+ji=k+j
    ∵ 0 ≤ i ≤ q    ⟹    0 ≤ k + j ≤ q , 与 k > q 相 悖 \because 0\le i\le q\implies 0 \le k+j\le q,与k>q相悖 0iq0k+jq,k>q
    故不存在 E ( ε t − i , ε t − k − j ) ≠ 0 E(\varepsilon_{t-i},\varepsilon_{t-k-j})\not=0 E(εti,εtkj)=0的情况,即 γ k = c o v ( X t , X t − k ) = 0 \gamma_k=cov(X_t,X_{t-k})=0 γk=cov(Xt,Xtk)=0


    To summarise:

    γ k { ( 1 + θ 1 2 + θ 2 2 + ⋯ + θ q 2 ) σ ε 2 ,  k = 0 ( − θ k + ∑ j = 0 q − k θ j θ k + j ) σ ε 2 ,  1 ≤ k ≤ q 0 ,  k > q \gamma_k \begin{cases} (1+\theta_1^2+\theta_2^2+\dots+\theta_q^2)\sigma _\varepsilon^2&\text{, } k=0\\ (-\theta_k+\displaystyle\sum_{j=0}^{q-k}\theta_j\theta_{k+j})\sigma_\varepsilon^2 &\text{, } 1\le k\le q\\ 0 &\text{, } k>q \end{cases} γk(1+θ12+θ22++θq2)σε2(θk+j=0qkθjθk+j)σε20k=01kqk>q

    展开全文
  • 目录写在前面的话前置知识相关矩阵自协方差矩阵相关矩阵与自协方差矩阵的关系互相关矩阵互协方差矩阵互相关矩阵与互协方差矩阵的关系性质相关系数 写在前面的话 最近看模式识别课程的时候卡在了一个地方,见下图...

    写在前面的话

    最近看模式识别课程的时候卡在了一个地方,见下图:
    在这里插入图片描述
    协方差矩阵倒还知道,自相关矩阵?怎么推导的?它有什么意义?上网查了资料,要么晦涩难懂,要么一堆废话,这里我想尽量用最简洁的语言讲清楚它们。

    前置知识

    向量的内积与外积

    场景:机器学习

    样本(n个样本,N个维度(特征)):
    X = { x 1 , x 2 , . . . , x n } x i = { w i , 1 , w i , 2 , . . . , w i , N } T i ∈ [ 1 , n ] w j = { w 1 , j , w 2 , j , . . . , w n , j } j ∈ [ 1 , N ] X=\left \{ x_1,x_2,...,x_n \right \} \\ x_i=\left \{ w_{i,1},w_{i,2},...,w_{i,N} \right \} ^T \\ i\in \left [ 1,n \right ] \\ w_j=\left \{ w_{1,j},w_{2,j},...,w_{n,j} \right \}\\ j\in \left [ 1,N \right ] \\ X={x1,x2,...,xn}xi={wi,1,wi,2,...,wi,N}Ti[1,n]wj={w1,j,w2,j,...,wn,j}j[1,N]
    这里的i和j与下面的i和j无关!!!

    具体样例(3个样本,4个维度(特征)):
    X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X=\left \{ x_1,x_2,x_3 \right \} \\ x_1=\left \{ 1,2,3,4 \right \} ^T\\ x_2=\left \{ 3,2,1,4 \right \} ^T\\ x_3=\left \{ 2,2,3,4 \right \} ^T X={x1,x2,x3}x1={1,2,3,4}Tx2={3,2,1,4}Tx3={2,2,3,4}T
    方差(后面会频繁用到方差):
    在这里插入图片描述

    自协方差矩阵

    首先定义由各样本向量均值构成的向量 M X M_X MX ,则样本向量 X X X构成的协方差矩阵记为 :
    M X = E ( X ) = { m 1 , m 2 , . . . , m N } T C X , X = E { ( X − M X ) ( X − M X ) T } = [ c 1 , 1 . . . c 1 , N . . . . . . . . . c N , 1 . . . c N , N ] M_X=E\left ( X \right )=\left \{ m_1,m_2,...,m_N \right \}^T \\ C_{X,X}=E\left\{ \left ( X-M_X \right )\left ( X-M_X \right ) ^T \right\} =\begin{bmatrix} c_{1,1} & ... & c_{1,N}\\ ... & ... & ...\\ c_{N,1} & ... &c_{N,N} \end{bmatrix} MX=E(X)={m1,m2,...,mN}TCX,X=E{(XMX)(XMX)T}=c1,1...cN,1.........c1,N...cN,N
    c i , i c_{i,i} ci,i w i w_i wi的方差:
    c i , i = E { ( w i − M X , i ) ( w i − M X , i ) T } = E { ∣ w i − M X , i ∣ 2 } c_{i,i}=E\left\{ \left ( w_i-M_{X,i} \right )\left ( w_i-M_{X,i} \right ) ^T \right\} =E\left \{ \left | w_i-M_{X,i} \right |^2 \right \} ci,i=E{(wiMX,i)(wiMX,i)T}=E{wiMX,i2}
    c i , j c_{i,j} ci,j w i w_i wi w j w_j wj的协方差:
    c i , j = E { ( w i − M X , i ) ( w j − M X , j ) T } c_{i,j}=E\left\{ \left ( w_i-M_{X,i} \right )\left ( w_j-M_{X,j}\right ) ^T \right\} ci,j=E{(wiMX,i)(wjMX,j)T}
    通过公式可以知道,自协方差矩阵也是Hermitian矩阵。自协方差矩阵也被称为方差矩阵,用符号 V a r ( X ) Var(X) Var(X)表示。

    注意,自协方差矩阵是N*N的方阵,理解协方差矩阵的关键就在于它的计算是不同维度之间的协方差,而不是不同样本之间。拿到一个样本矩阵,最先要明确的就是一行是一个样本还是一个维度。在这里一行是一个维度,一列是一个样本,这一点一定要记住!

    具体样例

    X = { x 1 , x 2 , x 3 } x 1 = { 1 , 2 , 3 , 4 } T x 2 = { 3 , 2 , 1 , 4 } T x 3 = { 2 , 2 , 3 , 4 } T X = [ 1 3 2 2 2 2 3 1 3 4 4 4 ] X=\left \{ x_1,x_2,x_3 \right \} \\ x_1=\left \{ 1,2,3,4 \right \} ^T\\ x_2=\left \{ 3,2,1,4 \right \} ^T\\ x_3=\left \{ 2,2,3,4 \right \} ^T\\ X=\begin{bmatrix} 1 & 3 & 2 \\ 2 & 2 & 2 \\ 3 & 1 & 3 \\ 4 & 4 & 4 \\ \end{bmatrix} X={x1,x2,x3}x1={1,2,3,4}Tx2={3,2,1,4}Tx3={2,2,3,4}TX=123432142234

    M X = E ( X ) = { m 1 , m 2 , . . . , m N } T m 1 = ( 1 + 3 + 2 ) / 3 = 2 m 2 = ( 2 + 2 + 2 ) / 3 = 2 m 3 = ( 3 + 1 + 3 ) / 3 = 2.5 m 4 = ( 4 + 4 + 4 ) / 3 = 4 M X = { 2 , 3 , 2.5 , 4 } T M_X=E\left ( X \right )=\left \{ m_1,m_2,...,m_N \right \} ^T \\ m_1=(1+3+2)/3=2\\ m_2=(2+2+2)/3=2\\ m_3=(3+1+3)/3=2.5\\ m_4=(4+4+4)/3=4\\ M_X=\left \{ 2,3,2.5,4 \right \} ^T MX=E(X)={m1,m2,...,mN}Tm1=(1+3+2)/3=2m2=(2+2+2)/3=2m3=(3+1+3)/3=2.5m4=(4+4+4)/3=4MX={2,3,2.5,4}T
    C X , X = E { ( X − M X ) ( X − M X ) T } = [ c 1 , 1 . . . c 1 , N . . . . . . . . . c N , 1 . . . c N , N ] C_{X,X}=E\left\{ \left ( X-M_X \right )\left ( X-M_X \right ) ^T \right\} =\begin{bmatrix} c_{1,1} & ... & c_{1,N}\\ ... & ... & ...\\ c_{N,1} & ... &c_{N,N} \end{bmatrix} CX,X=E{(XMX)(XMX)T}=c1,1...cN,1.........c1,N...cN,N
    X − M X = [ 1 − 2 3 − 2 2 − 2 2 − 3 2 − 3 2 − 3 3 − 2.5 1 − 2.5 3 − 2.5 4 − 4 4 − 4 4 − 4 ] = [ − 1 1 0 − 1 − 1 − 1 0.5 − 1.5 0.5 0 0 0 ] X-M_X =\begin{bmatrix} 1-2 & 3-2 & 2-2 \\ 2-3 & 2-3 & 2-3 \\ 3-2.5 & 1-2.5 & 3-2.5 \\ 4-4 & 4-4 & 4-4 \\ \end{bmatrix}= \begin{bmatrix} -1 & 1 & 0 \\ -1 & -1 & -1 \\ 0.5 & -1.5 & 0.5 \\ 0 & 0 & 0 \\ \end{bmatrix} XMX=122332.544322312.544222332.544=110.50111.50010.50
    ( X − M X ) T = [ − 1 − 1 0.5 0 1 − 1 − 1.5 0 0 − 1 0.5 0 ] \left ( X-M_X \right ) ^T=\begin{bmatrix} -1 & -1 & 0.5 & 0\\ 1 & -1 & -1.5 & 0\\ 0 & -1 & 0.5 & 0\\ \end{bmatrix} (XMX)T=1101110.51.50.5000
    c i , i c_{i,i} ci,i w i w_i wi的方差:
    c i , i = E { ( w i − M X , i ) ( w i − M X , i ) T } = E { ∣ w i − M X , i ∣ 2 } w 1 − M X , 1 = [ 1 − 2 3 − 2 2 − 2 ] T = [ − 1 1 0 ] T ( x 1 − M X , 1 ) ( x 1 − M X , 1 ) T = ( − 1 ) ∗ ( − 1 ) + ( 1 ) ∗ ( 1 ) + 0 ∗ 0 = 2 E { ∣ w 1 − M X , 1 ∣ 2 } = 2 / n = 2 / 3 c_{i,i}=E\left\{ \left ( w_i-M_{X,i} \right )\left ( w_i-M_{X,i} \right ) ^T \right\} =E\left \{ \left | w_i-M_{X,i} \right |^2 \right \} \\ w_1-M_{X,1} =\begin{bmatrix} 1-2 & 3-2 & 2-2 \\ \end{bmatrix}^T=\begin{bmatrix} -1 & 1 & 0 \\ \end{bmatrix}^T\\ \left ( x_1-M_{X,1} \right )\left ( x_1-M_{X,1} \right ) ^T=(-1)*(-1)+(1)*(1)+0*0=2\\ E\left \{ \left | w_1-M_{X,1}\right |^2 \right \} =2/n=2/3 ci,i=E{(wiMX,i)(wiMX,i)T}=E{wiMX,i2}w1MX,1=[123222]T=[110]T(x1MX,1)(x1MX,1)T=(1)(1)+(1)(1)+00=2E{w1MX,12}=2/n=2/3

    在matlab里面是除以样本数减1的差值,即n-1。

    c i , j c_{i,j} ci,j w i w_i wi w j w_j wj的协方差:
    c i , j = E { ( w i − M X , i ) ( w j − M X , j ) T } w 1 − M X , 1 = [ 1 − 2 3 − 2 2 − 2 ] T = [ − 1 1 0 ] T w 2 − M X , 2 = [ 2 − 3 2 − 3 2 − 3 ] T = [ − 1 − 1 − 1 ] T ( x 1 − M X , 1 ) ( x 2 − M X , 2 ) T = ( − 1 ) ∗ ( − 1 ) + ( 1 ) ∗ ( − 1 ) + 0 ∗ ( − 1 ) = 0 E { ( w i − M X , i ) ( w j − M X , j ) T } = 0 / n = 0 c_{i,j}=E\left\{ \left ( w_i-M_{X,i} \right )\left ( w_j-M_{X,j}\right ) ^T \right\} \\ w_1-M_{X,1} =\begin{bmatrix} 1-2 & 3-2 & 2-2 \\ \end{bmatrix}^T=\begin{bmatrix} -1 & 1 & 0 \\ \end{bmatrix}^T\\ w_2-M_{X,2} =\begin{bmatrix} 2-3 & 2-3 & 2-3 \\ \end{bmatrix}^T=\begin{bmatrix} -1 & -1 & -1 \\ \end{bmatrix}^T\\ \left ( x_1-M_{X,1} \right )\left ( x_2-M_{X,2} \right ) ^T=(-1)*(-1)+(1)*(-1)+0*(-1)=0\\ E\left\{ \left ( w_i-M_{X,i} \right )\left ( w_j-M_{X,j}\right ) ^T \right\}=0/n=0 ci,j=E{(wiMX,i)(wjMX,j)T}w1MX,1=[123222]T=[110]Tw2MX,2=[232323]T=[111]T(x1MX,1)(x2MX,2)T=(1)(1)+(1)(1)+0(1)=0E{(wiMX,i)(wjMX,j)T}=0/n=0

    自相关矩阵

    自相关矩阵定义为样本向量与自身的外积的数学期望,其实就是自协方差矩阵不减均值向量就好:
    R X , X = E ( X X T ) = [ r 1 , 1 . . . r 1 , N . . . . . . . . . r N , 1 . . . r N , N ] R_{X,X}=E\left ( XX^T \right ) =\begin{bmatrix} r_{1,1} & ... & r_{1,N}\\ ... & ... & ...\\ r_{N,1} & ... &r_{N,N} \end{bmatrix} RX,X=E(XXT)=r1,1...rN,1.........r1,N...rN,N

    r i , i r_{i,i} ri,i w i w_i wi的自相关系数:
    r i , i = E { w i w i T } = E { ∣ w i ∣ 2 } r_{i,i}=E\left\{ w_i w_i ^T \right\}=E\left \{ \left | w_i \right |^2 \right \} ri,i=E{wiwiT}=E{wi2}
    r i , j r_{i,j} ri,j w i w_i wi w j w_j wj的互相关系数:
    r i , j = E { w i w j T } r_{i,j}=E\left \{ w_iw_j^T \right \} ri,j=E{wiwjT}
    自相关矩阵是复共轭对称的,即为Hermitian矩阵。

    这里就不举例了,计算方法都相似~

    自相关矩阵与自协方差矩阵的关系

    自相关矩阵与自协方差矩阵存在如下关系:
    C X , X = R X , X − M X M X T C_{X,X}=R_{X,X}-M_XM_X^T CX,X=RX,XMXMXT

    互协方差矩阵

    考虑又一个数据集,样本数量无所谓,但是特征数一定要是N:
    Y = { y 1 , y 2 , . . . , y n } T Y=\left \{ y_1,y_2,...,y_n \right \}^T Y={y1,y2,...,yn}T
    通过自协方差矩阵的推广,可以得到样本向量 X X X Y Y Y的互协方差矩阵,定义为:
    M X = E ( X ) M Y = E ( Y ) C X , Y = E { ( X − M X ) ( Y − M Y ) T } = [ c w x 1 , w y 1 . . . c w x 1 , w y N . . . . . . . . . c w x N , w y 1 . . . c w x N , w y N ] M_X=E\left ( X \right ) \\ M_Y=E\left ( Y \right ) \\ C_{X,Y}=E\left\{ \left ( X-M_X \right )\left ( Y-M_Y \right ) ^T \right\} =\begin{bmatrix} c_{w_{x1},w_{y1}} & ... & c_{w_{x1},w_{yN}}\\ ... & ... & ...\\ c_{w_{xN},w_{y1}} & ... &c_{w_{xN},w_{yN}} \end{bmatrix} MX=E(X)MY=E(Y)CX,Y=E{(XMX)(YMY)T}=cwx1,wy1...cwxN,wy1.........cwx1,wyN...cwxN,wyN
    互协方差表示两个向量对应元素减去各自期望,再相乘再做期望。

    ( X − M X ) , ( Y − M Y ) T \left ( X-M_X \right ),\left ( Y-M_Y \right ) ^T (XMX),(YMY)T表示两个零期望的随机序列。

    互相关矩阵

    通过自相关矩阵的推广,可以得到样本向量 X X X Y Y Y的互相关矩阵,定义为:
    R X , Y = E ( X Y T ) = [ r w x 1 , w y 1 . . . r w x 1 , w y N . . . . . . . . . r w x N , w y 1 . . . r w x N , w y N ] R_{X,Y}=E\left ( XY^T \right ) =\begin{bmatrix} r_{w_{x1},w_{y1}} & ... & r_{w_{x1},w_{yN}}\\ ... & ... & ...\\ r_{w_{xN},w_{y1}} & ... &r_{w_{xN},w_{yN}} \end{bmatrix} RX,Y=E(XYT)=rwx1,wy1...rwxN,wy1.........rwx1,wyN...rwxN,wyN
    互相关表示两个向量对应元素相乘的期望。

    互相关矩阵与互协方差矩阵的关系

    互相关矩阵与互协方差矩阵存在如下关系:
    C X , Y = R X , Y − M X M Y T C_{X,Y}=R_{X,Y}-M_XM_Y^T CX,Y=RX,YMXMYT
    当样本向量 X X X Y Y Y的维数不同时,他们的互相关矩阵和互协方差矩阵为非方阵,当他们的维数相同时,他们的互相关矩阵与互协方差矩阵为方阵,但仍不为复共轭对称矩阵。

    如果 X X X Y Y Y这两个序列的期望 E ( X ) E(X) E(X) E ( Y ) E(Y) E(Y)为0,那么互相关矩阵和互协方差矩阵是一样的。

    性质

    协方差矩阵与互协方差矩阵由如下的性质:
    (1)自协方差矩阵是复共轭转置对称的;
    (2)线性组合向量 A x + b Ax+b Ax+b的自协方差矩阵 C A x + b = C A x = A C x A T C_{Ax+b}=C_{Ax}=AC_xA^T CAx+b=CAx=ACxAT
    (3)互协方差矩阵不是复共轭转置对称的,但是满足 C x , y = C y , x T C_{x,y}=C_{y,x}^T Cx,y=Cy,xT
    (4) C x 1 + x 2 , y = C x 1 , y + C x 2 , y C_{x_1+x_2,y}=C_{x_1,y}+C_{x_2,y} Cx1+x2,y=Cx1,y+Cx2,y
    (5)若随机向量 X X X Y Y Y具有相同的维数,则 C x + y = C x + C x , y + C y , x + C y C_{x+y}=C_x+C_{x,y}+C_{y,x}+C_y Cx+y=Cx+Cx,y+Cy,x+Cy;
    (6) C A x , B y = A C x , y B T C_{Ax,By}=AC_{x,y}B^T CAx,By=ACx,yBT

    相关系数

    自协方差矩阵和互协方差矩阵主要用于描述矩阵各行,列向量之间的相关程度,但由于其元素是自协方差矩阵,互协方差函数的绝对大小,有的时候在衡量相关度的时候并不准确,因而需要引入相关系数的概念,定义为:
    ρ x y ⇒ d e f c x , y σ x σ y \rho_{xy}\overset{def}{\Rightarrow}\frac{c_{x,y}}{\sigma_x\sigma_y} ρxydefσxσycx,y
    其中, 是随机变量 X X X Y Y Y的互协方差, σ x 2 \sigma_x^2 σx2 σ y 2 \sigma_y^2 σy2则表示 X X X Y Y Y的方差。由Caucht-Schwartz不等式可以知道 0 ≤ ∣ ρ x y ∣ ≤ 1 0\le\left|\rho_{xy}\right|\le1 0ρxy1。相关系数 ρ x y \rho_{xy} ρxy给出了随机向量 X X X Y Y Y的相关程度,接近于0说明两个向量的相似度越小,越接近于1说明两个向量的相似度越大。

    展开全文
  • lag= 时间序列的样本自协方差函数 (ACVF)定义为: 样本相关函数 (ACF) 定义为 以下链接中找到有助于理解自协方差相关函数的交互式示例。 ...

    编辑:机器学习研习院

    时间序列的定义

    一个时间序列过程(time series process)定义为一个随机过程,这是一个按时间排序的随机变量的集合,也就是将每一个时刻位置的点作为一个随机变量。 是索引集合(index set), 决定定义时序过程以及产生观测值的一个时间集合 。其中假定

    • 随机变量 的取值是连续的。

    • 时间索引集合 是离散且等距的。

    在整个过程中,都采用以下符号

    • 随机变量(Random variables)用大写字母表示,即 ,同时随机变量的值是从一个分布中采样给出。而且可以为无限多个时间点 定义随机变量。

    • 观测(Observations)用小写字母表示,即 ,观测可以认为是随机变量的实现。但通常在实际中,我们的观测点是有限的,因此定义 个观测是 。

    时间序列分析的目标

    给定一组时间序列数据,通常会要求回答一个或多个有关它的问题。时间序列数据出现的主要问题类型取决于数据的上下文以及收集数据的原因,下面给出一些常见的目标:

    • 描述:描述时间序列的主要特征,例如:序列是递增还是递减;是否有季节性模式(例如,夏季较高,冬季较低);第二个解释变量如何影响时间序列的值?

    • 监控:检测时间序列行为何时发生变化,例如销售额突然下降,或者突然出现峰值。

    • 预测:从当前值预测时间序列的未来值,并量化这些预测中的不确定性,比如根据今天的气温预测未来几天的温度。

    • 回归:给定多个时间序列以及与这些序列对应的一个额外的值,找到其中的关系。

    • 分类:给定多个时间序列,将它们按照相似性进行分类。

    • ......

    时间序列的建模

    时间序列数据通常被分解为以下三个组成部分。

    • 趋势(Trend)- 趋势体现的是时间序列数据均值随时间的长期变化。如果趋势存在,它的形状通常会引起人们的兴趣,尽管它可能不是线性的。

    • 季节性影响(Seasonal effect)- 季节性影响是时间序列中以固定间隔重复的趋势。严格来说,季节性效应只是每年都会重复的效应,但在更一般的情况下,可以更广泛地使用该术语来表示任何定期重复的模式。

    • 无法解释的变化(Unexplained variation)- 无法解释的变化是在任何趋势和季节性变化被去除后时间序列中其余的变化。这种无法解释的变化可能是独立的,也可能表现出短期相关性。

    因此,时间序列数据的简单模型可以用两种方式表示,分别为

    加法模型(Additive):
    乘法模型(Multiplicative):

    其中 表示趋势, 表示季节, 表示无法解释的变化。在此教程中,给出了两个例子。即当趋势和季节性变化独立作用时,加法模型是合适的,而如果季节性效应的大小取决于趋势的大小,则需要乘法模型。当趋势和季节性变化独立作用时,加法模型是合适的,而如果季节性效应的大小取决于趋势的大小,则需要乘法模型,简单的示意图如下:

    • Example of additive model

    22ff32efc7b64b5149a606977a953460.png

    时间序列的特性

    (均值、方差、自协方差函数、自相关函数)

    给定一个时间序列过程 和观测 ,通常我们会使用以下属性描述其特征。

    • 均值(Mean function)

    对所有的 ,时间序列过程的均值函数(mean function)定义为

    对于真实的数据,通常我们假定均值为一个常数,因此可以估计均值为

    如果数据的平均值不是恒定的,例如由于趋势或季节性变化的存在,则应该用其他方法进行估计,这部分内容后面再讲。

    • 方差(Variance function)

    对所有的 ,时间序列过程的方差函数(variance function)定义为

    标准差函数定义为

    对于真实的数据,通常我们假定方差也为一个常数,因此可以估计方差为

    • 自协方差和自相关函数(Autocovariance and autocorrelation functions)

    回忆对任意的随机变量 和 ,协方差以及相关性测量通过以下定义给出

    协方差:

    相关性:

    相关性是介于 -1 和 1 之间的协方差的缩放表现,其中 1 表示强正相关,0 表示独立性,-1 表示强负相关,但通常相关性指的是线性的相关性。

    对于一个时间序列过程,定义随机变量 是在不同时间点的测量。它们之间的依赖关系由自协方差和自相关函数描述,添加“auto”前缀以表示两个随机变量测量具有相同的数量。

    对于所有的 ,自协方差函数(autocovariance function (ACVF))定义为:

    其中

    对于所有的 ,自相关函数(autocorrelation function (ACF))定义为:

    其中

    以上定义都是理想的情况,也就是在时刻 和时刻 均有若干个采样数据,这样才能计算  或者 ,而真实的场景下这一条件却很难实现,因为通常在某一个时间点,只能获得1个采样点的数据。

    为了计算真实数据的自协方差和自相关函数,通常假设数据中的依赖结构不随时间变化。也就是说我们假设

    也就是说在这个假设下,影响协方差的唯一因素是两个时间序列中随机变量的距离 ,这个距离通常称为滞后lag

    因此,唯一需要计算的是自协方差集合:

    在这种情况下,自相关函数变为

    以上计算方式的前提是假设数据中的依赖结构不随时间变化,协方差不依赖于具体的位置 ,只依赖于滞后 。

    Estimating the autocorrelation function

    对于时间序列数据,自协方差和自相关函数测量的是单个时间序列 与其滞后lag之间的协方差/相关性。这里给出,以及 时自协方差及自相关函数的计算过程。

    lag=0

    在滞后 0 (lag=0)处样本的自协方差函数定义为 ,它是 与 之间的协方差。根据上面的公式,计算方式为

    因此,滞后 0 处的样本自协方差函数是样本方差。类似地,滞后0处的自相关性为

    lag=1

    在滞后 1(lag=1)处的样本自协方差函数是时间序列 和 协方差。它是序列与自身移动一个时间点序列的协方差,根据以上公式,协方差和自相关系数计算方式为

    其中

    是前个观测值;

    是后 个观测值;

    在实际应用中,通常假设前 n-1 个观测值的均值和方差等于最后 n-1 个观测值的均值和方差,这样可以简化上述表达式。此外,对于协方差公式,使用除数 n 而不是无偏 n-2。显然,当 n 很大时,改变除数对计算几乎没有实际影响。

    lag=

    时间序列的样本自协方差函数 (ACVF)定义为:

    样本自相关函数 (ACF) 定义为

    以下链接中找到有助于理解自协方差和自相关函数的交互式示例。

    https://shiny.maths-stats.gla.ac.uk/gnapier/Time_Series_ACF/shiny.maths-stats.gla.ac.uk/gnapier/Time_Series_ACF/

    Correlogram图的解释

    Correlogram讲自相关函数的计算结果作为纵轴,将滞后 作为横轴的一种图。可以很直观的看出时间序列不同lag之间的相关性。Correlogram会告诉时间序列分析师很多关于时间序列的信息,包括趋势的存在、季节性变化和短期相关性。这里用一些例子来说明。

    Example - purely random data

    考虑由纯随机过程 生成的时间序列,它没有趋势、季节性或短期相关性。原始数据和自相关图如下所示:

    8951c3fcd28b2a7ba212904c88da6cae.png

    • 当 时, ,因为它是序列与其自身的相关性,通常忽略该值。

    • 对于没有相关性的纯随机序列,通常在滞后 0 处等于 1,但在其他滞后处没有明显的相关性证据。

    Example - short-term correlation

    没有趋势或季节性但具有短期相关性的时间序列数据如下图所示,并且在前几个滞后时具有显着正的自相关,随后在较大滞后时值接近零。

    2ce0747670aab9f1f9f4c27dfa971387.png

    Example - alternating data

    没有趋势或季节性但在大值和小值之间交替的时间序列数据显示下图中,并且在奇数滞后时具有负自相关,在偶数滞后时具有正自相关。随着滞后的增加,自相关越来越接近于零。

    c0253e4308909cb7b6dcb4c47c3be1c5.png

    Example - data with a trend

    具有趋势的时间序列数据如下图所示,并且在滞后偏大时仍然具有正自相关。如果趋势随时间下降,则会观察到相同的相关图。

    a315749eccad9b56425384bf8d891bbc.png

    Example - data with a seasonal effect

    具有季节性影响的时间序列数据如下图所示,并且在相关图中具有规则的季节性模式。

    608a5f5bb53ae0281e062cdf4776b9d9.png

    Example - data with a trend and a seasonal effect

    具有趋势和季节性影响的时间序列数据显示在下图中,并且在相关图中具有规则的季节性模式,由于趋势的存在,相关图通常具有正值。

    25b800386c6f3d515e373f6c377674d8.png

    平稳性分析

    严格平稳
    strictly stationary or strongly stationary

    严格平稳是一种非常苛刻的条件,给定时序过程 ,对于所有的 以及值 ,如果联合分布  与 相同,则该序列是严格平稳的。换句话说,换句话说,将序列的时间原点移动 对其联合分布没有影响。

    当 ,严格平稳意味着对于所有的 ,都有  。这也说明时间序列的均值和方差为常数,即

    和 , 当 ,严格平稳意味着对于所有的 ,都有

    联合分布只取决于滞后

    这反过来意味着理论协方差和相关函数只取决于滞后而不是原始位置。

    严格平稳是非常严格的,而真实过程很少符合。一般只有纯粹的随机过程严格平稳,因此使用的更多的是弱平稳。

    弱平稳

    weakly stationary

    给定时序过程  ,如果该时间序列过程是弱平稳的的,那么它需要满足以下条件:

    1. 均值是常数和有限的,即

    2. 方差是常数和有限的,即

    3. 自协方差和自相关函数仅取决于滞后 ,即 以及

    严格平稳性和弱平稳性之间的区别在于,后者仅假设前两个矩(均值和方差)随时间是恒定的,而前者假设较高的矩也是恒定的。

    Example

    定义一个随机游走过程 ,,且

    其中 是均为为 0 且方差为 的随机过程。那么 是非平稳的。因为

    这说明方差是随时间 变化的。

    作者:daydaymoyu
    来源:https://zhuanlan.zhihu.com/p/424609116
    参考:https://bookdown.org/gary_a_napier/time_series_lecture_notes/ChapterOne.html#time-series-modelling

    展开全文
  • 相关(autocorrelation),也称为串行相关(serial correlation),是信号与自身的延迟副本之间的相关关系,它是延迟的函数。 非正式地,这是观察之间的相似性,是它们之间... 在某些领域,该术语可与自协方差(au
  • 本文主要介绍了AR(p)序列的自协方差函数与谱密度函数,以及两者之间的关系。
  • clc; clear all; Signal_1=rand(1,2000);%产生随机信号 Signal_1 Signal_2=...%将画布分为 2行2列,在第1行第1列画Signal_1_R相关函数,并写上标题Signal_1相关函数 plot(Signal_1_R);title('Signal_1相关函数');
  • 以下链接中找到有助于理解自协方差相关函数的交互式示例。 https://shiny.maths-stats.gla.ac.uk/gnapier/Time_Series_ACF/ 原文链接: Time Series ...
  • ​[1+1−ϕ12​(ϕ1​−θ1​)2​]σε2​ 进一步对ARMA(1,1)求自协方差函数 γ k , k ≠ 0 \gamma_k,k\not=0 γk​,k​=0: γ k = c o v ( X t , X t − k ) = c o v ( ε t + ∑ j = 1 ∞ ϕ 1 j − 1 ( ϕ 1 ...
  • 相关函数的协方差的性质

    千次阅读 2021-02-05 07:21:23
    展开全部协方62616964757a686964616fe58685e5aeb931333431353239差的性质:1、Cov(X,Y)=Cov(Y,X);2、Cov(aX,bY)=abCov(X,Y),(a,b是常数);3、Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y...协方差函数定义为:若X(t)...
  • 我试着运行代码几次,得到了相似的(不完全相同的)协方差矩阵,但是协方差矩阵中的元素在e-7尺度上略有不同。这有时会使协方差矩阵非PSD,这会给我带来严重的问题。在有人知道为什么会有分歧,以及如何解决它吗?在...
  • 证明施瓦茨不等式(协方差和方差的关系) 定理: 对于任意二维随机变量(X,Y),若X与Y的方差都存在,且记σx2=Var(X)\sigma^2_x=Var(X)σx2​=Var(X),σY2=Var(Y)\sigma^2_Y=Var(Y)σY2​=Var(Y),则有 [Cov(X,Y)]...
  • 协方差与相关系数的区别和联系

    千次阅读 2020-12-31 12:59:47
    协方差与相关系数的区别和联系。 协方差: 公式:Cov(X,Y)=E[(X−μx)(Y−μy)]Cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)]Cov(X,Y)=E[(X−μx​)(Y−μy​)] 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的...
  • 坑 好像都是正交的, 所以PCA降维属于正交分解。 如果采用非正交的基,就是ICA降维了。
  • 协方差

    2021-02-15 23:37:52
    协方差 编辑 本词条由“科普中国”科学百科词条编写与应用工作项目审核 。 协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。 ...
  • 1. 协方差(Covariance) 和协方差矩阵 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,...
  • 概率论之 一维随机变量的期望,方差,协方差前言一维系统期望公式性质方差公式性质协方差公式性质相关系数相关性与独立性后记 前言 随机变量的期望、方差、协方差性质非常重要,但又比较容易忘,记录一下加深记忆。...
  • 【时间序列分析】12. ARMA(1,1)模型

    千次阅读 2021-01-10 18:15:03
    主要介绍了ARMA(1,1)模型的性质,包括Wold系数、自协方差函数、相关系数和偏相关系数的计算。
  • 平稳序列的自协方差函数是非负定序列,每个非负定序列都可以是一个平稳序列的自协方差函数。 性质 (1) 的证明:由定义直接得到。 性质 (2) 的证明:任取一个 nnn 维实向量 an=(a1,a2,...,an)T\boldsymbol{a}_n=(a_1...
  • 本文主要参考概率论与数理统计的教科书,整理了协方差、样本协方差协方差矩阵、相关系数的概念解释和代码。 协方差(covariance) 协方差的概念来自概率论,实际应用中的样本协方差则与统计学概念有关。 协方差...
  • 协方差公式_协方差的计算公式例子

    千次阅读 2020-12-19 07:45:17
    什么是协方差协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同...
  • [今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~协方差矩阵协方差也只能处理二维问题,那维...
  • 协方差矩阵是什么在统计学与概率论中,协方差矩阵的每个元素是各个向量元素之间的协方差,是从标量随机变量到高维度随机向量的自然推广。矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是按...
  • matlab协方差矩阵

    2021-04-23 08:01:38
    参数模型在MATLAB中的代码如下: %% Parametric % 计算 99% 与 95% 水平的...(预期收益率、预期协方差矩阵、样本 个数、收益率间隔、模拟次数) simulated......Matlab 协方差实战上面涉及的内容都比较容易,协方差矩阵...
  • matlab股票协方差pp概述原则上,所有图象处理都是图像的变换,而本章所谓的图象变换特指数字图过某种数学工具的处理,把原先二维空间域中的数据,变换到另外一个"变换域"形式描述的过程。例如,傅立叶变换将时域或...
  • MA0-模型MA(q)中心化MA(q)引入延迟算子B1-均值2-方差3-延迟k自协方差函数4-延迟k相关系数MA(1)MA(2)MA(q)5-延迟k偏相关系数6-验证模型可逆性7-逆函数递推公式 【参考文献】王燕. 应用时间序列分析-第5版[M]. ...
  • 在统计学,或者数据处理中,通常遇到的数据都是多维的,多维随机变量也称随机向量,本节主要介绍实随机向量的概率密度函数、相关矩阵、协方差矩阵、相关系数。
  • 协方差原理

    2021-04-03 22:03:24
    转载:https://blog.csdn.net/qq_31073871/article/details/81057030 ...下面开始看协方差:   仔细观察上述定义式,可知:如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个
  • 2.6. 协方差估计

    2021-05-06 05:30:14
    协方差估计校验者:[@李昊伟](https://github.com/apachecn/scikit-learn-doc-zh)[@小瑶](https://github.com/apachecn/scikit-learn-doc-zh)翻译者:[@柠檬](https://github.com/apachecn/scikit-learn-doc-zh)许多...
  • 已知协方差矩阵求相关矩阵

    千次阅读 2021-04-20 14:00:13
    matlab中已知协方差矩阵怎样算相关系数?已知协方差矩阵,计算相关系数可以按图中的公式进行。 R就是相关系数矩阵,C为协方差矩阵。 >> a=rand(5,5) a = 0.9501 0.7621 0.6154 0.4057 0.0579 0.2311 0.4565 0....

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 52,641
精华内容 21,056
关键字:

自协方差