1. 样本自协方差函数
2. 自协方差函数
3. 自相关函数
4. 偏自相关系数
1. 样本自协方差函数
对于满足均值遍历性、二阶矩遍历性的平稳时间序列一次具体观测值，总体平均可转化为时间平均，因此可计算：
2. 自协方差函数
自协方差函数是描述随机信号 
 在任意两个不同时刻t，t-k，的取值之间的二阶混合中心矩，用来描述 
 在两个时刻取值的
起伏变化（相对与均值）的相关程度，也称为中心化的自相关函数。
协方差定义为： 
时间序列的自协方差指：时间序列或者信号，经过时间平移后，与自己的协方差
而对于中心化AR模型，均值为0，即 
所以上式表示为
在平稳AR模型等式两边同乘以 
 ，
再取数学期望可得
得到自协方差函数的递推公式
Yule-Walker方程
平稳AR序列的自协方差函数满足
其中
此方程的意义在于：
已知AR模型的具体形式，可计算出自协方差函数；已知自协方差函数，可以估计出模型的未知参数。而在实际应用中，选用样本自协方差函数估计自协方差函数

3．自相关函数(Autocorrelation function)
自相关函数是描述随机信号 
 在任意两个不同时刻t，t+k的取值之间的
相关程度
公式定义
对于零均值的平稳AR序列，自相关函数为
自相关系数的递推公式
自相关系数按负指数衰减且具有拖尾性
4 . 偏自相关系数
自相关系数直接反映了随机变量 
 与 
 之间的相关关系，不考虑中间k-1个随机变量的影响

而偏自相关系数把中间k-1个随机变量看作已知的条件下来研究 
 与 
 之间的相关关系

公式定义
其中， 
 为
条件期望
考虑中心化平稳AR序列，可用过去的k个序列作k阶回归拟合 
,即：
两边取数学期望得：
则有：
所以， 偏自相关系数恰好就等于k阶自回归拟合中的滞后k阶偏自相关系数
也就是说，计算偏自相关系数可用通过计算k阶自回归拟合得到
Levinson递推公式：
 如果
 正定，对 
 有
偏自相关系数在p之后的值均为0 ，即截尾性

一、稳定性问题

(1) 弱稳定性的几个特征：

a, 均值并没有系统性的变化（无趋势）

b,方差也没有系统性的变化

c,没有周期性的浮动
二、自协方差函数（时间序列）

(1)目标

a,记录各类随机变量，并且找出两个随机变量之间的协方差

b, 明确，时间序列描述为一系列随机过程的实现

c, 定义自协方差函数
(2)什么是协方差

X,Y 是两个随机变量，协方差则是测量这X  Y 线性相关程度的


$Cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)]=Cov(Y,X)$

(3)什么是随机过程

就是随机变量的一个集合

$X_1,X_2,X_3,...$是随时间变化的各个随机变量，且过程是随机的

而且满足，$X_t$~$distribution(\mu ,\sigma)$
(4)自协方差函数

对于在时间点s和在时间点t的两个随机变量而言

我们首先这样定义

$\gamma_{(s,t)} = Cov(X_s , X_t)$

$\gamma_{(t,t)} = Cov(X_t , X_t) = Var(X_t) = \sigma_t^2$


$\gamma_k = \gamma_(t,t+k) \approx c_k$

这时候我们称呼$\gamma$是自协方差函数，而$c_k$为自协防差函数系数。为什么呢？因为在一个稳定的时间序列里面，我们会发现，在相同的时间段里面，首尾两个端点应该满足一些线性关系

9.2.3自相关函数和自协方差函数
    上面介绍的均值、均方值和方差描述的是一维随机变量的统计特性，不能反映不同时刻各数值之间的相互关系。例如，随机信号X(t)分别在t1，t2时刻的随机取值X(t1)，X(t2)之间的关联程度如何，这种关联称为自关联。同样，我们也要研究两个随机信号X(t)和Y(t)数值之间的关联程度，这种关联性称为X与Y之间的互关联（下一小节介绍）。

  1．自相关函数
   自相关函数是描述随机信号X(t)在任意两个不同时刻t1，t2，的取值之间的相关程度。
定义6 实随机信号X(t)的自相关函数定义为

                 



（9.2.7）

  由于平稳随机信号的统计特性与时间的起点无关，设
 ,则有
。所以，平稳随机信号的自相关函数是时间间隔t的函数，记为Rxx(t).

  2．自协方差函数
    自协方差函数是描述随机信号X(t)在任意两个不同时刻t1，t2，的取值之间的二阶混合中心矩，用来描述X(t)在两个时刻取值的起伏变化（相对与均值）的相关程度，也称为中心化的自相关函数。
定义7 实随机信号X(t)的自协方差函数定义为

    


  （9.2.8）

  当时，有。
   显然，自协方差函数和自相关函数描述的特性基本相同。
对于平稳随机信号，自协方差函数是时间间隔t的函数，记为Cxx(t),且有:

                 


     (9.2.9)

  当均值时，有。
   当随机过程X(t)的均值为常数，相关函数只与时间间隔有关，且均方值为有限值时，则称X(t)为宽平稳随机过程或广义平稳随机过程。它是由一、二维数字特征定义的。一般所说的平稳过程都是指这种宽平稳随机过程。
3．平稳随机信号自相关函数的性质
   设X(t)为平稳随机过程，其自相关函数为，自协方差函数，则有如下性质：
（1）                                            (9.2.10)
                                                    
  (9.2.11)
        即时的自相关函数等于均方差，自协方差函数等于方差。
（2）       
                   
 （9.2.12）
        即当平稳随机信号是实函数时，其相关函数是偶函数。
（3）                           （9.2.13）
        即时的自相关函数、自协方差函数取最大值。
（4）   若，则其自相关函数也是周期为T的周期函数，即
                          
  （9.2.14）
（5）   若均值，当时，与相互独立，有   
                                    
            （9.2.15）
  即对于零均值的平稳随机信号，当时间间隔很大时，与相互独立，互不相关。




http://zyk.thss.tsinghua.edu.cn/68/sANDs/xuexi/chart9/c_9_2_3_001.htm

1．自相关函数(Autocorrelation function)
自相关函数是描述随机信号X(t)在任意两个不同时刻t1，t2，的取值之间的相关程度



2.
 自协方差函数(Autocovariance function)

自协方差函数是描述随机信号X(t)在任意两个不同时刻t1，t2，的取值之间的二阶混合中心矩，用来描述X(t)在两个时刻取值的起伏变化（相对与均值）的相关程度，也称为中心化的自相关函数。



当时， 

显然，自协方差函数和自相关函数描述的特性基本相同。



3.
 协方差矩阵


记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定





由于数据是二维的，所以协方差矩阵是一个2*2的矩阵，矩阵的每个元素为：元素(i,j) = (第 i 维所有元素 - 第 i 维的均值) * (第 j 维所有元素 - 第 j 维的均值) 。

其中「*」代表向量内积符号，即两个向量求内积，对应元素相乘之后再累加。

我们首先列出第一维：D1: (1,3,4,5) 均值：3.25

D2: (2,6,2,2) 均值：3

下面计算协方差矩阵第(1,2)个元素：

元素(1,2)=(1-3.25,3-3.25,4-3.25,5-3.25)*(2-3,6-3,2-3,2-3)=-1

类似的，我们可以把2*2个元素都计算出来：

这个题目的最终结果就是：

用matlab计算这个例子
z=[1,2;3,6;4,2;5,2]
cov(z)
ans =
    2.9167   -0.3333
   -0.3333    4.0000
可以看出，matlab计算协方差过程中还将元素统一缩小了3倍。所以，协方差的matlab计算公式为：
    协方差(i,j)=（第i列所有元素-第i列均值）*（第j列所有元素-第j列均值）/（样本数-1）




参考：
[1] http://en.wikipedia.org/wiki/Covariance_matrix
[2] http://www.cnblogs.com/cvlabs/archive/2010/05/08/1730319.html
[3]http://blog.csdn.net/ybdesire/article/details/6270328
[4] http://202.117.122.42:9001/xhxt/xhyxt/xuexi/chart9/c_9_2_3_001.htm