精华内容
下载资源
问答
  • 序列向量

    千次阅读 2017-06-19 15:27:53
    max pooling(对RNN的所有时刻对应的输出向量分量取最大值)存在与mean pooling类似的问题. 提出如下的attention pooling: h = ∑ t = 1 T a t h t h = \sum\limits_{t = 1}^T {{a_t}{h_t}} , 其中 a t = exp ...

    DeepIntent模型

    文献:Zhai S, Chang K H, Zhang R, et al. DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks[C]// KDD 2016:1295-1304.

    思想

    从pooling的角度来解释attention机制,last pooling(选择RNN的最终隐输出作为序列表示向量)存在“远距离信息容易遗忘”的问题;mean pooling(将RNN的各个时刻对应输出进行简单平均)存在“无法区分各个term对用户意图的贡献度的差异”的问题;max pooling(对RNN的所有时刻对应的输出向量的分量取最大值)存在与mean pooling类似的问题. 提出如下的attention pooling:

    • h=t=1Tatht , 其中 at=exp(s(ht;θ))Tt=1exp(s(ht;θ))

    s(ht;θ) 为注意网络,主要用来学习权重系数 at , 网络结构如下:
    这里写图片描述

    以查询log文件构造有监督学习的数据集: (q,d+) (q,di) , 分别表示查询序列q,与q诱发的点击 d+ , q查询下并没有点击 (q,di) , 有如下目标函数:

    • J(θ)=(q,d+)logexp(score(q,d+))exp(score(q,d+))+ni=1exp(score(q,di))  s.t.  score(q,d)=hq(q)Thd(d)

    CSE模型(Conceptual Sentence Embedding)

    文献:Wang Y, Huang H, Feng C, et al. CSE: Conceptual Sentence Embeddings based on Attention Model[C]// ACL 2016:505-515.

    思想

    为了解决一词多义问题,将概念与注意机制相结合来实现文本序列的嵌入表示,使得相同的词在不同概念中有不同的向量表示形式。
    启发于CBOW与Skip-gram的思想”在预测中心目标词或局部语境词时,需要对词进行向量化”,提出类似思想“在预测中心目标词或局部语境词时,需要对句子进行概念相关向量化”:

    这里写图片描述
    模型: (1) CBOW-CSE ; (2)Skip-Gram-CSE

    每个句子有其ID,利用基于知识的文本概念化算法获得句子的概念分布 θC , W S分别为单词向量列空间与句子向量列空间, C 是将句子概念分布θC转化为概念向量 c 的固定线性算子。
    在对CBOW-CSE的模型参数WSU b 进行估值时,并没有考虑中心目标词的各语境词之间的相对位置,也就是说,忽略了语境词的顺序,这会降低句子向量化性能。

    Skip-Gram-CSE:忽略输入中的语境词,而从输出中的定长语境随机选取语境词进行预测。预测语境窗口内的一个语境词向量实质上就是给定句子向量s与其概念向量 c 的多分类问题。该模型的参数为SU b

    Attention-CSE:CBOW-CSE与Skip-Gram-CSE都需要确定语境窗口大小,这是个难题。太大可能会引入无关词,太小可能会排除相关词。这是由于这些模型是采用同等重要的方式来处理语境窗口内的词语。为此,引入注意机制以区别对待语境窗口内的词语。即将CBOW中的ct=12kkck,c0wt+c修改为 ct=12kkck,c0at+c(wt+c)wt+c , 其中 at+c(wt+c) t+c 位置上的词语的权重。具体计算方法如下:

    • ai(w)=edw,i+rikck,c0edw,c+rc

    其中 dw,iD|V|×2k 表示词语 w 2k个位置语境词中的第 i 位置语境词的权重,riR2k是各个距中心词相对位置的语境词的对应偏差。
    这里写图片描述
    Attention-CSE(参数包括:W,C,S,D,R)

    展开全文
  • 利用多变量相空间重构技术对分解的各个分量进行相空间重构,构建其训练数据,对重构的训练数据建立各分量的非线性支持向量回归预测模型,使用SVR集成预测方法对火灾时间序列进行预测。仿真结果表明,与单变量相空间重构...
  • 针对特征分解方法在实现非等功率同步直接序列码分多址(DS-CDMA)信号伪码序列盲估计时存在的处理数据向量不能太长以及不能工作于非平稳环境中的问题,引入了一种由主分量分析实现自适应特征提取的在线无监督学习...
  • 一、 时间序列基本规则法 --周期因子法 二、线性回归–利用时间序列特征做线性回归 三、 传统时序建模方法-- ARMA、ARIMA 四、 时间序列分解-- 加法模型或乘法模型 五、 特征工程入手– 六 、 转化为监督学习数据集 ...

    前言

    对时间序列数据预测模型做个简单的分类,方便日后对其进一步研究,理清楚技术更新发展方向。
    时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。

    预测场景

    • 单步预测
      • 单步单变量预测 :在时间序列预测中的标准做法是使用前一个的观测值,作为输入变量来预测当前的时间的观测值。
      • 多步单变量预测 : 前几个观测值,预测下一个观测值
    • 多步预测
      • 单变量多步预测:前几个观测值数据,预测下几个观测值
      • 多变量多步预测:几组不同维度的前几个观测值数据,预测下几个观测值

    本文只是列举同方法中的几个模型作为介绍,还有很多的模型可以采用。

    一、统计学方法 :

    二、 传统时序方法:

    2.1 AR

    具有如下结构的模型称为p阶自回归模型,简记为AR:
    在这里插入图片描述
    随机变量Xt的取值Xt是前p期xt−1,xt−2,…,xt−pxt−1,xt−2,…,xt−p的多元线性回归,认为xt主 要受过去p期的序列值影响。误差项是当前的随机干扰,为零均值白噪声序列

    2.2 ARMA

    自回归滑动平均模型(英语:Autoregressive moving average model,简称:ARMA模型)。是研究时间序列的重要方法,由自回归模型(简称AR模型)与移动平均模型(简称MA模型)为基础“混合”构成。
    在市场研究中常用于长期追踪资料的研究,如:Panel研究中,用于消费行为模式变迁研究;在零售研究中,用于具有季节变动特征的销售量、市场规模的预测等。

    2.3 ARIMA

    ARIMA模型(英语:Autoregressive Integrated Moving Average model),差分整合移动平均自回归模型,又称整合移动平均自回归模型(移动也可称作滑动),是时间序列预测分析方法之一。
    ARIMA(p,d,q)中,AR是“自回归”,p为自回归项数;MA为“滑动平均”,q为滑动平均项数,d为使之成为平稳序列所做的差分次数(阶数)。“差分”一词虽未出现在ARIMA的英文名称中,却是关键步骤。

    总的来说,基于此类方法的建模步骤是,

    • 首先需要对观测值序列进行平稳性检测,如果不平稳,则对其进行差分运算直到差分后的数据平稳;
    • 在数据平稳后则对其进行白噪声检验,白噪声是指零均值常方差的随机平稳序列;如果是平稳非白噪声序列就计算ACF(自相关系数)、PACF(偏自相关系数),进行ARMA等模型识别,
    • 对已识别好的模型,确定模型参数,
    • 最后应用预测并进行误差分析。

    三 、时间序列分解

    时间序列分解法是数年来一直非常有用的方法,一个时间序列往往是一下几类变化形式的叠加或耦合

    3.1 常见加法和乘法模型

    数据分解为

    • 长期趋势
    • 季节变动 :显式周期,固定幅度、长度的周期波动
    • 循环波动 :隐式周期,周期长不具严格规则的波动
    • 不规则波动

    分解之后的数据进行加法、乘法或者二者混合的方式进行组合。

    3.2 经验模态分解

    经验模态分解(Empirical Mode Decomposition,缩写EMD)是由黄锷(N. E. Huang)在美国国家宇航局与其他人于1998年创造性地提出的一种新型自适应信号时频处理方法,特别适用于非线性非平稳信号的分析处理。

    实例介绍: 数字信号处理技术(一)经验模态分解(EMD)- Python代码

    3.3 变分模态分解

    在信号处理中,变分模态分解是一种信号分解估计方法。 该方法在获取分解分量的过程中通过迭代搜寻变分模型最优解来确定每个分量的频率中心和带宽,从而能够自适应地实现信号的频域剖分及各分量的有效分离。

    实例介绍 : 数字信号处理技术(二)变分模态分解(VMD)-Python代码

    四、 机器学习模型

    4.1 XGBoost

    XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。

    4.2 RF

    在机器学习中,随机森林是一个包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。
    这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林(random decision forests)而来的。这个方法则是结合 Breimans 的 “Bootstrap aggregating” 想法和 Ho 的"random subspace method"以建造决策树的集合。

    4.3 SVR

    SVR全称是support vector regression,是SVM(支持向量机support vector machine)对回归问题的一种运用

    五、 深度学习模型

    5.1 LSTM

    Long Short Term Memory(LSTM):长短时记忆神经网络,是一种特殊的循环神经网络(RNN),优势在于解决RNN的梯度消失和梯度爆炸的问题,目前广泛应用于序列数据处理和预测,比如文本上下文感情分析,股票预测等;

    5.2 Transformer

    Transformer是2017年的一篇论文《Attention is All You Need》提出的一种模型架构,这篇论文里只针对机器翻译这一种场景做了实验,全面击败了当时的SOTA,并且由于encoder端是并行计算的,训练的时间被大大缩短了。
    它开创性的思想,颠覆了以往序列建模和RNN划等号的思路,现在被广泛应用于NLP的各个领域。目前在NLP各业务全面开花的语言模型如GPT, BERT等,都是基于Transformer模型。

    5.3 Bert

    BERT是2018年10月由Google AI研究院提出的一种预训练模型。
    BERT的全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类,并且在11种不同NLP测试中创出SOTA表现,包括将GLUE基准推高至80.4% (绝对改进7.6%),MultiNLI准确度达到86.7% (绝对改进5.6%),成为NLP发展史上的里程碑式的模型成就。

    六、 时序研究新思路

    6.1 将时间序列转化为图像,再应用基于卷积神经网络的模型做分析

    展开全文
  • 时间序列是广泛存在的随机变量列,它以时间为指标,是一种特殊的随机过程。平稳序列是时间序列中的一种特殊序列,最大的特征是具有平稳性,即均值不随时间而变化,协方差只与时间差有关。

    一、时间序列与平稳序列

    1.时间序列的概念

    时间序列,就是按照时间次序排列的随机变量列,其最重要的特征就是具有时间关系,即处于不同时间的随机变量可能具有一定的联系。生活中有许多时间序列,如每个月的平均气温、股市每天的收盘价等等,都是时间序列。

    任何时间序列,经过合理的变换后都可以看作由三个部分叠加而成:趋势项,周期项和随机噪声项。趋势项大体刻画了时间序列的变化趋势,是一个固定的、可以预测的项;周期项是具有一定周期的时间序列,比如一年四季每个季节有各自的特征,就可以用周期项来刻画;随机噪声则是随机干扰,一般被视为独立的零均值序列。

    以上关系概括说来,就是
    X t = T t + S t + R t . X_t=T_t+S_t+R_t. Xt=Tt+St+Rt.
    在实际生活中,时间不能倒流,所以时间序列往往只能够发生一次,即获得一次观测。 X 1 , X 2 , ⋯ X_1,X_2,\cdots X1,X2,的一组实际数值 x 1 , x 2 , ⋯ x_1,x_2,\cdots x1,x2,是时间序列的一次实现或一条轨道。

    在获得观测值后,要对时间序列进行以上的分解,才能够获得具有实际意义的分布。有一些常用的分解方式,如分段趋势分解,回归直线法,二次曲线回归法,逐步平均法等等。

    随机过程中将时间指标分成连续集与离散集两种,即 t t t的取值可以是连续的 R , R + \R,\R_+ R,R+或离散的 Z , Z + \Z,\Z_+ Z,Z+,我们将重点放在离散时间序列上。

    2.重要的时间序列——平稳序列

    时间序列的趋势项和季节项往往可以用非随机的函数进行刻画,剩下的随机噪声项,往往会具有某种平稳波动性,即在某条直线上下跳跃。平稳序列是用来描述某一种具有平稳波动性序列的序列,其定义如下。

    如果时间序列 { X t } \{X_t\} {Xt}满足:

    1. ∀ t ∈ N , E X t 2 < ∞ \forall t\in \N,{\rm E}X_t^2<\infty tN,EXt2<,即二阶矩存在;
    2. ∀ ∈ N , E X t = μ \forall \in\N,{\rm E}X_t=\mu N,EXt=μ,即均值一致;
    3. ∀ t , s ∈ N , E [ ( X t − μ ) ( X s − μ ) ] = γ t − s \forall t,s\in\N,{\rm E}[(X_t-\mu)(X_s-\mu)]=\gamma_{t-s} t,sN,E[(Xtμ)(Xsμ)]=γts,即自协方差只与时间差有关。

    就称 { X t } \{X_t\} {Xt}是平稳时间序列,称 { γ t } \{\gamma_t\} {γt} { X t } \{X_t\} {Xt}的自协方差函数。

    从平稳序列的定义可以看出,它的平稳表现在两个方面,一是均值、方差的平稳性,即均值、方差与时间无关;二是相关性的平稳性,即序列中的任意两个随机变量自协方差函数,只与时间差有关,而与它们的绝对位置无关。

    需要注意,自协方差函数是包含分布的方差的,因为 D X t = γ 0 {\rm D}X_t=\gamma_0 DXt=γ0。这也说明了方差与时间无关,因为对任何 X t X_t Xt,其方差都是 γ 0 \gamma_0 γ0,是一个常数。如果 γ 0 = 0 \gamma_0=0 γ0=0,那么随机变量就是一个常数,没有讨论的必要,因此我们总假定 γ 0 > 0 \gamma_0>0 γ0>0

    从平稳序列的定义来看,它最重要的元素无疑是自协方差函数,这刻画了序列内部的关系。首先,很显然对于任何实时间序列,其自协方差序列都是实数列,除此外自协方差函数有以下三条重要性质

    1、对称性,即 γ k = γ − k \gamma_k=\gamma_{-k} γk=γk对所有 k ∈ Z k\in\Z kZ成立。

    2、非负定性,即对任何 n ∈ N n\in\N nN n n n阶自协方差矩阵
    Γ n = [ γ 0 γ 1 ⋯ γ n − 1 γ 1 γ 0 ⋯ γ n − 2 ⋮ ⋮ ⋮ γ n − 1 γ n − 2 ⋯ γ 0 ] \Gamma_n=\begin{bmatrix} \gamma_0&\gamma_1&\cdots&\gamma_{n-1}\\ \gamma_1&\gamma_0&\cdots&\gamma_{n-2}\\ \vdots&\vdots&&\vdots\\ \gamma_{n-1}&\gamma_{n-2}&\cdots&\gamma_0 \end{bmatrix} Γn=γ0γ1γn1γ1γ0γn2γn1γn2γ0
    总是非负定的。

    3、有界性,即对任何 k ∈ Z k\in\Z kZ,有 ∣ γ k ∣ ≤ γ 0 |\gamma_k|\le \gamma_0 γkγ0

    同时满足以上三条性质的实数列称为非负定序列,平稳序列的自协方差函数就是非负定序列,并且可以证明,每个非负定序列都可以是一个平稳序列的自协方差函数。这里建立了非负定序列与平稳序列的对应性。

    接下来对平稳序列的这三条性质进行证明。对称性最显然,由定义就可以直接看出,即
    γ k = C o v ( X t , X t + k ) = C o v ( X t + k , X t + k − k ) = γ − k . \gamma_k={\rm Cov}(X_{t},X_{t+k})={\rm Cov}(X_{t+k},X_{t+k-k})=\gamma_{-k}. γk=Cov(Xt,Xt+k)=Cov(Xt+k,Xt+kk)=γk.
    非负定性,即自协方差矩阵是非负定矩阵,对于任何一个二次型要证明其非负,就任取一个常数向量,计算
    a n ′ Γ n a n = ∑ j = 1 n ∑ k = 1 n a j a k γ j − k = ∑ j = 1 n ∑ k = 1 n a k a j C o v ( X k , X j ) = D ( ∑ j = 1 n a j X j ) ≥ 0. \begin{aligned} \boldsymbol a'_n\Gamma_n\boldsymbol a_n=&\sum_{j=1}^n\sum_{k=1}^na_ja_k\gamma_{j-k}\\ =&\sum_{j=1}^n\sum_{k=1}^na_ka_j{\rm Cov}(X_k,X_{j})\\ =&{\rm D}(\sum_{j=1}^n a_jX_j)\ge0. \end{aligned} anΓnan===j=1nk=1najakγjkj=1nk=1nakajCov(Xk,Xj)D(j=1najXj)0.
    这个证明过程中,需要牢记的是二次型的写法,即将二次型写成一个双重求和的结果,每一项是 b j b k b_jb_k bjbk与二次型矩阵的第 ( j , k ) (j,k) (j,k)项乘积;并且将双重求和转化成一个单次求和的函数,这个思想也很重要。

    有界性,用到柯西不等式,将随机变量中心化,即 Y t = X t − μ Y_t=X_t-\mu Yt=Xtμ,那么 D Y t = D X t = γ 0 {\rm D}Y_t={\rm D}X_t=\gamma_0 DYt=DXt=γ0 C o v ( X t , X t + k ) = C o v ( Y t , Y t + k ) = γ k {\rm Cov}(X_t,X_{t+k})={\rm Cov}(Y_t,Y_{t+k})=\gamma_k Cov(Xt,Xt+k)=Cov(Yt,Yt+k)=γk,就有 ∣ γ k ∣ = ∣ E ( Y t Y t + k ) ∣ ≤ E Y t 2 E Y t + k 2 = γ 0 |\gamma_k|=|{\rm E}(Y_tY_{t+k})|\le \sqrt{{\rm E}Y_t^2{\rm E}Y_{t+k}^2}=\gamma_0 γk=E(YtYt+k)EYt2EYt+k2 =γ0,这里小于等于号就是柯西不等式的结果。

    由有界性可以知道 − 1 ≤ γ k / γ 0 ≤ 1 -1\le \gamma_k/\gamma_0\le 1 1γk/γ01,与相关系数有很大的相似之处,所以我们将 γ k / γ 0 \gamma_k/\gamma_0 γk/γ0定义为平稳序列的自相关系数,也就是自协方差函数的归一化。在某些情况下,自相关函数甚至比自协方差函数还要重要。

    我们再将目光投射到三条性质中,最不平凡的那条,即非负定性上。既然我们知道 ∀ a n \forall \boldsymbol a_n an,有 a n ′ Γ n a n ≥ 0 \boldsymbol a_n'\Gamma_n\boldsymbol a_n\ge 0 anΓnan0,那么作为临界情况的等号成立时意味着什么呢?显然等号很难对于所有 a n \boldsymbol a_n an都成立(除非 Γ n = O \Gamma_n=O Γn=O,但这是没有意义的),所以我们讨论对某个特定的 a n \boldsymbol a_n an等号成立的情况。由于
    a n ′ Γ n a n = D ( ∑ j = 1 n a j X j ) , \boldsymbol a_n'\Gamma_n\boldsymbol a_n={\rm D}(\sum_{j=1}^n a_jX_j), anΓnan=D(j=1najXj),
    我们不妨定义 X = ( X 1 , ⋯   , X n ) ′ \boldsymbol X=(X_1,\cdots,X_n)' X=(X1,,Xn),那么 a n ′ Γ n a n = D ( a ′ X ) = 0 \boldsymbol a_n'\Gamma_n\boldsymbol a_n={\rm D}(\boldsymbol a'\boldsymbol X)=0 anΓnan=D(aX)=0,也就说明 a ′ X \boldsymbol a'\boldsymbol X aX是常数,结合其均值来看应该有 a ′ X = μ a ′ 1 n \boldsymbol a'X=\mu\boldsymbol a'\boldsymbol 1_n aX=μa1n 1 n \boldsymbol 1_n 1n指全是1的列向量)。由于我们规定 a n ≠ 0 \boldsymbol a_n\ne0 an=0,那么一定存在一个下标最大的分量 a k ≠ 0 a_k\ne 0 ak=0,使得 X k X_k Xk可以被 X 1 , ⋯   , X k − 1 X_1,\cdots,X_{k-1} X1,,Xk1线性表示。这时,我们称 X 1 , ⋯   , X n X_1,\cdots,X_n X1,,Xn是线性相关的。

    并且进一步看,由于自协方差函数与序列位置无关,即
    a n ′ Γ n a n = ∑ j = 1 n ∑ k = 1 n a j a k C o v ( X t + j , X t + k ) = D ( ∑ j = 1 n a j X t + j ) = 0 , \boldsymbol a_n'\Gamma_n\boldsymbol a_n=\sum_{j=1}^n\sum_{k=1}^na_ja_k{\rm Cov}(X_{t+j},X_{t+k})={\rm D}(\sum_{j=1}^n a_jX_{t+j})=0, anΓnan=j=1nk=1najakCov(Xt+j,Xt+k)=D(j=1najXt+j)=0,
    所以对任何一组的连续的 ( X t + 1 , ⋯   , X t + n ) (X_{t+1},\cdots,X_{t+n}) (Xt+1,,Xt+n),都有 X t + k X_{t+k} Xt+k可以被 X t + 1 , ⋯   , X t + k − 1 X_{t+1},\cdots,X_{t+k-1} Xt+1,,Xt+k1线性表示,并且表示系数是相同的。这一性质,表明对于退化的 Γ n \Gamma_n Γn,任何 X t , t ≥ n X_{t},t\ge n Xt,tn都可以被 X 0 , ⋯   , X n − 1 X_0,\cdots,X_{n-1} X0,,Xn1线性表示,这进一步说明了对于任意的 n n n X t X_t Xt,它们一定是线性相关的,不管是不是连续增长的时间指标 t t t

    事实上,用多元统计的观点看,设 X = ( X t + 1 , X t + 2 , ⋯   , X t + n ) \boldsymbol X=(X_{t+1},X_{t+2},\cdots,X_{t+n}) X=(Xt+1,Xt+2,,Xt+n),那么 Γ n = D ( X ) \Gamma_n={\rm D}(\boldsymbol X) Γn=D(X),即随机向量的协方差矩阵,那么自然有
    E ( A X + B ) = A X + B , D ( A X + B ) = A D ( X ) A ′ = A Γ n A ′ . {\rm E}(A\boldsymbol X+B)=A\boldsymbol X+B,\quad {\rm D}(A\boldsymbol X+B)=A{\rm D}(\boldsymbol X)A'=A\Gamma_nA'. E(AX+B)=AX+B,D(AX+B)=AD(X)A=AΓnA.
    A = a n ′ , B = c A=\boldsymbol a'_n,B=c A=an,B=c的时候,显然有 D ( a n ′ X + c ) = a n ′ Γ n a n ≥ 0 D(\boldsymbol a_n'\boldsymbol X+c)=\boldsymbol a_n'\Gamma_n\boldsymbol a_n\ge 0 D(anX+c)=anΓnan0

    需要注意的是,平稳序列并不一定是平稳但散乱的,也可以具有很强的周期性,其典型例子就是调和平稳序列 X t = b cos ⁡ ( a t + U ) , U ∼ U ( − π , π ) X_t=b\cos(at+U),U\sim U(-\pi,\pi) Xt=bcos(at+U),UU(π,π),它的自协方差函数是 1 2 b 2 cos ⁡ ( ( t − s ) a ) \frac 12b^2\cos ((t-s)a) 21b2cos((ts)a),具有很强的周期性,所以观测样本也会具有周期性。

    3.特殊的平稳序列——白噪声

    白噪声是一种最为简单,但也颇具地位的平稳序列,其定义如下。

    { ε t } \{\varepsilon_t\} {εt}是一个平稳序列,如果对任何 s , t ∈ N s,t\in\N s,tN,都有
    E ε t = μ , D ε t = σ 2 , C o v ( ε t , ε s ) = 0 , t ≠ s . {\rm E}\varepsilon_t=\mu,\quad {\rm D}\varepsilon_t=\sigma^2,\\ \quad {\rm Cov}(\varepsilon_t,\varepsilon_s)=0,\quad t\ne s. Eεt=μ,Dεt=σ2,Cov(εt,εs)=0,t=s.
    就称 { ε t } \{\varepsilon_t\} {εt}是一个白噪声,记作 W N ( μ , σ 2 ) {\rm WN}(\mu,\sigma^2) WN(μ,σ2)

    关于其方差和协方差的另一种写法是
    C o v ( ε t , ε s ) = { σ 2 , t = s 0 , t ≠ s = σ 2 δ t − s . {\rm Cov}(\varepsilon_t,\varepsilon_s)=\left\{ \begin{array}l \sigma^2,&t=s\\ 0,&t\ne s \end{array}=\sigma^2\delta_{t-s}. \right. Cov(εt,εs)={σ2,0,t=st=s=σ2δts.
    这里 δ k \delta_k δk是克罗内克(Kronecker)函数,当 k = 0 k=0 k=0 δ k = 1 \delta_k=1 δk=1,否则 δ k = 0 \delta_k=0 δk=0

    白噪声又可以细分为以下几类:

    • { ε t } \{\varepsilon_t\} {εt}是独立序列时,称为独立白噪声(定义只保证了不相关);
    • μ = 0 \mu=0 μ=0时,称为零均值白噪声;
    • μ = 0 , σ 2 = 1 \mu=0,\sigma^2=1 μ=0,σ2=1时,称为标准白噪声;
    • { ε t } \{\varepsilon_t\} {εt}服从正态分布且是独立序列时,称为正态白噪声。

    4.多平稳序列的相互关系

    多平稳序列的相互关系,指的是对于两个平稳序列 { X t } \{X_t\} {Xt} { Y t } \{Y_t\} {Yt},它们之间具有的相互性质。具体可以细分为正交平稳序列和不相关平稳序列,其定义如下:

    正交的:如果 ∀ s , t ∈ Z \forall s,t\in\Z s,tZ,都有 E ( X t Y s ) = 0 {\rm E}(X_tY_s)=0 E(XtYs)=0,就称 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt},{Yt}是正交的。

    不相关的:如果 ∀ s , t ∈ Z \forall s,t\in\Z s,tZ,都有 E ( X t Y s ) = E X t E Y s {\rm E}(X_tY_s)={\rm E}X_t{\rm E}Y_s E(XtYs)=EXtEYs,就称 { X t } , { Y s } \{X_t\},\{Y_s\} {Xt},{Ys}是不相关的。

    这两个定义很好从字面意义上理解。正交是垂直的推广,在线性代数中两个向量 a , b a,b a,b正交被定义为其内积 ⟨ a , b ⟩ = 0 \langle a,b\rangle=0 a,b=0,在平稳序列中,就是乘积的期望为0;不相关就是二者不对对方产生影响,所以乘起来求期望与分开求期望相乘得到的结果理应是一样的。如果 E X t E Y s = 0 {\rm E}X_t{\rm E}Y_s=0 EXtEYs=0,那么正交序列和不相关序列本身等价,也就是说,对于零均值平稳序列,其正交性和不相关性是等价的。

    为什么要讨论这两种特殊的关系呢?我们以后可能会对平稳序列进行求和,即 Z t = X t + Y t Z_t=X_t+Y_t Zt=Xt+Yt,如果 { Z t } \{Z_t\} {Zt}本身也能够是平稳序列那再好不过了。幸运的是, { X t } , { Y t } \{X_t\},\{Y_t\} {Xt},{Yt}是正交、不相关序列时,都能让 { Z t } \{Z_t\} {Zt}是平稳序列。

    要证明 { Z t } \{Z_t\} {Zt}是平稳序列,就要证明其二阶矩有限、期望平稳、自协方差函数仅与时间差有关。期望平稳是显然的,有 μ Z = μ X + μ Y \mu_Z=\mu_X+\mu_Y μZ=μX+μY;二阶矩有限也是显然的,有
    E Z t 2 = E ( X t + Y t ) 2 ≤ 2 E X t 2 + 2 E Y t 2 < ∞ . {\rm E}Z_t^2={\rm E}(X_t+Y_t)^2\le 2{\rm E}X_t^2+2{\rm E}Y_t^2<\infty. EZt2=E(Xt+Yt)22EXt2+2EYt2<.
    接下来对正交、不相关序列,分别求 { Z t } \{Z_t\} {Zt}的自协方差函数。首先是正交的情况,有
    C o v ( Z t , Z s ) = C o v ( X t , X s ) + C o v ( X t , Y s ) + C o v ( Y t , X s ) + C o v ( Y t , Y s ) = γ X ( t − s ) + γ Y ( t − s ) + E ( X s Y t ) − E X s E Y t + E ( X t Y s ) − E X t E Y s = γ X ( t − s ) + γ Y ( t − s ) − 2 μ X μ Y ; \begin{aligned} {\rm Cov}(Z_{t},Z_s)=&{\rm Cov}(X_t,X_s)+{\rm Cov}(X_t,Y_s)+{\rm Cov}(Y_t,X_s)+{\rm Cov}(Y_t,Y_s)\\ =&\gamma_X(t-s)+\gamma_Y(t-s)+{\rm E}(X_sY_t)-{\rm E}X_s{\rm E}Y_t+{\rm E}(X_tY_s)-{\rm E}X_t{\rm E}Y_s\\ =&\gamma_X(t-s)+\gamma_Y(t-s)-2\mu_X\mu_Y; \end{aligned} Cov(Zt,Zs)===Cov(Xt,Xs)+Cov(Xt,Ys)+Cov(Yt,Xs)+Cov(Yt,Ys)γX(ts)+γY(ts)+E(XsYt)EXsEYt+E(XtYs)EXtEYsγX(ts)+γY(ts)2μXμY;
    然后是不相关的情况,立马得到 C o v ( Z t , Z s ) = γ X ( t − s ) + γ Y ( t − s ) {\rm Cov}(Z_t,Z_s)=\gamma_X(t-s)+\gamma_Y(t-s) Cov(Zt,Zs)=γX(ts)+γY(ts)。这两个数都是 t − s t-s ts的函数,这就证明了对正交、不相关平稳序列,其和仍然是平稳序列。

    加和的自协方差函数不方便记忆,可以记以下的简化结论:对于零均值的正交平稳序列 { X t } , { Y t } \{X_t\},\{Y_t\} {Xt},{Yt},他们的和 { Z t } , Z t = X t + Y t \{Z_t\},Z_t=X_t+Y_t {Zt},Zt=Xt+Yt仍是平稳序列,且 μ Z = μ X + μ Y , γ Z ( k ) = γ X ( k ) + γ Y ( k ) \mu_Z=\mu_X+\mu_Y,\gamma_Z(k)=\gamma_X(k)+\gamma_Y(k) μZ=μX+μY,γZ(k)=γX(k)+γY(k)

    回顾总结

    1. 任何时间序列经过适当的变换,都可以拆解为趋势项、季节项、随机噪声,并且趋势项和季节项一般被认为是非随机函数。
    2. 平稳序列是二阶矩存在、期望一致、自协方差只与时间差有关的时间序列,满足这三个条件就是平稳序列,这一般被用来验证序列的平稳性。
    3. 平稳序列中最重要的是自协方差函数 { γ k } \{\gamma_k\} {γk},这是一个实数列,满足对称性、非负定性、有界性三个性质。
    4. 满足对称性、非负定性、有界性的实数列被称为非负定序列,一个非负定序列一定是某个平稳序列的自协方差函数。但非负定性的验证比较麻烦,所以验证一个序列是非负定序列一般是证明它是某个平稳序列的自协方差函数。
    5. 如果 Γ n \Gamma_n Γn退化,则 X 1 , ⋯   , X n X_1,\cdots,X_n X1,,Xn线性相关,并且可以证明任何下标不小于 n n n的项 X t X_t Xt都可以用 X 1 X_1 X1 X n − 1 X_{n-1} Xn1 n − 1 n-1 n1项线性表示。
    6. 平稳序列是特殊的时间序列,白噪声 W N ( μ , σ 2 ) {\rm WN}(\mu,\sigma^2) WN(μ,σ2)是特殊的平稳序列,它的主要特征是序列不相关性,也就是序列之间任意两个不同的随机变量无关,一样需要满足均值、方差的一致性。
    7. 白噪声中,又有独立白噪声、零均值白噪声、标准白噪声、正态白噪声几类特殊白噪声。
    8. 平稳序列正交指 E ( X t Y s ) = 0 {\rm E}(X_tY_s)=0 E(XtYs)=0,不相关指 E ( X t Y s ) = E X t E Y s {\rm E}(X_tY_s)={\rm E}X_t{\rm E}Y_s E(XtYs)=EXtEYs,对零均值平稳序列这两个定义是等价的。
    9. 平稳的正交、不相关序列加和仍然是平稳序列,且对于零均值的情况,自协方差函数为两个分开的自协方差函数之和。
    展开全文
  • 写在前面:看了很多次dq变换,αβ变换但是由于不能根本上理解,所以总是记不住公式...将三相电压信号表示为向量形式:. 其中每相电压信号均为实数值。 根据Euler Equation,任何实数三角函数均可以用复数形式表示...

    写在前面:看了很多次dq变换,αβ变换但是由于不能根本上理解,所以总是记不住公式。这次看了很久自认为比较理解了,所以把它作为我的第一篇Blog。

    这里的两类变换全部仅以电力系统中的电气信号(电压或电流)为对象进行讨论, 不考虑同步电机背景。

    I. 基础知识

    • 将三相电压信号表示为向量形式:\bold{U}=\begin{bmatrix} u_{a}\\ u_{b}\\ u_{c} \end{bmatrix}=\begin{bmatrix} U_{a}\cdot \sqrt(2)\cos(\omega t+\alpha_{a})\\ U_{b}\cdot \sqrt(2)\cos(\omega t+\alpha_{b})\\ U_{c}\cdot \sqrt(2)\cos(\omega t+\alpha_{c}) \end{bmatrix}. 其中每相电压信号均为实数值。
    • 根据Euler Equation,任何实数三角函数均可以用复数形式表示。

    e^{j\theta}=cos(\theta)+j\cdot sin(\theta),有:

    \cos(\theta)=\frac{1}{2}(e^{j\theta}+e^{-j\theta}), \sin(\theta)=\frac{1}{2}(e^{j\theta}-e^{-j\theta})

    (当要表示电压信号(其实也就是发电机转子)转过一个角度\alpha时,就可以简单地在原信号上乘 e^{j\alpha}

    • 所以电压信号可以表示为三相向量(Phasor)的形式:u_{x} =\frac{1}{2}(U_{x}e^{j\alpha_{x}}\cdot e^{j\omega t}+U_{x}e^{-j\alpha_{x}}\cdot e^{-j\omega t})=\frac{1}{2}( \bold{U_{x}}\cdot e^{j\omega t}+ \bold{U_{x}^*}\cdot e^{-j\omega t} )\quad (x= a, b, c)

    所以三相电压信号可以表示为Complex Phasor形式:

                                               \bold{U}=\begin{bmatrix} u_{a}\\ u_{b}\\ u_{c} \end{bmatrix} =\frac{\sqrt{2}}{2}\begin{bmatrix} \bold{U_{a}} e^{j\omega t}+ \bold{U_{a}^*} e^{-j\omega t} \\ \bold{U_{b}} e^{j\omega t}+ \bold{U_{b}^*} e^{-j\omega t}\\ \bold{U_{c}} e^{j\omega t}+ \bold{U_{c}^*} e^{-j\omega t} \end{bmatrix}

    Steady-State Phasors:\begin{bmatrix} \bold{U_{a}}\\ \bold{U_{b}}\\ \bold{U_{c}} \end{bmatrix} =\begin{bmatrix}U_{a} e^{j\alpha_{a}} \\ U_{b} e^{j\alpha_{b}}\\ U_{c} e^{j\alpha_{c}}\end{bmatrix}

     

    II. Symmetrical Component decomposition/ transformation

    对称分量分解/变换主要用于分析和计算电力系统中的不对称故障或负载导致的不对称信号。

    为了便于理解这个序列变换,我们来倒着推:对于三相不对称电压信号,各相信号幅值,相角均不相同。那么假设可以用几组对称信号来表示这些不对称信号(其实一定是可以用对称信号表示不对称信号的,与可以用n个线性不相关的特征向量表示任意n维向量是相同的原理),只要这几个对称信号线性不相关即可。对于三相信号,定义三个不相关基础对称信号组(术语称对称分量Symmetrical Component,SC)即可表示它。

    • 定义三个对称分量分别为:正序u_{+}:a, b, c 依次分别超前2\pi/3(与传统电压信号相序相同);负序u_{-}:a, b, c 依次分别滞后2\pi/3(与传统电压信号相序相反);0序u_{0}:a, b, c 同相位;(我认为如果你可以定义出来别的相序的不相关对称分量,只要能表示这个信号也是可以的。不过这种相序已经是经典通用的了)
    • 根据前面基础知识中交代的,超前(滞后)一个角度直接用乘 e^{j\alpha}来表示,那么这三个SCs可以分别表示为:
      • +序:\bold{U}_{+a} ,\quad \bold{U}_{+b}= a^{-1}\bold{U}_{+a} , \quad \bold{U}_{+c}=a^{-2}\bold{U}_{+a}                ( a=e^{j\frac{2\pi}{3}};\quad a^{-1}= a^{2}, a^{-2}= a)
      • -序:\bold{U}_{-a} ,\quad \bold{U}_{-b}= a\bold{U}_{-a} , \quad \bold{U}_{c}=a^{2}\bold{U}_{-a}
      • 0序:\bold{U}_{0a},\quad \bold{U}_{0b}= \bold{U}_{0a} , \quad \bold{U}_{0c}=\bold{U}_{0a}
    • 求各SC的系数:选取各对称分量组的a相分量方向参考方向。那么原不对称电压信号可以分别表示为:\left\{\begin{matrix} \bold{U}_{a} =\bold{U}_{+a}+\bold{U}_{-a} +\bold{U}_{0a}\\ \bold{U}_{b} =\bold{U}_{+b}+\bold{U}_{-b} +\bold{U}_{0b}=a^{-1}\bold{U}_{+a}+a^{-2}\bold{U}_{-a} +\bold{U}_{0a}\\ \bold{U}_{c} =\bold{U}_{+c}+\bold{U}_{-c} +\bold{U}_{0c}=a^{1}\bold{U}_{+a}+a^{2}\bold{U}_{-a} +\bold{U}_{0a} \end{matrix}\right.

    所以有\begin{bmatrix} \bold{U_{a}}\\ \bold{U_{b}}\\ \bold{U_{c}} \end{bmatrix} =\begin{bmatrix} 1 & 1&1 \\ 1& a^{-1}&a^{-2} \\ 1& a(=a^{-2})& a^{2} (=a^{-1})\end{bmatrix}\cdot \begin{bmatrix} \bold{U_{0a}}\\ \bold{U_{+a}}\\ \bold{U_{-a}} \end{bmatrix}=\bold{S^{-1}}\bold{U'}(通常就用\bold{U'}=\begin{bmatrix} \bold{U_{0a}}\\ \bold{U_{+a}}\\ \bold{U_{-a}} \end{bmatrix}=\begin{bmatrix} \bold{U_{0}}\\ \bold{U_{+}}\\ \bold{U_{-}} \end{bmatrix}来表示了)

    那么有\bold{U'}=\bold{S}\bold{U}.  这里\bold{S}有一个非常美丽的性质:\bold{S}^{-1}=\bold{S}^{*T}

                                                                 \bold{S}=\begin{bmatrix} 1 & 1&1 \\ 1& a&a^{2} \\ 1& a^{2}& a\end{bmatrix}

     

    参考文献: 

    [1] Paap, and C. G. . "Symmetrical components in the time domain and their application to power network calculations." IEEE Transactions on Power Systems 15.2(2000):0-528.

    展开全文
  • 向量分量存储在浮点数数组中,而且还将实现不可变扁平序列所需的方法。 Vector 类的第 1 版要尽量与前一章定义的 Vector2d 类兼容。 Vector类第1版:与Vector2d类兼容 Vector 类的第 1 版要尽量与前一章定义的 ...
  • 1、引言 2、流时间序列中基于预测的异常检测 3、异常形状的时间序列 4、多维流的异常检测
  • 然后, 对各分量进行时间序列分析, 确保高频分量采用改进和声搜索算法优化的最小二乘支持向量机模型、低频分量和余量采用差分自回归滑动平均模型进行建模和预测; 最后, 将预测结果通过RBF 神经网络进行非线性叠加, ...
  • 大多数学生可能对FFT变换后的共轭对称特性有所了解,但怎么利用共轭对称特性经IFFT转换为实数序列会些困难,因为在书中有几处会用到这样的特性,所以在这里先介绍共轭对称特性,再说明IFFT得实数序列。FFT后的共轭...
  • 至少有两种非平稳时间序列:具有趋势的时间序列和具有单位根的时间序列(称为单整时间序列)。单位根检验不能用来评估时间序列是否平稳。它们只能检测单整时间序列。季节性单位根也是如此。 这里考虑月平均温度数据...
  • RM_STATISTICS。 矢量均方根误差 [Mse, Dse, stdL1, stdL2,... 对于向量过程,均方根误差是“可验证”和“真实”向量序列之间差异的均值平方和方差的组合。 RMSE=(mean(R))^2+((R -mrean(R))^2)/L。 向量差的均值 mea
  • 它通过最小化每个数据点与预测直线的垂直误差的平方和来计算,优化的目标函数如下: 使用各种优化方法,求解向量,得到线性模型中的相关参数,在使用逐点预测的方式,得到相应的预测结果。 划重点: 自变量和因变量...
  • 卷积神经网络模型(CNN)可以应用于时间序列预测。有许多类型的CNN模型可用于每种特定类型的时间序列预测问题。在本介绍了在以TF2.1为后端的Keras中如何开发用于时间序列预测的不同的CNN模型。这些模型是在比较小的...
  • 本文介绍了如何在以TF2.1为后端的Keras中搭建一系列不同的多层感知器模型来实现序列预测任务。模型包括一元感知器模型,多元感知器模型,多时间步感知器模型,多变量多时间步感知器模型。因为本文示例仅使用简单的...
  • 03 「论文标题」Fast and Accurate Partial Fourier Transform for Time Series Data 「论文地址」https://dl.acm.org/doi/10.1145/3447548.3467293 「源码链接」https://github.com/snudatalab/PFT 「主要内容」给定一个时间序列向量...
  • 数学建模之时间序列模型及其应用

    千次阅读 多人点赞 2020-08-12 21:38:42
    时间序列模型就是将预测对象按照时间顺序排列起来,用这一组时间序列过去的变化规律,推断今后变化的可能性及变化趋势、变化规律。 时间序列模型也是一种回归模型,其一方面承认事物发展的延续性,运用过去的数据来推测...
  • 时间序列分析——分类和聚类

    千次阅读 热门讨论 2020-02-05 16:04:45
    在使用 DTW 计算序列间距离的基础上,使用 KNN 分类,使用 kmeans 聚类
  • 浅析python中的分片与截断序列序列概念在分片规则里list、tuple、str(字符串)都可以称为序列,都可以按规则进行切片操作切片操作注意切片的下标0代表顺序的第一个元素,-1代表倒序的第一个元素;且切片不包括右边界...
  • 针对特征分解方法在实现非等功率同步直接序列码分多址(DS-CDMA)信号伪码序列盲估计时存在的处理数据向量不能太长以及不能工作于非平稳环境中的问题,引入了一种由主分量分析实现自适应特征提取的在线无监督学习...
  • 接上文,本文介绍了多步CNN模型和多变量多步输出CNN模型来解决时间序列预测问题。
  • 时间序列预测03:如何为CNN/LSTM模型构建数据集

    千次阅读 多人点赞 2020-04-06 15:38:51
    时间序列数据必须经过变换才能用来拟合有监督的学习模型。在这种形式下,数据可以立即用于拟合有监督的机器学习算法,甚至多层感知器神经网络。为了使数据适合卷积神经网络(CNN)或长短期记忆(LSTM)神经网络,还...
  • 祖冲之序列密码算法祖冲之序列密码算法ZUCstreamcipheralgorithm目    次目    次II祖冲之序列密码算法31 术语和定义32 符号和缩略语32.1 运算符32.2 符号42.3 缩略语43 算法描述43.1 算法整体结构43.2 线性...
  • 手把手教你实现一个向量

    千次阅读 2018-11-28 21:13:42
    文章目录什么是向量向量提供哪些接口实现宏定义定义类成员变量构造函数与析构函数构造函数析构函数成员函数size()get(r)put(r, e)expand()insert(r, e)remove(lo, hi)remove(r)disordered()sort(lo, hi)find(e, lo, ...
  • CNN经过一些简单的调整就可以成为序列建模和预测的强大工具 尽管卷积神经网络(CNNs)通常与图像分类任务相关,但经过适当的修改,它已被证明是进行序列建模和预测的有价值的工具。在本文中,我们将详细探讨时域卷积...
  • 时间序列预测的7种方法

    千次阅读 2021-09-05 11:30:58
    ''' y_hat_holt_arima=test.copy() arima_fit=sm.tsa.statespace.SARIMAX(train.Count,order=(2,1,4),seasonal_order=(0,1,1,7)).fit()#季节性分量 非季节性分量 y_hat_holt_arima["SARIMA"]=arima_fit.forecast...
  • 然后利用隶属度函数对影响负荷特征因素向量分量进行模糊处理,得到SVM的训练样本集.拟合负荷和影响因素之间的非线性关系。对24点每点建立一个SVM预测模型,采用改进的序列极小优化算法实现对SVM的快速训练。算例...
  • 我们在股指、货币、大宗商品和债券期货的 58 种流动性工具里都发现了显著的时间序列动量效应。我们发现收益效应会持续 1 到 12 个月,而在更长的时间会逐渐发生反转,这与情绪理论提出的初期的反应不足和延迟的过度...
  • 接上文,本文继续讲解如何开发LSTM时间序列预测模型–多步LSTM模型。 之前的文章: 【Part1】如何开发LSTM实现时间序列预测详解 01 Univariate LSTM 【Part2】如何开发LSTM实现时间序列预测详解 02 Multivariate ...
  • 15、循环序列模型

    2019-08-30 00:19:42
    循环序列模型1、为什么选择循环序列模型2、符号标记 1、为什么选择循环序列模型 序列模型是神经网络中的几大分支之一,比如循环神经网络(RNN)就属于序列模型。序列模型运用得很广,下面给出了一些常见得例子: 从...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,741
精华内容 4,296
关键字:

向量序列的分量序列