精华内容
下载资源
问答
  • 功能性回波状态网络用于时间序列分类
  • 时间序列分类的LSTM全卷积网络的见解 题目: Insights into LSTM Fully Convolutional Networks for Time Series Classification 作者: Fazle Karim, Somshubra Majumdar, Housh...

    https://www.toutiao.com/a6674883188617118220/

     

    对时间序列分类的LSTM全卷积网络的见解

    题目:

    Insights into LSTM Fully Convolutional Networks for Time Series Classification

    作者:

    Fazle Karim, Somshubra Majumdar, Houshang Darabi

    来源:

    Accepted at IJCNN 2019

    Machine Learning (cs.LG)

    Submitted on 27 Feb 2019

    文档链接:

    arXiv:1902.10756

    代码链接:

    https://github.com/titu1994/LSTM-FCN

    摘要

    长期、短期记忆全卷积神经网络(LSTM-FCN)和注意力LSTM-FCN (ALSTM-FCN)在旧的加州大学河滨分校(UCR)时间序列存储库中对时间序列信号进行分类的任务中表现出了最先进的性能。然而,对于LSTM-FCN和ALSTM-FCN为何表现良好,目前还没有研究。在本文中,我们对LSTM-FCN和ALSTM-FCN进行了一系列烧蚀试验(3627个实验),以便更好地理解模型及其各个子模块。对ALSTM-FCN和LSTM-FCN的烧蚀试验结果表明,联合使用时,这两种材料的烧蚀效果较好。使用Wilcoxson符号秩检验比较了两种z归一化技术,即单独对每个样本进行z归一化和对整个数据集进行z归一化,以显示性能上的统计差异。此外,我们还通过比较维度洗牌与LSTM-FCN在不应用维度洗牌时的性能,了解维度洗牌对LSTM-FCN的影响。最后,我们证明了LSTM- fcn的性能,当LSTM块被一个GRU、基本RNN和密集块替换时。

    要点

    对时间序列分类的LSTM全卷积网络的见解

     

    表一:LSTM-FCN与

    带有基线模型的ALSTM-FCN。绿色单元格指定我们的性能匹配或超过最先进结果的实例。粗体值表示性能最佳的模型。

    对时间序列分类的LSTM全卷积网络的见解

     

    图1烧蚀试验-通过从每个卷积层随机选择的滤波器进行转换后输入信号的可视化表示

    对时间序列分类的LSTM全卷积网络的见解

     

    表二:烧蚀试验- LSTM/ALSTM块、FCN块与Raw的线性SVM性能比较

    信号。绿色单元格和橙色单元格指定块上的线性SVM模型在原始信号上超过线性SVM的实例。粗体表示使用线性SVM分类器性能最好的块。Count∗表示该列中粗体值的数量。

    对时间序列分类的LSTM全卷积网络的见解

     

    表三:烧蚀试验- LSTM/ALSTM块、FCN块、LSTM/ALSTM-FCN的MLP性能比较

    块和原始信号。绿色单元格和橙色单元格指定块上的MLP模型超过原始信号上的MLP的实例。粗体值表示使用MLP分类器性能最好的块。Count∗表示该列中粗体值的数量。

    英文原文

    Long Short Term Memory Fully Convolutional Neural Networks (LSTM-FCN) and Attention LSTM-FCN (ALSTM-FCN) have shown to achieve state-of-the-art performance on the task of classifying time series signals on the old University of California-Riverside (UCR) time series repository. However, there has been no study on why LSTM-FCN and ALSTM-FCN perform well. In this paper, we perform a series of ablation tests (3627 experiments) on LSTM-FCN and ALSTM-FCN to provide a better understanding of the model and each of its sub-module. Results from the ablation tests on ALSTM-FCN and LSTM-FCN show that the these blocks perform better when applied in a conjoined manner. Two z-normalizing techniques, z-normalizing each sample independently and z-normalizing the whole dataset, are compared using a Wilcoxson signed-rank test to show a statistical difference in performance. In addition, we provide an understanding of the impact dimension shuffle has on LSTM-FCN by comparing its performance with LSTM-FCN when no dimension shuffle is applied. Finally, we demonstrate the performance of the LSTM-FCN when the LSTM block is replaced by a GRU, basic RNN, and Dense Block.

    展开全文
  • 用于时间序列分类的集成深度神经网络题目:Deep Neural Network Ensembles for Time Series Classification作者:H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller来源:Accepted at IJCNN 2019...

    用于时间序列分类的集成深度神经网络

    题目:

    Deep Neural Network Ensembles for Time Series Classification

    作者:

    H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller

    来源:

    Accepted at IJCNN 2019

    Machine Learning (cs.LG)

    Submitted on 15 Mar 2019

    文档链接:

    arXiv:1903.06602

    代码链接:

    https://github.com/hfawaz/ijcnn19ensemble

    摘要

    深度神经网络已经给计算机视觉和自然语言处理等许多领域带来了革命性的变化。受到最近这一成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于目前最先进的TSC算法,这些算法目前由37个基于非深度学习的分类器组成。我们将这种性能上的差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了一个由60个深度学习模型组成的集成如何在UCR/UEA存档(时间序列分析的最大公开基准)上评估TSC神经网络当前最先进的性能,从而显著提高TSC的性能。最后,我们展示了我们提出的神经网络集成(NNE)是第一个时间序列分类器性能超过COTE,同时达到与当前最先进的集成HIVE-COTE性能相似的性能。

    要点

    3dced406401455cda4527ef80711ea19.png

    图1:深度卷积神经网络集成用于时间序列分类。

    4909c9ddc5aea8d053d6d71e97686afa.png

    表I:构成用于UCR/UEA档案中85个数据集的时间序列分类的神经网络集成。

    799cb891f17edfae83b5db113c02a5a7.png
    4909c9ddc5aea8d053d6d71e97686afa.png

    图2:临界差分图,展示了10个随机初始化的ResNet与一个由这10个独立神经网络组成的ResNet集成的两两统计比较。

    679ad130474178d94d763196a97712f2.png

    图3:临界差分图,显示了由10个随机初始化组成的6个体系结构总体和包含6个模型的一个总体的两两统计比较。

    bf9cad52638e2f52811a60bceb29bc7c.png

    图4:神经网络集成(NNE)由ResNet、FCN和编码器明显优于纯ResNet的集成。

    f7f805c86124d779fa65ff67c640156d.png
    f7f805c86124d779fa65ff67c640156d.png

    图5:临界差分图,显示了当前最先进的算法与添加到池中的神经网络集成(NNE)的两两统计比较。

    6868a1b1e81b4ef891b047d289f9dc68.png

    图6:与从零开始训练的随机初始化FCN模型相比,经过微调的模型的总体效果要好得多。

    英文原文

    Deep neural networks have revolutionized many fields such as computer vision and natural language processing. Inspired by this recent success, deep learning started to show promising results for Time Series Classification (TSC). However, neural networks are still behind the state-of-the-art TSC algorithms, that are currently composed of ensembles of 37 non deep learning based classifiers. We attribute this gap in performance due to the lack of neural network ensembles for TSC. Therefore in this paper, we show how an ensemble of 60 deep learning models can significantly improve upon the current state-of-the-art performance of neural networks for TSC, when evaluated over the UCR/UEA archive: the largest publicly available benchmark for time series analysis. Finally, we show how our proposed Neural Network Ensemble (NNE) is the first time series classifier to outperform COTE while reaching similar performance to the current state-of-the-art ensemble HIVE-COTE.

    展开全文
  • 基于对抗训练深度神经网络时间序列分类题目:Adversarial Attacks on Deep Neural Networks for Time Series Classification作者:H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller来源:...

    f0887d3fcdf1a2a17e1bc1b01239f3fb.png

    基于对抗训练深度神经网络的时间序列分类

    题目:

    Adversarial Attacks on Deep Neural Networks for Time Series Classification

    作者:

    H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller

    来源:

    Accepted at IJCNN 2019

    Machine Learning (cs.LG)

    Submitted on 17 Mar 2019

    文档链接:

    arXiv:1903.07054

    代码链接:

    https://github.com/hfawaz/ijcnn19attacks

    摘要

    在从医学和安全到人类活动识别和食品安全的许多实际数据挖掘任务中遇到时间序列分类(TSC)问题。随着近来深度神经网络在计算机视觉和自然语言处理等各个领域的成功,研究人员开始采用这些技术来解决时间序列数据挖掘问题。然而,据我们所知,之前的工作没有考虑过深度学习模型对对抗性时间序列示例的脆弱性,这可能使得在分类器做出的决定至关重要的情况下(例如医学和安全性)使它们不可靠。对于计算机视觉问题,通过改变图像并添加难以察觉的噪声量来欺骗网络错误地对输入图像进行分类,已经证明这种攻击非常容易。在这一系列工作之后,我们建议利用现有的对抗性攻击机制为输入时间序列添加特殊噪声,以便在测试时对实例进行分类时降低网络的置信度。我们的研究结果表明,目前最先进的深度学习时间序列分类器容易受到对抗性攻击,这种攻击可能在食品安全和质量保证等多个领域产生重大影响。在测试时对实例进行分类时的信心。我们的研究结果表明,目前最先进的深度学习时间序列分类器容易受到对抗性攻击,这种攻击可能在食品安全和质量保证等多个领域产生重大影响。在测试时对实例进行分类时的信心。我们的研究结果表明,目前最先进的深度学习时间序列分类器容易受到对抗性攻击,这种攻击可能在食品安全和质量保证等多个领域产生重大影响。

    英文原文

    Time Series Classification (TSC) problems are encountered in many real life data mining tasks ranging from medicine and security to human activity recognition and food safety. With the recent success of deep neural networks in various domains such as computer vision and natural language processing, researchers started adopting these techniques for solving time series data mining problems. However, to the best of our knowledge, no previous work has considered the vulnerability of deep learning models to adversarial time series examples, which could potentially make them unreliable in situations where the decision taken by the classifier is crucial such as in medicine and security. For computer vision problems, such attacks have been shown to be very easy to perform by altering the image and adding an imperceptible amount of noise to trick the network into wrongly classifying the input image. Following this line of work, we propose to leverage existing adversarial attack mechanisms to add a special noise to the input time series in order to decrease the network's confidence when classifying instances at test time. Our results reveal that current state-of-the-art deep learning time series classifiers are vulnerable to adversarial attacks which can have major consequences in multiple domains such as food safety and quality assurance.

    要点

    在这篇论文中,我们提出,转移和适应的对抗性攻击已被证明是良好的工作,对图像的时间序列数据。我们也提出了一个实验研究,使用的85个数据集的UCR档案显示,神经网络易于对抗攻击。我们强调了现实生活中特定的用例,以强调此类攻击在现实环境中的重要性,即食品质量和安全、车辆传感器和电力消耗。我们的研究结果表明,时间序列数据的深层网络很容易受到与计算机视觉类似的攻击。因此,本文阐明了防范此类攻击的必要性,特别是当深度学习用于敏感的TSC应用程序时。我们还证明了使用一种网络体系结构学习的对抗性时间序列可以转移到不同的体系结构中。最后,我们讨论了一些机制,以防止这些攻击,同时使模型更强大的对抗性的例子。

    我们的主要贡献是

    •TSC任务对抗性攻击的定义和形式化。

    •基于图像的攻击向时间序列数据的传输和适应。

    •在UCR存档数据集上对这些方法进行实证研究。

    •一组在现实场景中强调此类攻击重要性的用例。

    •生成对抗性时间序列的开源框架。

    •UCR归档中每个数据集的一组对抗性时间序列。

    •关于该主题的未来研究中需要考虑的开放问题列表。

    图1:应用一个小扰动(来自包含咖啡豆摄谱仪的咖啡数据集[22]的时间序列)后被深度网络错误分类的扰动时间序列示例

    3e730f06f9f2077fe444e13f3eb00d8a.png

    图2:通过添加使用快速梯度符号法(FGSM)计算的难以察觉的噪声,干扰来自两个ecg数据集的输入时间序列的分类。

    84a169a2d3a9cf43fb3cf779e822672d.png

    图3:时间序列分类的深剩余网络(ResNet)体系结构(TSC)

    f56f00a2f19d01770dbfe11946412e8b.png

    图4:两种攻击(FGSM和BIM)相对于ResNet原始精度的精度变化

    0d45d0dffea36d64b8ae89afbc1706a5.png

    图5:多维标度(MDS)显示了微扰时间序列在整个数据集Ham的测试集上的分布,在执行BIM攻击后,准确率从80%下降到21%。

    6197d568608970d19e2bc45e12429673.png

    图6:多维尺度(MDS)显示了在执行FGSM攻击后,扰动时间序列在整个咖啡数据集测试集上的分布,其精度从100%下降到50%。

    df2167d8b07074e81ac76de535e62f81.png

    图7:FGSM和BIM攻击FordA时扰动量的精度变化。

    6d1b0fd7acba23d93d080b16269cdd3b.png
    展开全文
  • 用于时间序列分类的多元LSTM-FCN MLSTM FCN模型(来自 FCN)使用最新的单变量时间序列模型(来自的最新的单变量时间序列模型,LSTM-FCN和ALSTM-FCN来增强挤压和激励块。 对于LSTM-FCN和ALSTM-FCN模型的代码可以在...
  • 时间序列分类的LSTM全卷积网络的见解题目:Insights into LSTM Fully Convolutional Networks for Time Series Classification作者:Fazle Karim, Somshubra Majumdar, Houshang Darabi来源:Accepted at IJCNN ...

    对时间序列分类的LSTM全卷积网络的见解

    题目:

    Insights into LSTM Fully Convolutional Networks for Time Series Classification

    作者:

    Fazle Karim, Somshubra Majumdar, Houshang Darabi

    来源:

    Accepted at IJCNN 2019

    Machine Learning (cs.LG)

    Submitted on 27 Feb 2019

    文档链接:

    arXiv:1902.10756

    代码链接:

    https://github.com/titu1994/LSTM-FCN

    摘要

    长期、短期记忆全卷积神经网络(LSTM-FCN)和注意力LSTM-FCN (ALSTM-FCN)在旧的加州大学河滨分校(UCR)时间序列存储库中对时间序列信号进行分类的任务中表现出了最先进的性能。然而,对于LSTM-FCN和ALSTM-FCN为何表现良好,目前还没有研究。在本文中,我们对LSTM-FCN和ALSTM-FCN进行了一系列烧蚀试验(3627个实验),以便更好地理解模型及其各个子模块。对ALSTM-FCN和LSTM-FCN的烧蚀试验结果表明,联合使用时,这两种材料的烧蚀效果较好。使用Wilcoxson符号秩检验比较了两种z归一化技术,即单独对每个样本进行z归一化和对整个数据集进行z归一化,以显示性能上的统计差异。此外,我们还通过比较维度洗牌与LSTM-FCN在不应用维度洗牌时的性能,了解维度洗牌对LSTM-FCN的影响。最后,我们证明了LSTM- fcn的性能,当LSTM块被一个GRU、基本RNN和密集块替换时。

    要点

    b0fc4b0143639bcebf4dd7052828b57a.png

    表一:LSTM-FCN与

    带有基线模型的ALSTM-FCN。绿色单元格指定我们的性能匹配或超过最先进结果的实例。粗体值表示性能最佳的模型。

    c17aaf222bade3a73ed4f2d72a7ffbff.png

    图1烧蚀试验-通过从每个卷积层随机选择的滤波器进行转换后输入信号的可视化表示

    1991cd46f2c471e326190733b88ebf13.png

    表二:烧蚀试验- LSTM/ALSTM块、FCN块与Raw的线性SVM性能比较

    信号。绿色单元格和橙色单元格指定块上的线性SVM模型在原始信号上超过线性SVM的实例。粗体表示使用线性SVM分类器性能最好的块。Count∗表示该列中粗体值的数量。

    9be2f809939f6ad4ab78312477593259.png

    表三:烧蚀试验- LSTM/ALSTM块、FCN块、LSTM/ALSTM-FCN的MLP性能比较

    块和原始信号。绿色单元格和橙色单元格指定块上的MLP模型超过原始信号上的MLP的实例。粗体值表示使用MLP分类器性能最好的块。Count∗表示该列中粗体值的数量。

    英文原文

    Long Short Term Memory Fully Convolutional Neural Networks (LSTM-FCN) and Attention LSTM-FCN (ALSTM-FCN) have shown to achieve state-of-the-art performance on the task of classifying time series signals on the old University of California-Riverside (UCR) time series repository. However, there has been no study on why LSTM-FCN and ALSTM-FCN perform well. In this paper, we perform a series of ablation tests (3627 experiments) on LSTM-FCN and ALSTM-FCN to provide a better understanding of the model and each of its sub-module. Results from the ablation tests on ALSTM-FCN and LSTM-FCN show that the these blocks perform better when applied in a conjoined manner. Two z-normalizing techniques, z-normalizing each sample independently and z-normalizing the whole dataset, are compared using a Wilcoxson signed-rank test to show a statistical difference in performance. In addition, we provide an understanding of the impact dimension shuffle has on LSTM-FCN by comparing its performance with LSTM-FCN when no dimension shuffle is applied. Finally, we demonstrate the performance of the LSTM-FCN when the LSTM block is replaced by a GRU, basic RNN, and Dense Block.

    展开全文
  • 在工业上的故障诊断领域,大多数据都来自于传感器的采集,如是西储大学轴承数据,TE化工数据集等,都是典型的时间序列,因而绝大多数问题可以抽象成时间序列分类(TSC)问题。因此本人准备从时间序列分类出发,用典型...
  • 流中深度学习的时间序列分类 处理高速到达的数据流需要开发可以提供快速而准确的预测的模型。 尽管深度神经网络是许多机器学习任务的最新技术,但它们在实时数据流场景中的性能仍是尚未完全解决的研究领域。 然而,...
  • 时间长短序列网络LSTM

    2018-10-26 22:08:32
    时间序列LSTM分类,将数据输入LSTM网络,得到分类结果
  • 基于深度学习时间序列分类研究综述[论文阅读]

    万次阅读 多人点赞 2019-03-15 10:22:22
    时间序列分类研究简介核心论文写在前面的话原文概述摘要1引言2背景2.1时间序列分类2.2基于深度学习的时间序列分类2.3生成性或判别性方法生成模型判别模型3方法3.1为什么判别的端到端方法?3.2方法比较完全卷积神经...
  • 问题描述:有一批tsv格式(或csv格式)的时间序列数据和标签,需要搭建神经网络对其进行分类。 语言:python 数据:数据为tsv格式,可以用excel打开,第0列为类别,第1列往后为时间序列数据 程序代码: ...
  • 递归神经网络(RNN)通常是语言理解和时间序列分析等任务的首选方法。然而,一个已知的问题是它们捕捉长期依赖性的效率低下,从而产生了可替代的RNN。长短时记忆(LSTM)和选通递归单元(GRU)解决了这一问题,但其...
  • 基于对抗训练深度神经网络时间序列分类题目:Adversarial Attacks on Deep Neural Networks for Time Series Classification作者:H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, P. Muller来源:...
  • 但是,基于深度网络时间序列分类往往在大数据集上能够打败传统方法。另一方面,深度网络必须依赖于大量的训练数据,否则精度也无法超过传统机器学习方法。在这种情况下,进行数据增强、收集更多的数据、使用集成...
  • 时间序列分类的深度学习 这是发表在“时间序列分类的深度学习:评论”的配套资料库,该也可以在。 数据 该项目中使用的数据来自两个来源: ,其中包含85个单变量时间序列数据集。 ,其中包含13个多元时间序列数据...
  • 本文的主要目的是研究一种鲁棒的全功能时间序列分类方法。为此,提出了一种基于深度学习的新方法。由于时间序列数据具有复杂多变的结构,因此采用能够处理非线性复杂运算的算法比采用浅层结构的方法更为合适。虽然...
  • 本文介绍了三种用于时间序列分类任务的网络架构,包括:LSTM、CNN-LSTM、ConvLSTM,并使用这些网络架构应用于业内标准的数据集UCI-HAR-dataset进行人类活动识别。
  • TCN是指时间卷积网络,一种新型的可以用来解决时间序列预测的算法。 该算法于2016年由Lea等人首先提出,当时他们在做视频动作分割的研究,一般而言此常规过程包括两个步骤:首先,使用(通常)对时空信息进行编码的...
  • matlab动态神经网络进行时间序列预测分析

    万次阅读 多人点赞 2018-02-25 10:45:02
    matlab动态神经网络进行时间序列预测分析 时间序列预测问题分类 有y,无x,即y(t)=f(y(t−1),y(t−2),...)y(t)=f(y(t−1),y(t−2),...)y(t)=f(y(t-1),y(t-2),...)(NAR) 有x,有y,即y(t)=f(x(t−1),x(t−2),......
  • 序列卷积神经网络 DFCNN:deep fully convolutional neural network 全序列卷积神经网络 DFCNN对时域信号进行分帧、加窗、傅里叶变换、取对数得到语谱图。 语谱图的x是时间,y轴是频率,z轴是幅度。幅度用亮色如...
  • (3)通过计算分类系数来发现递归网络分类性质; 它们的值从正常的大脑增加到癫痫的大脑,这准确地表明了状态的差异。 复发网络的这些普遍性和非普遍性特征可能有助于清楚地了解大脑的基本神经动力学,并为临床...
  • 标签: lstm tensorflow 时间序列 机器学习2017年12月20日 14:25:283370人阅读 评论(1) 收藏 举报 分类:机器学习(13) TensorFlow(2) 版权声明:本文为博主原创文章,未经博主允许不得转载。...
  • 本文讲解matlab小波工具箱实例(一):基于小波分析和深度学习的时间序列分类。目录如下:链接:https://www.mathworks.com/help/wavelet/ug/classify-time-series-using-wavelet-analysis-and-deep-learning.html这个...
  • 朴素的贝叶斯分类器用于确定哪个深度学习者负责预测特定的时间序列。 我们提议的方法将应用于一组金融时间序列数据(日经平均股票价格),以评估所做预测的准确性。 与采用单个深度学习器来获取所有数据的常规方法...
  • 我们在实践中通常会遇到的数据类型包括结构化数据,图片数据,文本数据,时间序列数据。我们将分别以titanic生存预测问题,cifar2图片分类问题,imdb电影评论分类问题,国内新冠疫情结束时间预测问题为例,演示应用....
  • 金融时间序列及Matlab实现

    千次阅读 2019-09-25 02:23:28
    数据处理一共可以分为三个方面,一是数据的回归分类,而是时间序列数据,三是网络型数据处理。本文将要来讨论一下时间序列的应用。 一.ARMA 模型 Arma是用来讨论时间序列里面回报率的情况,假设t时刻的回报率与t...
  • 智能电网等关键基础设施的管理和高效运行极大地利用了电力负荷的精确预测,由于其非线性性质,这仍然是一项具有挑战性的任务。...具体来说,我们关注前馈和递归神经网络序列序列模型、时域卷积神经网络以及架构
  • 这篇文章就想给大家介绍一种快速分析时间复杂度的方法 —— 题型分类法。网络上关于时间复杂度分析的文章,大部分都充斥着教材里的陈词滥调:先讲一大堆数学概念,什么增长速度、渐进复杂度,看得让人摸不着头脑。我...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 620
精华内容 248
关键字:

时间序列分类网络