2018-09-13 21:19:32 weixin_40050195 阅读数 484
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40478 人正在学习 去看看 唐宇迪

阿里云大学课程:使用深度学习TensorFlow框架进行图片识别

课程介绍:

TensorFlow是Google开源的深度学习工具包,它将深度学习复杂的计算过程抽象成了数据流图(Data Flow Graph),并提供简洁灵活的高级抽象接口,让用户通过简单的学习就可以使用深度学习。

本课程介绍了深度学习的一些基础知识,以及Tensorflow的工作原理。通过阿里云机器学习PAI基于经典的CIFAR-10数据集实现图片识别。学员可以通过本实验,对深度学习Tensorflow框架有一个简单、直观的了解。

开始学习:使用深度学习TensorFlow框架进行图片识别

阿里云大学首页:阿里云大学

2017-11-23 14:18:35 weixin_37801695 阅读数 2586
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40478 人正在学习 去看看 唐宇迪

一直想写点东西和大家交流,但是又怕自己才疏学浅,写出的东西让大家笑话,今天突然有感,被笑话也是督促自己进步的途径。

本文的话题是一个看似简单的行为识别模型给我带来的“惊喜”。

为了便于理解,本文对问题进行的简化。本文不涉及用到的理论和方法的详细描述,只是讲述了在解决问题中遇到的问题和收获的知识。

模型功能:识别急加速行为。
输入:三轴加速计数据x,y,z,采样频率10条/秒;
输出:是否发生急加速行为。
应用环境:智能手机

做为一个受过一点教育的工程师,接到这个任务满心欢喜,So easy(领导一定也这么觉得,So easy)。

模型方案信手拈来,搜集急加速行为的数据,标记为1,正常驾驶数据标记为0,建个分类模型,搞定!问题来了,数据要怎么搜集呢?整个几台车出去跑,一个人开车,一个人记录?跑10天,20天…,这样也不是不可以,但是没车没人浪费钱啊。于是乎有人提议了,不如众稠吧,于是一个急加速行为识别的应用诞生了,聪明的读者要发问了,急加速行为识别的模型还没有数据呢,应用是怎么诞生的?是的,这就是本文的一个主题,没有数据的情况下如何建立模型。

没有数据的情况下如何建立模型

机理+规则。看看输入数据的物理意义,输入和输出之间的关联,定义行为判定规则。三轴加速计数据其实就是三个轴的加速度(三轴分别是横向加速度-y轴、前向加速度-x轴、纵向加速度-z轴)

急加速时前向加速度会突变,一定程度的突变就是急加速了,哈哈,读到这里估计有的读者也会觉得不就这么简单吗,这不就是一个信号突变检测吗,检测出来前向加速度突变,定了程度就完事了。大家不要忘了,我们的应用环境是手机啊,手机坐标系和车辆坐标系重合时(手机的x、y、z轴和车辆的x、y、z轴重合)前向加速度突变才是急加速。那你做一下坐标变换就好了,嗯,我也是这么想的。通过旋转坐标变换,将手机的数据变换到车辆的坐标系,变换后的y轴数据突变就是急加速行为,于是乎,数据经过旋转矩阵的转啊转,终于和车辆坐标系重合了。数据搜集硬件也是各种电路吧,会有高频干扰,导致信号突变,加个滤波功能,选小波滤波还是滑动窗口滤波呢(就知道他俩),小波变换可以去除高频噪音,我们这个数据搜集频率就10HZ,还是选滑动窗口滤波。一个滤波+旋转坐标变换的数据变换功能实现了,小小的成就感。

可爱的队友将第一版模型集成到手机,检测结果的提示音相当刺耳,一拿起手机就响,嗯嗯,竟然忽略了如此频繁的场景。要怎么规避使用手机场景的误判呢?使用手机时手机在手里,没有使用手机时手机在车上,车应该比手抖得厉害吧(暂时不考虑手抖的用户了),于是万能的小波分析有派上了用场。在现有模型基础上增加了一层小波分析,又兴致勃勃地拿给队友测试,玩手机不误报了哎,好开心。

看似问题已经解决了,其实并不然,经过测试发现,模型只适用于抗干扰性较好的硬件,然而不同手机抗干扰性差异很大,真的有很不靠谱的硬件啊,自己抽风发抖的,我们又增加了数据源,设计了相应的算法,这里不再赘述了,结论是好手机的用户是我们的好朋友,破手机的用户我们也尽力了(信号分析的方法本人已经技穷了,有高手还希望多多指点)。还有一个问题,几乎每个客户都会问我,加速什么程度算急加速,这个值你们是怎么确定的,说我自己定的,我不够权威,说看别人论文定的,好像自己很Low,技穷。

总结一下本节,有的时候确实需要我们在没有数据的时候做模型,其实大家都不想这样,但是没办法,机理模型、信号分析、专家规则等可以帮助我们过渡这个困难的时期,注意不是渡过。

有一点数据的情况下如何建立模型

经过上面的努力,依然存在没有解决和没有答案的问题,于是乎我们觉得,还是需要一点数据做支撑的,拉着我们组的大哥,搜集了一点点急加速行为数据,实在是太珍贵了,向上采样将数据扩充了几倍,进行了均匀处理,在时域和频域对数据进行特征提取,运用机器学习分类模型进行分类;于是乎,数据的可贵映入眼帘。与之前的信号分析方法相比,特征提取环节提取的特征更加丰富,特征的有效性具有可检测性,就是得试来试去,及其费体力,虽然也有各种各样的选择方法,什么熵增、与因变量关联关系、降维,但依然费体力。与此同时,什么程度的加速是急加速的问题也得到了一定程度上的解决,和我们采集的急加速行为有一定相似度的就是了,这样好像比阈值方法高明一点吧。估计大家又要发问了,你之前为什么不这么做,因为我没有想到硬件差异会这么大,还有就是之前提到的没车没人没钱啊。

一次和别人的合作,让我有幸接触到了Tensoflow、卷积神经网络,顿时感觉,这东西好啊,完全省去了特征提取的体力活了,把输入准备好,调参,期待完美的输出吧。卷积神经网络在图像领域表现突出,通过卷积、池化、连接实现对图像的特征提取和分类。图像可以表示成三维数组,而我们的输入数据属于时域信号,这个输入该如何构造呢?博士运用手机检测碰撞的模型思路,将时域信号构造成满足Tensorflow-CNN输入结构,按照同样的方法进行尝试,果然省时省力啊。经过深入研究CNN,感觉博士构造输入数据结构和网络结构的方式,只能实现对每个变量的单独特征提取,到最后的全连接层才能融合所有输入特征,能不能在构造输入时能够使卷积实现不同变量之间的特征提取呢?因为再对图像进行特征提取时就是邻近区域的特征提取;那么CNN是否支持多输入呢?之前研究过Siamese网络就是多输入的,那么通过构建不同的输入,融合一些先验的信息,来减少网络深度,降低模型的复杂度是否可行呢,我还没有验证啊,感觉应该可行的,有兴趣的读者可以尝试啦。有的读者该发问了,深度学习不就是用深度网络来提升分析的准确性吗?你这是倒退了。但是我并不觉得这是倒退了,我们解决问题的宗旨永远都是用最少的投入获得最大的产出,现实并没有您想象的那么完美,数据足够多、足够全、资源随便用是不现实的,当我们有一些先验知识有助于降低对数据的需求、对资源的需求就要把这些知识融入到模型。

数据的价值在于它蕴含的信息和知识,而先验的知识有助于降低对数据的需求,我不赞同那些抛弃机理盲目追求数据的主张,大家对数据太迷恋了,就像我的老公,一个画配电图的都觉得不懂点大数据都不好意思出门,不得不说,大数据的宣传绝对是成功的。我的意思并不是数据不重要,看到我前面的分析也能感受到数据是重要的,但是数据应该是针对我们解决的问题搜集的数据才有价值。总是看到报导称大部分大数据产品都是伪价值,究其原因各个领域的大数据并没有发展到可以产生价值的阶段,好多行业的现状是,觉得数据有价值,然后随随便便的搜集着,最后交给数据分析师说,你去挖掘一下数据的价值,最后结论往往都是数据分析师水平不行~~,哈哈,我想说如果真的想做大数据就找个领域数据分析专家好好规划一下。

有的时候条件确实是艰苦的,就像创业一样,只有让投资者感受到价值他们才愿意掏钱。先创立一个新方向的时候,就是需要我们从零开始,从一无所有开始解决问题,但是知识和经验就是在磨练中积累,喝下这碗鸡汤吧。

之后我会对工作中遇到的问题,学到的知识进行总结,和大家交流,希望大家能够多多指教。

写博客的目的是学习的总结和知识的共享,如有侵权,请与我联系,我将尽快处理

2020-02-26 12:18:53 Small_cainiao 阅读数 133
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40478 人正在学习 去看看 唐宇迪

WX公主号(arXiv每日学术速递),欢迎关注,感谢支持哦~

几篇本周的paper:

  • 3D骨架行为识别综述 北京大学
  • 深度域适应目标检测综述 中科院自动化所
  • 用时间序列股票相似度改进标普股票预测
  • SemI2I-用于遥感数据域适配的Image-to-Image Translation Inria
  • 综述:深度学习在金融中的应用

1. 北大3D骨架行为识别综述

北京大学:北大写的基于3D Skeleton的行为识别的综述,反正现在水行为识别的paper辣么多,不如看个综述吧……
标题:A Survey on 3D Skeleton-Based Action Recognition Using Learning Method
作者:Bin Ren,...,Hong Liu
链接:https://arxiv.org/pdf/2002.05907.pdf
基于三维骨架的动作识别,由于骨架的潜在优势,一直是计算机视觉领域的研究热点。因此,多年来人们已经做了很多令人印象深刻的工作,包括传统的基于手工特征的和基于学习特征的。然而,以往关于动作识别的研究大多集中在视频或RGB数据占主导地位的方法上,现有的关于骨骼数据的综述很少,主要是针对骨骼数据的表示或某些经典技术在某一数据集上的性能。此外,虽然深度学习方法在这一领域已经应用多年,但从深度学习体系结构的角度对其进行介绍或综述还没有相关的研究关注。为了突破这些局限,本研究首先强调了动作识别的必要性和3D Skeleton数据的重要性。然后对基于递归神经网络(RNN)的主流动作识别技术、基于卷积神经网络(CNN)的主流动作识别技术和基于图卷积网络(GCN)的主流动作识别技术进行了全面的介绍。最后,我们简要介绍了最大的3D Skeleton数据集NTU-RGB+D及其新版NTU-RGB+D120,以及这两个数据集中现有的几种顶级算法。据我们所知,这是首次对基于深度学习的3D骨骼数据的动作识别进行了全面的探讨。


2. 综述:深度域适应目标检测

中科院自动化所:关于Domain Adaptive在目标检测上应用的综述,已经投稿至ICIP2020。
标题:Deep Domain Adaptive Object Detection: a Survey
作者:Wanyi Li, Peng Wang
链接:https://arxiv.org/pdf/2002.06797.pdf
基于深度学习(DL)的目标检测已经取得了很大的进展,这些方法通常假设有大量的带标签的训练数据可用,并且训练和测试数据从相同的分布中提取。然而,这两个假设在实践中并不总是成立的。深域自适应目标检测(DDAOD)作为一种新的学习范式应运而生。本文综述了深域自适应目标检测方法的研究进展。
首先,简要介绍了深域自适应的基本概念;其次,将深域自适应检测器分为四类,并对每一类中的代表性方法进行了详细的描述;最后,对未来的研究趋势提出了见解。


3. 用时间序列股票相似度改进标普股票预测

以色列:内盖夫本-古里安大学:股票预测啊,发家致富不是梦……不过这是在标普做的预测,不管什么方法,来我大斗A一定会亏掉裤子吧,啥时候才能学学Trump,#MAGA,Make A-share Great Again!,不靠谱不靠谱
标题:Improving S&P stock prediction with time series stock similarity
作者:Lior Sidi
链接:https://arxiv.org/pdf/2002.05784.pdf
如今,使用预测算法进行股市预测是一个流行的话题,大多数预测算法只利用收集到的特定股票的数据进行训练。在本文中,用特定股票的相关股票的数据来丰富数据,就像一个专业交易者应该做的那样,来改进股票预测模型。对五种不同的相似度函数进行了测试,发现co-integration similarity对预测模型的改善效果最好。我们对五年内来自不同行业的七只标普股票的模型进行了评估。我们在类似股票上训练的预测模型的预测结果明显更好,平均精度为0.55,利润为19.782,而目前state-of-art精度为0.52,利润为6.6。


4. SemI2I-用于遥感数据域适配的Image-to-Image Translation

Inria 法国国家信息与自动化研究所
标题:SemI2I: Semantically Consistent Image-to-Image Translation for Domain Adaptation of Remote Sensing Data
作者:Onur Tasar, Pierre Alliez
链接:https://arxiv.org/pdf/2002.05925
虽然卷积神经网络已被证明是从遥感图像中生成高质量地图的有效工具,但当训练数据和测试数据之间存在较大的domain shift时,卷积神经网络的性能会显著下降。为了解决这一问题,我们提出了一种新的数据扩充方法,该方法利用生成性对抗性网络将测试数据的样式转换为训练数据。我们的语义分割框架首先从真实的训练数据训练一个U-net,然后在由该方法生成的假训练数据上对其进行微调。实验结果表明,该框架的性能优于现有的领域自适应方法。


5.综述:深度学习在金融中的应用

土鸡的一个大学写的,质量不知道,图倒是画的挺好看的,感兴趣的话参考下吧emmmm
标题:Deep Learning for Financial Applications : A Survey
作者:Ahmet Murat Ozbayoglu, Omer
链接:https://arxiv.org/pdf/2002.05786.pdf
过去的几十年,金融中的计算智能一直是学术界和金融界非常热门的话题,大量的研究结果提出了不同的模型。同时,在机器学习(ML)领域,深度学习(DL)最近几年受到人们的广泛关注,这主要是因为它的性能优于经典模型。目前存在许多不同的DL应用,而且人们的兴趣与日俱增。金融是DL模型开始受到关注的一个特殊领域,然而,这个领域是开放的,仍然存在许多研究机会。在这篇文章中,我们试图提供到今天为止为金融应用程序开发的DL模型的最先进的快照。我们不仅根据它们在金融领域的意图对它们进行了分类,而且还根据它们的DL模型对它们进行了分析。此外,我们还旨在确定未来可能的实现,并强调了该领域内正在进行的研究的途径。调研的内容有:

  • 嵌入时间序列预测模型的算法交易应用
  • 基于分类(买入-卖出信号或趋势检测)的算法交易模型
  • 独立或其他算法模型
  • 信用评分或分类研究
  • 财务困境、破产、银行风险、抵押贷款风险、危机预测研究
  • 欺诈检测研究
  • 投资组合管理研究
  • 资产定价与衍生产品市场研究
  • 加密货币和区块链研究
  • 金融情绪研究与文本挖掘相结合的预测
  • 无情感分析的文本挖掘预测研究
  • 其他文本挖掘研究
  • 其他理论研究或概念研究

不同主题论文发表量统计:

开发环境及python库占比统计:

 


 

2019-02-23 18:25:16 weixin_44402973 阅读数 482
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    40478 人正在学习 去看看 唐宇迪

随着互联网的不断发展,各种应用的不断推广。数据无论从存储,格式,形式,类型等方面都趋向于多样化,丰富化,指数化。数据就是价值,为何这么说呢?在机器学习,深度学习推动下,训练数据需求很大。对于分类模型,训练数据越多,分类器的准确度会在一定程度上更精确。行为识别可以说就是在这基础上演变出来的一个研究分支。那么什么是行为识别呢?我的理解是这样的,比如对于某个图片或者视频中的某个信息进行捕获,我们可以使用特征工程进行特征提取,这些特征提取说白了就是基于对图片局部中像素进行操作,对于视频,我们可以将视频按帧分解成图片,常用工具有ffmpeg,也可以使用python中基于视频分解图片的模块包自行通过调用处理。对于得到的图片,我们可以对其进行特征提取,比如常用的特征提取方法有Haar,Hog等,它们在结合具体的分类器比如adaboost,svm等可以对图片中相关特征精确提取达到一定准确度。有了特征之后,我们可以使用机器学习中分类器或者深度学习中的分类器利用已经得到特征进行训练,之后对未知图片进行预测,这也就达到了行为识别的目的。
行为识别存在问题?由于受到视频背景混乱、闭塞、视点变化等原因,对行动的准确识别是一项极具挑战性的任务,大多数现有方法对拍摄视频的环境做出某些假设。然而,这种假设在现实环境中很少成立。此外,大多数在这些方法都遵循传统的模式模式识别,包括两个步骤,第一步从原始视频中计算并提取特征,第二步通过该特征训练分类器。在现实世界中在场景中,很少知道哪些特征对手头的任务很重要,因为特征的选择是高度依赖问题。特别是对于人类行为识别。
行为识别的发展从哪开始呀?关于行为识别最早开始于19世纪中后期,科学家首先在动物行为方面进行了机械学研究[1]。但是由于当时的计算机不能处理大规模的数据计算,行为识别的研究也没有得到重视。直到20年代末期,关于行为识别的研究也是寥寥可数,当时的研究人员通过采集大量的实验数据进行分析和研究,训练并构建模型,然后匹配模型和行为序列,最终达到行为理解的目的。由于计算量的规模性,当时的研究只能局限于分析简单的行为运动。进入本世纪后,世界上多家名校和研究机构都在行为识别进行了深入研究和探索[2]。在工业界,行为识别可以说占据了普遍优势,如行程规划,用户社交行为,人员调度等领域已经出现了行为识别的相关应用。行为识别和模式识别比较火热的研究话题。
行为识别的的发展如何呢?目前行为识别的主要有两大流派:Two-Stream和C3D。Two-Stream的思想是是基于视频帧图像,其表示的是静态信息和对视频序列中每两帧计算密集光流得到的光流序列,该序列表示的是时序信息,然后利用相关深度网络对它们分别训练出一个模型,在各自网络产生结果后,对结果进行融合;它能有效的从一张图片中识别出行为的类别。利用双流CNN网络分别基于RGB图像和由视频得到的光流序列各自训练一个模型,这两个模型分别对动作进行判断,最后将两这训练结果进行融合,在UCF-101数据库上准确率达到88%,在HMDB51行为数据库达到59.4%[3]。将双流网络改成VGG-16网络,VGG-16卷积神经网络探索了深度与其性能之间的关系,通过反复堆叠33的小型卷积核和22的最大池化层,层数为16层,经实验提高了准确率[4]。C3D对CNN中的卷积(convolution)操作和池化(pooling)操作进行改良,其采用3D卷积核,在时间和空间维度上进行操作,能捕捉到视频流中的运动信息。一个用于人类行为识别的3D CNN架构,该体系结构由1个硬接线层、3个卷积层、2个子采样层和1个全连接层组成,以7帧尺寸为60×40帧作为3D CNN模型的输入。采用不同的卷积规模,最终在TRECVID DATA上的精准率达到了71.37%[5]。
可能对于深入的研究可能还有需要多去研究相关论文,多去动手上机实验。谢谢!

参考文献
[1]陈晓峰. 电子商务安全性理论与技术研究[D]. 西安: 西安电子科技大学, 2003.
[2]SEOH J, MILANFAR P. Action recognition from one example[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 867-882.
[3]Simonyan K, Zisserman A. Two-Stream Convolutional Networks for Action Recognition in Videos[J]. 2014.
[4]Feichtenhofer, C. , Pinz, A. , & Zisserman, A. . (2016). Convolutional two-stream network fusion for video action recognition.
[5]Ji, S. , Xu, W. , Yang, M. , & Yu, K. . (2013). 3d convolutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(1), 221-231.

没有更多推荐了,返回首页