SAEs
2019-09-05 17:30:17 weixin_44808853 阅读数 128
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16289 人正在学习 去看看 唐宇迪

论文简读-栈式自编码的上海地铁短时流量预测

摘要:利用历史刷卡数据,提出了一种基于深度学习的地铁短时客流量预测方法,基于栈式自编码器构建深度神经网络模型,采用自下而上逐层非监督预训练,在预训练结束之后,采用反向传播BP算法自上而下来微调整个网络的参数。

模型-基于SAE的深度学习

该模型底层由栈式自编码器构成,用于特征提 取;顶层为一个逻辑回归器,用于客流量预测。

  1. AE ,自动编码器 AE(AutoEncoder)是一种试图重构原始输入信号的神经网络,
    2.SAE,栈式自编码器SAE由一组自动编码器连接构 成,它将下层自动编码器的输出作为上层自动编码器的输入。L层的SAE,训练集作为第一次的输入,第k(小于L)层的输出作为第k+1的输入。堆栈的方式逐层组合在一起。文中为了预测流量,在编码层添加一个预测器-逻辑回归,
  2. 评价指标 ,MAE,MAPE,RMSE
  3. 数据,地铁刷卡数据
  4. 结论,SAE模型比 Wavelet -NN 模型和 ARI - MA模型预测精度更高。
  5. 代码参考:https://github.com/xiaochus/TrafficFlowPrediction
2019-08-03 17:09:11 IM_FLYing_ 阅读数 10
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16289 人正在学习 去看看 唐宇迪

梯度下降

引言

跟同事交流发现,大家对最简单的并没有理解更深刻,描述的也是模棱两可,去搜索资料也是讲的很大,于是在地铁上写了这个,最最通俗的解释,希望能有帮助

梯度下降工作原理

参数设定

1.假设激活函数h=tx
2.t=t-J’t
3.J代价函数

正文

1.首先设定参数t =0,那么现在线性拟合的图像就是和x轴重合,所以代价函数就是最大值,
2.目标需要线性图像逐渐向上倾斜接近样本节点,那么需要t不断增大,也就是斜率逐渐增大,此时的代价函数处在逐渐减小的过程,那么,导数是小于0
3.更新t参数,由于代价函数导数小于零,那么t逐渐增大,所以线性图像会逐渐向y轴倾斜,这样一定能达到一个代价函数最低点
4. 当代价函数处于最低点的时候,倘若没有停止剃度,那么代价函数就会逐渐增大,因为代价函数逐渐增大,所以代价函数的导数大于0
5.因为导数大于零,所以t更新时,逐渐偏小,斜率逐渐降低,线性图像逐渐偏向x,这时候代价函数又会逐渐减小。又起到了代价函数逐渐梯度下降的现象。
6.因为学习率设置不同,所以步长也不同,所以可能恰好略过最右点,但是一旦错过最右点,代价函数值就会增大,相应的t就会减小,图像就会向x轴倾斜,所以代价函数图像又会逐渐趋向最优点了。以此反复,定会达到最优点。

2018-03-12 13:06:33 Julialove102123 阅读数 261
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16289 人正在学习 去看看 唐宇迪

题目描述:

城市E的马路上有很多路灯,每两个相邻路灯之间的间隔都是1公里。小赛是城市E的领导,为了使E城市更快更好的发展,需要在城市E的一段长度为M的主干道上的一些区域建地铁。这些区域要是建了地铁,就需要挪走相应的路灯。可以把长度为M的主干道看成一个数轴,一端在数轴0的位置,另一端在M的位置;数轴上的每个整数点都有一个路灯。要建地铁的这些区域可以用它们在数轴上的起始点和终止点表示,已知任一区域的起始点和终止点的坐标都是整数,区域之间可能有重合的部分。现在要把这些区域中的路灯(包括区域端点处的两个路灯)移走。你能帮助小赛计算一下,将这些路灯移走后,马路上还有多少路灯?


 

 

算法思路分析:

1、输入马路长度M,和N个需要建地铁区域的路段个数N;

2、输入N段路段的起点和终点坐标start、end;

3、将所有的节点存入set(因为这里的路灯是一个坐标一个,不管开始和结尾重不重合只要有这一点,路灯就得移除),set的特点就是没有重复元素;

3、总的路灯数(M+1)-Set的大小(即需要移除的路灯数len(set));

代码练习:

if __name__ == "__main__":
    while 1:
        input_raw = raw_input()
        M = int(input_raw.split()[0])
        N = int(input_raw.split()[1])
        set_point = set()
        for i in range(N):
            area = raw_input()
            start = int(area.split()[0])
            end = int(area.split()[1])
            for j in range(start, end + 1):
                set_point.add(j)
        print M + 1 - len(set_point)

 

基础知识补充:

1、set:

set() 函数创建一个无序不重复元素集,可进行关系测试,删除重复数据,还可以计算交集、差集、并集等。

增加

集合元素的增加支持两种类型,单个元素的增加用add方法,对序列的增加用update方法。add的作用类似列表中的append,而update类似extend方法。update方法可以支持同时传入多个参数:

>>> a={1,2}
>>> a.update([3,4],[1,2,7])
>>> a
{1, 2, 3, 4, 7}
>>> a.update("hello")
>>> a
{1, 2, 3, 4, 7, 'h', 'e', 'l', 'o'} #序列
>>> a.add("hello")
>>> a
{1, 2, 3, 4, 'hello', 7, 'h', 'e', 'l', 'o'} #单个元素

注:增加已有的元素不会对集合产生影响,也不会抛出异常

删除

 

集合删除单个元素有两种方法,两者的区别是在元素不在原集合中时是否会抛出异常,set.discard(x)不会,set.remove(x)会抛出KeyError错误:

>>> a={1,2,3,4}
>>> a.discard(1)
>>> a
{2, 3, 4}
>>> a.discard(1)
>>> a
{2, 3, 4}
>>> a.remove(1)
Traceback (most recent call last):
  File "<input>", line 1, in <module>
KeyError: 1
  •  

集合操作

 

  • 并集:set.union(s),也可以用a|b计算
  • 交集:set.intersection(s),也可以用a&b计算
  • 差集:set.difference(s),也可以用a-b计算
  • 求对称差集:set.symmetric_difference(s),相当于两个集合互求差集后再求并集,其实就是返回两个集合中只出现一次的元素,也可以用a^b计算。
>>> a={1,2,3,4}
>>> b={3,4,5,6}
>>> a.symmetric_difference(b)
{1, 2, 5, 6}
  • set.update(s)操作相当于将两个集合求并集并赋值给原集合,其他几种集合操作也提供各自的update版本来改变原集合的值,形式如intersection_update(),也可以支持多参数形式。

包含关系

 

两个集合之间一般有三种关系,相交、包含、不相交。在Python中分别用下面的方法判断:

  • set.isdisjoint(s):判断两个集合是不是不相交
  • set.issuperset(s):判断集合是不是包含其他集合,等同于a>=b
  • set.issubset(s):判断集合是不是被其他集合包含,等同于a<=b

如果要真包含关系,就用符号操作><

不变集合

 

Python提供了不能改变元素的集合的实现版本,即不能增加或删除元素,类型名叫frozenset,使用方法如下:

>>> a = frozenset("hello")
>>> a
frozenset({'l', 'h', 'e', 'o'})

需要注意的是frozenset仍然可以进行集合操作,只是不能用带有update的方法。如果要一个有frozenset中的所有元素的普通集合,只需把它当作参数传入集合的构造函数中即可:

>>> a = frozenset("hello")
>>> a = set(a)
>>> a.add(12)
>>> a
{'l', 12, 'h', 'e', 'o'}

 

----------------------------------------------------------------------------------------------------------

 

详细内容请关注公众号:目标检测和深度学习

----------------------------------------------------------------------------------------------------------

2018-01-18 14:16:13 aliyun32183 阅读数 119
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16289 人正在学习 去看看 唐宇迪

摘要: 阿里云发布首款全球智能互联的网络产品——云骨干网,阿里安全技术平台资深专家玄泰解密:“如何防止信息泄露” ,深度学习的核心:掌握训练数据的方法,【逐云】阿里云资深专家何万青:做技术的一定要多跨界,一张地铁票、一杯星巴克,AI技术如何改变我们的生活?...更多精彩内容,尽在云周刊!

本期头条

阿里云发布首款全球智能互联的网络产品——云骨干网 

d42b0af52bd3b159e41f17313db2cbfa1b632776

12月13日,阿里云发布全球首款智能互联的网络产品——云骨干网(Cloud Backbone Network)。这款产品能够分钟级构建多地域全球网络,并和混合云连成一体,打造具有企业级规模和通信能力的智能云上骨干网络。和以往的网络产品相比,云骨干网的第一大特色是操作简单。阿里云网络产品负责人祝顺民介绍,云骨干网的操作和开通ECS虚拟机一样便捷。用户不需要深入了解网络基础知识,即可轻松完成配置。分钟级的构建能力大大提高了企业效率。过去,构建跨国专线,少则一个月,多的甚至半年。有了云骨干网,几分钟就可以把北京,上海,美东,日本,法兰克福的VPC连起来,构建一个云骨干网络,点击查看。


技术干货

深度学习的核心:掌握训练数据的方法 

629f3de41c2c77752e9fc491342c463360b51776

今天我们将讨论深度学习中最核心的问题之一:训练数据。深度学习已经在现实世界得到了广泛运用,例如:无人驾驶汽车,收据识别,道路缺陷自动检测,以及交互式电影推荐等等。我们大部分的时间并不是花在构建神经网络上,而是处理训练数据。深度学习需要大量的数据,然而有时候仅仅标注一张图像就需要花费一个小时的时间!所以我们一直在考虑:能否找到一个方法来提升我们的工作效率?是的,我们找到了。在本文中,我们将重点介绍计算机视觉,但是,类似的思路也可用在大量不同类型的数据上,例如文本数据、音频数据、传感器数据、医疗数据等等,点击查看。

社区活动

【报名倒计时】云栖大会北京峰会 
cd11bbca11cb555d669ea8017a7a029e5556da86
2017云栖大会北京峰会将于12月19日至12月20日于北京国家会议中心举办,届时,胡晓明、邵晓锋、闵万里等诸多阿里巴巴专家将齐聚会议中心,精彩值得期待,点击报名。

独家视频

【逐云】阿里云资深专家何万青:做技术的一定要多跨界 


《逐云》第四期,我们拍了阿里云高性能计算负责人何万青,讲述了他惊心动魄的个人经历、研发高性能计算HPC,以及他对超算云化意义等的看法,点击查看。


精彩直播

【云栖TechDay直播】飞天技术汇:ECS实例解析与大数据投融资 

aae8ae59a7d1135f2b09d0dc10c1c3651a0f8a9e

本次直播中,阿里云产品专家胡晓博、阿里云高级产品专家王志坤以及普华资本TMT主管合伙人蒋纯将带来精彩分享。企业如何应用云计算才能最大的发挥业务搭建在云端的优势?如何选择产品来帮助业务构建高性能低成本的最优环境,本场嘉宾将以性价比这一核心主题贯穿整个讲解内容,帮助企业客户理解云计算的弹性及用法;同时将针对当前最热门的业务场景,针对性的讲解最优产品组合方案,帮助企业跨过摸索的过程,直接获得最高性能及性价比的云端体验,点击报名。


聚能聊

一张地铁票、一杯星巴克,AI技术如何改变我们的生活?

8b6e54de0cb733a339ad62d6a3e8f50d4f3724d0

2017年12月3-5日,第四届世界互联网大会在乌镇召开。12月4日的人工智能分论坛主题为“人工智能:让生活更美好Smarter World, Better Life”。而就在互联网大会召开期间,我们身边又发生了哪些事情呢?没参加饭局的马云用iDST的语音技术买了张地铁票,竟然没说唤醒词,阿里巴巴与星巴克合作 AR场景识别首次大规模商用,新登月计划:阿里云ET大脑获颁世界互联网领先科技成果奖...一张地铁票、一杯星巴克,AI技术已经融入到我们的生活中。那么 AI技术是如何改变我们的生活?点击查看。


论坛精选

【漏洞公告】Jenkins发布多个漏洞安全公告

6e847fd72838dfafc84bebd95df8cdb02bff33f6

美国时间2017年12月08日,Jenkins官方安全公告披露两个安全漏洞,CVE漏洞编号为:CVE-2017-1000391、CVE-2017-1000392,两个漏洞官方评级为低危,用户可以根据业务情况选择修复漏洞,点击查看。


全球安全资讯精选

【政府安全资讯精选】 全国各地开展打击整治网络侵犯公民个人信息犯罪专项行动;中共中央办公厅、国务院办公厅印发计划 IPv6规模部署提上日程 

75470b47874813e2bd3938eb4329a5e2a2fb1101

去年以来,公安部在全国开展打击整治网络侵犯公民个人信息犯罪专项行动,在各省破获多起案件。其中,福州公安机关近日破获一起特大侵犯公民个人信息案,查获个人信息超过千万条,抓获的 19 名犯罪嫌疑人绝大多数是房产开发、销售、中介等内部人员。他们利用职务便利,非法收集、交换、出售公民个人信息,从中牟利。从公安机关破获和法院判决的案例看,车辆、征信报告、银行账户、房产、教育、医疗等信息是最热门的信息类型,点击查看。


读书推荐

《网络空间欺骗:构筑欺骗防御的科学基石》一导读

72e40b962fb6116d8c3370fe4972a6dbbcee89df

本文讲的是网络空间欺骗:构筑欺骗防御的科学基石一导读,本书旨在为构建网络空间欺骗防御的科学基础迈出探索性的一步。在本书中,我们提出了一个最新的基础研究结果,收集了来自世界各地的顶尖研究团队关于网络空间欺骗防御的最新研究进展。本书对网络空间抵赖与欺骗防御工作、网络空间欺骗工具和技术、攻击者身份识别与检测、网络空间欺骗操作量化、无线网络欺骗策略、蜜罐部署、人为因素、匿名和溯源问题进行了严谨的分析。此外,我们不仅对网络空间欺骗的不同方面进行抽样检测,同时更突出了可用于研究此类问题的科学技术,点击查看。


产品特惠 

2018-05-23 15:29:47 CoderPai 阅读数 330
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16289 人正在学习 去看看 唐宇迪

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


十八般武艺,大家各取所需。米哥简单整理了一下跟Python数据分析相关的技术呈现出来,台灯下,地铁里,各位码友、矿友且学且用,各显神通吧。

1. 机器学习和计算机视觉

  • Crab:灵活、快速的推荐引擎
  • gensim:人性化的话题建模库
  • hebel:GPU 加速的深度学习库
  • NuPIC:智能计算 Numenta 平台
  • pattern:Python 网络挖掘模块
  • PyBrain:另一个 Python 机器学习库
  • Pylearn2:一个基于 Theano 的机器学习库
  • python-recsys:一个用来实现推荐系统的 Python 库
  • scikit-learn:基于 SciPy 构建的机器学习 Python 模块
  • pydeep:Python 深度学习库
  • vowpalporpoise:轻量级 Vowpal Wabbit 的 Python 封装
  • skflow:一个 TensorFlow 的简化接口(模仿 scikit-learn)
  • Caffe: 一个 Caffe 的python接口
  • OpenCV:开源计算机视觉库
  • pyocr:Tesseract 和 Cuneiform 的包装库
  • pytesseract:Google Tesseract OCR 的另一包装库
  • SimpleCV:一个用来创建计算机视觉应用的开源框架

2. 数据分析

  • blaze:NumPy 和 Pandas 的大数据接口
  • cclib:一个用来解析和解释计算化学软件包输出结果的库
  • NetworkX:一个为复杂网络设计的高性能软件
  • Neupy:执行和测试各种不同的人工神经网络算法
  • Numba:Python JIT (just in time) 编译器,针对科学用的 Python ,由Cython 和 NumPy 的开发者开发
  • NumPy:使用 Python 进行科学计算的基础包
  • Open Babel:一个化学工具箱,用来描述多种化学数据
  • Open Mining:使用 Python 挖掘商业情报 (BI) (Pandas web 接口)
  • orange:通过可视化编程或 Python 脚本进行数据挖掘,数据可视化,分析和机器学习
  • Pandas:提供高性能,易用的数据结构和数据分析工具
  • PyDy:PyDy 是 Python Dynamics 的缩写,用来为动力学运动建模工作流程提供帮助, 基于 NumPy, SciPy, IPython 和 matplotlib
  • PyMC:马尔科夫链蒙特卡洛采样工具
  • RDKit:化学信息学和机器学习软件
  • SciPy:由一些基于 Python ,用于数学,科学和工程的开源软件构成的生态系统
  • statsmodels:统计建模和计量经济学
  • SymPy:一个用于符号数学的 Python 库
  • cclib:一个用来解析和解释计算化学软件包输出结果的库
  • NetworkX:一个为复杂网络设计的高性能软件
  • Neupy:执行和测试各种不同的人工神经网络算法
  • Numba:Python JIT (just in time) 编译器,针对科学用的 Python ,由Cython 和 NumPy 的开发者开发
  • NumPy:使用 Python 进行科学计算的基础包
  • Open Babel:一个化学工具箱,用来描述多种化学数据
  • Open Mining:使用 Python 挖掘商业情报 (BI) (Pandas web 接口)
  • orange:通过可视化编程或 Python 脚本进行数据挖掘,数据可视化,分析和机器学习
  • Pandas:提供高性能,易用的数据结构和数据分析工具
  • PyDy:PyDy 是 Python Dynamics 的缩写,用来为动力学运动建模工作流程提供帮助, 基于 NumPy, SciPy, IPython 和 matplotlib
  • PyMC:马尔科夫链蒙特卡洛采样工具
  • RDKit:化学信息学和机器学习软件
  • SciPy:由一些基于 Python ,用于数学,科学和工程的开源软件构成的生态系统
  • statsmodels:统计建模和计量经济学
  • SymPy:一个用于符号数学的 Python 库

3. 数据可视化

  • matplotlib:一个 Python 2D 绘图库
  • bokeh:用 Python 进行交互式 web 绘图
  • ggplot:ggplot2 给 R 提供的 API 的 Python 版本
  • plotly:协同 Python 和 matplotlib 工作的 web 绘图库
  • pyecharts:基于百度 Echarts 的数据可视化库
  • pygal:一个 Python SVG 图表创建工具
  • pygraphviz:Graphviz 的 Python 接口
  • PyQtGraph:交互式实时 2D/3D/ 图像绘制及科学/工程学组件
  • SnakeViz:一个基于浏览器的 Python’s cProfile 模块输出结果查看工具
  • vincent:把 Python 转换为 Vega 语法的转换工具
  • VisPy:基于 OpenGL 的高性能科学可视化工具

4. 数据API构建及服务

  • Django
    • django-rest-framework:一个强大灵活的工具,用来构建 web API
    • django-tastypie:为Django 应用开发API
    • django-formapi:为 Django 的表单验证,创建 JSON APIs
  • Flask
    • flask-api:为 flask 开发的,可浏览 Web APIs
    • flask-restful:为 flask 快速创建REST APIs
    • flask-restless:为 SQLAlchemy 定义的数据库模型创建 RESTful APIs
    • flask-api-utils:为 Flask 处理 API 表示和验证
    • eve:REST API 框架,由 Flask, MongoDB 等驱动
  • Pyramid
    • cornice:一个Pyramid 的 REST 框架
  • 与框架无关的
    • falcon:一个用来建立云 API 和 web app 后端的高性能框架
    • sandman:为现存的数据库驱动系统自动创建 REST APIs
    • restless:框架无关的 REST 框架 ,基于从 Tastypie 学到的知识
    • ripozo:快速创建 REST/HATEOAS/Hypermedia APIs

5. 爬虫及网页处理

  • Scrapy:一个快速高级的屏幕爬取及网页采集框架
  • cola:一个分布式爬虫框架
  • Demiurge:基于PyQuery 的爬虫微型框架
  • feedparser:通用 feed 解析器
  • Grab:站点爬取框架
  • MechanicalSoup:用于自动和网络站点交互的 Python 库
  • portia:Scrapy 可视化爬取
  • pyspider:一个强大的爬虫系统
  • RoboBrowser:一个简单的,Python 风格的库,用来浏览网站,而不需要一个独立安装的浏览器
  • BeautifulSoup:以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改
  • bleach:一个基于白名单的 HTML 清理和文本链接库
  • cssutils:一个 Python 的 CSS 库
  • html5lib:一个兼容标准的 HTML 文档和片段解析及序列化库
  • lxml:一个非常快速,简单易用,功能齐全的库,用来处理 HTML 和 XML
  • MarkupSafe:为Python 实现 XML/HTML/XHTML 标记安全字符串
  • pyquery:一个解析 HTML 的库,类似 jQuery
  • untangle:将XML文档转换为Python对象,使其可以方便的访问
  • xhtml2pdf:HTML/CSS 转 PDF 工具
  • xmltodict:像处理 JSON 一样处理 XML

6. 算法和设计模式

  • Python 实现的算法和设计模式。
    • algorithms:一个 Python 算法模块
    • python-patterns:Python 设计模式的集合
    • sortedcontainers:快速,纯 Python 实现的SortedList,SortedDict 和 SortedSet 类型
没有更多推荐了,返回首页