2017-11-01 21:48:05 helloworld_Fly 阅读数 2068
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16474 人正在学习 去看看 唐宇迪

上一篇博客已经是10月11日写的了,过了大半个月,没有坚持将学习内容总结记录,需要调整!

回顾十月剩下二十多天的时间,完成了三个计划:

1.将Udacity数据分析入门剩余课程结束。

2.在kaggle学习和实战,翻译文章《titantic data analysis》

3.学习吴恩达在网易云公开课上的前两部分课程。


1.Udacity数据分析入门第二部分(numpy和pandas使用)

在Python中进行数据分析,必不可少的两个工具就是numpy和pandas,其中numpy是将数据转化成array,可以方便进行大量的运算操作、索引和排序等。

pandas则是将数据转化为Series,使用方式和numpy类似,但pandas还支持dataframe数据框结构,可方便在数据分析时对数据进行分组、切片和删减等。

具体笔记内容详见下图:


下篇博客更新数据分析titanic实战翻译内容!

2017-04-30 22:15:44 blueheart20 阅读数 4029
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16474 人正在学习 去看看 唐宇迪

0 数据时代/人工智能时代的降临前夜

从2016年开始,业界忽然针对机器学习和人工智能的追捧大行其道,其中更以Google推出的AlphaGo程序在2016年3月以4:1大胜韩国九段围棋选手李世石;2016年岁末,在国内棋类网站弈城网上出现了一个类似“围棋上帝”的账号(“围棋上帝”是指每一步都绝对正确,每一步都绝对算到,洞悉全局的一切),在2016年12月29日至31日的3天时间里,神秘高手连胜柯洁九段、陈耀烨九段、朴廷桓九段、芈昱廷九段、唐韦星九段等高手。

什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?

2017年初, AlphaGo化身神秘网络棋手Master击败包括聂卫平、柯洁、朴廷桓、井山裕太在内的数十位中日韩围棋高手,在30秒一手的快棋对决中无一落败, 拿下全胜战绩,在棋界和科技界引发剧震。

AlphaGo的胜利充分让世人认识到了AI(Artifical Intelligence)的威力和未来,于是人工智能忽然之间离我们近在咫尺;对于我们大部分人来说,到底什么是人工智能?它是忽然之间冒出来的新概念吗?接下来笔者将为各位读者梳理一下其发展的路径以及历程以及主要的关键词。

1 数据分析(Data Analysis)

伴随着信息化时代的降临,人类第一次有了数据化的概念和积累;基于数据库系统和应用程序,可以直观查看统计分析系统中的数据,从而可以很快得到我们想要的结果;这个就是最基本的数据分析功能,也是我们在信息化时代了,除了重构业务流程、提升行业效率和降低成本之外,另一个非常重要的数据分析功能,数据直观化。

什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?

举例如下,在财务系统的信息化中,基于企业的财务系统,我们可以直观获取企业现金流量表、资产负债表和利润表,这些都来自与我们的数据分析技术。目前常用的软件是Excel, R, Python等工具。

2 数据挖掘(Knowledge-Discovery in Databases)

简称KDD,从其英文缩写中可以发现,其是基于数据库系统的数据发现过程,立足与数据分析技术之上,提供更为高端和高级的规律趋势发现以及预测功能;同时数据量将变得更为庞大,依赖于模式识别等计算机前沿的技术;其还有另外一个名称为商业智能(BI, Business Intelligence),依托于超大型数据库以及数据仓库、数据集市等数据库技术来完成。什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析?


主要的应用领域在电子商务领域,主要的原因是电商时代其有迫切的数据挖掘的需求和应用场景,比如经典的啤酒与尿布的关联性就是电商应用中的一个例子。

主要挖掘方法有: 分类 (Classification), 估计(Estimation), 预测(Prediction), 相关性分组或关联规则(Affinity grouping or association rules), 聚类(Clustering), 复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等)等技术。

此时的数据挖掘不足之处主要集中在数据库系统对于数据的检索分析能力支持有限,数据处理能力的不足大大限制了商业应用的进行,大部分场景下都是基于数据抽样的分析;同时挖掘应用需要进行定制化的开发,开发和维护成为即为昂贵,应用领域非常的狭小。

这个时代主要的数据挖掘的解决方案主要集中在BI之上,主要来自于Oracle, IBM, Microsoft等数据库厂商的解决方案。

《未完待续》

----------------------------- 罪恶的分割线-------------------------------

本文系CDSN的博主《木小鱼的笔记》个人原创,如要转载,请保留原始链接和原作者信息,支持原创,尊重原创,让知识的世界更美好。

作者本人也维护了一个今日头条上的头条号:程序加油站,欢迎大家关注。


2018-06-14 13:14:40 dearbaba_11 阅读数 729
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16474 人正在学习 去看看 唐宇迪

  01.python数据分析与机器学习实战
    02.深度学习入门视频课程(上篇)
    03.深度学习入门视频课程(下篇-2017-11-06更新完毕)
    04.深度学习框架-Tensorflow案例实战视频课程(2017-11-06 更新完毕)
    05.深度学习项目实战-深度学习框架Caffe使用案例视频课程
    06.深度学习项目实战视频课程-人脸检测
    07.深度学习项目实战-关键点定位视频教程(2017-11-14更新完毕)
    08.自然语言处理word2vec
    09.决胜AI-强化学习实战系列视频课程
    10.Tensorflow项目实战视频课程-文本分类
    11.深度学习项目实战视频课程-StyleTransfer(基于Tensorflow)(2017-11-18更新完毕)
    12.深度学习顶级论文算法详解视频课程
    13.深度学习实战项目-利用RNN与LSTM网络原理进行唐诗生成视频课程
    14.机器学习对抗生成网络
    15.深度学习项目实战视频课程-Seq2Seq序列生模型
    16.机器学习-推荐系统

 

    17.机器学习经典案例

 

地址:https://www.javaxxz.com/thread-365251-1-1.html

2019-02-21 10:08:51 HANLIPENGHANLIPENG 阅读数 628
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16474 人正在学习 去看看 唐宇迪

简单来说:
1)深度学习(Deep Learning)只是机器学习(Machine Learning)的一种类别,一个子领域。机器学习 > 深度学习
2)大数据(Big Data)不是具体的方法,甚至不算具体的研究学科,而只是对某一类问题,或需处理的数据的描述。

具体来说:
1)机器学习(Machine Learning)是一个大的方向,里面包括了很多种approach,比如deep learning, GMM, SVM, HMM, dictionary learning, knn, Adaboosting…不同的方法会使用不同的模型,不同的假设,不同的解法。这些模型可以是线性,也可以是非线性的。他们可能是基于统计的,也可能是基于稀疏的…
不过他们的共同点是:都是data-driven的模型,都是学习一种更加abstract的方式来表达特定的数据,假设和模型都对特定数据广泛适用。好处是,这种学习出来的表达方式可以帮助我们更好的理解和分析数据,挖掘数据隐藏的结构和关系。
Machine Learning的任务也可以不同,可以是预测(prediction),分类(classification),聚类(clustering),识别(recognition),重建(reconstruction),约束(regularization),甚至降噪(denoising),超分辨(super-resolution),除马赛克(Demosaicing)等等…

2)深度学习(Deep Learning)是机器学习的一个子类,一般特指学习高层数的网络结构。这个结构中通常会结合线性和非线性的关系。
Deep Learning也会分各种不同的模型,比如CNN, RNN, DBN…他们的解法也会不同。
Deep Learning目前非常流行,因为他们在图像,视觉,语音等各种应用中表现出了很好的empirical performance。并且利用gpu的并行运算,在模型相当复杂,数据特别大量的情况下,依然可以达到很理想的学习速度。
因为Deep Learning往往会构建多层数,多节点,多复杂度的模型,人们依然缺乏多里面学习的结构模型的理解。很多时候,Deep Learning甚至会被认为拥有类似于人类神经网络的结构,并且这种类似性被当做deep learning居然更大potential的依据。但答主个人认为,其实这略有些牵强…听起来更像是先有了这种network的结构,再找一个类似性。当然,这仅仅是个人观点…(私货私货)

3)大数据(Big Data,我们也叫他逼格数据…)是对数据和问题的描述。通常被广泛接受的定义是3个V上的“大”:Volume(数据量), Velocity(数据速度)还有variety(数据类别)。大数据问题(Big-data problem)可以指那种在这三个V上因为大而带来的挑战。

Volume很好理解。一般也可以认为是Large-scale data(其实学术上用这个更准确,只是我们出去吹逼的时候就都叫big data了…)。“大”可以是数据的维度,也可以是数据的size。一般claim自己是big-data的算法会比较scalable,复杂度上对这两个不敏感。算法和系统上,人们喜欢选择并行(Parallel),分布(distributed)等属性的方法来增加capability。

Velocity就是数据到达的速度。对于数据高速到达的情况,需要对应的算法或者系统要有效的处理。而且数据在时间上可能存在变化,对应的算法或者系统居然做出调整和即时判断,以适应新的数据。这就要求我们提出高效(Efficiency),即时(real-time),动态(dynamic),还有有预测性(predictive)等等…

Variaty指的是数据的类别。以往的算法或者系统往往针对某一种已知特定类别的数据来适应。而一般大数据也会指针对处理那些unstructured data或者multi-modal data,这就对传统的处理方法带来了挑战。

2017-12-11 08:46:17 luanpeng825485697 阅读数 21707
  • 数据深度学习项目实战-人脸检测视频教程

    购买课程后,请扫码入学习群,获取唐宇迪老师答疑 进军深度学习佳项目实战:人脸检测项目视频培训课程,从数据的收集以及预处理开始,一步步带着大家完成整个人脸检测的项目,其中涉及了如何使用深度学习框架Caffe完成整个项目的架构,对于每一个核心步骤详细演示流程和原理解读,在完成检测代码之后进行了详细评估分析,并给出一篇顶级会议论文作为学习参考,详细分析了针对人脸检测项目的优缺点和改进策略。

    16474 人正在学习 去看看 唐宇迪

在开始学习python大数据之前,先要搞清楚人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思。

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思

人工智能大家族包含着丰富的内容,分清楚了每一项都是做什么的,才能选对路线。

人工智能AI

人工智能分为强人工智能和弱人工智能。

强人工智能是通过计算机来构造复杂的、拥有与人类智慧同样本质特性的机器,它有着我们所有的感知(甚至比人更多),我们所有的理性,可以像我们一样思考,也就是电影里面的机器人。

弱人工智能 (ANI) 是指擅长于单个方面的人工智能。垃圾邮件的自动识别,iPhone的助手siri,Pinterest上的图像分类,Facebook的人脸识别都属于弱人工智能,也就是我们现在大多是在从事的领域。

人工智能的研究领域在不断扩大,各个分支主要包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思

机器学习ML

那么如何实现这种人工智能的智慧呢,这就需要机器学习了。机器学习是一种实现人工智能的方法。

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思

机器学习最基本的做法,是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同,机器学习是用大量的数据来“训练”,通过各种算法从数据中学习如何完成任务。类似人类在接触过很多事物、经历后获得的“经验”和“规定”一样。例如有经验的老师在教书多年以后知道如何因材施教(经验),例如我们在看到STOP以后知道这是停止的意思(规定)。

传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分,机器学习算法可以分为监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习。

传统的机器学习算法虽然在指纹识别、人脸检测、机器视觉等领域的应用基本达到了商业化的要求或者特定场景的商业化水平,但每前进一步都异常艰难,直到深度学习算法的出现。

机器学习应用十分广泛,例如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、语音、手写识别和机器人运用上都有应用。

深度学习DL

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思

我们知道要想具有好的智慧,除了有具有大量的数据以外还要有好的经验总结方法。深度学习就是一种实现机器学习的优秀技术。深度学习本身是神经网络算法的衍生。

深度学习本来并不是一种独立的学习方法,其本身也会用到有监督和无监督的学习方法来训练深度神经网络。但由于近几年该领域发展迅猛,一些特有的学习手段相继被提出(如残差网络),因此越来越多的人将其单独看作一种学习的方法。

最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念,可大致理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果,人们对神经元的连接方法和激活函数等方面做出相应的调整。其实有不少想法早年间也曾有过,但由于当时训练数据量不足、计算能力落后,因此最终的效果不尽如人意。

深度学习摧枯拉朽般地实现了各种任务,使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车,预防性医疗保健,甚至是更好的电影推荐,都近在眼前,或者即将实现。

当前,业界有一种错误的较为普遍的意识,即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这种意识的产生主要是因为,当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法,并且媒体对深度学习进行了大肆夸大的报道。

深度学习,作为目前最热的机器学习方法,但并不意味着是机器学习的终点。起码目前存在以下问题:

1. 深度学习模型需要大量的训练数据,才能展现出神奇的效果,但现实生活中往往会遇到小样本问题,此时深度学习方法无法入手,传统的机器学习方法就可以处理;

2. 有些领域,采用传统的简单的机器学习方法,可以很好地解决了,没必要非得用复杂的深度学习方法;

3. 深度学习的思想,来源于人脑的启发,但绝不是人脑的模拟,人脑不需要大量的数据训练支持,我们只要看过一张猫的图就认识了猫,而机器必须经过几百万张猫的图才能“认识”猫。

数据挖掘

数据挖掘利用各种技术与统计方法,将大量的历史数据,进行整理分析,归纳与整合,是从海量数据中“挖掘”隐藏信息,如趋势、特征及相关的一种过程。工作BI(商业智能)、数据分析、市场运营都可以做这个工作。

之所以经常和机器学习合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的。例如广告的ctr预估,PB级别的点击日志在通过典型的机器学习流程可以得到一个预估模型,从而提高互联网广告的点击率和回报率;个性化推荐,还是通过机器学习的一些算法分析平台上的各种购买,浏览和收藏日志,得到一个推荐模型,来预测你喜欢的商品。

我们可以把数据挖掘理解为一种类型的工作,或工作中的某种成分,机器学习是帮助完成这个工作的方法。

统计学、数据库和人工智能共同构造了数据挖掘技术的三大支柱,许多成熟的统计方法构成了数据挖掘的核心内容。

数据分析

数据分析只是在已定的假设,先验约束上处理原有计算方法,统计方法,将数据转化为信息,而这些信息需要进一步的获得认知,转化为有效的预测和决策,这时就需要数据挖掘,也就是我们数据分析师系统成长之路的“更上一楼”。

数据分析是把数据变成信息的工具,数据挖掘是把信息变成认知的工具,如果我们想要从数据中提取一定的规律(即认知)往往需要数据分析和数据挖掘结合使用。

举个例子:你有50块钱,去买菜,经过一一问价,你知道了50块钱能买多少蔬菜,能买多少肉,能吃多少天,心里得出一组信息,这就是数据分析。根据自己的偏好,营养价值,用餐时间计划,最有性价比的组合确定了一个购买方案,这就是数据挖掘。

中国的人工智能发展

人工智能企业可以在应用层、技术层、基础上进行区分。

在应用层的中国人工智能公司按照领域划分包括:

机器人:Geek+、 Rokid、图灵机器人、优必选。

自动驾驶:百度、天瞳威视、地平线机器人、驭势科技。

无人机:大疆、亿航、Hover Camera、零度智控。

语音助手:百度、出门问问。

商业智能:永洪科技、Data KM。

消费者服务:AiKF。

产业应用:碳云智能、Maxent、今日头条、学霸君。

在技术层的中国人工智能公司按照领域划分包括:

语音识别&自然语言处理:

思必驰、百度、科大讯飞、出门问问、捷通华生、腾讯、三角兽、云知声。

机器学习&深度学习:深鉴科技、中科视拓。

人工智能平台:达闼科技、第四范式。

计算机视觉:依图科技、格灵深瞳、旷视科技、商汤科技。

在基础层的中国人工智能公司按照领域划分包括:

传感器:ICE DRINK、LeiShen、SLAMTEC、北醒光子。

AI 芯片:寒武纪科技、地平线机器人。

数据:DataDouDou、数据堂计算力:阿里巴巴、百度。

人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思
没有更多推荐了,返回首页