云计算大数据_云计算大数据考题 - CSDN
精华内容
参与话题
  • 因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就...

    此文已由作者刘超授权网易云社区发布。

    欢迎访问网易云社区,了解更多网易技术产品运营经验。


    今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下。



    一、云计算最初的目标



    我们首先来说云计算。云计算最初的目标是对资源的管理,管理的主要是计算资源、网络资源、存储资源三个方面。

    201811051423452e551c54-01d8-4f3b-8c1f-6072eb7ed8f0.jpg  





    1管数据中心就像配电脑


    什么叫计算、网络、存储资源?

    比如你要买台笔记本电脑,是不是要关心这台电脑是什么样的CPU?多大的内存?这两个就被我们称为计算资源。

    这台电脑要上网,就需要有个可以插网线的网口,或者有可以连接我们家路由器的无线网卡。您家也需要到运营商比如联通、移动或者电信开通一个网络,比如100M的带宽。然后会有师傅弄一根网线到您家来,师傅可能会帮您将您的路由器和他们公司的网络连接配置好。这样您家的所有的电脑、手机、平板就都可以通过您的路由器上网了。这就是网络资源。

    您可能还会问硬盘多大?过去的硬盘都很小,大小如10G之类的;后来即使500G、1T、2T的硬盘也不新鲜了。(1T是1000G),这就是存储资源。

    对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象你有一个非常非常大的机房,里面堆了很多的服务器,这些服务器也是有CPU、内存、硬盘的,也是通过类似路由器的设备上网的。这时的问题就是:运营数据中心的人是怎么把这些设备统一的管理起来的呢?


    2灵活就是想啥时要都有,想要多少都行

    管理的目标就是要达到两个方面的灵活性。具体哪两个方面呢?

    举个例子来理解:比如有个人需要一台很小的电脑,只有一个CPU、1G内存、10G的硬盘、一兆的带宽,你能给他吗?像这种这么小规格的电脑,现在随便一个笔记本电脑都比这个配置强了,家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上,他要想要这个资源时,只要一点就有了。

    这种情况下它就能达到两个方面灵活性:

    • 时间灵活性:想什么时候要就什么时候要,需要的时候一点就出来了;

    • 空间灵活性:想要多少就有多少。需要一个太很小的电脑,可以满足;需要一个特别大的空间例如云盘,云盘给每个人分配的空间动不动就很大很大,随时上传随时有空间,永远用不完,也是可以满足的。

    空间灵活性和时间灵活性,即我们常说的云计算的弹性。而解决这个弹性的问题,经历了漫长时间的发展。


    3物理设备不灵活

    第一个阶段是物理设备时期。这个时期客户需要一台电脑,我们就买一台放在数据中心里。

    物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存;例如网络设备,一个端口的带宽就能有几十G甚至上百G;例如存储,在数据中心至少是PB级别的(一个P是1000个T,一个T是1000个G)。

    然而物理设备不能做到很好的灵活性:

    • 首先是它缺乏时间灵活性。不能够达到想什么时候要就什么时候要。比如买台服务器、买个电脑,都要有采购的时间。如果突然用户告诉某个云厂商,说想要开台电脑,使用物理服务器,当时去采购就很难。与供应商关系好的可能需要一个星期,与供应商关系一般的就可能需要采购一个月。用户等了很久电脑才到位,这时用户还要登录上去慢慢开始部署自己的应用。时间灵活性非常差。

    • 其次是它的空间灵活性也不行。例如上述的用户需要一个很小很小的电脑,但现在哪还有这么小型号的电脑?不能为了满足用户只要一个G的内存是80G硬盘的,就去买一个这么小的机器。但是如果买一个大的,又会因为电脑大,需要向用户多收钱,可用户需要用的只有那么小一点,所以多付钱就很冤。


    4虚拟化灵活多了

    有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU、内存、硬盘中虚拟出一小块来给客户,同时也可以虚拟出一小块来给其他客户。每个客户只能看到自己的那一小块,但其实每个客户用的是整个大的设备上的一小块。

    虚拟化的技术使得不同客户的电脑看起来是隔离的。也就是我看着好像这块盘就是我的,你看着这块盘就是你的,但实际情况可能我的这个10G和你的这个10G是落在同样一个很大很大的存储上。而且如果事先物理设备都准备好,虚拟化软件虚拟出一个电脑是非常快的,基本上几分钟就能解决。所以在任何一个云上要创建一台电脑,一点几分钟就出来了,就是这个道理。

    这样空间灵活性和时间灵活性就基本解决了。


    5虚拟世界的赚钱与情怀

    在虚拟化阶段,最牛的公司是VMware。它是实现虚拟化技术比较早的一家公司,可以实现计算、网络、存储的虚拟化。这家公司很牛,性能做得非常好,虚拟化软件卖得也非常好,赚了好多的钱,后来让EMC(世界五百强,存储厂商第一品牌)给收购了。

    但这个世界上还是有很多有情怀的人的,尤其是程序员里面。有情怀的人喜欢做什么事情?开源。

    这个世界上很多软件都是有闭源就有开源,源就是源代码。也就是说,某个软件做的好,所有人都爱用,但这个软件的代码被我封闭起来,只有我公司知道,其他人不知道。如果其他人想用这个软件,就要向我付钱,这就叫闭源。

    但世界上总有一些大牛看不惯钱都让一家赚了去的情况。大牛们觉得,这个技术你会我也会;你能开发出来,我也能。我开发出来就是不收钱,把代码拿出来分享给大家,全世界谁用都可以,所有的人都可以享受到好处,这个叫做开源。

    比如最近的蒂姆·伯纳斯·李就是个非常有情怀的人。2017年,他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是,他将万维网,也就是我们常见的WWW技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳,如果他将这个技术拿来收钱,应该和比尔盖茨差不多有钱。

    开源和闭源的例子有很多:

    例如在闭源的世界里有Windows,大家用Windows都得给微软付钱;开源的世界里面就出现了Linux。比尔盖茨靠Windows、Office这些闭源的软件赚了很多钱,称为世界首富,就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux,很多后台的服务器上跑的程序都是Linux上的,比如大家享受双十一,无论是淘宝、京东、考拉……支撑双十一抢购的系统都是跑在Linux上的。

    再如有Apple就有安卓。Apple市值很高,但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商,里面都装安卓系统。原因就是苹果系统不开源,而安卓系统大家都可以用。

    在虚拟化软件也一样,有了VMware,这个软件非常贵。那就有大牛写了两个开源的虚拟化软件,一个叫做Xen,一个叫做KVM,如果不做技术的,可以不用管这两个名字,但是后面还是会提到。


    6虚拟化的半自动和云计算的全自动

    要说虚拟化软件解决了灵活性问题,其实并不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的。这一过程可能还需要比较复杂的人工配置。所以使用VMware的虚拟化软件,需要考一个很牛的证书,而能拿到这个证书的人,薪资是相当高,也可见复杂程度。

    所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别大,一般在十几台、几十台、最多百台这么一个规模。

    这一方面会影响时间灵活性:虽然虚拟出一台电脑的时间很短,但是随着集群规模的扩大,人工配置的过程越来越复杂,越来越耗时。另一方面也影响空间灵活性:当用户数量多时,这点集群规模,还远达不到想要多少要多少的程度,很可能这点资源很快就用完了,还得去采购。

    所以随着集群的规模越来越大,基本都是千台起步,动辄上万台、甚至几十上百万台。如果去查一下BAT,包括网易、谷歌、亚马逊,服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置,几乎是不可能的事情,还是需要机器去做这个事情。

    人们发明了各种各样的算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点说,就是有一个调度中心,几千台机器都在一个池子里面,无论用户需要多少CPU、内存、硬盘的虚拟电脑,调度中心会自动在大池子里面找一个能够满足用户需求的地方,把虚拟电脑启动起来做好配置,用户就直接能用了。这个阶段我们称为池化或者云化。到了这个阶段,才可以称为云计算,在这之前都只能叫虚拟化。


    7云计算的私有与公有

    云计算大致分两种:一个是私有云,一个是公有云,还有人把私有云和公有云连接起来称为混合云,这里暂且不说这个。

    • 私有云:把虚拟化和云化的这套软件部署在别人的数据中心里面。使用私有云的用户往往很有钱,自己买地建机房、自己买服务器,然后让云厂商部署在自己这里。VMware后来除了虚拟化,也推出了云计算的产品,并且在私有云市场赚的盆满钵满。

    • 公有云:把虚拟化和云化软件部署在云厂商自己数据中心里面的,用户不需要很大的投入,只要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑。例如AWS即亚马逊的公有云;例如国内的阿里云、腾讯云、网易云等。

    亚马逊为什么要做公有云呢?我们知道亚马逊原来是国外比较大的一个电商,它做电商时也肯定会遇到类似双十一的场景:在某一个时刻大家都冲上来买东西。当大家都冲上买东西时,就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源,那样太浪费了。但也不能什么都不准备,看着双十一这么多用户想买东西登不上去。所以需要双十一时,就创建一大批虚拟电脑来支撑电商应用,过了双十一再把这些资源都释放掉去干别的。因此亚马逊是需要一个云平台的。

    然而商用的虚拟化软件实在是太贵了,亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商。于是亚马逊基于开源的虚拟化技术,如上所述的Xen或者KVM,开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛,云平台也越做越牛。

    由于它的云平台需要支撑自己的电商应用;而传统的云计算厂商多为IT厂商出身,几乎没有自己的应用,所以亚马逊的云平台对应用更加友好,迅速发展成为云计算的第一品牌,赚了很多钱。

    在亚马逊公布其云计算平台财报之前,人们都猜测,亚马逊电商赚钱,云也赚钱吗?后来一公布财报,发现不是一般的赚钱。仅仅去年,亚马逊AWS年营收达122亿美元,运营利润31亿美元。


    8云计算的赚钱与情怀

    公有云的第一名亚马逊过得很爽,第二名Rackspace过得就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。所以第二名如果不是云计算行业的,很多人可能都没听过了。

    第二名就想,我干不过老大怎么办呢?开源吧。如上所述,亚马逊虽然使用了开源的虚拟化技术,但云化的代码是闭源的。很多想做又做不了云化平台的公司,只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开,整个行业就可以一起把这个平台越做越好,兄弟们大家一起上,和老大拼了。

    20181105142409fb339793-984c-4615-adef-220e90d55278.jpg  



    于是Rackspace和美国航空航天局合作创办了开源软件OpenStack,如上图所示OpenStack的架构图,不是云计算行业的不用弄懂这个图,但能够看到三个关键字:Compute计算、Networking网络、Storage存储。还是一个计算、网络、存储的云化管理平台。

    当然第二名的技术也是非常棒的,有了OpenStack之后,果真像Rackspace想的一样,所有想做云的大企业都疯了,你能想象到的所有如雷贯耳的大型IT企业:IBM、惠普、戴尔、华为、联想等都疯了。

    原来云平台大家都想做,看着亚马逊和VMware赚了这么多钱,眼巴巴看着没办法,想自己做一个好像难度还挺大。现在好了,有了这样一个开源的云平台OpenStack,所有的IT厂商都加入到这个社区中来,对这个云平台进行贡献,包装成自己的产品,连同自己的硬件设备一起卖。有的做了私有云,有的做了公有云,OpenStack已经成为开源云平台的事实标准。


    9 IaaS, 资源层面的灵活性

    随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套。比如北京部署一套、杭州部署两套、广州部署一套,然后进行统一的管理。这样整个规模就更大了。

    在这个规模下,对于普通用户的感知来讲,基本能够做到想什么时候要就什么什么要,想要多少就要多少。还是拿云盘举例子,每个用户云盘都分配了5T甚至更大的空间,如果有1亿人,那加起来空间多大啊。

    其实背后的机制是这样的:分配你的空间,你可能只用了其中很少一点,比如说它分配给你了5个T,这么大的空间仅仅是你看到的,而不是真的就给你了,你其实只用了50个G,则真实给你的就是50个G,随着你文件的不断上传,分给你的空间会越来越多。

    当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资源,这个对用户是透明的、看不到的。从感觉上来讲,就实现了云计算的弹性。其实有点像银行,给储户的感觉是什么时候取钱都有,只要不同时挤兑,银行就不会垮。


    10总结

    到了这个阶段,云计算基本上实现了时间灵活性和空间灵活性;实现了计算、网络、存储资源的弹性。计算、网络、存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性。管理资源的云平台,我们称为基础设施服务,也就是我们常听到的IaaS(Infranstracture As A Service)。



    二、云计算不光管资源,也要管应用


    201811051424232887cb0c-e8da-492a-bac3-2b34909a639d.jpg  

    有了IaaS,实现了资源层面的弹性就够了吗?显然不是,还有应用层面的弹性。

    这里举个例子:比如说实现一个电商的应用,平时十台机器就够了,双十一需要一百台。你可能觉得很好办啊,有了IaaS,新创建九十台机器就可以了啊。但90台机器创建出来是空的,电商应用并没有放上去,只能让公司的运维人员一台一台的弄,需要很长时间才能安装好的。

    虽然资源层面实现了弹性,但没有应用层的弹性,依然灵活性是不够的。有没有方法解决这个问题呢?

    人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。这一层往往比较难理解,大致分两部分:一部分笔者称为“你自己的应用自动安装”,一部分笔者称为“通用的应用不用安装”。

    • 自己的应用自动安装:比如电商应用是你自己开发的,除了你自己,其他人是不知道怎么安装的。像电商应用,安装时需要配置支付宝或者微信的账号,才能使别人在你的电商上买东西时,付的钱是打到你的账户里面的,除了你,谁也不知道。所以安装的过程平台帮不了忙,但能够帮你做得自动化,你需要做一些工作,将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子,双十一新创建出来的90台机器是空的,如果能够提供一个工具,能够自动在这新的90台机器上将电商应用安装好,就能够实现应用层面的真正弹性。例如Puppet、Chef、Ansible、Cloud Foundary都可以干这件事情,最新的容器技术Docker能更好的干这件事情。


    • 通用的应用不用安装:所谓通用的应用,一般指一些复杂性比较高,但大家都在用的,例如数据库。几乎所有的应用都会用数据库,但数据库软件是标准的,虽然安装和维护比较复杂,但无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库时,一点就出来了,用户就可以直接用了。有人问,既然谁安装都一个样,那我自己来好了,不需要花钱在云平台上买。当然不是,数据库是一个非常难的东西,光Oracle这家公司,靠数据库就能赚这么多钱。买Oracle也是要花很多钱的。

    然而大多数云平台会提供MySQL这样的开源数据库,又是开源,钱不需要花这么多了。但维护这个数据库,却需要专门招一个很大的团队,如果这个数据库能够优化到能够支撑双十一,也不是一年两年能够搞定的。

    比如您是一个做单车的,当然没必要招一个非常大的数据库团队来干这件事情,成本太高了,应该交给云平台来做这件事情,专业的事情专业的人来做,云平台专门养了几百人维护这套系统,您只要专注于您的单车应用就可以了。

    要么是自动部署,要么是不用部署,总的来说就是应用层你也要少操心,这就是PaaS层的重要作用。

    201811051424397bb7373b-44a9-4c2a-a3f8-9eab412f719e.jpg  



    虽说脚本的方式能够解决自己的应用的部署问题,然而不同的环境千差万别,一个脚本往往在一个环境上运行正确,到另一个环境就不正确了。

    而容器是能更好地解决这个问题。

    20181105142448e89000a6-ee4a-4518-b337-7242b5f136a1.jpg  



    容器是 Container,Container另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱的特点:一是封装,二是标准。

    2018110514245817d1c77d-b8fd-4878-93d9-2730f363ab9e.png  



    在没有集装箱的时代,假设将货物从 A运到 B,中间要经过三个码头、换三次船。每次都要将货物卸下船来,摆得七零八落,然后搬上船重新整齐摆好。因此在没有集装箱时,每次换船,船员们都要在岸上待几天才能走。

    2018110514250765294e98-7336-4db4-b189-739dbd9d4117.png  

     


    有了集装箱以后,所有的货物都打包在一起了,并且集装箱的尺寸全部一致,所以每次换船时,一个箱子整体搬过去就行了,小时级别就能完成,船员再也不用上岸长时间耽搁了。


    这是集装箱“封装”、“标准”两大特点在生活中的应用。

    2018110514251934cc84e6-94e5-4da9-8b6e-9221815b90e1.png  




    那么容器如何对应用打包呢?还是要学习集装箱。首先要有个封闭的环境,将货物封装起来,让货物之间互不干扰、互相隔离,这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。

    封闭的环境主要使用了两种技术,一种是看起来是隔离的技术,称为 Namespace,也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术,称为 Cgroups,也即明明整台机器有很多的 CPU、内存,而一个应用只能用其中的一部分。

    所谓的镜像,就是将你焊好集装箱的那一刻,将集装箱的状态保存下来,就像孙悟空说:“定”,集装箱里面就定在了那一刻,然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的,谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程(就是读取镜像文件,还原那个时刻的过程)就是容器运行的过程。

    有了容器,使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。



    三、大数据拥抱云计算

    在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?


    1数据不大也包含智慧

    一开始这个大数据并不大。原来才有多少数据?现在大家都去看电子书,上网看新闻了,在我们80后小时候,信息量没有那么大,也就看看书、看看报,一个星期的报纸加起来才有多少字?如果你不在一个大城市,一个普通的学校的图书馆加起来也没几个书架,是后来随着信息化的到来,信息才会越来越多。

    首先我们来看一下大数据里面的数据,就分三种类型,一种叫结构化的数据,一种叫非结构化的数据,还有一种叫半结构化的数据。

    • 结构化的数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。

    • 非结构化的数据:现在非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候非常长,有时候几句话就没了;例如语音,视频都是非结构化的数据。

    • 半结构化数据:是一些XML或者HTML的格式的,不从事技术的可能不了解,但也没有关系。

    其实数据本身不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网页也是数据,我们称为Data。数据本身没有什么用处,但数据里面包含一个很重要的东西,叫做信息(Information)。

    数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识(Knowledge),而知识改变命运。信息是很多的,但有人看到了信息相当于白看,但有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了。如果你没有从信息中提取出知识,天天看朋友圈也只能在互联网滚滚大潮中做个看客。

    有了知识,然后利用这些知识去应用于实战,有的人会做得非常好,这个东西叫做智慧(Intelligence)。有知识并不一定有智慧,例如好多学者很有知识,已经发生的事情可以从各个角度分析得头头是道,但一到实干就歇菜,并不能转化成为智慧。而很多的创业家之所以伟大,就是通过获得的知识应用于实践,最后做了很大的生意。

    所以数据的应用分这四个步骤:数据、信息、知识、智慧。

    最终的阶段是很多商家都想要的。你看我收集了这么多的数据,能不能基于这些数据来帮我做下一步的决策,改善我的产品。例如让用户看视频的时候旁边弹出广告,正好是他想买的东西;再如让用户听音乐时,另外推荐一些他非常想听的其他音乐。

    用户在我的应用或者网站上随便点点鼠标,输入文字对我来说都是数据,我就是要将其中某些东西提取出来、指导实践、形成智慧,让用户陷入到我的应用里面不可自拔,上了我的网就不想离开,手不停地点、不停地买。

    很多人说双十一我都想断网了,我老婆在上面不断地买买买,买了A又推荐B,老婆大人说,“哎呀,B也是我喜欢的啊,老公我要买”。你说这个程序怎么这么牛,这么有智慧,比我还了解我老婆,这件事情是怎么做到的呢?

    20181105142542527d82b8-b89a-4be6-b3d8-18181a077c55.jpg  




    2数据如何升华为智慧

    数据的处理分几个步骤,完成了才最后会有智慧。

    第一个步骤叫数据的收集。首先得有数据,数据的收集有两个方式:

    • 第一个方式是拿,专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的:它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。比如你去搜索的时候,结果会是一个列表,这个列表为什么会在搜索引擎的公司里面?就是因为他把数据都拿下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻,你拿百度搜出来,你不点的时候,那一页在百度数据中心,一点出来的网页就是在新浪的数据中心了。

    • 第二个方式是推送,有很多终端可以帮我收集数据。比如说小米手环,可以将你每天跑步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。

    第二个步骤是数据的传输。一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用。可系统处理不过来,只好排好队,慢慢处理。

    第三个步骤是数据的存储。现在数据就是金钱,掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么?就是因为它有你历史的交易的数据,这个信息可不能给别人,十分宝贵,所以需要存储下来。

    第四个步骤是数据的处理和分析。上面存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。

    比如盛传的沃尔玛超市的啤酒和尿布的故事,就是通过对人们的购买数据进行分析,发现了男人一般买尿布的时候,会同时购买啤酒,这样就发现了啤酒和尿布之间的相互关系,获得知识,然后应用到实践中,将啤酒和尿布的柜台弄的很近,就获得了智慧。

    第五个步骤是对于数据的检索和挖掘。检索就是搜索,所谓外事不决问Google,内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎,因此人们想寻找信息的时候,一搜就有了。

    另外就是挖掘,仅仅搜索出来已经不能满足人们的要求了,还需要从信息中挖掘出相互的关系。比如财经搜索,当搜索某个公司股票的时候,该公司的高管是不是也应该被挖掘出来呢?如果仅仅搜索出这个公司的股票发现涨的特别好,于是你就去买了,其实其高管发了一个声明,对股票十分不利,第二天就跌了,这不坑害广大股民么?所以通过各种算法挖掘数据中的关系,形成知识库,十分重要。


    2018110515225093dbd538-cba0-4be6-8cc2-b6cec8a473cc.jpg  


    201811051523033bc7bc07-07ac-4035-9408-490ba480cbdb.jpg  


    网易云计算基础服务深度整合了 IaaS、PaaS 及容器技术,提供弹性计算、DevOps 工具链及微服务基础设施等服务,帮助企业解决 IT、架构及运维等问题,使企业更聚焦于业务,是新一代的云计算平台,点击可免费试用



    免费体验云安全(易盾)内容安全、验证码等服务

    更多网易技术、产品、运营经验分享请点击


    相关文章:
    【推荐】 Android之高效率截图

    展开全文
  • 云计算大数据】知识点总结

    千次阅读 2019-06-14 20:17:47
    云计算第二章(hadoop)1.Hadoop第三章(HDFS)1.HDFS的相关概念2.HDFS数据复制3.HDFS常用命令第四章(HBase)1.概念2.HBase和传统关系数据的区别第七章(MapReduce)1.MapReduce设计的一个理念2.MapReduce在三个...

    第一章

    1.大数据的四个特点(4V)

    (1)数据量大(Volume):数据量十分巨大,已经从TB级别跃升到PB级别
    (2)数据类型繁多(Variety):分为结构化数据(10%),非结构化数据(90%),非结构化数据包含半结构化数据;结构化数据指存储在关系数据库种的数据,后者种类繁多,包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息,网络日志等
    (3)处理速度快(Velocity):实时分析结果、秒级响应
    (4)价值密度低(Value):价值密度远低于传统关系数据库种已有的那些数据

    2.大数据计算模式

    (1)批处理计算:
    A:MapReduce:大数据批处理技术,可以并行执行大规模数据处理任务,用于大规模数据集的并行计算。
    B:Spark:一个针对大数据集合的低延迟的集群分布式计算系统,比MapReduce快许多
    (2)流计算:
    流数据是指在时间分布和数量上误先的一系列动态数据集合体,书记的价值随时间的流失而降低,因此必须采用实时计算的方式给出秒级响应。
    流计算:可以实时处理来自不同数据源的、连续到达的流数据,经过实时分析处理、给出有价值的分析结果。

    3.云计算

    1.云计算的概念
    1.云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力
    2.云计算3种服务模式:
    a:IaaS(基础设施即服务):将基础设施(计算资源(cpu、内存)和存储(磁盘))作为服务出租
    b:PaaS(平台即服务):把平台作为服务出租
    c:SaaS(软件即服务):把软件作为服务出租
    3.元计算的三种类型:
    a:公有云:面向所有用户提供服务
    b:私有云:只为特定用户提供服务
    c:混合云:综合了公有云和私有云的特点(因为对一些企业而言,一方面出于安全考虑需要把数据放在私有云中,另一方面又希望可以获得公有云的计算资源,就可以把公有云和私有云进行混合搭配使用)
    2.云计算的关键技术
    在这里插入图片描述
    (1)虚拟化
    虚拟化技术是云计算架构的基石,是指将一台计算机虚拟为多台逻辑计算机,在一台计算上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率
    (2)分布式存储
    HDFS(分布式文件系统),采用了简单的“一次写入,多次读取”文件模型,文件一旦创建、写入并关闭了,之后就只能对它执行读取操作,而不能执行修改操作。HDFS基于Java实现。
    (3)分布式计算
    MapReduce(并行编程模型),它允许开发者在不具备开发经验的前提下也能够开发出分布式的并行程序,并让其运行在数百台机器上,在短时间完成海量数据的计算。
    MapReduce把复杂的、运行于大规模集群上的并行计算过程抽象为两个函数—Map和Reduce,并把一个大数据切分成多个小的数据集,分部到不同的机器上进行并行处理,极大的提高了数据处理速度。
    3.云计算数据中心的概念:
    云计算数据中心是一整套复杂的设施、包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。
    数据中心是云计算的重要载体,为云计算提供计算、存储、带宽等各种硬件资源,为各种平台和应用提供运行支撑环境

    第二章(hadoop)

    1.Hadoop

    (1)概念:
    Hadoop是Apache软件基金会旗下的一个分布式计算平台,为用户提供了系统底层细节透明的开源分部式基础架构。Hadoop被公认为行业大数据标准开源软件
    Hadoop是基于Java语言开发的,具有很好的跨平台性。
    (2)Hadoop的核心是分布式文件系统HDFS和MapReduce
    (3)Hadoop的特点
    高可靠性、高效性、高可扩展性、成本低、运行在Linux平台上、支持多种编程语言
    (4)Hadoop的三大核心技术
    a:HDFS(分布式文件系统、可以运行在廉价商用服务器集群上、低成本高可靠性、很高的吞吐率)
    b:Hbase(提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库)
    c:MapReduce(分布式、并行程序)

    对应的google三大技术是:GFS Bigtable MapReduce
    2.SSH登录
    对于Hadoop的伪分布式和全分布而言,Hadop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护程序,这个过程可以通过SSH登录来实现。(Hadoop没有提供SSH输入密码登录的形式,为了顺利登录每台机器,需要将所有机器配置为名称节点可以无密码登录它们)
    3.Hadoop安装方式
    (1)单机模式:Hadoop默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单Java进程,方便进行调试
    (2)伪分布式模式:Hadoop可以在单节点以上为分布式的方式运行,hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的式HDFS中的文件
    (3)分布式模式:使用多个节点构成集群环境来运行Hadoop

    第三章(HDFS)

    1.HDFS的相关概念

    HDFS基本存储单元—Block(数据块)默认为64MB。每个块作为独立存储单元。
    HDFS主要组件的功能
    在这里插入图片描述

    HDFS的命名空间包含目录、文件、块

    2.HDFS数据复制

    NameNode全权管理数据块的复制,它周期性的从集群中的每个Datanode接收心跳信号和块状态报告。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表
    数据块(block)复制:
    (1)NameNode发现部分文件的Block数不符合最小复制数或者部分DataNode失效
    (2)通知DataNode相互复制Block
    (3)DataNode开始相互复制

    3.HDFS常用命令

    1.列出HDFS文件
    Hadoop fs -ls
    2.创建指定的一个或多个文件夹
    Hadoop fs -mkdir
    3.上传文件到HDFS
    Hadoop dfs -put test1 test /hadoop目录下的test1文件上传到HDFS上并重命名为test/
    4.将HDFS中的文件复制到本地系统中
    hadoop dfs -get test0 test00 /将HDFS中的test0复制到本地系统并命名为test00/
    5.删除HDFS下的文档
    hadoop dfs -rmr test00 /删除HDFS下名为test00的文档/
    6.查看HDFS下的某个文件
    hadoop dfs -cat ttt /查看HDFS下ttt文件中的内容/
    7.报告HDFS的基本统计信息
    hadoop dfsadmin -report
    8.退出安全模式
    hadoop dfsadmin -safemode leave
    9.进入安全模式
    hadoop dfsadmin -safemode enter

    第四章(HBase)

    1.概念

    Hbase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化的松散数据

    2.HBase和传统关系数据的区别

    加粗样式

    第七章(MapReduce)

    1.MapReduce设计的一个理念

    MapReduce设计的一个理念就是“计算向数据靠拢”,而不是“数据向计算靠拢”,因为引动数据需要大量的网络传输开销,尤其是在大规模数据环境下,这种开销尤为惊人,所以,移动计算要比移动数据更加经济

    2.MapReduce在三个层面上的构思

    (1)如何对付大数据:分而治之
    (2)上升到抽象模型:Mapper和Reducer
    (3)上升到架构:统一架构,为程序员隐藏系统细节

    第九章

    1.概念

    Spark是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序

    2.应用场景

    (1)复杂的批量数据处理
    (2)基于历史数据的交互式查询
    (3)基于实时数据流的数据处理

    3.Spark理念

    Spark的设计遵循“一个软件栈满足不同应用场景“的理念,逐渐形成了一套完整的生态系统,即能够提供内存计算架构、也可以支持SQL即席查询、机器学习和图计算等。

    4.Spark两类操作

    转换:map filter join union sample
    动作:first top count collect

    第十章(老师说必须会的实验)

    Hive部分代码:

    在这里插入图片描述在这里插入图片描述

    Spark常用的方法:

    file.filter(line => line.length>10).first().union(file).count()
    file.sample(true,0.5).count /随机抽选50%的样本/

    展开全文
  • 云计算大数据和 AI

    千次阅读 2018-12-09 09:32:07
    看懂云计算大数据,人工智能   我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会...

    看懂云计算,大数据,人工智能

     

    我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下。

     

    一、云计算最初是实现资源管理的灵活性

     

    我们首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算资源,网络资源,存储资源三个方面。

    640?wx_fmt=png

    1.1 管数据中心就像配电脑

    什么叫计算,网络,存储资源呢?就说你要买台笔记本电脑吧,你是不是要关心这台电脑什么样的CPU啊?多大的内存啊?这两个我们称为计算资源。

    这台电脑要能上网吧,需要有个网口可以插网线,或者有无线网卡可以连接我们家的路由器,您家也需要到运营商比如联通,移动,电信开通一个网络,比如100M的带宽,然后会有师傅弄一根网线到您家来,师傅可能会帮您将您的路由器和他们公司的网络连接配置好,这样您家的所有的电脑,手机,平板就都可以通过您的路由器上网了。这就是网络。

    您可能还会问硬盘多大啊?原来硬盘都很小,10G之类的,后来500G,1T,2T的硬盘也不新鲜了。(1T是1024G),这就是存储。

    对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象你有一个非常非常大的机房,里面堆了很多的服务器,这些服务器也是有CPU,内存,硬盘的,也是通过类似路由器的设备上网的。这个时候的一个问题就是,运营数据中心的人是怎么把这些设备统一的管理起来的呢?

    1.2 灵活就是想啥时要都有,想要多少都行

    管理的目标就是要达到两个方面的灵活性。哪两个方面呢?比如有个人需要一台很小很小的电脑,只有一个CPU,1G内存,10G的硬盘,一兆的带宽,你能给他吗?像这种这么小规格的电脑,现在随便一个笔记本电脑都比这个配置强了,家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上,他要想要这个资源的时候,只要一点就有了。

    所以说它就能达到两个方面灵活性。

    • 第一个方面就是想什么时候要就什么时候要,比如需要的时候一点就出来了,这个叫做时间灵活性。

    • 第二个方面就是想要多少呢就有多少,比如需要一个很小很小的电脑,可以满足,比如需要一个特别大的空间,以云盘为例,似乎云盘给每个人分配的空间动不动就就很大很大,随时上传随时有空间,永远用不完,这个叫做空间灵活性。

    空间灵活性和时间灵活性,也即我们常说的云计算的弹性。

    为了解决这个弹性的问题,经历了漫长时间的发展。

    1.3 物理设备不灵活

    首先第一个阶段就是物理机,或者说物理设备时期。这个时期相当于客户需要一台电脑,我们就买一台放在数据中心里。物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存,例如网络设备,一个端口的带宽就能有几十G甚至上百G,例如存储,在数据中心至少是PB级别的(一个P是1024个T,一个T是1024个G)。

    然而物理设备不能做到很好的灵活性。首先它不能够达到想什么时候要就什么时候要、比如买台服务器,哪怕买个电脑,都有采购的时间。突然用户告诉某个云厂商,说想要开台电脑,如果使用物理服务器,当时去采购啊就很难,如果说供应商啊关系一般,可能采购一个月,供应商关系好的话也需要一个星期。用户等了一个星期后,这时候电脑才到位,用户还要登录上去开始慢慢部署自己的应用,时间灵活性非常差。第二是空间灵活性也不行,例如上述的用户,要一个很小很小的电脑,现在哪还有这么小型号的电脑啊。不能为了满足用户只要一个G的内存是80G硬盘的,就去买一个这么小的机器。但是如果买一个大的呢,因为电脑大,就向用户多收钱,用户说他只用这么小的一点,如果让用户多付钱就很冤。

    1.4 虚拟化灵活多了

    有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU,内存,硬盘中虚拟出一小块来给客户,同时也可以虚拟出一小块来给其他客户,每个客户都只能看到自己虚的那一小块,其实每个客户用的是整个大的设备上其中的一小块。虚拟化的技术能使得不同的客户的电脑看起来是隔离的,我看着好像这块盘就是我的,你看这呢这块盘就是你的,实际情况可能我这个10G和您这个10G是落在同样一个很大很大的这个存储上的。

    而且如果事先物理设备都准备好,虚拟化软件虚拟出一个电脑是非常快的,基本上几分钟就能解决。所以在任何一个云上要创建一台电脑,一点几分钟就出来了,就是这个道理。

    这个空间灵活性和时间灵活性就基本解决了。

    1.5 虚拟世界的赚钱与情怀

    在虚拟化阶段,最牛的公司是Vmware,是实现虚拟化技术比较早的一家公司,可以实现计算,网络,存储的虚拟化,这家公司很牛,性能也做得非常好,然后虚拟化软件卖的也非常好,赚了好多的钱,后来让EMC(世界五百强,存储厂商第一品牌)给收购了。

    但是这个世界上还是有很多有情怀的人的,尤其是程序员里面,有情怀的人喜欢做一件什么事情呢?开源。这个世界上很多软件都是有闭源就有开源,源就是源代码。就是说某个软件做的好,所有人都爱用,这个软件的代码呢,我封闭起来只有我公司知道,其他人不知道,如果其他人想用这个软件,就要付我钱,这就叫闭源。但是世界上总有一些大牛看不惯钱都让一家赚了去。大牛们觉得,这个技术你会我也会,你能开发出来,我也能,我开发出来就是不收钱,把代码拿出来分享给大家,全世界谁用都可以,所有的人都可以享受到好处,这个叫做开源。

    比如最近蒂姆·伯纳斯·李就是个非常有情怀的人,2017年,他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是,他将万维网,也就是我们常见的www的技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳,如果他将这个技术拿来收钱,应该和比尔盖茨差不多有钱。

    例如在闭源的世界里有windows,大家用windows都得给微软付钱,开源的世界里面就出现了Linux。比尔盖茨靠windows,Office这些闭源的软件赚了很多钱,称为世界首富,就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux,很多后台的服务器上跑的程序都是Linux上的,比如大家享受双十一,支撑双十一抢购的系统,无论是淘宝,京东,考拉,都是跑在Linux上的。

    再如有apple就有安卓。apple市值很高,但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商,里面都装安卓系统,因为苹果系统不开源,而安卓系统大家都可以用。

    在虚拟化软件也一样,有了Vmware,这个软件非常非常的贵。那就有大牛写了两个开源的虚拟化软件,一个叫做Xen,一个叫做KVM,如果不做技术的,可以不用管这两个名字,但是后面还是会提到。

    1.6 虚拟化的半自动和云计算的全自动

    虚拟化软件似乎解决了灵活性问题,其实不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的,可能还需要比较复杂的人工配置,所以使用Vmware的虚拟化软件,需要考一个很牛的证书,能拿到这个证书的人,薪资是相当的高,也可见复杂程度。所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别的大,一般在十几台,几十台,最多百台这么一个规模。这一方面会影响时间灵活性,虽然虚拟出一台电脑的时间很短,但是随着集群规模的扩大,人工配置的过程越来越复杂,越来越耗时。另一方面也影响空间灵活性,当用户数量多的时候,这点集群规模,还远达不到想要多少要多少的程度,很可能这点资源很快就用完了,还得去采购。所以随着集群的规模越来越大,基本都是千台起步,动辄上万台,甚至几十上百万台,如果去查一下BAT,包括网易,包括谷歌,亚马逊,服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置,几乎是不可能的事情,还是需要机器去做这个事情。

    人们发明了各种各样的算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点的说,就是有一个调度中心,几千台机器都在一个池子里面,无论用户需要多少CPU,内存,硬盘的虚拟电脑,调度中心会自动在大池子里面找一个能够满足用户需求的地方,把虚拟电脑启动起来做好配置,用户就直接能用了。这个阶段,我们称为池化,或者云化,到了这个阶段,才可以称为云计算,在这之前都只能叫虚拟化。

    1.7 云计算的私有与公有

    云计算大致分两种,一个是私有云,一个是公有云,还有人把私有云和公有云连接起来称为混合云,我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面,使用私有云的用户往往很有钱,自己买地建机房,自己买服务器,然后让云厂商部署在自己这里,Vmware后来除了虚拟化,也推出了云计算的产品,并且在私有云市场赚的盆满钵满。所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的,用户不需要很大的投入,只要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑,例如AWS也即亚马逊的公有云,例如国内的阿里云,腾讯云,网易云等。

    亚马逊呢为什么要做公有云呢?我们知道亚马逊原来是国外比较大的一个电商,它做电商的时候也肯定会遇到类似双11的场景,在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候,就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源,那样太浪费了。但也不能什么都不准备,看着双十一这么多用户想买东西登不上去。所以需要双十一的时候,创建一大批虚拟电脑来支撑电商应用,过了双十一再把这些资源都释放掉去干别的。所以亚马逊是需要一个云平台的。

    然而商用的虚拟化软件实在是太贵了,亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术,如上所述的Xen或者KVM,开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛,云平台也越做越牛。而且由于他的云平台需要支撑自己的电商应用,而传统的云计算厂商多为IT厂商出身,几乎没有自己的应用,因而亚马逊的云平台对应用更加的友好,迅速发展成为云计算的第一品牌,赚了很多钱。在亚马逊公布其云计算平台财报之前,人们都猜测,亚马逊电商赚钱,云也赚钱吗?后来一公布财报,发现不是一般的赚钱,仅仅去年,亚马逊AWS年营收达122亿美元,运营利润31亿美元。

    1.8 云计算的赚钱与情怀

    公有云的第一名亚马逊过得很爽,第二名Rackspace过的就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。所以第二名如果不是云计算行业的,很多人可能都没听过了。第二名就想,我干不过老大怎么办呢?开源吧。如上所述,亚马逊虽然使用了开源的虚拟化技术,但是云化的代码是闭源的,很多想做又做不了云化平台的公司,只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开,整个行业就可以一起把这个平台越做越好,兄弟们大家一起上,和老大拼了。

    于是Rackspace和美国航空航天局合作创办了开源软件OpenStack,如图所示OpenStack的架构图,不是云计算行业的不用弄懂这个图,但是能够看到三个关键字,Compute计算,Networking网络,Storage存储。还是一个计算,网络,存储的云化管理平台。

    当然第二名的技术也是非常棒的,有了OpenStack之后,果真像Rackspace想象的一样,所有想做云的大企业都疯了,你能想象到的所有如雷贯耳的大型IT企业,IBM,惠普,戴尔,华为,联想等等,都疯了。原来云平台大家都想做,看着亚马逊和Vmware赚了这么多钱,眼巴巴看着没办法,想自己做一个好像难度还挺大。现在好了,有了这样一个开源的云平台OpenStack,所有的IT厂商都加入到这个社区中来,对这个云平台进行贡献,包装成自己的产品,连同自己的硬件设备一起卖。有的做了私有云,有的做了公有云,OpenStack已经成为开源云平台的事实标准。

    1.9 IaaS, 资源层面的灵活性

    随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套,比如北京部署一套,杭州部署两套,广州部署一套,然后进行统一的管理。这样整个规模就更大了。在这个规模下,对于普通用户的感知来讲,基本能够做到想什么时候要就什么什么药,想要多少就要多少。还是拿云盘举例子,每个用户云盘都分配了5T甚至更大的空间,如果有1亿人,那加起来空间多大啊。其实背后的机制是这样的,分配你的空间,你可能只用了其中很少一点,比如说它分配给你了5个T,这么大的空间仅仅是你看到的,而不是真的就给你了,你其实只用了50个G,则真实给你的就是50个G,随着你文件的不断上传,分给你的空间会越来越多。当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资源,这个对用户是透明的,看不到的,从感觉上来讲,就实现了云计算的弹性。其实有点像银行,给储户的感觉是什么时候取钱都有,只要不同时挤兑,银行就不会垮。

    这里做一个简单的总结,到了这个阶段,云计算基本上实现了时间灵活性和空间灵活性,实现了计算,网络,存储资源的弹性。计算,网络,存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性,管理资源的云平台,我们称为基础设施服务,就是我们常听到的IaaS,Infranstracture As A Service。

    二、云计算不光管资源,也要管应用

    640?wx_fmt=png

    有了IaaS,实现了资源层面的弹性就够了吗?显然不是。还有应用层面的弹性。这里举个例子,比如说实现一个电商的应用,平时十台机器就够了,双十一需要一百台。你可能觉得很好办啊,有了IaaS,新创建九十台机器就可以了啊。但是90台机器创建出来是空的啊,电商应用并没有放上去啊,只能你公司的运维人员一台一台的弄,还是需要很长时间才能安装好的。虽然资源层面实现了弹性,但是没有应用层的弹性,依然灵活性是不够的。

    有没有方法解决这个问题呢?于是人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。这一层往往比较难理解,其实大致分两部分,一部分我称为你自己的应用自动安装,一部分我称为通用的应用不用安装。

    我们先来说第一部分,自己的应用自动安装。比如电商应用是你自己开发的,除了你自己,其他人是不知道怎么安装的,比如电商应用,安装的时候需要配置支付宝或者微信的账号,才能别人在你的电商上买东西的时候,付的钱是打到你的账户里面的,除了你,谁也不知道,所以安装的过程平台帮不了忙,但是能够帮你做的自动化,你需要做一些工作,将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子,双十一新创建出来的90台机器是空的,如果能够提供一个工具,能够自动在这新的90台机器上将电商应用安装好,就能够实现应用层面的真正弹性。例如Puppet, Chef, Ansible, Cloud Foundary都可以干这件事情,最新的容器技术Docker能更好的干这件事情,不做技术的可以不用管这些词。

    第二部分,通用的应用不用安装。所谓通用的应用,一般指一些复杂性比较高,但是大家都在用的,例如数据库。几乎所有的应用都会用数据库,但是数据库软件是标准的,虽然安装和维护比较复杂,但是无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库的时候,一点就出来了,用户就可以直接用了。有人问,既然谁安装都一个样,那我自己来好了,不需要花钱在云平台上买。当然不是,数据库是一个非常难的东西,光Oracle这家公司,靠数据库就能赚这么多钱。买Oracle也是要花很多很多钱的。然而大多数云平台会提供Mysql这样的开源数据库,又是开源,钱不需要花这么多了,但是维护这个数据库,却需要专门招一个很大的团队,如果这个数据库能够优化到能够支撑双十一,也不是一年两年能够搞定的。比如您是一个做单车的,当然没必要招一个非常大的数据库团队来干这件事情,成本太高了,应该交给云平台来做这件事情,专业的事情专业的人来自,云平台专门养了几百人维护这套系统,您只要专注于您的单车应用就可以了。

    要么是自动部署,要么是不用部署,总的来说就是应用层你也要少操心,这就是PaaS层的重要作用。

    640?wx_fmt=png

    虽说脚本的方式能够解决自己的应用的部署问题,然而不同的环境千差万别,一个脚本往往在一个环境上运行正确,到另一个环境就不正确了。

    而容器是能更好的解决这个问题的。

    640?wx_fmt=png

    容器是 Container,Container另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱的特点,一是封装,二是标准。

    640?wx_fmt=png

    在没有集装箱的时代,假设将货物从 A运到 B,中间要经过三个码头、换三次船。每次都要将货物卸下船来,摆的七零八落,然后搬上船重新整齐摆好。因此在没有集装箱的时候,每次换船,船员们都要在岸上待几天才能走。

    640?wx_fmt=png

    有了集装箱以后,所有的货物都打包在一起了,并且集装箱的尺寸全部一致,所以每次换船的时候,一个箱子整体搬过去就行了,小时级别就能完成,船员再也不用上岸长时间耽搁了。

    这是集装箱“封装”、“标准”两大特点在生活中的应用。

    640?wx_fmt=png

    那么容器如何对应用打包呢?还是要学习集装箱,首先要有个封闭的环境,将货物封装起来,让货物之间互不干扰,互相隔离,这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。

    封闭的环境主要使用了两种技术,一种是看起来是隔离的技术,称为 Namespace,也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术,称为 Cgroups,也即明明整台机器有很多的 CPU、内存,而一个应用只能用其中的一部分。

    所谓的镜像,就是将你焊好集装箱的那一刻,将集装箱的状态保存下来,就像孙悟空说:“定”,集装箱里面就定在了那一刻,然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的,谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程(就是读取镜像文件,还原那个时刻的过程)就是容器运行的过程。

    有了容器,使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。

    三、大数据拥抱云计算

    在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?

    3.1 数据不大也包含智慧

    一开始这个大数据并不大,你想象原来才有多少数据?现在大家都去看电子书,上网看新闻了,在我们80后小时候,信息量没有那么大,也就看看书,看看报,一个星期的报纸加起来才有多少字啊,如果你不在一个大城市,一个普通的学校的图书馆加起来也没几个书架,是后来随着信息化的到来,信息才会越来越多。

    首先我们来看一下大数据里面的数据,就分三种类型,一种叫结构化的数据,一种叫非结构化的数据,还有一种叫半结构化的数据。什么叫结构化的数据呢?叫有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。现在越来越多的就是非结构化的数据,就是不定长,无固定格式的数据,例如网页,有时候非常长,有时候几句话就没了,例如语音,视频都是非结构化的数据。半结构化数据是一些xml或者html的格式的,不从事技术的可能不了解,但也没有关系。

    数据怎么样才能对人有用呢?其实数据本身不是有用的,必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据,网上这么多网页也是数据,我们称为Data,数据本身没有什么用处,但是数据里面包含一个很重要的东西,叫做信息Information,数据十分杂乱,经过梳理和清洗,才能够称为信息。信息会包含很多规律,我们需要从信息中将规律总结出来,称为知识knowledge,知识改变命运。信息是很多的,但是有人看到了信息相当于白看,但是有人就从信息中看到了电商的未来,有人看到了直播的未来,所以人家就牛了,你如果没有从信息中提取出知识,天天看朋友圈,也只能在互联网滚滚大潮中做个看客。有了知识,然后利用这些知识去应用于实战,有的人会做得非常好,这个东西叫做智慧intelligence。有知识并不一定有智慧,例如好多学者很有知识,已经发生的事情可以从各个角度分析的头头是道,但一到实干就歇菜,并不能转化成为智慧。而很多的创业家之所以伟大,就是通过获得的知识应用于实践,最后做了很大的生意。

    所以数据的应用分这四个步骤:数据,信息,知识,智慧。这是很多商家都想要的,你看我收集了这么多的数据,能不能基于这些数据来帮我做下一步的决策,改善我的产品,例如让用户看视频的时候旁边弹出广告,正好是他想买的东西,再如让用户听音乐的时候,另外推荐一些他非常想听的其他音乐。用户在我的应用或者网站上随便点点鼠标,输入文字对我来说都是数据,我就是要将其中某些东西提取出来,指导实践,形成智慧,让用户陷入到我的应用里面不可自拔,上了我的网就不想离开,手不停的点,不停的买,很多人说双十一我都想断网了,我老婆在上面不断的买买买,买了A又推荐B,老婆大人说,“哎呀,B也是我喜欢的啊,老公我要买”。你说这个程序怎么这么牛,这么有智慧,比我还了解我老婆,这件事情是怎么做到的呢?

    640?wx_fmt=png

    3.2 数据如何升华为智慧

    数据的处理分几个步骤,完成了才最后会有智慧。

    第一个步骤叫数据的收集。首先得有数据,数据的收集有两个方式,第一个方式是拿,专业点的说法叫抓取或者爬取,例如搜索引擎就是这么做的,它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。比如你去搜索的时候,结果会是一个列表,这个列表为什么会在搜索引擎的公司里面呢,就是因为他把这个数据啊都拿下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻,你拿百度搜出来,你不点的时候,那一页在百度数据中心,一点出来的网页就是在新浪的数据中心了。另外一个方式就是推送,有很多终端可以帮我收集数据,比如说小米手环,可以将你每天跑步的数据,心跳的数据,睡眠的数据都上传到数据中心里面。

    第二个步骤是数据的传输。一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用,可是系统处理不过来,只好排好队,慢慢的处理。

    第三个步骤是数据的存储。现在数据就是金钱,掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么呢?就是因为它有你历史的交易的数据,这个信息可不能给别人,十分宝贵,所以需要存储下来。

    第四个步骤是数据的处理和分析。上面存储的数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。比如盛传的沃尔玛超市的啤酒和尿布的故事,就是通过对人们的购买数据进行分析,发现了男人一般买尿布的时候,会同时购买啤酒,这样就发现了啤酒和尿布之间的相互关系,获得知识,然后应用到实践中,将啤酒和尿布的柜台弄的很近,就获得了智慧。

    第五个步骤就是对于数据的检索和挖掘。检索就是搜索,所谓外事不决问google,内事不决问百度。内外两大搜索引擎都是讲分析后的数据放入搜索引擎,从而人们想寻找信息的时候,一搜就有了。另外就是挖掘,仅仅搜索出来已经不能满足人们的要求了,还需要从信息中挖掘出相互的关系。比如财经搜索,当搜索某个公司股票的时候,该公司的高管是不是也应该被挖掘出来呢?如果仅仅搜索出这个公司的股票发现涨的特别好,于是你就去买了,其实其高管发了一个声明,对股票十分不利,第二天就跌了,这不坑害广大股民么?所以通过各种算法挖掘数据中的关系,形成知识库,十分重要。

    640?wx_fmt=png

    640?wx_fmt=png

    3.3 大数据时代,众人拾柴火焰高

    当数据量很小的时候,很少的几台机器就能解决。慢慢的当数据量越来越大,最牛的服务器都解决不了问题的时候,就想怎么办呢?要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。

    对于数据的收集,对于IoT来讲,外面部署这成千上万的检测设备,将大量的温度,适度,监控,电力等等数据统统收集上来,对于互联网网页的搜索引擎来讲,需要将整个互联网所有的网页都下载下来,这显然一台机器做不到,需要多台机器组成网络爬虫系统,每台机器下载一部分,同时工作,才能在有限的时间内,将海量的网页下载完毕。

    640?wx_fmt=png

    对于数据的传输,一个内存里面的队列肯定会被大量的数据挤爆掉,于是就产生了基于硬盘的分布式队列,这样队列可以多台机器同时传输,随你数据量多大,只要我的队列足够多,管道足够粗,就能够撑得住。

    640?wx_fmt=png

    对于数据的存储,一台机器的文件系统肯定是放不下了,所以需要一个很大的分布式文件系统来做这件事情,把多台机器的硬盘打成一块大的文件系统。

    640?wx_fmt=png

    再如数据的分析,可能需要对大量的数据做分解,统计,汇总,一台机器肯定搞不定,处理到猴年马月也分析不完,于是就有分布式计算的方法,将大量的数据分成小份,每台机器处理一小份,多台机器并行处理,很快就能算完。例如著名的Terasort对1个TB的数据排序,相当于1024G,如果单机处理,怎么也要几个小时,但是并行处理209秒就完成了。

    640?wx_fmt=png

    640?wx_fmt=png

    640?wx_fmt=png

    所以说大数据平台,什么叫做大数据,说白了就是一台机器干不完,大家一起干。随着数据量越来越大,很多不大的公司都需要处理相当多的数据,这些小公司没有这么多机器可怎么办呢?

    3.4 大数据需要云计算,云计算需要大数据

    说到这里,大家想起云计算了吧。当想要干这些活的时候,需要好多好多的机器一块做,真的是想什么时候要,想要多少就要多少。例如大数据分析公司的财务情况,可能一周分析一次,如果要把这一百台机器或者一千台机器都在那放着,一周用一次对吧,非常浪费。那能不能需要计算的时候,把这一千台机器拿出来,然后不算的时候,这一千台机器可以去干别的事情。谁能做这个事儿呢?只有云计算,可以为大数据的运算提供资源层的灵活性。而云计算也会部署大数据放到它的PaaS平台上,作为一个非常非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿,这个东西不是一般人能开发出来的,也不是一般人玩得转的,怎么也得雇个几十上百号人才能把这个玩起来,所以说就像数据库一样,其实还是需要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了,一个小公司我需要大数据平台的时候,不需要采购一千台机器,只要到公有云上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。

    云计算需要大数据,大数据需要云计算,两个人就这样结合了。

    四、人工智能拥抱大数据

    4.1 机器什么时候才能懂人心

    虽说有了大数据,人的欲望总是这个不能够满足。虽说在大数据平台里面有搜索引擎这个东西,想要什么东西我一搜就出来了。但是也存在这样的情况,我想要的东西不会搜,表达不出来,搜索出来的又不是我想要的。例如音乐软件里面推荐一首歌,这首歌我没听过,当然不知道名字,也没法搜,但是软件推荐给我,我的确喜欢,这就是搜索做不到的事情。当人们使用这种应用的时候,会发现机器知道我想要什么,而不是说当我想要的时候,去机器里面搜索。这个机器真像我的朋友一样懂我,这就有点人工智能的意思了。

    人们很早就在想这个事情了。最早的时候,人们想象,如果要是有一堵墙,墙后面是个机器,我给它说话,它就给我回应,我如果感觉不出它那边是人还是机器,那它就真的是一个人工智能的东西了。

    4.2 让机器学会推理

    怎么才能做到这一点呢?人们就想:我首先要告诉计算机人类的推理的能力。你看人重要的是什么呀,人和动物的区别在什么呀,就是能推理。我要是把我这个推理的能力啊告诉机器,机器就能根据你的提问,推理出相应的回答,真能这样多好。推理其实人们慢慢的让机器能够做到一些了,例如证明数学公式。这是一个非常让人惊喜的一个过程,机器竟然能够证明数学公式。但是慢慢发现其实这个结果,也没有那么令人惊喜,因为大家发现了一个问题,数学公式非常严谨,推理过程也非常严谨,而且数学公式很容易拿机器来进行表达,程序也相对容易表达。然而人类的语言就没这么简单了,比如今天晚上,你和你女朋友约会,你女朋友说:如果你早来,我没来,你等着,如果我早来,你没来,你等着。这个机器就比比较难理解了,但是人都懂,所以你和女朋友约会,你是不敢迟到的。

    4.3 教给机器知识

    所以仅仅告诉机器严格的推理是不够的,还要告诉机器一些知识。但是知识这个事儿,一般人可能就做不来了,可能专家可以,比如语言领域的专家,或者财经领域的专家。语言领域和财经领域知识能不能表示成像数学公式一样稍微严格点呢?例如语言专家可能会总结出主谓宾定状补这些语法规则,主语后面一定是谓语,谓语后面一定是宾语,将这些总结出来,并严格表达出来不久行了吗?后来发现这个不行,太难总结了,语言表达千变万化。就拿主谓宾的例子,很多时候在口语里面就省略了谓语,别人问:你谁啊?我回答:我刘超。但是你不能规定在语音语义识别的时候,要求对着机器说标准的书面语,这样还是不够智能,就像罗永浩在一次演讲中说的那样,每次对着手机,用书面语说:请帮我呼叫某某某,这是一件很尴尬的事情。

    人工智能这个阶段叫做专家系统。专家系统不易成功,一方面是知识比较难总结,另一方面总结出来的知识难以教给计算机。因为你自己还迷迷糊糊,似乎觉得有规律,就是说不出来,就怎么能够通过编程教给计算机呢?

    4.4 算了,教不会你自己学吧

    于是人们想到,看来机器是和人完全不一样的物种,干脆让机器自己学习好了。机器怎么学习呢?既然机器的统计能力这么强,基于统计学习,一定能从大量的数字中发现一定的规律。

    其实在娱乐圈有很好的一个例子,可见一斑

    有一位网友统计了知名歌手在大陆发行的 9 张专辑中 117 首歌曲的歌词,同一词语在一首歌出现只算一次,形容词、名词和动词的前十名如下表所示(词语后面的数字是出现的次数):

    a 形容词 b 名词 c 动词
    0 孤独:34 0 生命:50 0 爱:54
    1 自由:17 1 路:37 1 碎:37
    2 迷惘:16 2 夜:29 2 哭:35
    3 坚强:13 3 天空:24 3 死:27
    4 绝望:8 4 孩子:23 4 飞:26
    5 青春:7 5 雨:21 5 梦想:14
    6 迷茫:6 6 石头:9 6 祈祷:10
    7 光明:6 7 鸟:9 7 离去:10

    如果我们随便写一串数字,然后按照数位依次在形容词、名词和动词中取出一个词,连在一起会怎么样呢?

    例如取圆周率 3.1415926,对应的词语是:坚强,路,飞,自由,雨,埋,迷惘。稍微连接和润色一下:

    坚强的孩子,

    依然前行在路上,

    张开翅膀飞向自由,

    让雨水埋葬他的迷惘。

    是不是有点感觉了?当然真正基于统计的学习算法比这个简单的统计复杂的多。

    然而统计学习比较容易理解简单的相关性,例如一个词和另一个词总是一起出现,两个词应该有关系,而无法表达复杂的相关性,并且统计方法的公式往往非常复杂,为了简化计算,常常做出各种独立性的假设,来降低公式的计算难度,然而现实生活中,具有独立性的事件是相对较少的。

    4.5 模拟大脑的工作方式

    于是人类开始从机器的世界,反思人类的世界是怎么工作的。

    640?wx_fmt=png

    人类的脑子里面不是存储着大量的规则,也不是记录着大量的统计数据,而是通过神经元的触发实现的,每个神经元有从其他神经元的输入,当接收到输入的时候,会产生一个输出来刺激其他的神经元,于是大量的神经元相互反应,最终形成各种输出的结果。例如当人们看到美女瞳孔放大,绝不是大脑根据身材比例进行规则判断,也不是将人生中看过的所有的美女都统计一遍,而是神经元从视网膜触发到大脑再回到瞳孔。在这个过程中,其实很难总结出每个神经元对最终的结果起到了哪些作用,反正就是起作用了。

    于是人们开始用一个数学单元模拟神经元

    这个神经元有输入,有输出,输入和输出之间通过一个公式来表示,输入根据重要程度不同(权重),影响着输出。

    640?wx_fmt=png

    于是将n个神经元通过像一张神经网络一样连接在一起,n这个数字可以很大很大,所有的神经元可以分成很多列,每一列很多个排列起来,每个神经元的对于输入的权重可以都不相同,从而每个神经元的公式也不相同。当人们从这张网络中输入一个东西的时候,希望输出一个对人类来讲正确的结果。例如上面的例子,输入一个写着2的图片,输出的列表里面第二个数字最大,其实从机器来讲,它既不知道输入的这个图片写的是2,也不知道输出的这一系列数字的意义,没关系,人知道意义就可以了。正如对于神经元来说,他们既不知道视网膜看到的是美女,也不知道瞳孔放大是为了看的清楚,反正看到美女,瞳孔放大了,就可以了。

    对于任何一张神经网络,谁也不敢保证输入是2,输出一定是第二个数字最大,要保证这个结果,需要训练和学习。毕竟看到美女而瞳孔放大也是人类很多年进化的结果。学习的过程就是,输入大量的图片,如果结果不是想要的结果,则进行调整。如何调整呢,就是每个神经元的每个权重都向目标进行微调,由于神经元和权重实在是太多了,所以整张网络产生的结果很难表现出非此即彼的结果,而是向着结果微微的进步,最终能够达到目标结果。当然这些调整的策略还是非常有技巧的,需要算法的高手来仔细的调整。正如人类见到美女,瞳孔一开始没有放大到能看清楚,于是美女跟别人跑了,下次学习的结果是瞳孔放大一点点,而不是放大鼻孔。

    4.6 没道理但做得到

    听起来也没有那么有道理,但是的确能做到,就是这么任性。

    神经网络的普遍性定理是这样说的,假设某个人给你某种复杂奇特的函数,f(x):

    640?wx_fmt=png

    不管这个函数是什么样的,总会确保有个神经网络能够对任何可能的输入x,其值f(x)(或者某个能够准确的近似)是神经网络的输出。

    如果在函数代表着规律,也意味着这个规律无论多么奇妙,多么不能理解,都是能通过大量的神经元,通过大量权重的调整,表示出来的。

    4.7 人工智能的经济学解释

    这让我想到了经济学,于是比较容易理解了。

    640?wx_fmt=png

    我们把每个神经元当成社会中从事经济活动的个体。于是神经网络相当于整个经济社会,每个神经元对于社会的输入,都有权重的调整,做出相应的输出,比如工资涨了,菜价也涨了,股票跌了,我应该怎么办,怎么花自己的钱。这里面没有规律么?肯定有,但是具体什么规律呢?却很难说清楚。

    基于专家系统的经济属于计划经济,整个经济规律的表示不希望通过每个经济个体的独立决策表现出来,而是希望通过专家的高屋建瓴和远见卓识总结出来。专家永远不可能知道哪个城市的哪个街道缺少一个卖甜豆腐脑的。于是专家说应该产多少钢铁,产多少馒头,往往距离人民生活的真正需求有较大的差距,就算整个计划书写个几百页,也无法表达隐藏在人民生活中的小规律。

    基于统计的宏观调控就靠谱的多了,每年统计局都会统计整个社会的就业率,通胀率,GDP等等指标,这些指标往往代表着很多的内在规律,虽然不能够精确表达,但是相对靠谱。然而基于统计的规律总结表达相对比较粗糙,比如经济学家看到这些统计数据可以总结出长期来看房价是涨还是跌,股票长期来看是涨还是跌,如果经济总体上扬,房价和股票应该都是涨的。但是基于统计数据,无法总结出股票,物价的微小波动规律。

    基于神经网络的微观经济学才是对整个经济规律最最准确的表达,每个人对于从社会中的输入,进行各自的调整,并且调整同样会作为输入反馈到社会中。想象一下股市行情细微的波动曲线,正是每个独立的个体各自不断交易的结果,没有统一的规律可循。而每个人根据整个社会的输入进行独立决策,当某些因素经过多次训练,也会形成宏观上的统计性的规律,这也就是宏观经济学所能看到的。例如每次货币大量发行,最后房价都会上涨,多次训练后,人们也就都学会了。

    4.8 人工智能需要大数据

    然而神经网络包含这么多的节点,每个节点包含非常多的参数,整个参数量实在是太大了,需要的计算量实在太大,但是没有关系啊,我们有大数据平台,可以汇聚多台机器的力量一起来计算,才能在有限的时间内得到想要的结果。

    人工智能可以做的事情非常多,例如可以鉴别垃圾邮件,鉴别黄色暴力文字和图片等。这也是经历了三个阶段的。第一个阶段依赖于关键词黑白名单和过滤技术,包含哪些词就是黄色或者暴力的文字。随着这个网络语言越来越多,词也不断的变化,不断的更新这个词库就有点顾不过来。第二个阶段时,基于一些新的算法,比如说贝叶斯过滤等,你不用管贝叶斯算法是什么,但是这个名字你应该听过,这个一个基于概率的算法。第三个阶段就是基于大数据和人工智能,进行更加精准的用户画像和文本理解和图像理解。

    由于人工智能算法多是依赖于大量的数据的,这些数据往往需要面向某个特定的领域(例如电商,邮箱)进行长期的积累,如果没有数据,就算有人工智能算法也白搭,所以人工智能程序很少像前面的IaaS和PaaS一样,将人工智能程序给某个客户安装一套让客户去用,因为给某个客户单独安装一套,客户没有相关的数据做训练,结果往往是很差的。但是云计算厂商往往是积累了大量数据的,于是就在云计算厂商里面安装一套,暴露一个服务接口,比如您想鉴别一个文本是不是涉及黄色和暴力,直接用这个在线服务就可以了。这种形势的服务,在云计算里面称为软件即服务,SaaS (Software AS A Service)

    于是工智能程序作为SaaS平台进入了云计算。

    五、云计算,大数据,人工智能过上了美好的生活

    终于云计算的三兄弟凑齐了,分别是IaaS,PaaS和SaaS,所以一般在一个云计算平台上,云,大数据,人工智能都能找得到。对一个大数据公司,积累了大量的数据,也会使用一些人工智能的算法提供一些服务。对于一个人工智能公司,也不可能没有大数据平台支撑。所以云计算,大数据,人工智能就这样整合起来,完成了相遇,相识,相知。

    展开全文
  • 中国制造2025是一系列宏伟的计划,能够使中国完成民族复兴,其中重点发展领域就是信息技术相关的创新产业,具体一点就是目前火爆了的云计算大数据、人工智能。Ok,停。我们遇到了装逼死角,如果有个妹子问:“哥哥...

    最近我们和美国的“贸易战”打的是如火如荼,这位“推特治国”的川普总统总是给人一种“政治婴儿,商业天才”的感觉,贸易战的目的有很大一部分被认为是遏制“中国制造2025”。中国制造2025是一系列宏伟的计划,能够使中国完成民族复兴,其中重点发展领域就是信息技术相关的创新产业,具体一点就是目前火爆了的云计算、大数据、人工智能。Ok,停。我们遇到了装逼死角,如果有个妹子问:“哥哥,神马是云计算、大数据、人工智能啊?你跟人家讲讲嘛。”望着妹子崇拜的眼神你,那么。这个时候小编的到来,让你可以

    一、云计算

    话说自然接种的云是这么形成的,各种各样的小水滴凝结成云,然后共享给大地上的生灵。云计算的名字就是模仿自然界中云的形成而来的。它是通过各种方式收集互联网中的软硬件资源,然后按照需求共享给各个用户使用。云计算主要就是对计算资源进行灵活有效的管理和分配,这些资源主要包含:计算资源、存储资源、网络资源三个方面。

    那什么是计算资源、网络资源、存储资源呢?比如说你买一台笔记本,你想用这台笔记本来看片片(坏笑.jpg)玩大型游戏,那么你就需要有一颗强劲的CPU、尽可能大的运行内存和能够装的下你欲望的硬盘。那么CPU就是计算资源,你可能需要主频高、核心数多的型号。硬盘就是存储资源,要足够大尽量的读写速度快,能够满足你追求“大又快”的需求。而内存是CPU和硬盘之间的桥梁,它的性能制约着整个计算机的性能。但是只有这些还是不够的,因为你如果连一个QQ都上不了,怎么和妹子联系以达到你不可告人的目的呢?你的小片片也得是从网络上下载不是(当然小编不知道什么是自拍),这就是网络资源。

    但是物理设备(比如一台笔记本)是非常缺乏时间灵活性和空间灵活性的。例如:我想现在就买一台大型服务器,但是采购是需要时间的,买回来之后还需要机房等各种软硬件环境的部署;后来我又想要一台很小的电脑,CPU一颗、内存1G、硬盘20G,这样的电脑现在可能都很难找到地方买。为了实现按需分配资源的功能有人想出来一个叫“虚拟化”的方法。通俗点讲就是准备一台性能非常强大的计算机(例如64核心的CPU、128G内存、256T的硬盘、10G的网络带宽),然后根据用户的需求,通过虚拟化的隔离技术,从这台强大的计算机上划分出一部分一部分形成一台电脑(比如:2颗CPU、4G内存、500G硬盘、1G带宽),每个用户得到的这部分资源完全是透明化的,用户自己会认为这就是一台完整的计算机。软件虚拟化的过程是非常快的,通常几分钟就可以搞定。这样空间灵活性和时间灵活性就得到了比较好的解决。

    不过虚拟化只是在用户端解决了较好的灵活性,但是在后台的执行端,工程师们需要手动的进行虚拟机的分配,这个过程相对来说是比较复杂的,而且如果只是几台十几台的规模,那么手动分配还可以实现,但是现在的互联网规模动辄就是上万台、几十万台,人工分配显然已经不可能完成。人们就又想了一个办法,把所有的计算机在逻辑层面放到一个池子里,这个池子叫做资源池,然后通过调度算法组建一个调度中心,不管用户使用使用多少CPU、内存、硬盘、带宽都可以通过申请由调动中心从资源池中选择相应的资源组成虚拟机分配给用户,到此就可以称作为云计算了。当资源池资源不够用了我们可以再向资源池中接入机房就可以了,而且这些机房可以在世界各地,这一系列操作对用户来说都是透明的,对工程师来说只要保证调度中心和资源池稳定运行就好。

     

    OK,到目前这个阶段我们的云计算基本实现了时间灵活性和空间灵活性,实现了计算、存储、网络等硬件资源的弹性利用。这也就是我们通常所说的基础设施及服务,IaaS(Infranstracture as a Service)云。但是人的欲望和惰性是无限,它们两个一直是人类进步不竭的动力。IaaS云创建出来的虚拟机都是空的,也就是没有装任何软件甚至是操作系统,如果一个电商公司在双十一想要突发的增加1000台机器,那么他们就必须再手动重新按照配置相应的软件,这里面由大量的重复性工作,因为由很大一部分软件是通用的。这就像我们买房子,如果用Iaas云买,就类似买了毛坯房,我们每买一个房子都需要对房子进行刷墙、铺地板砖等最基础的操作,但如果是精装修的房子(通用应用),我们只要按照我们的喜好添置家具和一些装饰品就可以了(差异化应用),省去了很多不必要的麻烦。这样“精装修”的房子就类似我们所说的PaaS(Platform as a Service)云。将一些一般都能用到的软件和开发环境安装好提供给用户,用户拿到虚拟机之后可以直接或者只需经过很少的部署就可以使用,这就叫平台及服务。

    至此,我们解决了老的问题,新的问题又出现了(欲望啊欲望、懒惰啊懒惰),在实际应用中,我们的运行环境纷繁复杂、新旧版本交错,使我们部署自己的应用时经常出错,即便时使用脚本进行自动化部署,但是只要时部署环境有一丁点不同,就可能产生部署错误。于是我们引入了容器(Container)的概念。Container有集装箱的意思,集装箱的特点是标准(方方正正)、封装(与外界隔离)。

    在没有集装箱的时代,船员们在码头换船的时候都需要把物品全都搬下来,散落一地,然后再搬到另一个船上,而另一个船的构造能不能合理的放下这些物品还不一定,有了集装箱之后,所有的东西装成一个个集装箱,每个船只再尽量设置成符合放集装箱的结构,这样换船的时候直接从一个船搬到另一个船就好了,方便快捷。

    我们的自主应用要实现这样的形势,就需要先将应用所需的基本环境和文件、数据等信息打包封装,与其他信息隔离,把这些封装好的信息做成“镜像”,镜像就类似在集装箱关上门的那一刻,孙悟空喊了一声“定”,把这些内容都保存在了这一刻,使这些容器不管放到什么环境下都是相同的内容。

    容器太多也是杂乱无章,相应的又出现了一些对容器自动化部署、扩展、管理的平台软件。

    云计算发展至此已经基本能够满足我们的需求了,从计算机诞生开始出现了很多软硬件的商业公司,IBM这些靠硬件成长起来的公司至今依然是世界的龙头,虚拟技术兴起后,像VMware这样的公司也是赚的盆满钵满。但软件不像硬件需要特别大的投资和非常雄厚的基础,VMware公司的软件是闭源的,也就是软件的源代码只有我自己知道,别人都不知道,谁用我的软件谁就像我付钱,只要软件成熟之后基本是一本万利的,当然软件的研发也不是轻而易举的,有点类似于近来电影《我不是药神》里面的神药。不过软件技术远不如研究新药那么难和耗时长,并且这个世界上有很多追求平等自由的人,有一些技术大牛看不惯一些资本家的垄断,认为软件应该是全世界人类智慧的结晶,应该服务于全人类,所以这些大牛就自己开发出来一些软件,并且公布到互联网上,共大家免费自由使用。这些软件就被成为开源软件,当然现在很多软件的开源原因很复杂,有得是为了情怀,有得是为了竞争,有得是为了赚更多的钱。

    从硬件到虚拟化,从虚拟化到云计算,从云计算到容器再到容器的集群,我们伟大的软件工程师们开发了一系列的开源软件,虚拟化的有Xen、KVM、云计算有openstack、容器有docker

    容器集群有kubernetes,众所周知这些软件都需要运行在一个操作系统之上,而开源操作系统Linux一经诞生,就技惊四座,以其小巧精湛、低成本、强稳定以及良好的移植和定制的特性,在全世界小到嵌入式设备大到超级计算机和成千上万的计算机集群90%以上都在使用它。所以良好的掌握Linux是从事云计算行业的基础和关键。

    二、大数据

    云计算主要集中在计算,而我们计算的东西叫什么呢?这个就是数据,究竟什么是数据,好像没有一个确切的定义,广义上来说,我们现实世界的事物抽象成的逻辑符号就叫做数据。数据是不具备任何含义的,比如“165”我们可以说它是一个数也可以说它是三个数,但它什么意思都表达不出来,如果我们把“165”加工一下变成“165cm”就变成一个长度了,这个“165cm”就叫做信息。信息对我们来说是有意义的,不过计算机当中存放的时候信息就又变成数据了。信息虽然对我们有意义,但是用处太小或者信息太杂乱,我们根本无从下手,如果我们把信息整理归纳总结,梳理成册,就变成了知识。知识对我们来说就有意义的多了,我们从小到大上学就是为了学习知识对吧,知识是人类进步的粮食。但是知识只有运用得当才能变成智慧,赵括就是只有知识没有智慧的人,而王阳明就是集天下之大成的智者。知识的运用叫做经验,经验和知识相辅相成不可偏废,只有经验没有知识只能是低层次,只有知识没有经验只会是空中楼阁,不过有了经验去学知识较难,有知识后去学经验易。

     

    收集

    运用

    总结

    加工

    那么大数据是怎样的呢?简单的理解大数据就是体量非常非常巨大的数据。这么大量的数据我们放着不用是非常愚蠢和可耻的,所以大数据技术也可以简单的说成是将海量的数据转换成智慧的这样一个循环。通常我们需要这样几个步骤:

    1. 数据收集:一种方式是通过爬取将互联网上的所有信息都下载到一个数据中心;另一种是通过各种传感器(物联网的概念)收集现实世界中的各种各样的数据(比如:温度、心跳等等);
    2. 数据存储:收集到的数据需要根据一定的规则进行存储下来,数据有得是具有一些共同的特点(比如各种表格)的被称作结构化数据,还有很多没有共同特点的叫做非结构化数据,这些所有的数据必须有效的存储下来才能够进行数据的二次利用(比如搜索);
    3. 数据处理和分析:我们从各个渠道保存下来的原始数据都是杂乱无章的,有的有用、有的没用、有的不知道有没有用,所以我们要对原始数据进行清洗、过滤、分类等一系列操作,得到数据之间的相互关系和相互作用。比如沃尔玛超市就在大量购买数据中发现人们买男士用品的时候经常会买一包儿童纸尿裤,所以它们就把这两类商品放到一块儿,提高了用户的购买效率;
    4. 数据检索和挖掘:这一步是在上一步的基础上进行更深入的探索,并且把结果放到互联网上共人们使用。比如金融行业需要在海量的交易和其他相关信息中分析出股市甚至是某种股票的涨跌,这需要更多专业的分析,如果出错率很大,别人就不会为你的服务付费了。

    这么大量的数据需要经过这么多步骤的运算,一台机器明显是不够的,得需要成千上万条机器,但是大数据的分析并不一定是每时每刻都在做的,比如我是一家财务公司,可能我一周只需要进行一次数据分析,而其他时间不需要这么大量的计算机,那岂不是造成了很大的浪费,怎么办才好呢?大家想到了把,就是云计算,云计算在这里就可以很好的和大数据融合了。

    三、大数据

    前两天小编的同事小刘问小编你知道什么车最贵吗?小编这么穷怎么可能知道,然后他就说不是兰博基尼不是劳斯莱斯而是女朋友的购物车。据悉他帮女朋友清理了一下网上的购物车,差点给清理破产了。这就是商家奸诈的地方了,女人好像天生对购物时0抵抗力,他女友在买任何东西的时候都会收到一系列相关的推荐,比如你想买一辆单车去骑行穷游最后可能买了一艘游艇去夏威夷自驾,买不起没关系,还有骇人听闻的亲密付功能。小刘感叹怎么收集比他自己还了解他女朋友啊。这就是人工智能的初步体验了。提起人工只能你的印象是这个?这个?还是这个。没错,这也许是我们想象中的人工智能该有的样子(奥创好像有点跑偏了),其实人工智能的概念早在二战之前就提出了,人工智能之父图灵就提出过著名的图灵测试方法来验证机器是否具有智能的特点。人工很好理解就是人为造的,但是智能很难解释清楚,它包含了太多的东西诸如意识、自我、心灵、无意识的精神等等,我们人类自己的智能都还没有研究清楚,所以说人工智能究竟能发展到何种程度目前还是个未知数。但是让机器模仿人类的行为、部分思考方式,利用演绎和推理解决实际问题还是可以实现的。

    怎样让机器具有这样的演绎、推理的功能呢?最主要的是算法,我们现在的计算机通过各种算法能够证明数学公式了,但是数学推理由非常严谨的推理过程,是可以程序化的,但我们平时的生活就没有那么严谨了,比如“夏天能穿多少穿多少,冬天也是能穿多少穿多少”,这个机器就很难理解是什么意思了。所以机器只进行逻辑推理还是不够的,我们要交给它一些知识,不过教给计算机知识就太难了,得是语言专家才行,必须把语言的结构、语法、使用习惯等等都做成公式交给计算机,但是即便是这样也是不行的,因为平时的生活中语言太千变万化了,没有人平时说话时严格按照语法来说的,并且还充斥着各种各样的方言和俚语,是不可能都教给计算机的。

    既然教不会就让计算机自己学吧,怎么学习呢?一般简单的是通过统计学,把收集来的信息进行归纳总结发现一定的规律,例如计算机作词:

    我们随便写一串数字,然后按照数位依次在形容词、名词和动词中取出一个词,然后稍作加工就能变成:,这样是不是有点意思了,当然真正的学习算法要复杂的多。还有很多模仿人脑的算法例如人工神经网络和深度学习算法等,人类的脑子里面不是存储着大量的规则,也不是记录着大量的统计数据,而是通过神经元的触发实现的,每个神经元有从其它神经元的输入,当接收到输入时,会产生一个输出来刺激其它神经元。于是大量的神经元相互反应,最终形成各种输出的结果。当某些男人看到美女瞳孔会放大,绝不是大脑根据身材比例进行规则判断,也不是将人生中看过的所有的美女都统计一遍,而是神经元从视网膜触发到大脑再回到瞳孔。在这个过程中,其实很难总结出每个神经元对最终的结果起到了哪些作用,反正就是起作用了。如果你这次看见美女瞳孔没有放大,让美女和其他人跑了,你就会对策略进行微调,下次就不会这么做了,当然运用到计算机上这些调整的策略还是非常有技巧的,需要算法的高手来仔细的调整。

    人工智能说到底也都是一些列的算法和算法自己产生的算法,这些算法是需要数据作为养料进行喂养的,对于好的算法来说,数据量越大可能产生的结果就越正确,就像alphgo要经过无数次的对弈才能提高自己的水平一样。并且人工智能对应的算法是相当复杂和庞大的,单台计算机是不可能在短时间内完成的,所以人工智能就和云计算大数据紧密的结合在了一起。

    我们上面说过人工智能的算法非常的复杂,那么对程序员来说要通过编程实现这样的算法就会非常耗时,如果使用语法严格限制较多的语言编写会很难实现,程序员的负担也会非常大,在上世纪90年代出现的Python语言以其简洁的语法、强大的第三方库使它编程效率极高,在人工智能领域大放异彩。

    四、如何学习云计算、大数据、人工智能

    在贸易战、世界经济复苏扑朔迷离的大环境下,如何使自己今后立于不败之地,那么学习Linux运维、云计算、大数据、Python开发就会是一个非常好的选择,大学里面学这些课程需要四年啊,我们去哪里学呢?对,就是马哥教育!

    马哥教育全称北京马哥教育科技有限公司,于2007年由马哥正式创办,历经十年发展,以“匠心精神,良心教育”为宗旨,以国际“MVP”体系为标准,培养了数万名资深、专业的高端IT人才,80%以上学员在互联网排名前300的企业高薪就业,拥有Linux运维、Python开发、云计算等多个高端学科。凭借马哥教育职业IT培训的高品质和毕业学员的良好口碑,其已经成为业内知名互联网公司重要人才战略合作伙伴,获得了百度、腾讯、阿里、中兴、科大讯飞、大众点评、51CTO、唯品会、京东、中国移动、 新浪、红帽等互联网巨头的人才合作支持,2013年成为51CTO官方推荐合作机构,与多家IT互联网企业签订专项人才培养计划,毕业学员平均薪资达10K以上。

     

    展开全文
  • 大数据有两大特点,一是数据来源多,包括各种结构化数据和非结构化数据,如网络日志、视频、图片、地理位置信息等等,同时数量相对巨大,大数据中的‘大’本身就是一个相对的概念;二是数据处于“online”即在线的...
  • 云计算大数据概述

    千次阅读 2016-05-21 13:42:11
    一、云计算大数据概述  云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往...
  • 云计算+大数据+AI+物联网

    千次阅读 2019-08-26 21:21:37
    今天跟大家讲讲云计算大数据和人工智能。这三个词现在非常火,并且它们之间好像互相有关系。终于有人把云计算大数据和人工智能讲明白了! 一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工...
  • 终于有人把云计算大数据和 AI 讲明白了

    万次阅读 多人点赞 2019-07-05 10:14:57
    (点击上方公众号,可快速关注)作者: 刘超www.cnblogs.com/popsuper1982/p/8505203.html原标题:不是技术也能看懂云计算大数据,人...
  • 云计算大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包括了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象...
  • 浅谈云计算大数据技术

    万次阅读 2016-09-01 11:22:27
    浅谈云计算大数据技术 背景: 随着计算机技术的发展,数据量日益增长,现有技术也很难满足业务的发展需求,在代码的层层迭代和优化之后,还是很难满足数据的增长需求,迫切需要一项新的技术来从事数据计算,因为...
  • 大数据环境下的关联规则挖掘

    万人学习 2019-07-01 10:35:23
    大数据集环境下的关联规则发现日益受到重视,如何在大数据环境下进行数据分析和数据挖掘成为了企业要面对的首要难题!本次课程将讲解大数据环境下关联规则挖掘面临的挑战以及应用实践。
  • 大数据云计算

    万次阅读 2012-10-29 16:30:54
    近几年来,云计算受到学术界和工业界的热捧,随后,大数据横空出世,更是炙手可热。那么,大数据云计算之间是什么关系呢? 从整体上看,大数据云计算是相辅相成的 大数据着眼于“数据”,关注实际业务,提供...
  • BDTC2015大会精彩演讲PPT集锦

    万人学习 2019-06-21 09:54:56
    中国大数据技术大会(Big Data Technology Conference,BDTC)是目前国内具影响、规模大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会(Hadoop in China,HiC)。从2007年仅60人参加的技术沙龙到当下数...
  • 区块链技术详解

    万人学习 2018-11-08 16:07:31
    区块链技术入门教程,该课程对目前区块链知识进行一次体系化的讲解,使得初学者能迅速抓住区块链技术的核心思想,对区块链应用和智能合约有一个的、由浅入深的了解。
  • 搞定大数据平台:从入门到实战

    万人学习 2020-02-18 17:06:58
    本课程主要是构建大数据平台,包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署,都是手把手操作,不会出现跳讲和断讲,0基础同学也能一站式搞定大数据平台环境。
  • 阿里云机器学习算法应用实践

    万人学习 2019-06-24 13:33:34
    人工智能的商业化应用是下一个风口,阿里云在机器学习算法方面有许多沉淀。本次分享首先是介绍阿里云机器学习PAI,接着会在上面搭建真实的案例,包括心脏病预测、新闻分类等场景。
  • 学习云计算大数据就业前景好吗?

    万次阅读 2018-12-28 20:59:11
    越来越多的人认识接触云计算大数据,但是真正的对于这两个的认识和理解确是少之又少,很多人都想问云计算大数据前景好吗?现在学习就业怎么样? 如果你想进入云计算大数据,那么先了解一下什么是云计算大数据...
  • 云计算大数据之间的区别与联系

    万次阅读 2018-03-01 22:06:51
    简单来说:云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切,但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然,如果解释更形象一点的话,云计算相当于我们...
  • 流式计算与大数据实践分享

    千人学习 2018-11-13 10:30:50
    流式计算与大数据实践分享课程 ,教材内容包括1、流式计算简介 2、流式计算框架 3、Storm应用开发, 4、Storm系统架构 5、Storm基本操作 6、实践案例分享
  • 数据分析报告制作

    千人学习 2017-01-04 13:34:57
    数据报告制作,用于简单的报告逻辑框架,填充数据,得出结论,并用于实际工作/学习场景。
1 2 3 4 5 ... 20
收藏数 86,289
精华内容 34,515
关键字:

云计算大数据