精华内容
下载资源
问答
  • 对大数据看法

    2020-10-23 15:45:41
    大数据是所涉及的资料量规模巨大到无法透过目前软件工具去合理摘取管理处理并整理成为帮助企业经营决策更积极目的的资讯,大数据具有高速大量多样精确四个特点,大数据核心在于海量数据的处理,大数据在生活中体现...

    大数据是所涉及的资料量规模巨大到无法透过目前软件工具去合理摘取管理处理并整理成为帮助企业经营决策更积极目的的资讯,大数据具有高速大量多样精确四个特点,大数据核心在于对海量数据的处理,大数据在生活中体现最多的可能就是社交网络,像抖音根据点赞数据推荐一些符合用户喜好的短视频,淘宝根据浏览次数推荐一些用户可能想要购买的东西等,大数据技术不仅能够提高人们利用数据的效率,而且能够实现数据的再利用和重复利用,进而大大降低交易成本,提升人们开发自我潜能的空间,但是大数据同样数据产生的体量大,纬度高,提取难度也大,大数据已经无处不在,成为一个炙手可热无所不包的概念,大数据时代已然来临。

    展开全文
  • 对大数据看法

    2018-12-28 10:53:00
    对大数据看法 2015年02月28日 17:03:59我爱小源阅读数:4900 大数据 大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、...

    我对大数据的看法

    大数据

     

    大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Veracity(精确)。大数据最核心的价值就是在于对于海量数据进行存储和分析。

    大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。

    当前用于分析大数据的工具主要有Hadoop。Hadoop旨在通过一个高度可扩展的分布式批量处理系统,对大型数据集进行扫描,以产生其结果。Hadoop项目包括三部分,分别是Hadoop Distributed FileSystem(HDFS)、HadoopMapReduce编程模型,以及Hadoop Common。不适合使用Hadoop来解决的问题:1、最最重要一点,Hadoop能解决的问题必须是可以MapReduce的;2、数据结构不满足key-value这样的模式的;3、Hadoop不适合用来处理大批量的小文件;4、Hadoop不适合用来处理需要及时响应的任务,高并发请求的任务。

    未来,数据可能成为最大的交易商品。但数据量大并不能算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来,未来大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。据统计,大数据所形成的市场规模在51亿美元左右,而到2017年,此数据预计会上涨到530亿美元。

     

    我对大数据和与云计算的看法:

     

    云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问, 进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互,是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。

    大数据挖掘常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。只有在云计算产业已经规模化发展 3 年之后,分布式结构计算才给大数据提供了记录的载体。可以说,云计算使大数据变成可能,打个比方,云计算充当了工业革命时期的发动机的角色,而大数据则是电,大数据是要依靠云计算技术来进行存储和计算的。目前,云计算已经普及并成为IT行业主流技术,其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。云计算为大数据提供了可以弹性扩展,相对便宜的存储空间和计算资源,使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术,包括海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理以及智能分析技术如模式识别、自然语言理解、应用知识库等等。

    大数据和云计算肯定是未来的发展所向,所以我们要学好很多算法知识才能弥补我们在编程过程中的不足之处。


    基于云计算的数据挖掘的优势 

    (1)由于数据挖掘处理的数据足海量的,要从海量的数据中挖掘出理解的知识,大规模的数据挖掘足必须的。并且随着互联网上数据的快速增长,数据挖掘的任务远比搜索任务要复杂,导致了在挖掘过程中需要有很好的开发环境和应用环境。这种情况下,基于云计算的方式是比较合适的。 

    (2)基于云计算实现低成本分布式并行计算环境,因此,企业的数据处理成本大大的降低,同时也不再依存于高性能的机器。 

    (3)基于云计算的数据挖掘开发方便,屏蔽了底层。在并行化条件下。云计算能够利用原有设备提高对大规模数据的处理能力和速度,既保证了容错性,也增加结点。

    总结

    我们在学习和了解大数据、云计算等过程中,还是要考虑一些方法来实现。我们有大数据,我们要从这些数据中得到我们想要的、对我们有用的信息,想应对大数据时代,数据挖掘这门课就是少不了。简单点来说,大数据是矿石,数据挖掘是一个挖矿的过程,算法是工具、方法,相当于你挖矿用的铁锹啊,锄头啊等等,而云计算,就是可以让你更轻松、更快地挖矿。大数据不是忽悠,关键是要能够发现其中的价值,而数据挖掘的算法、云计算和并行计算就是发现其中价值的工具。这就是我所了解的大数据和云计算。
    ---------------------

    转载于:https://www.cnblogs.com/hjlweilong/p/10189216.html

    展开全文
  • 大数据时代》这本书就是当时读的。而今硕士已经念完两年,我学术论文的创新与实用性有了更多的认识,各种AI的传奇故事已经听得略感厌倦。作为一个系统工程师,看起来并不需要懂太多AI和大数据的知识,不过我觉得...

    对事物的认识是一个漫长的过程。想当初我在大三,并不了解大数据、人工智能,因此我充满了、好奇,渴望去了解。《大数据时代》这本书就是当时读的。而今硕士已经念完两年,我对学术论文的创新与实用性有了更多的认识,各种AI的传奇故事已经听得略感厌倦。作为一个系统工程师,看起来并不需要懂太多AI和大数据的知识,不过我觉得学习它们是有好处的。仅仅掌握机器学习算法与MapReduce的基本原理,我就不会感到迷茫。毕竟这个时代正在热炒相关概念,在公司,工程师们人人自危,恨不得都去学一下。看看腾讯的现状,其实只有TEG张潼的AI Lab与SNG的优图实验室比较有名(或许其他实验室正在蓬勃发展,这里请不要责怪我),也只有最优秀的学生能进去。多数搞AI的毕业生,都将进入一个普通的开发组,里面的工程师恐怕是半路出家学的AI,能对学生起到多大的指导作用尚令人怀疑。不过,我还是要为这些艰难前行的人鼓掌,毕竟他们是披荆斩棘的实干者。


    以上写得比较悲观。我当然知道大数据和AI给我们带来了很多机遇。纵观全局,我觉得这两个领域需要被泼点冷水来平衡一下,才写下刚刚那些文字。下面是我对《大数据时代》一书写的概要,我不打算列举书中提到的传奇故事,只要了解以下内容,就能对大数据有一定认识了。


    大数据时代的思维变革

    1. 不是随机样本,而是全体数据
    2. 不是精确性,而是混杂性
    3. 不是因果关系,而是相关关系

    大数据时代的商业变革
    1. 数据化:一切皆可量化
    2. 价值:取之不尽用之不竭的数据创新
    3. 角色定位:数据、技术与思维的三足鼎立

    大数据时代的管理变革
    1. 风险:让数据主宰一切的隐忧
    2. 掌控:责任与自由并举的信息管理

    展开全文
  • 所以,我们要认识到从打数据中获得价值,才是大数据时代来临的意义所在。 数据量大了,同时也带来了很多麻烦涉及到存储,计算等方面,随之,高性能计算方案的需求呼之欲出。而目前, 云计算技术是一个比较富有...

    回顾历史,从2005年年前我们县里的网吧都不是很多。2006年左右开始,县里的网吧开始多了。

    通用机的民用普及在2006年到2010年的数量一致在骤增。一方面,县里的网吧越来越多。多到一定程度,

    数量持平,后来又少了,最后稳定到一定数量的网吧。少的原因,是从2006年到2010年,

    组装机和笔记本的整体价格由6000降至3000。同时性能也在不断的提升。

    目前几乎县里的家家都有那么一台pc通用机或者笔记本了。更不用说市里的了。

    09年的时候,诺基亚S60v5系统仍然非常流行,记得那两年的诺基亚5230非常的流行,后来2010年安卓和IPONE空间。

    2010年至2012年,中国刮起了千元智能机的风潮。这为便携式移动智能产品的普及奠定了基础。同时,随着移动网络带宽的提升。

    物联网应用(社交,游戏,新闻,阅读,金融,等等)的不断推广和渗透。网络中的数据量正在不断的激增。

    我们衡量数据的单位由G到T,到P,到E,再到Z。中间都是1024倍的关系。我记得曾经上计算机基础课,理解对M的认识,大部分都知道

    一首普通的MP3是3M到5M。那么T是个什么概念呢?我们现在的硬盘由500G逐步上升,已经慢慢靠近1T。这只是家庭PC。

    今天听DATADIREC NETWORK说,一般公司,目前搞15P的机组就可以满足普通存储需求了。看来15P确实很大了。

    消无声息的,大数据时代来临了。

    理解大数据不应只认识到数据量很大这么个层次,更应该认识到数据不仅是从量上多了。另一层是数据种类的丰富和多样化,这意味着数据的视角的不同。从不同的视角和来源得到的数据,经过处理,可以获得有价值的规律或者知识,这是我们在数据挖掘课题上知道的。所以,我们要认识到从打数据中获得价值,才是大数据时代来临的意义所在。

    数据量大了,同时也带来了很多麻烦涉及到存储,计算等方面,随之,高性能计算方案的需求呼之欲出。而目前, 云计算技术是一个比较富有吸引力的技术。

    展开全文
  • 大数据时代

    千次阅读 2018-09-02 23:12:08
    大数据时代概述 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长...
  • 大数据时代计算机远程网络通信技术革新的几点看法.pdf
  • 初学者对于大数据看法

    千次阅读 2018-07-29 02:01:31
    **大数据**在今天这个时代是一个比较火爆的词汇,我只是一个大一学生,我来说说自己对大数据看法吧。 半年前,我*大数据*的看法很模糊,当然现在也不是很清楚, **大数据**你说大吧,*欧洲核子研究组织*中的...
  • 今天给大家介绍一部书,《大数据时代》,浙江出版社,2013。 这本书的两位作者,一位是迈尔-舍恩伯格,他是牛津大学网络学院互联网研究所治理与监管专业的教授,另一位是库克耶,他是《经济学人》数据编辑,还曾...
  • 大数据时代计算机远程网络通信技术革新的几点看法
  • 对大数据行业的看法

    2020-10-24 07:26:46
    大数据关注的是如何通过分析海量数据来洞悉隐藏于数据背后的见解,为中国大数据产业添砖加瓦,为中国大数据产业培养海量大数据人才。此专业的特色主要体现在理论性强,实践性强,发展迅速,我校致力于为全社会培养...
  • 对大数据的一些看法

    2019-09-28 17:34:38
    众所周知,如今的时代大数据和人工智能的时代,那什么是大数据?什么又是人工智能?作为IT界的我们是否应该去多多了解这方面的知识呢? 在我看来,即使未来我们不从事这方面的内容,但是我觉得作为IT人才,不仅仅...
  • 大数据时代对于数据的一些看法

    千次阅读 2014-11-18 14:54:39
    最近有本书很火,里面提到一个论点,大概意思是:大数据更重视相关,不关心因果。大家不要迷信这些话。我举几个例子:1)你如果看数据,手机和手机配件的相关性一定很大,如果一个人买了手机,你推荐手机配件是合理...
  • 大数据时代统计学教学改革探讨 摘要大数据时代要求人们有更强的统计与分析能力因此高校里的统计学课程必须与时俱进培养有出色统计分析能力的人才本文基于当前统计学课程教学中普遍存在的问题探讨了统计学课程教学...
  • 马云在国家行政学院的“大数据时代:变革与挑战”专题报告,围绕大数据这个主题,讲讲大趋势,谈谈电子商务、互联网+、大数据的看法
  • 从某种程度上说,大数据是数据分析的前沿技术。简言之,从各种各样类型的数据中,快速获得有...深处在大数据时代中的人们,已经认识到大数据已经将数据分析的认识从“向后分析”变成“向前分析”,改变了人们的思...
  • 随着当下的重点从收集数据转向实时处理数据,大数据时代正走向消亡。如今大数据是种商业资产,为即将到来的多云支持、机器学习和实时分析时代奠定基础。 原始大数据时代终结于2019年6月5日,这一天,汤姆赖利...
  • 大数据时代的到来改变了人们的生活方式、思维模式和研究范式,我们可以总结出 10 个重大变化,如图 1 所示。 图 1大数据时代的 10 个重大变化 研究范式的新认识:从第三范式到第四范式 2007 年 1 月,图灵奖...
  • 大数据时代的质量观

    2015-01-26 14:32:00
    2012年2月,美国《纽约时报》发表了一篇主题为“大数据时代”的文章,称大数据时代已经来临,数据分析大师们正在获得更多发展机遇。大数据是全球新型工业化进程的必然产物,与计算机科学技术的发展息息相关。所谓...
  • 大数据”的浪潮正席卷而来,各行各业都产生革命性影响,在有些领域产生的影响极可能是颠覆性的,并终将改变整个世界。作为“国粹”的书法艺术,带着老古董式的清高与孤傲,或许是受到“大数据”影响最小的。然而...
  • 读书笔记《大数据时代

    千次阅读 2017-02-09 10:25:26
     大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果;接着,从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在 材质和智力方面向前滚动的最根本...
  • 大数据已经成为这个时代的显著特征,大数据的发展为入户调查数据带来了极大的冲击和挑战。在这种情况下,社会调查需要有新的基于中国古老智慧的管理理论,并且把大数据和云计算等都纳入社会调查系统,使其成为社会...
  • 大数据时代,没有所谓的个人隐私,但凡你的数据被上传到云端,就可以打上价格标签,然后被有心的服务商同步到任何的服务器中,之后等到你来到这个服务商注册账号,你的所有信息就会被关联进账号,包括但不限于个人...
  • 大数据时代:大数据的应用

    千次阅读 2013-05-22 20:32:04
    先来看这么一则偏笑话的案例吧:某超市通过分析一位女顾客的购物数据(包括购物清单,浏览物品,咨询信息,视频监控信息等),根据分析结果给该女顾客寄来了...对于企业而言,大数据有时候像是一个侦探家,能够拨开重重
  • 不管你有没有准备好,大数据时代都将来临。目前,IT经理需要做好以下5件事来迎接未来的海量数据的挑战。 By David Linthicum | InfoWorld 你的“大数据”计划准备就绪了吗?如果没有,你可能要开始考虑设计一个了...
  • 大数据时代》---- 读书笔记

    千次阅读 2017-04-03 15:45:37
    作者:维克托·迈尔-舍恩伯格最近看了一本有历史的书《大数据时代》(拿研究成果来说三年前的已经是老成果了),作者 我们这个大数据时代产生了很多颇有意思的洞见,为了保持原汁原味,我就直接原封不懂的把他们...
  • 如何评价 Big Data 大数据时代这本书 AndyHsu 花了三天的零碎时间大致看完了舍恩伯格的大数据时代生活工作思维的大变革 我看推荐说这是迄今为止最好的一本大数据专著目前公司在搞 Hadoop大数据应用外面各类零碎的...
  • 为你总结大数据时代人们生活方式、思维模式和研究范式等方面的变化。 大数据时代的到来正在改变人们的生活方式、思维模式和研究范式,我们可以总结出10个重大变革。 1. 决策方式:目标驱动型 → 数据...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,438
精华内容 2,975
关键字:

对大数据时代的看法