大数据 订阅
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]  中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。 [2] 展开全文
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]  中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。 [2]
信息
外文名
big data,mega data
提出时间
2008年8月中旬
提出者
维克托·迈尔-舍恩伯格及肯尼斯·库克耶
应用学科
计算机,信息科学,统计学
中文名
大数据
适用领域范围
人工智能
5V特点
大量、高速、多样、价值、真实性
大数据定义
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 [3]  大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。 [4]  从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 [1]  随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它们按照进率1024(2的十次方)来计算:1 Byte =8 bit1 KB = 1,024 Bytes = 8192 bit1 MB = 1,024 KB = 1,048,576 Bytes1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 PB = 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 YB = 1,024 ZB = 1,048,576 EB1 BB = 1,024 YB = 1,048,576 ZB1 NB = 1,024 BB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 BB全称:1 Bit(比特) =Binary Digit8 Bits = 1 Byte(字节)1,000 Bytes = 1 Kilobyte1,000 Kilobytes = 1 Megabyte1,000 Megabytes = 1 Gigabyte1,000 Gigabytes = 1Terabyte1,000 Terabytes = 1 Petabyte1,000 Petabytes = 1 Exabyte1,000Exabytes = 1 Zettabyte1,000 Zettabytes = 1 Yottabyte1,000 Yottabytes = 1Brontobyte1,000 Brontobytes = 1 Geopbyte
收起全文
精华内容
参与话题
问答
  • 大数据

    千次阅读 2019-08-23 11:38:01
    大数据学习路线,如何学习大数据? 博客推荐 - 博主 - big大鸟 - 大数据?什么是大数据大数据的概念)?大数据的价值?
    展开全文
  • Hadoop入门和大数据应用

    万人学习 2015-09-01 17:01:44
    Hadoop入门和大数据应用视频教程,该课程主要分享Hadoop基础及大数据方面的基础知识。 讲师介绍:翟周伟,就职于百度,Hadoop技术讲师,专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用...
  • 大数据学习(1)-大数据概述

    千次阅读 多人点赞 2019-03-27 21:39:41
    文章目录目录大数据产生背景大数据概念大数据影响大数据应用大数据关键技术大数据产业大数据,云计算,物联网关系云计算物联网大数据,物联网,云计算三者之间联系 目录 大数据产生背景 三次信息化浪潮 根据IBM前...

    目录

    大数据产生背景

    1. 三次信息化浪潮

    根据IBM前首席执行官郭士纳福观点,每15年IT领域就会迎来一次重大的变革。

    在这里插入图片描述
    2.大数据产生的技术支撑

    数据存储+数据处理+数据传输

    • 存储设备容量的不断增大和价格的不断降低
    • CPU处理能力的大幅度提升
    • 网络带宽的不断增加

    3.数据产生方式的变革
    在这里插入图片描述
    4.大数据发展的三个阶段
    在这里插入图片描述

    大数据概念

    1.大数据:“4V”

    volume(大量化),Velocity(快速化) , Variety(数据多样化) , Value less(数据价值密度低)

    • 大量化:大数据的大体现在数据量非常的多。

      大数据摩尔定律:数据一致直以每年50%的增长速率进行增长,每两年涨一倍。

    • 数据多样化:大数据是由结构化数据和非机构化数据组成,其中10%为结构化的数据存储在数据库中,剩下的90%的数据为非结构化的数据,包括文本,图像,语音,视频等。

    • 快速化:处理速度极快,从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间比较短。1S定律。

    • 数据价值密度低:大量数据中只有小部分的数据有极高的价值。

    大数据影响

    1.科学研究
    实验->理论->计算->数据驱动

    2.思维

    • 全样非抽样:由于大数据技术发展,可以对全样本进行分析,而不是之前的抽样分析。
    • 效率非精确:大数据时代由于是基于全样本分析,所以不存在从抽样到全样的误差放大问题,所以更加关注的是效率。
    • 相关非因果:大数据时代关注的更多的是物体之间的关联性,而非因果性。

    3.社会发展

    • 大数据决策被用于大量的行业

    4.就业方面

    • 数据科学行业成为热门行业

    5.人才培养

    大数据应用

    大数据无处不在,包括金融,汽车,零售,餐饮,电信,能源,政务,医疗,体育,娱乐等。
    在这里插入图片描述

    大数据关键技术

    数据分布式存储 + 数据分布式处理

    在这里插入图片描述
    在这里插入图片描述

    目前没有一款大数据产品可以解决所有的大数据问题,所以我们应该根据具体的问题选择合适的大数据产品。

    在这里插入图片描述

    大数据产业

    大数据产业是指一切与支撑大数据组织管理和价值发现先关的企业经济活动

    在这里插入图片描述

    大数据,云计算,物联网关系

    云计算,大数据,物联网三者相辅相成,共同促进。

    云计算

    1.概念

    在这里插入图片描述
    在这里插入图片描述
    2.关键技术
    在这里插入图片描述

    3.云计算数据中心
    在这里插入图片描述

    4.云计算应用

    在这里插入图片描述

    物联网

    1.概念
    在这里插入图片描述
    2.关键技术
    在这里插入图片描述
    3.物联网应用

    在这里插入图片描述
    4.物联网产业
    在这里插入图片描述

    大数据,物联网,云计算三者之间联系

    在这里插入图片描述

    展开全文
  • 大数据系列全套学习路线图

    万次阅读 2018-09-03 18:39:24
    大数据Hadoop系列之Hadoop分布式集群部署 大数据Hadoop系列之Hadoop机架感知配置 大数据Hadoop系列之HDFS命令讲解 大数据Hadoop系列之Hadoop服务开机自启动配置 大数据Hadoop系列之Hadoop Web控制台添加身份验证...
    展开全文
  • 大数据硬实战之kafka视频教程

    千人学习 2017-10-29 22:03:52
    大数据硬实战之kafka视频培训教程:本课程将从实战出发,讲解kafka原理以及在大数据中的应用场景的,是目前市面上少有的kafka实战教程,包括Kafka介绍、性能测试、数据、消息。
  • 比较传统数据与大数据

    千次阅读 2019-10-11 19:55:49
    一、比较大数据与传统数据 大数据相较于传统数据的特点可以概括为:数据量“大”、数据类型“复杂”和数据价值“无限”。 二、比较传统数据挖掘与大数据挖掘 1、技术背景的差异: 传统数据挖掘基于数据库、数据...

    大数据相较于传统数据的特点可以概括为:数据量“大”、数据类型“复杂”和数据价值“无限”。

    (1)数据量“大”
    1MB=1024KB
    1GB=1024MB
    1TB=1024GB
    1PB=1024TB

    在这里插入图片描述那么大数据究竟有多“大”呢?举个例子,1KB=512个汉字,1MB=六本红楼梦的字数。淘宝网在2015年3月每天大约能产生7TB的数据量,相当于4000万本图中红楼梦的数据量。淘宝需要分析这些大数据,才能给用户推荐他们可能购买的物品。

    (2)数据类型“复杂”
    传统数据更注重于对象的描述,而大数据更倾向于对数据过程的记录。
    举个例子,以下两张表格是一家餐馆的线下点单记录。
    第一张表使用传统数据记录方式,第二张表使用大数据记录方式
    这样能更直观地看出大数据的数据类型更复杂。
    在这里插入图片描述
    在这里插入图片描述

    (3)数据价值“无限”
    1、传统数据的价值体现在信息传递与表征,是对现象的描述与反馈,让人通过数据去了解数据。
    2、而大数据是对现象发生过程的全记录,通过数据不仅能够了解对象,还能分析对象,掌握对象运作的规律,挖掘对象内部的结构与特点,甚至能了解对象自己都不知道的信息。

    还是以上面的两张表为例,从第一张表我们可以了解小谢吃了什么,从第二张表我们除了得到表上的信息,还可以从中分析出到更多的信息。
    如:小谢可能住在店的附近,因为他是走着来的;中午店里生意可能很好,因为中午上菜很慢;小谢很爱嗦粉,嗦粉还挺快,每次花10分钟左右;小谢可能很喜欢A2座位,每次来都坐A2。等等。

    PS:本文的编写借鉴了此篇文章https://blog.csdn.net/broadview2006/article/details/54708767

    展开全文
  • 上一篇文章我们总结了10个大数据面试入门级问题,大家是否有收获,如果还没有看的小伙伴,可以直接跳转《干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题》开始学习吧! 本次我们慧都网分析的是10...
  • 大数据_03【大数据基础知识】

    万次阅读 2020-10-06 09:10:05
    大数据_03 01 大数据概述02 什么是大数据?(Big Data)03 传统数据与大数据的对比04 大数据的特点4.1 传统数据与大数据处理服务器系统安装对比4.2 大数据下服务器系统安装![在这里插入图片描述]...
  • 大数据搜索技术

    2019-12-23 11:32:55
    本课程为大数据专业的基础理论课程,目的是使学生掌握大数据时代的搜索技术,了解开源搜索引擎Elasticsearch的基本工作原理,安装配置方法,工作和使用的过程。 搜索无处不在 ,搜索已经融入我们工作、生活的...
  • 大数据学习路线总结

    千次阅读 2018-10-13 11:06:11
    大数据学习路线总结 1.大数据基础入门 对比:Java开发和大数据开发 1.1为什么要学习大数据 目的:很好找工作 对比:Java开发和大数据开发   1.2什么是大数据 举例: 一商品推荐:问题:(1)大量的订单...
  • 大数据面试真题整理

    千次阅读 2018-11-21 17:53:28
    大数据领域有什么自己的见解 平常怎么学习大数据的 StringBuilder与StringBuffer的区别 HashMap与Hashtable的区别 谈谈你对数的理解 数据库索引的实现 jvm的内存模型 jvm的垃圾收集器 jvm的垃圾收集算法 HDFS架构 ...
  • 大数据时代才刚刚开始。随着越来越多的公司倾向于大数据运营,人才需求达到历史最高水平。这对你意味着什么?如果您想在任何大数据岗位上工作,它只能转化为更好的机会。您可以选择成为数据分析师,数据科学家,...
  • 15篇大数据精品文章大合集

    千次阅读 2020-02-06 15:50:06
    简介:这一次,开发者社区为正在“宅家办公”的小伙伴们献上福利~这次的合集整理了一些比较受开发者欢迎的关于大数据技术领域的优质文章。 不管是初涉该领域,还是已经有一定了解,相信都能从文章中获益。大家快来...
  • 1.购物篮数据集(网站) 在测试fp-growth算法的时候百度到了这个购物数据集 http://fimi.uantwerpen.be/data/ 【注】:这是一个数据中心,还有很多其他的数据集 ...
  • 大数据—Scala

    千人学习 2019-03-01 10:45:40
    近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、京东等)广泛用于Spark开发。...
  • 大数据Java强化班(十)之大数据爬虫

    千人学习 2019-09-10 10:14:32
    课程由猎豹移动大数据架构师,根据Java在公司大数据开发中的实际应用,精心设计和打磨的大数据必备Java课程。通过本课程学习大数据新手能够少走弯路,以最短的时间系统掌握大数据开发必备语言Java,为后续大数据课程...
  • 大数据的学习方向

    千次阅读 多人点赞 2014-12-24 00:27:07
    玩转大数据首先要明确自己将要学习的方向,没有人能一下子吃透大数据里面所有的东西。 在大数据的世界里面主要有三个学习方向,大数据开发师、大数据运维师、大数据架构师。 什么是大数据开发师? 围绕大数据系...
  • 大数据概述

    万次阅读 2019-03-12 22:26:48
    分类目录:《大数据与云计算》总目录 所谓“大数据”,指的是所涉及的数据量规模巨大到无法通过目前主流软件工具,在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。大数据处理技术...
  • 大数据Spark实战视频教程

    万人学习 2016-11-10 14:26:54
    大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室...
  • 大数据的火爆发展吸引了众多小伙伴想要转行,年后是大家换工作的高发期,很多对目前工作不满意的小伙伴,都在考虑换一个薪资更高、发展前景更好的工作。节后必定是跳槽的跳槽,换工作的换工作,IT界将发生一场大的...
  • Hadoop大数据实战开发

    万人学习 2019-05-24 10:17:23
    介绍大数据技术生态圈主流技术框架的应用与发展,介绍如何搭建Hadoop大数据分布式系统集群平台、大数据分布式文件系统HDFS 、大数据分布式并行计算框架MapReduce。 本课程介绍大数据的学习基础。 本课程介绍...
  • 大数据_01【介绍】

    万次阅读 2020-10-04 16:12:20
    大数据_01【介绍】大数据特点大数据能做什么【海量数据背景下】大数据行业的应用大数据发展前景大数据部门组织结构 什么是大数据 指数据集的大小超过了现有典型数据库软件和工具的处理能力的数据 大数据特点 ...
  • 学习过程中,我们将使用Flume,Kafka,HBase,Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现,并在学习过程中对各个框架的应用和原理进行梳理和剖析。 【视频特点】 通信运营商每时每刻会产生大量...
  • 《腾云:云计算和大数据时代网络技术揭秘》是国内第一本系统讲解云计算网络的书籍。 通过阅读本书,读者将清楚地了解到如何在云计算与大数据时代构建安全、可靠、高速与灵活的网络。本书主要内容包括:云计算对基础...
  • 大数据技术

    千人学习 2018-12-19 18:46:50
    本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。
  • 大数据的简要介绍

    万次阅读 2020-10-04 21:25:31
    大数据【介绍】1)大数据是什么2)大数据特点3)大数据能做什么(海量数据背景下)4)大数据项目流程 1)大数据是什么 指数据集的大小超过了现有典型数据库软件和工具的处理能力的数据 2)大数据特点 ①海量化(Volume)...
  • 大数据—电商数仓项目

    千人学习 2019-03-01 10:45:53
    本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有...
  • 大数据和传统数据的基本区别

    万次阅读 2020-10-14 21:03:12
    传统数据与大数据的对比 传统数据:数据量基本在GB-TB之间,数据量的增长速度比较稳定且缓慢,主要为结构化数据,价值体现在统计和报表中。 大数据:数据量基本单位为TB多则能达到PB级别,数据量持续实时生产,数据...

空空如也

1 2 3 4 5 ... 20
收藏数 200,963
精华内容 80,385
关键字:

大数据