精华内容
下载资源
问答
  • 什么是大数据

    千次阅读 2020-10-12 11:25:44
    大数据 : 指数据集的大小超过来了现有典型的数据库软件和工具的处理能力的数据

    大数据 : 指数据集的大小超过来了现有典型的数据库软件和工具的处理能力的数据

    展开全文
  • 什么是大数据 大数据的特点

    万次阅读 2020-10-09 08:04:03
    什么是大数据大数据 :指数据集的大小超过了现有典型的数据库软件和工具的处理能力 的数据。 ——————————————————————————————— 大数据的特点: 主要特点 海量化(Volume) 数据量...

    什么是大数据?

    大数据 :指数据集的大小超过了现有典型的数据库软件和工具的处理能力
    的数据。

    ———————————————————————————————

    大数据的特点:

    主要特点

    海量化(Volume)
    数据量从TB到PB级别

    多样化(Variety)
    数据类型复杂,超过80%的数据是非结构化的

    快速化(Velocity)
    数据量在持续增加(两位数的年增长率)
    数据的处理速度要求高

    高价值(Value)
    在海量多样数据的快速分析下能够发挥出更高的数据价值

    ———————————————————————————————

    大数据能做什么:

    海量数据背景下

    快速查询 - 全量查询
    数据存储 - 量大、文件大 快速计算 - 对比传统方案
    实时计算 - 最新数据
    数据挖掘 - 新价值

    展开全文
  • 什么是大数据,大数据的特点

    千次阅读 2019-10-30 21:28:23
    大数据 :指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。 大数据的主要特点: 海量化(Volume)多样化(Variety)快速化(Velocity) 高价值(Value) 海量化: 数据量从TB到PB级别 多样化: ...

    大数据 :指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。

    大数据的主要特点:  海量化(Volume)多样化(Variety)快速化(Velocity)  高价值(Value)

                      海量化:   数据量从TB到PB级别

                      多样化:   数据类型复杂,超过80%的数据是非结构化的

                      快速化:   数据量在持续增加(两位数的年增长率) 数据的处理速度要求高

                      高价值:    在海量多样数据的快速分析下能够发挥出更高的数据价值

    大数据能做什么:海量数据背景下     

                      快速查询   -   全量查询     

                      数据存储   -   量大、文件大     

                      快速计算   -   对比传统方案     

                      实时计算   -   最新数据   

                      数据挖掘   -   新价值

    海量数据快速查询 :    在海量数据的背景下,进行数据的快速查找、快速提取。(快速指     查找或提取效率3秒内)        

             例如:每个用户查询上月手机流量记录或上月通话明细。都是在海量用户     中查询某一个人的记录,三秒内出结果。

    海量数据存储 :  A:大数据能够存储海量数据     大数据时代数据量巨大,1TB=1024*1G 约26万首歌(一首歌4M) 1PB=1024*1024*1G 约2.68亿首歌 (一首歌4M)              

                              B:大数据能够存储单个大文件。     目前市面上最大的单个硬盘大小约为10T左右。若有一个文件20T,将    无法存储。大数据可以存储单个20T文件,甚至更大。

    海量数据快速计算(离线):  能够在海量数据的基础上进行快速计算,这里的“快速”是与传统计算方案对比。海量数据背景下,使用传统方案计算可能需要一星期时间。使用大数据    技术计算只需要30分钟。        

                例如:计算全国移动用户(全国数据量大),全年内通话总时间(每个人    一年通话总和)大于1万分钟的人,按照从多到少顺序。

    海量数据实时计算(实时): 在海量数据的背景下,对于实时生成的最新数据,需要立刻、马上传递     到大数据环境,并立刻、马上进行相关业务指标的分析,并把分析完的     结果立刻、马上展示给用户或者领导。        

             例如:欠费的手机充话费,充值完成后,手机几秒钟后就能使用。       例如:双十一实时交易大屏

    挖掘前所未有的新的价值点:   原始企业内数据无法计算出的结果,使用大数据能够计算出。        

             例如:啤酒和尿不湿。超市原始数据没有计算出两者之间的关系,使用大数     据计算后,发现将两者放的很近后,两者的销量都会有有大幅提升。     原因在于,国外大部分买尿不湿的都是男性,男性喜好和啤酒,买尿     不湿时顺便那些啤酒很惬意。

    挖掘(算法)有价值的数据  :   在海量数据背景下,使用数据挖掘算法,挖掘有价值的指标(不使用这     些算法无法算出)                 例如:通过数据挖掘算法计算花的种类。     通过算法识别出这些花是玫瑰花?百合?茉莉花?菊花?桂花?

    大数据内容 简单可以称为动物园

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 几分钟看懂什么是大数据

    万次阅读 多人点赞 2018-12-21 10:41:51
    在2012年互联网络数据中心(IDC)发布的《数字宇宙2020》中写到,2011年全球数据总量已达到1.87ZB(1ZB=十万亿亿字节),并且...在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据...

    在2012年互联网络数据中心(IDC)发布的《数字宇宙2020》中写到,2011年全球数据总量已达到1.87ZB(1ZB=十万亿亿字节),并且以每两年翻一番的速度飞快增长。预计到2020年,全球数据总量将达到35-40ZB,10年间将增长20倍以上。

    大数据,它将改变人类的生活以及理解世界的方式。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴
     

    那么,究竟什么是大数据呢?

    随着科技的进步,人们逐渐告别了日出而作、日落而息的单调生活,在信息化的社会里,每时每刻都在创造着大量的数据。

    数据可能包括财务电子表格、新产品的设计蓝图、客户信息、产品目录和商业机密等,更有甚者,我们日常每行走的一步都有手机软件自动记录行程,网络上的交流通过QQ、微信跨越了时空的界限,这些都是数据,但还不是大数据。

    大数据,是数据的集合。

    “ 

    大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。

    大量化,IDC预计到2020年,全球将总共拥有35ZB的数据量。

    多样化,不再是单一的文本形式,订单、日志、音频,多种多样。

    快速化,在海量的数据面前,处理数据的效率有着本质的区别。

    价值密度低,需要通过强大的算法迅速完成数据的价值提纯。

     

     

    关于大数据的思考

     

    大数据究竟有多大

    掌握更多的数据对于人类科学来说是一种进步, 那有助于我们认识客观世界。研究人员只是从收集到的数据中提取了1%的数据进行分析。这1%被分析的数据支配了目前的大数据创新,被称为“大数据”。“大数据”其实并不大,与反映客观事物的真实数据还有很大的差距。“人们处理的数据从样本数据变成全部数据”的结论至少从目前的数据收集和分析能力来说是不可能实现的。

     

    大数据能让企业盈利吗

    来源于互联网、传感器、流数据库、社会网络等方面的数据具有多样性和差异性,非常复杂,许多数据形式、结构都不同,有些数据甚至互相矛盾。数据从采集、存储到分析都是要花钱的,收集、存储数据的成本很高,分析数据的成本更高。数据挖掘项目不是一劳永逸的。模型出现偏差就不能再按原来的方案使用这个模型了,必须对模型进行调整。企业必须了解业务人员的需要,再请数据分析师帮助解决问题。

     

    大数据的分析真的很准吗

    科学研究实际需要的数据有可能被人们收集的海量数据所淹没。人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度,而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。数据不懂社交、不懂背景,会制造出更多噪音,遗漏真正有价值的东西,大数据无法解决大问题。在日常生活中,有很多收集不到的数据,但它们非常重要,起着决定性的作用。

     

    大数据能绕过“隐私权”吗

    在大数据时代,你透明的程度已经不取决于你了,你已经被大数据监控和记录了。在大数据时代,无处不在的数据采集系统使每个人都是赤裸裸的,没有隐私,无处可藏,甚至掌握大量数据的分析系统比你更了解你自己。75%的人不希望企业储存他们的个人信息,几乎90%的人反对企业跟踪他们的网络浏览记录。

     

     

    大数据应用案例

    01

    奥巴马成功连任美国总统,其背后那个几十人构成的数据分析与挖掘团队至关重要。奥巴马团队筹得的第一个1亿美金中,98% 来自于小于250美金的小额捐款,而罗姆尼团队在得相同数额捐款的情况下,这一比例仅为31%。奥巴马胜选的原因不在于经济、外交政策或是妇女问题,而是赢在大数据!

    02

    亚马逊不仅从每个用户的购买行为中获得信息,还将每个用户在其网站上的所有行为都记录下来,这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解,对于其货品种类、库存、仓储、物流、及广告业务上都有着极大的效益回馈。

    03

    谷歌在2009年,甲型H1N1流感爆发的几周前,互联网巨头谷歌公司的工程师们在《自然》杂志上发表了一篇引人注目的论文。和疾控中心一样,谷歌也能判断出流感是从哪里传播出来的,而且他们的判断非常及时,不会像疾控中心一样要在流感爆发一两周之后才可以做到。谷歌公司发现能够通过人们在网上检索的词条辨别出其是否感染了流感后,把5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较。

    通过一个数学模型处理后,他们的预测与官方数据的相关性高达97%。2009年甲型H1N1流感爆发的时候,与习惯性滞后的官方数据相比,谷歌成为了一个更有效、更及时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。 

     

    关于大数据的思考

    在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴

    大数据究竟有多大

    掌握更多的数据对于人类科学来说是一种进步, 那有助于我们认识客观世界。研究人员只是从收集到的数据中提取了1%的数据进行分析。这1%被分析的数据支配了目前的大数据创新,被称为“大数据”。“大数据”其实并不大,与反映客观事物的真实数据还有很大的差距。“人们处理的数据从样本数据变成全部数据”的结论至少从目前的数据收集和分析能力来说是不可能实现的。

     

    大数据的分析真的很准吗

    科学研究实际需要的数据有可能被人们收集的海量数据所淹没。人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度,而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题。数据不懂社交、不懂背景,会制造出更多噪音,遗漏真正有价值的东西,大数据无法解决大问题。在日常生活中,有很多收集不到的数据,但它们非常重要,起着决定性的作用。

     

    大数据能绕过“隐私权”吗

    在大数据时代,你透明的程度已经不取决于你了,你已经被大数据监控和记录了。在大数据时代,无处不在的数据采集系统使每个人都是赤裸裸的,没有隐私,无处可藏,甚至掌握大量数据的分析系统比你更了解你自己。75%的人不希望企业储存他们的个人信息,几乎90%的人反对企业跟踪他们的网络浏览记录。

     

    在国内政府各个部门都握有构成社会基础的原始数据,比如,气象数据,金融数据,信用数据,电力数据,煤气数据,自来水数据,道路交通数据,客运数据,安全刑事案件数据,住房数据,海关数据,出入境数据,旅游数据,医疗数据,教育数据,环保数据等等。

     

    如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。

     

     

    “ 

     

    ◆ 城市规划通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供决策,强化城市管理服务的科学性和前瞻性。

     

    ◆ 交通管理通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。

     

     舆情监控通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。

     

    ◆ 安防与防灾通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

    展开全文
  • 福建师范大学精品大数据导论课程系列 (2.1.1)--什么是大数据》PPT.pdf 福建师范大学精品大数据导论课程系列 (2.2.1)--1.2 《大数据的价值和作用》PPT.pdf 福建师范大学精品大数据导论课程系列 (2.3.1)--1.3 《大数据...
  • 什么是大数据?什么是数据科学

    千次阅读 2019-12-24 17:17:41
    什么是大数据  大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理...
  • 什么是大数据测试?

    万次阅读 2020-09-08 15:40:16
    前言:近两年互联网行业动不动就喊着“大数据”的口号,大数据的诞生让很多企业节省人力物力实现精准营销获得丰厚利润。随着数据工程和数据分析技术的不断进步,大数据测试不可避免。 大数据是用于大量结构化、半...
  • 什么是大数据开发?

    千次阅读 2019-05-30 21:59:42
    ♥️大数据开发是干什么的? 大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代...
  • 什么是大数据? 字面意思,即为非常庞大的数据,而大量的数据本身并没有价值,只有通过对大量的数据进行分析处理,从而发现大量数据有用、有价值的东西,把大量数据转换为对人们生产生活有利的价值,这就是大数据。 ...
  • 什么是大数据大数据平台?

    万次阅读 2019-07-16 14:50:48
    大数据”时下一个热门的词语,近几年来,关于大数据的著作和文章... 一、什么是大数据  大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式...
  • 大数据简介 一、概念 研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 根据维基百科的定义,大数据是指无法在...
  • 大数据架构设计用来处理对传统数据库系统而言太大或太复杂的数据的引入、处理和分析。组织进入大数据领域的门槛各不相同,具体取决于用户的权限及其工具的功能。对某些组织来说,大数据可能意味着数百个 GB 的数据,...
  • 主讲人廖 什么是大数据 廖老师告诉你大数据就是大量的数据 大数据很抽象表示数据规模的庞大 大数据泛指巨量的数据集因可从中挖掘出有价值的信息而受到重视华尔街日报将大数据时代智能化生产无线网络革命称为引领未来...
  • 介绍一下什么是大数据

    千次阅读 2019-10-25 15:49:04
    一、 什么是大数据? 大数据:指指数据集的大小超过了现有典型的数据库软件和工具的处理能力 的数据。 二、大数据的特点 1、海量化(Volume) 数据量从TB到PB级别 2、多样化(Variety) 数据类型复杂,超过80%的数据...
  • 大数据这个词现在我们经常会听到,但是具体大数据什么?为什么要有大数据?以及大数据它用途是什么?估计大部分人都不是很清楚。想了解大数据,那就得先从它的起源开始说起。 大数据概述(大数据什么意思?) ...
  • 什么是大数据的ETL

    千次阅读 2019-01-14 19:02:28
    2、为什么需要ETL? 因为目前运行的应用系统是用户花费了很大精力和财力构建的、不可替代的系统,尤其系统中的数据是非常之宝贵。但由于 不同原始数据库中的数据的来源、格式不一样,导致了系统实施、数据整合...
  • 什么是大数据?常用的大数据框架

    千次阅读 2019-03-26 13:05:05
    1、什么是大数据? 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理...
  • 大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是...知道了大数据开发是什么,那么如果想要从事大数据开发的工作,需要学什么了。 下面我们以大数据开发课程为...
  • 一、大数据什么? 大数据,bigdata,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。 这句话至少传递两种信息: 1、大数据是海量的数据 2、大数据...
  • 大数据时代 , 几个例子告诉您什么就是大数据 大数据时代 , 几个例子告诉您什么就是大数据 工具类厂商蓄意炒作大数据 , 以达到售卖产品的目的 , 但导致的结果就是很多人 对大数据这一概念云里雾里 实际上 , 大数据就...
  • 什么是大数据?    基 本 概 念:    《数 据 处 理》  在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术...
  • 大数据可以用来做什么?目前大数据有哪些应用呢? 大数据的概念是什么? 最早提出大数据的是 麦肯锡公司 ,当时的定义是: 渗透在每一个行业和业务领域的数据,通过人们对这些海量数据的挖掘和运用,...
  • 大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。  大数据有这样几个特征:  容量(Volume):数据的大小决定所考虑的数据的价值和...
  • 什么是大数据

    千次阅读 2020-10-07 11:32:33
    目标:掌握什么是大数据、传统数据与大数据的对比有哪些区别、大数据的特点 是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化...
  • 什么是大数据系统架构

    万次阅读 2018-03-16 14:07:19
    大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码、算法封装为类库,降低大数据的学习门槛,降低开发...
  • 什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 大数据有哪些特点? Volume(大量):数据规模很大,通常是GB、TB级别,甚至是PB级别。 Velocity(高速):数据的...
  • 大数据什么是大数据呢?多大的数据叫大数据?红火一时的数据分析走向了我们,纷纷称不分析数据企业将长久不了,可是究竟什么样的数据才是大数据呢,什么样的数据才是最大的呢? 如果你没有接触过大数据,那么你就...
  • 什么是大数据大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 983,668
精华内容 393,467
关键字:

什么是大数据

友情链接: MATLAB资料.zip