精华内容
下载资源
问答
  • 科学大数据作用重大

    2014-06-10 16:43:00
    中科院遥感与数字地球研究所所长 大数据研究已逐渐成为科技、经济、社会等各领域的关注焦点,世界各国也把大数据研究与产业上升至国家战略层面。而科学大数据是科学发现与知识创新的新引擎,将改变人类生活及我们对...

       中科院遥感与数字地球研究所所长


      大数据研究已逐渐成为科技、经济、社会等各领域的关注焦点,世界各国也把大数据研究与产业上升至国家战略层面。而科学大数据是科学发现与知识创新的新引擎,将改变人类生活及我们对世界的深层理解。科学大数据已经并将继续在数字地球、全球变化、高能物理、基因组计划、深空探测等领域发挥重要作用,未来必将在大科学领域作出巨大贡献。

    转载于:https://my.oschina.net/u/1160813/blog/277691

    展开全文
  • 工业大数据的概念提出后,IT业界结合新的大数据技术和自身对工业的理解,提出了大量的解决方案,有许多已经在现实中的到了应用。应该说,工业大数据目前...今天我们想说一说,工业大数据就目前来看,到底有什么作用,能

            工业大数据的概念提出后,IT业界结合新的大数据技术和自身对工业的理解,提出了大量的解决方案,有许多已经在现实中的到了应用。应该说,工业大数据目前的应用情况是不太好的,除了少部分用户确实得到了好处外,大部分用户还处在被忽悠阶段,花了很大一笔钱,上了大量的项目,没有得到想象中的效果,原因是多方面的,不是三下两下能说的清楚地,后面我们再专文讨论。今天我们想说一说,工业大数据就目前来看,到底有什么作用,能帮企业解决哪些问题呢?

            本着不吹不黑,说人话的精神,我总结了以下几个当前大数据在工业领域切实发挥作用的方面:

            1、能够实现数据的全面采集并持久化

            在前大数据时代,很多工业现场采集到的数据的生命周期仅仅是在显示屏上一闪而过,大量的数据由于种种原因被丢弃了,丢弃的一个很重要的原因就是无法有效存储,全部存储成本过高且数据量过大导致无法使用。大数据时代之后,新型的数据处理技术及云计算带来的低成本,使得数据的全面采集并且持久化成为可能,即采集到的数据可以实现长时间的存储,且海量的数据可处理、可分析,工业用户就有了存储数据的意愿。而这一切又反过来为大数据分析提供了坚实的数据基础,使得分析的结果更准确,成为一种正向循环。

            2、能够实现全生产过程的信息透明化

            随着现代生产技术的飞速提高,生产过程已经呈现高度复杂性和动态性,逐渐出现了不可控性。生产过程信息呈现碎片化倾向,只有专业部门、专业人员才掌握本部门、本专业的数据,企业无法全面有效了解全生产流程。

            随着大数据处理和可视化技术的不断发展,目前,通过全生产过程的信息高度集成化和数据可视化,从而达到了生产过程的信息透明化,企业总调度中心不仅可以清晰地识别产品,定位产品,而且还可全面掌握产品的生产经过、实际状态以及至目标状态的可选路径。

            3、能够实现生产设备的故障诊断和故障预测

            当前,已经可实现对设备各类数据的采集,包括设备运行的状态参数,例如温度、震动等,设备运行的工况数据,例如负载、转速、能耗等,设备使用过程中的环境参数,例如风速、气压等,设备的维护保养记录,包括检查、维护、维修、保养等信息,以及设备的使用情况,例如使用单位、操作人员等。收集到设备的各类数据后,再加上同类设备的数据、长周期的使用数据等等,就构成了大数据分析的基础数据。

            这个时候,再加上好的算法及模型,通过数据的分析处理实现设备的故障诊断和故障预测就是一个再简单不过的事情了。

            4、能够实现生产设备的优化运行

            在故障诊断和故障预测的基础上,机器、数据和生产指标构成了一个相互交织的网络,通过信息的实时交互、调整,再加上优化准则,将它们进行比对、评估,最终选出最佳方案。可以进一步提高设备的效率和精度,更加合理化和智能化的使用设备,这就使生产更具效率,更环保,更加人性化。并且设备的使用更加高效、节能、持久,同时还可减少运维环节中的浪费和成本,提高设备的可用率。

            5、能够提高企业的安全水平

            由于设备信息、环境信息和人员信息的高度集成,经过数据分析可实现安全报警、预警,隐患评估、预警等,从而大幅度提高安全水平,并且可提升人员效率;

            6、能够实现定制化生产

            近几十年里,技术开发面临的最大挑战是产品乃至系统无限增加的复杂性。与此同时,这还导致开发和制造的工业过程的复杂性也倾向于无限增加。而工业企业欲在未来长期保持竞争优势,又必须提高生产灵活性。因为只有这样,才能降低成本,缩短产品上市时间,并通过提高产品的种类,满足个性化的生产需求。

            单靠人脑进行管理,是无法对如此复杂的流程和庞大的数据进行匹配的,通过大数据技术的引入,可以将客户的需求直接反映到生产系统中,并且由系统智能化排程,安排组织生产,使得企业定制化生产成为现实;

            7、能够实现供应链的优化配置

            通过RFID等产品电子标识技术、物联网技术以及移动互联网技术能帮助工业企业获得完整的产品供应链的大数据,利用这些数据进行分析,将带来仓储、配送、销售效率的大幅提升和成本的大幅下降。

            供应链体系以市场链为纽带,以订单信息流为中心,带动物流和资金流的运动,整合供应链资源和用户资源。在供应链的各个环节,客户数据、企业内部数据、供应商数据被汇总到供应链体系中,通过供应链上的大数据采集和分析,企业就能够持续进行供应链改进和优化,保证了对客户的敏捷响应。

            8、能够实现产品的持续跟踪服务

            随着物联网技术的发展,对于已售出的产品,现在可实现运行数据的全面收集,从而可分析已售出产品的安全性、可靠性、故障状态、使用情况等,在这些数据的基础上,产品运行数据可以直接转化到生产过程中,可以改进生产流程、提高产品质量、开发新产品,更进一步,生产信息也可以直接作用于优化产品研发及生产过程的上游工序中。

            9、能够为企业提升新的服务价值

            商家卖的是产品,用户看重的是产品带来的价值。一切技术或产品都只是手段,其核心目的是在使用中创造价值。当企业能够使用新的技术为用户提供服务时,卖的已经不是或者不只是冰冷的产品了,而是新的价值服务。这样,一个生产商就从过去单纯的产品提供者转变为如今的信息服务商。

            说了这么多,其实也只是工业大数据提供的价值的冰山一角,看这些比较枯燥,改天整理一下各类案例,对于工业大数据的作用就会更加直观了。
    展开全文
  • 1.大数据部门作用     随着大数据产业迎来了发展的黄金期,越来越多的互联网公司转型为大数据公司。为促进大数据公司的健康发展,解决发展中遇到的问题,从大数据公司的概念及业务内容等入手,剖析大数据公司因...

    1.大数据部门作用

        随着大数据产业迎来了发展的黄金期,越来越多的互联网公司转型为大数据公司。为促进大数据公司的健康发展,解决发展中遇到的问题,从大数据公司的概念及业务内容等入手,剖析大数据公司因有着不同于传统企业的复杂业务,在发展中不断遇到新问题而更需要构建内部控制。基于大数据公司的业务特点及出现的问题,认为内部控制环境、风险控制和内控监督、信息与沟通等要素是公司内部控制的重点,应构建适于大数据公司特点的企业发展战略、诚信的生态系统及文化理念、胜任大数据业务的人力资源战略、实时风险防控和监督体系等内部控制策略。

    1.1大数据的概念

        《大数据的冲击》一书中将大数据通俗定义为“用现有的一般技术难以管理的大量数据的集合”,并广义地定义为“大数据是一个综合性概念,它包括因具备多、高速、多样的特征而难以进行管理的数据,对这些数据进行存储、处理、分析的技术以及能够通过分析这些数据获得实用意义和观点的人才和组织。因此,大数据这一概念不仅指规模庞大的数据对象,也包含对这些数据对象的处理和应用活动,是数据对象、技术与应用三者的统一。

    1.2大数据公司的概念及业务范围

        大数据公司通常是指有获取大数据能力的公司。已经具备获取大数据能力的公司即数据型的大数据公司,如百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内企业,这类大数据公司通常是与人们日常生活密切相关的,涵盖了数据采集、数据存储、数据分析、数据可视化以及数据安全等领域。
        大数据公司的业务范围主要涉及:一是为电商企业提供个性化推荐引擎的大数据公司,包括推荐引擎、分析引擎和营销引擎等,覆盖大数据全产业链的实现路径。二是大数据分析技术提供商,面向企业或者政府部门提供数据分析的结果。这类公司可以完整地实现大数据的采集、分析、处理,为各大企业提供高端信息技术。三是为传统企业提供大数据技术平台搭建和大数据驱动的SaaS应用的大数据公司,整合高性能的计算和存储能力,为大数据的挖掘和分析提供专业稳定的IT基础设施平台,实现大数据存储统一管理,能够帮助企业精准预测和构建用户特征,搭建以用户为中心的大数据运营体系。
        由此可见,大数据公司有着不同于传统企业的复杂业务,更需要构建内部控制。

    2.大数据开发工程师

        从大数据开发这个方向的主要工作来说,通常分为大数据系统研发和大数据应用开发两个大的方向,这两个方向的区别,主要在于开发面对的对象不同。
    大数据系统研发工程师,主要是针对大数据系统平台自身进行开发。
    大数据系统研发,需要完成大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等,这些工作要求很深的理论知识以及资深的项目实操经验才能完成。

    大数据应用开发工程师,主要负责搭建大数据应用平台以及开发分析应用程序。
    大数据应用开发,主要是基于开源框架进行工作,比如说Hadoop、Spark、Storm、Flink等主流计算框架。这就要求大数据应用开发工程师们,要熟悉工具或算法、编程、优化以及部署不同大数据系统,能够基于数据需求,来完成技术开发任务。

    大数据工程师们,需要掌握的主要技术如下——
    文件存储:Hadoop HDFS、Tachyon、KFS
    离线计算:Hadoop MapReduceSpark
    流式、实时计算:Storm、Spark Streaming、S4、Heron
    K-V、NOSQL数据库:HBaseRedis、MongoDB
    资源管理:YARN、Mesos
    日志收集:Flume、Scribe、Logstash、Kibana
    消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ
    查询分析:HiveImpalaPig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
    分布式协调服务:Zookeeper
    集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager
    数据挖掘、机器学习:Mahout、Spark MLLib
    数据同步:Sqoop
    任务调度:Oozie

    展开全文
  • 大数据 什么是大数据? 字面意思,即为非常庞大的数据,而大量的数据本身并没有价值,只有通过对大量的数据进行分析处理,从而发现大量数据有用、有价值的东西,把大量数据转换为对人们生产生活有利的价值,这就是...

    大数据

    • 什么是大数据?

      字面意思,即为非常庞大的数据,而大量的数据本身并没有价值,只有通过对大量的数据进行分析处理,从而发现大量数据有用、有价值的东西,把大量数据转换为对人们生产生活有利的价值,这就是大数据。

      这里与之前的云计算对比学习;
      云计算:就是将计算任务扔到云端处理,是一种计算解决技术方案。
      大数据:从大量的来自各个应用领域的数据中,挖掘分析出有价值的信息。
      云计算为大数据提供有力的计算处理技术的支持,大数据为云计算提供了用武之地。

       换句话说	:没有大数据,云计算技术无用武之地,不能发挥作用。
       			:没有云计算,大数据中潜藏的价值不能很好的发掘利用,
       			大数据也只是单纯的数据堆砌。
      
    • 大数据的特点:(数据体量大、速度快、种类多、价值密度低)

      数据体量大:大数据的数据体量非常大,由于各行各业,各种应用领域都在产生数据,导致大数据的数据体量不断扩大。
      速度快:数据的产生和处理分析的速度相当快。
      数据类型多:传统的IT产业产生数据的种类比较单一,往往是对数据库的操作。随着传感技术、智能设备,物联网等技术的发展,数据获取的方式,数据的来源都在不断的扩大,数据的类型也变的多样化。
      价值密度低: 大数据由于数据体量的不断增加,单位数据的价值密度在不断降低,但是总的数据价值在不断增加。

    • 大数据产生的三个阶段

      1、运营式系统阶段:被动产生数据阶段
      数据库的出现,将数据通过数据库进行管理,推动了数据的产生管理和发展。
      在实际中数据库大多为运行系统所采用包括银行存取款记录、消费记录、医疗记录等等。数据的产生是通过运用系统被动产生的。

      2、用户原创数据阶段:主动产生数据阶段
      随着互联网技术的发展成熟,用户原创内容的意愿越来越强,用户用过各种社交媒体网络应用主动的发表、创作产生大量的数据。这种数据产生的方式是主动的。
      3、感知式系统阶段:自动产生数据阶段
      传感技术、物联网技术的发展,数据通过感知系统自动的识别产生数据,数据量爆炸式增长,最终导致大数据的产生。

    • 大数据的作用
      1、融合新技术:实现物联网、云计算等新技术的融合。
      2、推动信息产业发展:带动存储技术的发展
      3、推进社会治理能力治理体系现代化

    • 大数据云计算对比学习

    总体关系
    云计算为大数据提供有力的工具和解决问题的途径,大数据为云计算提供有价值的用武之地。

    相同点
    1、都是为了数据的存储和处理服务的。
    2、都需要占用大量的存储和计算资源。
    因此都需要用到海量数据存储技术,海量数据管理技术等并行处理技术。

    不同点
    背景大数据现有的处理技术不能胜任社交网络和物联网产生的大量异构数据,但是这些数据存在很大价值。云计算基于互联网的相关服务日益丰富和频繁。

    目的大数据充分挖掘数据中的信息。云计算通过互联网更好的调用、扩展和管理计算机及其存储方面的资源和能力。

    对象大数据是数据集合,云计算是IT资源、能力和应用。

    推动力量大数据技术的发展受从事数据存储与处理的软件厂商和拥有大量数据的企业的推动。云计算的发展受生产计算及其存储设备的厂商,拥有计算及其存储资源的企业推动。

    带来的价值大数据是发现数据中的价值,云计算是节省IT资源部署成本。

    展开全文
  • 大数据有哪些作用

    2021-06-21 13:41:18
    对于任何一个大数据的从业者或初接触者,或者都会有个共同的感触:大数据对人们的生活能够起到极大作用。  大数据作用有哪些?  一、对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、...
  • 第 PAGE 页码 页码 页 / 总页数 NUMPAGES 总页数 总页数 页 服务器对大数据作用和影响 大数据将挑战企业的存储架构及数据中心基础设施等也会引发云计算数据仓库数据挖掘商业智能等应用的连锁反应下面是我收集整理...
  • 大数据

    2019-09-25 05:24:52
    4大数据作用[2] 5大数据的分析 6大数据的技术 7大数据的处理 8大数据的常见误解 9大数据时代存储所面对的问题[3] 10大数据应用与案例分析 11相关条目 12参考文献 什么是大数据...
  • 大数据概念及作用

    2019-01-05 10:05:29
    大数据”是近年来IT行业的热词,大数据在各个行业的应用逐渐变得广泛起来,那么,什么是大数据呢?什么是大数据概念呢?大数据概念怎么理解呢?今天就一起来拔出你心中最困惑的刺! 01 什么是...
  • 大数据作用和学习常识【加Q1669757016获取资料包】,想入门大数据的都可以来学习。
  •  大数据作用有什么用?  一、对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为...
  • 大数据工程师改善营销决策 大数据技术能发挥什么作用 【导语】大部分的商业智能应用均针对营销决策,大数据技术在其中发挥着很大的作用,在这一领域有很大影响,近几年,数据的增长速度呈现爆炸式趋势,数据营利成为...
  • 大数据特征与作用

    千次阅读 2017-08-14 10:55:47
    大数据的特征(4V+1O): 数据量大(Volume)。第一个特征是数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 类型繁多(Variety)。第二...
  • 大数据的产生和作用

    2019-12-16 12:09:55
    大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了...
  • 首先从工作内容,大数据开发主要负责大数据的大数据挖掘,数据清洗的发展,数据建模工作,主要负责处理和大数据应用,结合大数据可视化分析工程师,挖掘出价值的数据,为企业提供业务发展支持。大数据数据开发工程师...
  • 现在,一谈到大数据的技术,Hadoop都是绕不开的话题,似乎在项目中不使用Hadoop或者类似的分布式数据库技术,就不是大数据应用。那么,到底在工业大数据应用中,没有没必要使用Hadoop,或者在什么样的应用环境中使用...
  • 大数据是如今计算领域行业最火热的代名言,在它出现之初很多人都感到很惊讶,这个大数据是否真的有用?但是伴随着大数据而出现的数据分析、数据挖掘、数据安全等却从侧面突出了大数据的商业价值。大数据如今是调集...
  • 至少在行业里少提到大数据软件这个说法,可以说大数据技术架构,也可能说数据挖掘软件。不过我理解,你提的大数据软件应该是围绕大数据分析与应用的一系列工作与系统吧? 第二,你提到的金融数据,这个涉及面很广...
  • 目前,以大数据、物联网、云计算等为代表的信息技术飞速发展,正引领着新一轮科技革命和产业变革,并日益改变着人们的生产生活方式、经济... 具体来看,大数据是如何作用于实体经济的呢?主要体现在以下几个方面。 ...
  • 想必大家听到大数据这个词,已经如同家常便饭这么频繁了吧?可大数据究竟是个什么东东?大数据可以用来做什么?目前大数据有哪些应用呢? 大数据的概念是什么? 最早提出大数据的是麦肯锡公司,当时的定义是...
  • 大数据的特点及作用

    千次阅读 2015-03-31 10:41:55
    什么是大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行...
  • 同时也可以提高企业的竞争力,无论是哪个行业以及具体的企业都会有与之对应的大数据分析,而今天中琛魔方大数据就通过案例分析来了解一下,大数据对企业竞争的作用都有哪些优势。  大数据对企业竞争的作用都有...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 155,622
精华内容 62,248
关键字:

大数据作用