精华内容
下载资源
问答
  • 古籍保护与修复大数据体系的构建.pdf
  • 增广链修复大数据并行搜索聚类算法.pdf
  • 4.大数据文件(例如undotbs1)的删除,需要新创建一个表空间undotbs2并指定datafile:create undo tablespace undotbs2 datafile 'XXX'   size xM  autoextend on  next 50M maxsize xxM  extent ...

    1.控制文件默认有三个,包含两个备份文件,通过show parameter control_files可查看具体名称和路径,若本机系统不能登录,可在其它类似系统上查看;

    2.若控制文件1出错,复制备份文件到控制文件1处(重命名,注意复制后的权限775及用户组Oracle dba),

    修改control_files:alter system set control_files='xxx' scope=spfile(若本机系统不能启动,可以startup nomount启动,然后执行);

    3.若启动系统提示文件X需要介质恢复,直接运行recover datafile x,然后alter database open;

    4.大数据文件(例如undotbs1)的删除,需要新创建一个表空间undotbs2并指定datafile:create undo tablespace undotbs2 datafile 'XXX' 

         size xM

         autoextend on

         next 50M maxsize xxM

         extent management local; 

    然后执行alter system set undo_tablesapce=undotbs2 scope=spfile;

    重启数据库;

    然后执行alter system set undo_management=auto scope=spfile 设置系统自动管理该表空间;

    重启数据库;

    然后执行drop tablespace undotbs1 including contents and datafiles删除表空间undotbs1及数据文件(默认删除dbf物理文件,最好检查下,没有删除的话,手动删除即可);

    展开全文
  • 时空大数据的缺失数据流关联修复仿真.pdf
  • 大数据

    2016-10-08 17:16:42
    大数据的概念: SNIA 定义:数据量特别巨大,在最强大的标准计算平台上都无法对全部数据进行有效处理的数据集。 Gartner 对大数据的定义:大数据 是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化...

    大数据的概念:
    SNIA 定义:数据量特别巨大,在最强大的标准计算平台上都无法对全部数据进行有效处理的数据集。
    Gartner 对大数据的定义:大数据 是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
    bigdata

    大数据的数据来源:
    (1)视屏、图片、文字数据
    (2)社交网络数据
    (3)科学研究数据
    (4)商业交易数据
    (5)用户行为数据

    大数据的4V特点:
      1、Volume(大量)
      据统计,互联网一天产生的全部内容可以制作1.68亿张DVD,一天发出2940亿邮件以及200万个帖子……这些数据都表明,互联网时代,社交网络、电子商务与移动通信把人类带入了一个以“PB”为单位的新时代。
      2、Variety(多样)
      在大数据这个房间里,住着各种各样的“人”,它们分别叫做视频、聊天记录、人口普查结果、天气预报……
      3、Velocity(高速)
      以一个存储1PB的数据为例,即使带宽(网速)能达到1G/s,且电脑的容量足够且24小时运行,要将1PB的数据存入电脑也需要12天。大数据通过云计算,可以实现将12天才能存储完毕的数据,在20分钟之内完成。
      4、Value(价值)
      大数据能做一个预言家。谷歌和推特都曾用大数据,提前7天到一个月,在2009年准确预测当年的流感趋势。
      价值密度低。

    从数据结构特征来分类,主要可以分为:结构化数据、非结构化数据和半结构化数据

    结构化数据
    可以用二维表结构来逻辑表达实现的数据,简单来说就是数据库 。比如ERP系统、财务系统、客户关系管理数据库等存储的都是结构化数据。
    非结构化数据
    不方便用数据库二维表来逻辑表达实现的数据。非结构化数据包括办公文档、文本、图片、XML、HTML、各类报表、图像,音频和视频等数据。比如医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器(PDM/FTP)和媒体资源管理等存储的非结构化数据。
    半结构化数据
    包括邮件、HTML、报表、资源库等等,典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。

    对象存储技术:
    对象存储是一个新兴的存储技术。对象存储是在块存储之上构建了对象管理层,与文件系统相比,对象系统层是扁平的,扩展限制少,因此拥有近乎无限的扩展性。对象由唯一的Key,文件,数据(文件),元数据,自定义元数据构成,由于包含了自管理信息,因此更加智能。对象存储采用兼容标准互联网协议的接口,可以跨地域传输。对象存储适用于面向互联网服务的存储场景,以及企业内部的归档、备份场景。
    在对象存储系统中,元数据服务器(MDS)存储了文件与对象设备之间的映射关系以及目录和文件的组织关系。MDS提供了诸如文件查找,文件创建,文件和目录属性处理等操作。从客户端的角度去看,MDS就好像是文件的逻辑窗口,而对象存储设备(OSD)就是文件的物理窗口。当用户对某个文件进行操作,首先文件系统从MDS上获取到文件的实际存储地址,然后根据这个地址到OSD上进行存取操作,后续的I/O操作都不需要再访问MDS,这样减少了MDS的负担,从而为系统的扩展提供了可能性。
    传统文件系统的存储采用目录树的形式,当文件数量比较大,或者文件巨大的时候,对根节点的压力比较大。当查找一个文件或者文件内部的某部分内容时,需要耗费比较长的时间,从而降低了文件系统的性能。对象存储采用扁平化的结构,采用去中心化的思想。所以,即使有海量的文件或者文件巨大,访问数据的性能也不会受到影响,而且系统也很容易扩容。
    采用对象接口,灵活分割数据:
    对象存储系统不需要知道数据存储的物理方法。传统的存储设备存储SCSI块,而且存储设备以扇区为最小存储单位,典型的扇区大小在512B~4KB之间。对象存储可以将任何大小的对象存储到对象存储设备中,对象存储支持一个对象的存储范围从几个字节到几个TB的大小。
    特性:
    (1)对象扁平化,易于访问和扩展:
    扁平化的数据结构允许对象存储容量从TB级扩展到EB级,对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间,这使得对象存储非常适用在云计算环境中使用。一些对象存储系统支持升级、扩容过程中业务零中断。
    (2)自动化管理:
    对象存储支持从应用角度基于业务需求设置对象/容器的属性(元数据)策略,这使得对象存储具备云的自服务特征同时,有效的降低运维管理的成本。
    (3)多租户:
    多租户特性可以使用同一种架构,同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略,并确保这些数据之间相互隔离。
    (4)数据完整性和安全:
    对象存储系统一般通过连续后台数据扫描、数据完整性校验、自动化对象修复等技术,新型的技术应用大大提高数据的完整性和安全性。

    hadoop:
    大数据处理解决方案的一个选择是Hadoop。Hadoop是一个开源的分布式海量数据处理的技术架构。Hadoop项目开始于2005年,随后就加入了Apache 社区。Hadoop的设计采用简单的硬件,来运行复杂的数据管理任务。它可以使用几乎所有的存储设备来存储数据,使用多个主机来执行计算任务。因此,在处理非结构化数据时,与传统的大型机相比,Hadoop有明显的性能和成本优势。

    Hadoop 包含了三个组件:
    (1)Hadoop分布式文件系统(HDFS)
    (2)非关系型数据库(HBase)
    (3)MapReduce分布式并行处理架构
    结构化和非结构化大数据解决方案架构的主要区别体现在数据库的管理不同。

    展开全文
  • 大数据在管道本体缺陷扩展及修复中的应用.pdf
  • 在生态修复领域,此前已有诸多PPP项目被密集清退和整改,为行业敲响了警钟,“大干快上”抢占PPP项目的时代或已结束。随之而来的是,生态领域延伸出的新动能、新业态,这或将成为蒙草生态(300355.SZ)数字化转型...

     

     

    在生态修复领域,此前已有诸多PPP项目被密集清退和整改,为行业敲响了警钟,“大干快上”抢占PPP项目的时代或已结束。随之而来的是,生态领域延伸出的新动能、新业态,这或将成为蒙草生态(300355.SZ)数字化转型——“种质资源+生态大数据”模式的推动力。

    在这里相信有许多想要学习大数据的同学,大家可以+下大数据学习裙:957205962,即可免费领取套系统的大数据学习教程

    说起大数据,人们往往第一时间想到如百度、腾讯、阿里等互联网巨头以及华为、浪潮、中兴等国内领军企业,涵盖了数据采集、存储、分析、可视化及数据安全等领域。除此之外,在生态修复领域,大数据的作用正在日渐显著。蒙草生态(300355.SZ),正在成为生态修复领域的“试水者”。

     

    这家内蒙古大草原走出来的生态企业,致力于驯化乡土植物修复生态,依托乔、灌、草等乡土植物种质资源储备,并在生态大数据平台的指挥下,遵循“先数据、后配方、再修复”的模式,进行生态修复。

    种质资源储备,蒙草生态的根基

     

    在蒙草生态的业务体系中,种质资源储备是最为关键的一步,为其生态修复提供核心竞争力,同时也为蒙草生态大数据平台提供数据样本。

     

    (图为蒙草生态的种质资源库——“小草诺亚方舟”)

     

    (在蒙草生态的草博馆中,蒙草生态执行总裁高俊刚在介绍着公司的业务情况,图为野马财经拍摄)

     

    20多年来,蒙草生态一直坚持做一件事情,就是把各个生态类型区能抗寒、抗旱、耐盐碱等抗逆性强的乡土植物采集回来,送到实验室、资源圃里驯化,“优胜略汰,优中选优”,批量繁殖、育种后,再让它们回到广阔的天地间发挥效用。

     

    蒙草生态已先后在内蒙古、京津冀地区、宁夏、西藏、陕西、青海等地设立10多个专项研究机构及相应的种质资源库,涵盖抗旱植物、耐寒植物、草原生态、盐碱地改良、矿山修复等内容。

     

    目前,保存到蒙草种质资源库——“小草诺亚方舟”中的乡土植物种质资源近2000余种、植物标本3万余份、土样40万余份;这些种质资源相关信息,均已收录到蒙草生态大数据平台中。平台中储存水、土、气、草、畜等生态基础信息多达几十万份,已收录到各地乡土植物种质资源2.7万余种;其中,有160余种乡土植物已应用到各生态类型区的生态修复项目中。

     

    (蒙草草博馆中,各类植物标本为植物辨识、采集地研究提供基础样本,图为野马财经拍摄)

     

    将种质资源储备之后,如何应用也是蒙草生态的重要课题之一。蒙草生态方面介绍,其尝试乡土植物“引种—驯化—储存—育繁—生产—推广”的一体化产业链模式,进而打造出能够生产生态修复种苗产品、生态包、植生毯产品等的自动化、智能化植物工厂。

     

    (“育繁”是建立种质资源库的重要一步,图为野马财经拍摄)

      建立在生态大数据基础上的精准生态修复

     

    蒙草生态方面介绍,公司倡导的生态修复模式依靠大数据指挥,提高修复精准度及适地性,满足“一地一方案”的定制化需求,是业内技术的重要攻坚方向,同时也是蒙草的优势所在。可以提供实时监控,防止生态退化后再修复,做到随时繁育,随时修复。

     

    位于内蒙古呼和浩特市东北处的呼和塔拉草原,占地面积16000余亩,曾经是水草丰美的天然牧场,但由于自然和人为影响,呼和塔拉草原的生态遭到破坏,变成了砂石遍地的荒滩。

     

    (图为呼和塔拉草原修复前实景)

     

    2012年,蒙草生态开始修复这片草原,修复理念是尊重自然规律、模拟天然草原,结合天然草地改良与人工草地建植技术,进行人工干预下的自然修复。

     

    蒙草生态的工作人员向野马财经(微信公号:ymcj8686)透露,修复专家们首先从生态大数据平台中调取该地区的生态数据资料,并追溯20-50年前这里生长过的原生植物,分析搭配群落、探寻生态演变的规律,再选择配比适合该地区生长的乡土植物,进行科学的建植和管理,从2000亩的试验推广到20000亩的系统修复。

     

    经过3年时间,这里成为一片百花盛开的天然草地,重现了绿草茵茵的美景,更重要的是丰富了当地的生物多样性。

     

    (图为呼和塔拉草原修复后实景)

     

    据了解,修复后的呼和塔拉草原上,植物从播种时的20余种恢复到50多种,干草产量、年固碳量、年释氧量等关键监测数据总体提高近12倍。实现“自愈”后的草原不只有植物群落,更有菌群、蝴蝶、蜜蜂、蚂蚁、蚯蚓、野兔等,形成水、土、气、人、草、畜、微生物和谐发展的动态、可持续生态平衡。

     

    值得注意的是,蒙草生态的生态修复正在发挥大数据在精准生态修复方面的作用,从项目营销、规划设计、施工方案、生态包、技术指导、智能化管护、工程监测等方面提供指导。

     

    (蒙草生态的大数据指挥中心,图为野马财经拍摄)

     

    蒙草生态方面介绍,生态设计方案中,动植物适应区、生态本底数据、生态红线预警、30年遥感变化等多位数据追溯生态历史,提供符合生态规律的设计方案支撑。

     

    生态包配方中,根据锁定区域水土气生境的历史变化,原生植物和推荐修复植物内容,结合历史生态包使用效果追溯,通过大数据建模分析产出适地适种的优质生态包产品配比,优化成本、提高效率。

     

    生态建设项目中,大数据平台提供修复前的生态本底信息,提供修复中的技术指导和施工方案推荐,提供修复后的效果评估和动态监测,客观真实地体现工程质量,推动业务落地和产业发展。

     

    蒙草生态董事长王召明曾表示,生态大数据涉及生态修复、农林牧草渔等完整产业链的过程数据,如育种、播种、施肥、收获、储运、草牧产品开发等各个环节,它们可以被大数据平台一一记录在案并随时查询,用来指导草原生态修复,服务于农业和畜牧业。

     

    据了解,到2017年为止,蒙草生态大数据平台已积累图片近40万张、数据逾200万条、文字超千万字。能够实现对一个区域生态平衡的动态监测,不需要再等到生态平衡已遭到破坏才进行修复、修补破损。

    依托生态大数据等产品,谋求向上游产业转型

     

    蒙草生态是一家做生态工程的企业吗?答案是:以前是。现在的蒙草生态正处于转型之中。在如今种质资源有一定储备量、大数据平台“初露锋芒”的情况下,蒙草生态正在通过转型求变——从生态修复工程“施工者”,转变为生态修复解决方案提供者。

     

    据蒙草生态相关人士介绍,生态大数据等“独角兽”专业公司,正在承担着改变蒙草生态付费模式及客户结构的新使命。

     

    2018年半年报中,蒙草生态特别提到了这一点,“公司确定将快乐小草、生态大数据、矿山修复、土壤修复、草原修复等原有的业务板块孵化成为专注生态技术和产品领域的公司,进行更为深入和细分的生态产业建设”。

     

    蒙草生态执行总裁高俊刚向野马财经(微信公号:ymcj8686)表示,蒙草生态希望能够将旗下子公司分别培育成一个个“独角兽企业”,让人们更具象地看待蒙草的竞争力。比如内蒙古蒙草草原生态修复有限公司——草原修复和荒漠化治理、内蒙古蒙草矿山环境治理有限公司——矿山修复和环境治理、内蒙古蒙草土壤修复与盐碱地改良科技有限公司——盐碱地改良和土壤污染修复、北京快乐小草运动草科技有限公司——运动草坪及节水绿地建植等。

     

    高俊刚称,“若以差异化和‘独角兽’的概念重新解读蒙草,蒙草未来将会是一家靠数据驱动的公司,以种质资源及大数据精准修复体系构建核心竞争力,成为上游控制方——把控数据、方案、技术、种子、资源等,即由蒙草根据各个地方不同的水土、地域环境及生态体系等,提供因地制宜的生态治理综合解决方案”。

     

    可见的是,蒙草生态正在积极谋求转型并维持主营业务的稳定增长。同时,在环保市场发展渐趋活跃的风口上,蒙草生态将生态修复与大数据等交相呼应,其旗下的“独角兽企业”或许能够在将来给行业带来一些想象空间。

    展开全文
  • 大数据应用

    万次阅读 2017-10-05 11:46:31
    大数据应用 随着web4.0时代的到来,数据将成为企业的最大资产。运营商所含有的数据是不可限量的,同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术,能够为企业带来意想不到的效果。 ...

    欢迎关注“程序杂货铺”公众号,里面有精彩内容,欢迎大家收看^_^

    大数据应用

    随着web4.0时代的到来,数据将成为企业的最大资产。运营商所含有的数据是不可限量的,同时其带来的价值也是无法估量的。充分利用运营商的数据以及互联网大数据技术,能够为企业带来意想不到的效果。

    1.应用

        对内:网络优化、异常检测、大数据报表、用户轨迹、协同警方监控及判案、智慧城市

    对外:用户画像、客户细分、精准营销、追踪用户、产品推荐

    1.1对内

    1).网络优化:

    方案:通过分析用户行为日志,统计哪一时间段用户流量高峰,进行早期预测,合理分配流量,从而使资源利用最大化。

    2).异常检测(用户信用、机器节点监测/预测):分类、预测

    方案:通过对用户的信用数据以及用户的消费日志,使用朴素贝叶斯或逻辑回归模型进行分类计算,从而预测出不良用户,此时,我们可以对这类低信誉用户加以防范或采取限购措施。对机器进行异常检测,通过统计分析机器运行日志,使用逻辑回归模型或SVM模型进行二值分类计算(正常、异常),从而提前预测故障机器,不必等机器真正宕机后进行修复操作。

    3).大数据报表:日志统计

    方案:对流量日志及用户的定位日志进行统计分析,按季度产出用户流量报告,类似滴滴出行报告、高德地图城市交通分析/交通拥堵报告。同时对用户的行为日志、公司的业绩日志及相关日志进行关联分析生成大数据报表,充分利用大数据报表可令决策者更清晰了解公司走向,及时制定相应决策,令决策者更有效地管理公司。

    4).用户移动轨迹:位置定位、定位信息

    方案:统计分析用户行为数据,识别出其常住地,以及通过点位数据将用户的行为轨迹打印出来。例如,通过用户在哪儿经常打电话,可以识别出其常驻地,判断家、工作单位、以及其他常驻地。例如,通过分析用户的地理位置,构建模型,使用逻辑回归模型,预测用户五一期间去迪士尼旅游的概率,及用户出行的概率。

    5).协同警方监控及判案:

    方案:利用通话记录及移动规矩定位罪犯常驻点,同时构建模型预测罪犯活动地点。

    6).智慧城市:日志分析、流量监控

    方案:利用用户移动轨迹,可以识别人口流量走势,制定相应流量疏导及交通方案。

    1.2对外

    1).用户画像:统计

    方案:收集数据,ETL数据预处理,模型计算,给用户打标签,以及对标签进行组合;利用用户行为数据计算用户画像。将用户所有的标签综合起来,勾勒出该用户的整体特征与轮廓。可充分构建用户的全量数据,并将数据打通,形成拓扑关联。

    例如:用户画像数据主要包括五大部分:基础数据、终端数据、消费数据、活跃数据、单一用户画像的数据。

    注:

    1、 用户画像要建立在真实的数据之上;
    2、 当有多个用户画像的时候,需要考虑用户画像的优先级,通常建议不能为超过三个以上的persona 设计产品,这样容易产生需求冲突;

    3、 用户画像是处在不断修正中的。

    2).客户细分:聚类

    方案:利用运营商客户消费数据及其订单数据,使用机器学习中的聚类算法,可将用户数据聚类为多个簇,而每一簇代表一类用户,我们变可以有针对性的对这类用户投放相应的产品。例如:我们可将用户细分为A、B、C,分别代表VIP用户、普通用户、游客用户,因此我们可以有针对性地对他们投放个性化产品,令资源最优分配。

    3).精准营销、个性化营销:统计+聚类+分析

    方案:通过对检索日志进行统计分析,了解用户的潜在需求,实现针对用户需求的广告进行精准投放。利用之前做好的用户画像实现精准营销。

    4).追踪用户:预测、召回

    通过逻辑回归模型对用户进行预测,识别哪些用户是忠实用户,哪些用户将要离开,对将要离开的用户制定策略进行召回,同时对忠实用户给予优惠以防止竞争者将用户拉走,并充分利用忠实用户,以该用户为中心点带动其周边人群使用产品,此时需借助相似度计算方法,计算出其周边用户并给予相应引导令其加入。

    5).产品推荐、个性化营销:推荐算法、关联算法/规则

    利用用户行为数据计算出用户画像,结合关联规则及推荐算法(这里主要使用协同过滤算法,因为主要涉及用户及其周边人群)对用户进行个性化推荐;联合常驻位置信息,有针对性服务推荐,在不同位置给予不同的信息推送,此时需借助客户细分及用户移动轨迹。

    当前的推荐算法大都基于数据挖掘技术,通过对大量的用户行为数据进行分析及挖掘来发现相关的用户行为模式。

    2.系统架构

    系统的整体架构如下图1所示。

    图1系统架构

    实现步骤:

    1.数据采集:采集多维数据抽取数据结构,使用Hadoop构建全量数据集;

    2.数据预处理:基于采集回来的多维度数据,采用ETL方法对其各类数据进行结构化处理及加载,构建数据特征;

    3.数据存储对于ETL处理后的标准化结构数据,建立数据存储管理子系统,归集到底层数据仓库(Hive),这一步很关键,基于数据仓库,对其内部数据分解成基础的同类数据集市;

    4.数据建模:基于归集分解的不同数据集市,利用各类算法对数据集进行数据建模以及相应的算法设计;

    5.模型计算:使用构建好的模型对数据预处理后的特征数据进行计算;

    6.数据展现:最后根据建立的各类数据模型及算法,结合前端不同渠道不同业务特征,根据渠道触点自动匹配后端模型自动展现用户个性化产品和服务。

    欢迎关注“程序杂货铺”公众号,里面有精彩内容,欢迎大家收看^_^

    展开全文
  • 2021-2025年中国垃圾污染削减及修复行业调研及大数据营销战略研究报告.pdf
  • 考虑到电力系统中基于逆变器的分布式发电机(IBDG)的普及率不断提高,以孤岛模式运行的IBDG对配电网的自我修复,有源配电网(ADN)的自我修复方案具有新的影响。提出了基于大数据的IBDG。 大数据存储和挖掘技术用于...
  • 提出了一种基于多智能体和大数据的基于逆变器的分布式发电机(IBDG)的有源配电网(ADN)自愈方案。 多代理系统(MAS),大数据存储和挖掘技术用于完成故障识别,故障定位,隔离和服务恢复。 在本文中,新型继电器的...
  • 某日笔者接到大数据集群使用人员紧急求救,反馈其在用的星环大数据tdh集群遇到以下故障无法解决,影响集群使用无法运行大数据计算任务。其反馈的问题现象如下: tdh集...
  • 基于搜狗查询数据500w条使用MapReduce做数据清洗,hive做离线分析的项目,详细文档附数据连接,搜狗实验室的搜索数据下载后缺少了用户ID字段的数据,所以本分析采用的是完整的数据,大家可以放心下载,如果下载数据...
  • 大数据基础--大数据深入了解

    万次阅读 2019-10-31 22:57:12
    第一部分 《大数据概述》 传统数据如何处理? 什么是大数据? 传统数据与大数据的对比 大数据的特点? 大数据前/后服务器系统安装部署区别是什么?。 大数据生态系统以及技术组件介绍 大数据技术为什么快? 什么是...
  • 大数据质量

    2021-04-10 18:55:03
    大数据质量 文章概述 1.大数据质量的目的 2.大数据质量涉及问题 3.大数据质量管理实现的技术 1.大数据质量的目的 在了解数据质量目的之前,我们先看一下数据质量的概念 数据质量是指在业务环境下,数据符合消费者的...
  • 大数据中台

    千次阅读 2020-08-28 11:17:11
    大数据平台按照使用场景,分为数据集成、数据开发、数据测试……任务运维,大数据平台的使用对象是数据开发。大数据平台的底层是以 Hadoop 为代表的基础设施,分为计算、资源调度和存储等。 数据存储:HDFS,HBase...
  • 大数据概论

    2019-03-04 20:45:22
    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托•...
  • 3月10日,前360移动搜索负责人@陈利人在一篇名为《携程的牌坊塌了...\n\n\n\n文章再一次将商家大数据杀熟的问题带到讨论中心,到3月11日携程问题已经上了微博热搜。携程在3月11日发布了致歉信。致歉信中携程方面表示...
  • 因为大数据这个词语被创造出来是在20世纪90年代,在2000年的时候第一次在学术论文上有人将它提出,在2003年的时候在Francis X.Diebolt在《宏观经济测量和预测的大数据动态因子模型》一书中正式将大数据这个词语进行...
  • 大数据概述

    2019-09-26 02:37:16
    1.试述大数据对思维方式的重要影响: 随着时代的发展信息时代已经来到第三次的浪潮:信息大爆发。如今的世界网络发达且遍布广人们很容易就利用自己身边的移动终端如手机和电脑产生大量数据,比如你用电脑搜索一些...
  • 大数据复习总结

    千次阅读 2019-06-08 22:43:47
    大数据复习总结第一章 大数据概述第三章 分布式文件系统HDFS第四章 分布式数据库HBase第五章 NoSQL数据库 第一章 大数据概述 a.大数据的基本概念 大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的...
  • 大数据架构

    2020-07-20 13:33:00
    大数据架构和技术选型 大数据架构 源数据层: 1、sdk日志埋点 2、日志文件:爬虫日志、业务日志 3、关系型数据库:mysql、oracle等 数据采集层: 1、离线:flume、Sqoop、Nifi 2、实时:filebeat、nginx+lua 补充:...
  • 大数据01

    2018-01-22 21:33:16
    1、大数据 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。...
  • 大数据计算系统 大数据计算框架的几个要素 : • 计算场景: 适用于何种任务使用? • 抽象:程序员看到的框架是什么样的? • API:程序员如何使用框架? • 系统架构:系统有哪些模块? • 基本数据操作:如何操作...
  • 大数据技术深度实践

    千次阅读 2018-04-12 10:44:17
    随着技术迭代的不断加速,大数据极大改变了行业领域对信息流动的限制。本期我们聚焦2017年领域内热门技术与应用实践,带领大家深度解析大数据技术难点和发展趋势。厉兵秣马今点将,群雄逐鹿正当时。...
  • 何谓大数据

    2021-05-29 00:49:22
    1大数据简史dashuj有很多方法可以描述历史。在描述计算机科学历史的一部分时,一种方法是用技术来描述它,另一种方法是从组织的角度来描述它。我们将从市场营销的角度来描述大数据的简要历史。0...
  • 美团大数据平台

    万次阅读 2018-11-02 10:54:33
    今天给大家介绍的内容主要包括以下四个部分首先是介绍一下美团大数据平台的架构,然后回顾一下历史,看整个平台演进的时间演进线,每一步是怎么做的,以及一些挑战和应对策略,最后总结一下,聊一聊我对平台化的看法...
  • 1、供应大数据 说供应大数据可能不太很好的准确理解其所指的是什么,但是如果说供应链大数据你肯定一下就知道其所指的是什么了。说到供应(链)大数据,我相信很多人都能想到一点如何去做供应链大数据,因为在这个...
  • 大数据面试题》面试大数据这一篇就够了

    万次阅读 多人点赞 2020-05-05 09:23:40
    大数据面试题》面试大数据这一篇就够了 Hadoop 常见面试题 Hive 常见面试题 Spark 常见面试题 Flume 常见面试题 Kafka 常见面试题 Hbase 常见面试题 Redis 20 问

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 29,530
精华内容 11,812
关键字:

修复大数据