首页 > 大数据的基础技术流处理

大数据的基础技术流处理 共找到1126条结果

  • 本文转载自:https://blog.csdn.net/viewcode/article/details/9088467大数据流即实时收集的大量的数据。数据的流量大到无法实时将全部数据放入分析工具中处
    2018-06-15
    阅读量:29154
    评论:0
  • 要想来做实时流处理,需要准备四项工作SparkStreaming的核心api学习安装环境时,注意点实现实时性不强或者离线数据分析的需求的框架思路:但是如果我要要求实时,你怎么办?比如小时级别、10分钟
    2019-02-12
    阅读量:51074
    评论:3
  • 实时流处理简单概述:实时是说整个流处理相应时间较短,流式技算是说数据是源源不断的,没有尽头的。实时流处理一般是将业务系统产生的数据进行实时收集,交由流处理框架进行数据清洗,统计,入库,并可以通过可视化
    2018-10-26
    阅读量:2354
    评论:0
  • 大数据流处理框架对比流处理框架FlinkSparkStreamingStormKafkaStreams交付保障数据一致性故障容错状态管理流处理的两种类型Native流小批量/微批处理microbatc
    2018-11-28
    阅读量:1443
    评论:0
  • 大数据概述数据的表现形式:线下数据信息化:数据库、文字记录、照片……互联网-移动互联网:网页数据、用户行为记录、数字图像……传感器:设备监控、智能家居、摄像头……大数据的4V特征:大量化(Volume
    2016-06-04
    阅读量:253751
    评论:21
  • 在大数据领域,Hadoop无疑是炙手可热的技术。作为分布式系统架构,Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本的优点。然而,随着数据体量越来越大,实时处理能力成为了许多客户需要面对的
    2019-02-19
    阅读量:877
    评论:0
  • 大数据实时流处理零数据丢失1.整体流程:a)kafka:作为流处理程序的生产者b)sparkStreaming:作为消费者,设置合理batchc)DB:输出到redis/ES2.存在问题:雪崩效应:k
    2018-08-10
    阅读量:52147
    评论:2
  • 大数据实时流处理零数据丢失1.整体流程:a)kafka:作为流处理程序的生产者b)sparkStreaming:作为消费者,设置合理batchc)DB:输出到redis/ES2.存在问题:雪崩效应:k
    2018-08-10
    阅读量:70328
    评论:25
  • 大数据流处理平台的技术选型参考选择太多,是一件好事情,不过也容易乱花渐欲迷人眼。倘若每个平台(技术)都去动手操练一下,似乎又太耗时间。通过阅读一些文档,可以帮我们快速做一次筛选。在将选择范围进一步缩小
    2018-03-14
    阅读量:840876
    评论:167