热门好课推荐
猜你喜欢
相关培训 相关博客
  • 导读:本文将大数据的工作角色分为三种类型,包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面,大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类,数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解,最终联系到大数据的应用场景,让数据应用方式更加直...
    2017-06-20 15:26:17
    阅读量:8338
    评论:1
  • 文章目录一、DELETED1-1业务背景、业务场景、业务模式1-2数据峰值、需求二、难点2-1数据孤岛2-2不同数据的定制化数据抽取方案2-3数据完整性、安全性2-4单点故障2-5其他三、架构(粗略)3-1架构图总览3-2数据采集3-2-1分布式消息队列KafkaRabbitMQRocketMQ几种消息中间件的比较3-2-2日志收集flume+kafkalogstash...
    2018-10-01 16:53:40
    阅读量:2487
    评论:0
  • 关于大数据的架构有很多,比如说传统的大数据架构,当然,还有很多经典的大数据架构,比如说流式架构和Kappa架构。流式架构和Kappa架构在大数据中的应用还是很多的,在这篇文章中我们就给大家介绍一下关于流式架构和Kappa架构的相关知识。1.流式架构流式架构在大数据中应用十分广泛,在传统大数据架构的基础上,流式架构非常激进,直接取消了批处理操作,数据全程以数据流的方式进行处理,所以在数据接入端...
    2019-04-30 16:14:51
    阅读量:5245
    评论:0
  • 本文仅给出架构设计时需要考虑的知识点,并不会对具体知识点做详细介绍。一、顶层架构Linux/Windows平台、CS/BS架构、大数据架构、应用领域(游戏、互联网、传统行业等)二、CS中的Client的技术选型1、GUI开发技术(1)微软技术体系MFC,WinForm,WPF、UWP(2)Java技术体系javaAWT、javaswing,javafx(3)Pytho
    2016-11-18 15:57:48
    阅读量:10783
    评论:3
  • 导读:本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论,即“实时数据平台”。在上篇设计篇中,我们首先从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待实时数据处理;接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。在下篇技术篇中,我们会进一步给出实时数据平台的技术选型和相关组件介绍,并探讨不同模式适用哪些应用场景。希望通过对...
    2019-06-20 11:21:30
    阅读量:424
    评论:0
  • 大数据平台基础建设当前的趋势是云化与开放,这个平台需要可以提供各类大数据相关PaaS服务,也需要使各类服务间可以简单灵活的组合来满足多变及定制的需求。如何在云上提供弹性、敏捷,却不失稳定和高性能的大数据平台?如何高效的利用云计算的特点来开发大数据平台?本期青云QingCloud系统工程师周小四给大家带来基于云计算的大数据平台基础设施建设以及其架构特点的主题分享。以下是分享原文。——————大...
    2016-01-19 23:22:13
    阅读量:1299
    评论:0
  • IaaS、PaaS、SaaS是云计算的三种不同的服务模式,IaaS基础设施在最下端,PaaS平台在中间,SaaS软件在顶端。IaaS:Infrastructure-as-a-Service基础构架即服务。这一层主要是对基础设施进行管理以给用户提供资源使用,如提供计算服务、安全备份、负载管理等。PaaS:Platform-as-a-Service平台即服务。这一层主要是基于IaaS之上,...
    2018-12-17 14:38:05
    阅读量:507
    评论:0
  • 随着接入的需求方越来越多样化,对大数据的数据使用、数据存储与计算的需求也越来越多样化,同时业务飞速发展,集群的规模也急速扩大。如何在这样的场景下通过大数据平台,稳定支撑住业务的发展是一个不小的挑战。本文分享主要平台工具链,技术、选型及架构设计上的一点经验。
    2017-11-28 09:40:11
    阅读量:13162
    评论:7