热门好课推荐
猜你喜欢
相关培训 相关博客
  • 来公司半年时间了,一开始研究sahara部署cdh,目的是将大数据服务云服务话。最近由于业务的迫切要求,最近在物理机上搭建了公司自己的大数据平台。    公司业务要求数据平台需要处理DB业务数据,ES日志数据和LOG日志数据,经过一个月的调研,公司的大数据环境基本搭建完成,且通过初步测试,并在平台上运行了PoC案例。    公司的大数据平台架构如下:
    2017-09-28 18:48:40
    阅读量:2240
    评论:0
  • 这是一个为了帮助更多人了解、入门、提升大数据相关领域知识的系列教程,此系列教程是针对已经掌握了一些编程概念的同学朋友而设计的,具有如下特点:**对数据分析挖掘有浓厚兴趣,但又无从下手**基于Linux平台开发,从Linux基础讲起**最好拥有一点Java基础,对计算机的操作有些认识。**大数据思维、框架学习**举例丰富大数据...
    2018-01-12 19:33:00
    阅读量:5
    评论:0
  • hadoop视频教程spark视频教程
    2019-05-12 13:42:00
    阅读量:145
    评论:0
  • 深度解析大数据“大数据”是近年来IT行业的热词,并广泛的应用在各行各业。特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用,以数量庞大,种类众多,时效性强为特征的非结构化的数据不断涌现,数据的重要性愈发凸显,传统的数据存储、分析技术难以实时处理大量的非结构化信息,大数据的概念应运而生。大数据就是互联网发展到现今阶段的一种表象或特征,在以云计算为代表的技术创新大幕的衬托下,这些...
    2019-04-09 11:41:19
    阅读量:115
    评论:0
  • 上期简单介绍了大数据,了解了大数据应用的可行性与必然性,事实上也的确如此,大数据在公共管理(某省的最多跑一次),教育行业(某省交通厅大数据建设),税务行业(某省税务大数据平台应用建设),信息管理(某省人口库建设)等等方面都有很多建树,本文以智慧交通为主题介绍下主流大数据应用的总体架构设计云服务首先了解下基于云计算的三种服务模式,现在的大数据总体架构基本上都是基于此来设计云服务架构...
    2019-07-18 13:51:12
    阅读量:99
    评论:0
  • 前言先引用一下马云大大的话:很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。马云深度解析大数据“大数据”是近年来IT行业的热词,并广泛的应用在各行各业。特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用,以数量庞大,种类众多,时效性强为特征的非结构化的数据不断涌现,数据的重要性愈发凸显,传统的数据存储、分析技术难以实时处...
    2018-07-05 10:53:33
    阅读量:4346
    评论:7
  • 需求背景系统有数据识别、数据脱敏逻辑,支持可配置规则,自定义等,需要进行异构数据同步,大数据量。现在针对以下几个需求进行讲解1、支持冗余设计2、支持任务自动分发,支持自动负载均衡3、支持随时扩容节点而无需关停原有的系统和业务架构和模块架构图五核心模块及其主要功能调度平台使用Nginx方式来调用数据中心,通过注册中心获取数据中心的服务列表可以合理的根据数据同步的情况,...
    2019-03-25 11:25:02
    阅读量:108
    评论:0
  • 需求背景系统有数据识别、数据脱敏逻辑,支持可配置规则,自定义等,需要进行异构数据同步,大数据量。现在针对以下几个需求进行讲解1、支持冗余设计2、支持任务自动分发,支持自动负载均衡3、支持随时扩容节点而无需关停原有的系统和业务架构和模块架构图脱敏扩展性架构图.png五核心模块及其主要功能调度平台使用Nginx方式来调用数据中心...
    2019-03-25 11:23:00
    阅读量:16
    评论:0
  • 需求背景系统有数据识别、数据脱敏逻辑,支持可配置规则,自定义等,需要进行异构数据同步,大数据量。现在针对以下几个需求进行讲解1、支持冗余设计2、支持任务自动分发,支持自动负载均衡3、支持随时扩容节点而无需关停原有的系统和业务架构和模块架构图五核心模块及其主要功能调度平台使用Nginx方式来调用数据中心,通过注册中心获取数据中心的服务列表可以合理的根据数据同步的情况,...
    2019-03-25 03:25:40
    阅读量:12
    评论:0