热门好课推荐
猜你喜欢
相关培训 相关博客
  • 一、学习大数据需要的基础 javaSE,EE(SSM) 90%的大数据框架都是java写的 MySQL SQLonHadoop Linux 大数据的框架安装在Linux操作系统上二、需要学什么 2.1:大数据离线分析 一般处理T+1数据 (T+1:T表示处理时间(一天,一周,或者一月,一般不会一年处理一次数据)+1:表示处理一次数据) Hadoop:(common、HDF...
    2018-06-09 00:21:24
    阅读量:458
    评论:0
  • 大数据的实时计算与离线统计整理学习1.实时计算ApacheStorm流程:业务数据、消息队列、Storm实时编程、Redis、数据展示(秒级计算)应用场景:对数据处理的时效性要求较高,及时响应,秒级甚至毫秒级延迟。example数据处理:对于数据的处理,主要分为3大阶段:数据采集、数据处理、数据的可视化数据采集:1)Magpie实时采集:自主研发,对线上生产...
    2018-12-03 20:01:38
    阅读量:1628
    评论:0
  • 数据分析的两个流程:实时分析流程:业务数据、消息队列、Storm实时编程、Redis、数据展示(秒级计算)离线分析流程:不同数据源获取数据、Hadoop集群数据、计算(Hive、Spark、MapReduce)、数据展示(T+1计算)
    2017-07-01 22:10:16
    阅读量:8024
    评论:0
  • 大数据相关体系梳理:今天小伙伴突然问我大数据都学习了些神马?就有了如下的对话,我也决定为她好好解答一下疑问。so,我们今天主要是以离线数据处理的技术为主。在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的...
    2018-12-09 11:30:38
    阅读量:965
    评论:2
  • 前言先引用一下马云大大的话:很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。马云深度解析大数据“大数据”是近年来IT行业的热词,并广泛的应用在各行各业。特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用,以数量庞大,种类众多,时效性强为特征的非结构化的数据不断涌现,数据的重要性愈发凸显,传统的数据存储、分析技术难以实时处...
    2018-07-05 10:53:33
    阅读量:4827
    评论:7
  • Hadoop、spark都是一个生态,2者是一个互补的关系,2者有很多相似的部分。hadoop实现了一个分布式文件系统-高延迟批处理大吞吐-hadoop的mapreduce程序用Java写Spark基于内存计算的开源的集群计算平台-低延迟小文件处理-spark的mapreduce程序用scala写学习spark最好有些hadoop的知识,至少目前ha
    2015-07-30 21:40:44
    阅读量:1840
    评论:0
  • 大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐(书籍、博客、网站)一、大数据工程师的技能要求总结如下:必须技能10条:01.J
    2017-09-26 22:24:45
    阅读量:5895
    评论:0
  • 本博客现阶段主要针对大数据的学习会逐一推出相关的学习文档,从简介,原理,入门测试,小的案例练习包括。会每天抽出时间更新,感兴趣的童鞋,欢迎关注订阅,多多交流。本次主要介绍大数据离线阶段的Hadoop入门,分为上下两篇。上篇的内容为Hadoop简介,历史,特性,应用四个模块。下篇的内容为hadoop的集群搭建,集群启动,入门初试三部分。Hadoop介绍一般我们讲的Hadoo...
    2018-09-10 14:34:28
    阅读量:334
    评论:0