精华内容
下载资源
问答
  • 大数据学习

    2017-05-19 11:10:45
    学习了解大数据
  • 大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,mahout) Storm(Storm,kafka,redis) Spark(scala,...

    大数据学习路线

    java(Java se,javaweb)
    Linux(shell,高并发架构,lucene,solr)
    Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)
    机器学习(R,mahout)
    Storm(Storm,kafka,redis)
    Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx)
    Python(python,spark python)?
    云计算平台(docker,kvm,openstack)

    一、Linux
    lucene: 全文检索引擎的架构
    solr: 基于lucene的全文搜索服务器,实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面。

    二、Hadoop
    HDFS: 分布式存储系统,包含NameNode,DataNode。NameNode:元数据,DataNode。DataNode:存数数据。
    yarn: 可以理解为MapReduce的协调机制,本质就是Hadoop的处理分析机制,分为ResourceManager NodeManager。
    MapReduce: 软件框架,编写程序。
    Hive: 数据仓库 可以用SQL查询,可以运行Map/Reduce程序。用来计算趋势或者网站日志,不应用于实时查询,需要很长时间返回结果。
    HBase: 数据库。非常适合用来做大数据的实时查询。Facebook用Hbase存储消息数据并进行消息实时

    展开全文
  • 大数据学习指南,从零开始学习大数据开发,包含大数据学习各个阶段资费汇总 概述 1. 2. 大数据学习路线 学习路线中的视频,文档资料可以关注公众号:旧时光大数据,回复相应关键字获取云盘链接 基础部分 一,编程...
  • 大数据学习课程

    2019-04-08 16:38:34
    黑马的大数据学习课程,包含了hadoop集群搭建,mapreduce案例学习等一些大数据相关学习课程
  • 大数据学习流程

    2019-05-03 22:37:56
    大数据学习流程 必看
  • 大数据学习线路指南

    2018-11-20 08:35:20
    大数据 学习指南
  • 大数据学习路线

    万次阅读 多人点赞 2017-06-03 16:35:58
    一方面我自己还只是大数据学习中的一个小学生,贸然动笔怕贻笑大方;另一方面大数据本身领域博大精深,其涵盖领域之广技术种类之多确实很难用一篇文章囊括。怎奈“下雨天打孩子,闲着也是闲着”,况笔者一直坚持写...
     最近有很多人问我如何学习大数据?我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生,贸然动笔怕贻笑大方;另一方面大数据本身领域博大精深,其涵盖领域之广技术种类之多确实很难用一篇文章囊括。怎奈“下雨天打孩子,闲着也是闲着”,况笔者一直坚持写技术类的博客,今天也请允许我写一点务虚类的东西吧。
        本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线,帮助它们开启大数据学习之旅。鉴于大数据领域内的技术绚丽繁复,每位大数据初学者都应该根据自己的实际情况制定专属的学习路径。
        要说当下IT行业什么最火?ABC无出其右。所谓ABC者,AI + Big Data + Cloud也,即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行,今天我们来讨论下大数据这个方向。
        大数据,即Big Data,关于它的定义很多,我这里不再赘述了。最权威的莫属IBM的定义,读者可以自行查阅。既然本文关注如何学习大数据,那么我们首先就要定义大数据领域内的不同角色设定。这样各位才能根据自身实际情况找准自己的定位从而开启学习过程。

    角色   
        以我的愚见,当下大数据行业有两类角色:
    • 大数据工程
    • 大数据分析

        这两类角色相互依存但又独立运作,何意?没有大数据工程,大数据分析便无从谈起;但倘若没有大数据分析,我也实在想不出大数据工程存在的理由。这就类似于结婚和谈恋爱——恋爱的目的是为了结婚,且不以结婚为目的的谈恋爱都是耍流氓。
        具体来说,大数据工程需要解决数据的定义、收集、计算与保存的工作,因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题,即大数据工程系统需要实时地为下游业务系统或分析系统提供数据服务;而大数据分析角色定位于如何利用数据——即从大数据工程系统中接收到数据之后如何为企业或组织提供有产出的数据分析,并且确实能够帮助到公司进行业务改善或提升服务水平,所以对于大数据分析师来说,他们首要解决的问题是发现并利用数据的价值,具体可能包括:趋势分析、模型建立以及预测分析等。
        简单总结一下,大数据工程角色需要考虑数据的收集、计算(或是处理)和保存;大数据分析角色则是执行数据的高级计算。

    我们属于哪种角色?
        既然我们了解了大数据领域内的角色分类,下面自然就需要“对号入座”确定自己的定位,这样才能有的放矢地开始大数据学习。在考虑这个问题时,我们需要参考两方面的因素:
    • 专业知识背景
    • 行业经验

        这里的专业知识背景不是指代学历、院校这种背景,而是你对某些IT技术的了解程度。即使你不是计算机专业出身,只要你对C语言有一腔热血,怕是C之父Dennis Ritchie也不敢小瞧你。因此,这里的专业知识其实就只有两个:
    • 计算机专业知识,比如操作系统,编程语言,计算机运行原理等
    • 数学知识,这里指代的是高等数学,比如微积分、概率统计、线性代数和离散数学等, 不是x * x + y * y = 1画出来是什么图形这样的数学

        而行业经验指的是你相关领域内的工作经验,具体可以分为三档:
    • 菜鸟
    • 有一定经验的工程师
    • 资深专家——现在在大数据领域有个更cool的名字:数据科学家,比如前百度首席数据科学家:吴恩达博士

        Okay,现在我们就可以根据上面的分类来定义自己的角色。比如拿笔者来说,我对自己的定位是:“我是一个计算机专业毕业的工程师,有一定数学基础(特别是在微积分和线性代数方面),但数理统计和概率论部分是我的弱项。” 另外最好别打肿脸充胖子,如果之前没什么经验,承认自己是菜鸟也没事,关键是找准自己的定位。
        确定自己的定位后,我们需要对应到特定的大数据角色,以下是一些基本法则:
    • 如果您具有良好的编程基础且深入了解计算机的交互方式以及互联网底层技术原理,但数学和统计学掌握不深,那么大数据工程可能是您今后学习的方向
    • 如果你有一定的编程基础(掌握一些高级语言,如Python等)同时又很强的数学功底,那么大数据分析是您今天努力的方向


    学习路线
        不管您属于以上哪种角色,有一些大数据理论知识是您必须要掌握的,他们包括但不限于:
    • 数据分片与路由:挑一个典型的分区算法去学习,比如一致性哈希算法([url=]https://en.wikipedia.org/wiki/Consistent_hashing[/url])
    • 备份机制与一致性:

      • 学习国内被奉为“圣经”但在国外也就一般的CAP理论([url=]https://en.wikipedia.org/wiki/CAP_theorem[/url])
      • 幂等性(Idempotent):很多分布式系统状态管理的基石 [url=]https://mortoray.com/2014/09/05/what-is-an-idempotent-function/[/url]
      • 各种一致性模型:强一致性、弱一致性、最终一致性
      • 备份机制:主从的叫法已经不怎么流行了,当前更cool的叫法是Leader-Follower模式
      • 共识协议:国内通常翻译成一致性协议(consensus protocol)。学习常见的几种:Paxos和Raft

    • 算法和数据结构

      • LSM:学习和B+树的区别以及优势是什么
      • 压缩算法:找一个主流的压缩算法进行了解,比如Snappy, LZ4。另外Facebook最近开源了新一代的压缩算法:ZStandard,据说完爆一切主流压缩算法
      • Bloom Filter过滤器:大数据下O(1)的过滤器

        无论是学习大数据工程还是大数据分析,这些理论知识都是必要的,因为它们是设计很多分布式系统必备的技能。下面我们就针对不同的角色设计不同的学习路线:

    大数据工程师
        对于大数据工程师而言,您至少要掌握以下技能:
    • 一门JVM系语言:当前大数据生态JVM系语言类的比重极大,某种程度上说是垄断也不为过。这里我推荐大家学习Java或Scala,至于Clojure这样的语言上手不易,其实并不推荐大家使用。另外,如今是“母以子贵”的年代,某个大数据框架会带火它的编程语言的流行,比如Docker之于Go、Kafka之于Scala。因此笔者这里建议您至少要精通一门JVM系的语言。值得一提的,一定要弄懂这门语言的多线程模型和内存模型,很多大数据框架的处理模式其实在语言层面和多线程处理模型是类似的,只是大数据框架把它们引申到了多机分布式这个层面。

      • 笔者建议:学习Java或Scala

    • 计算处理框架:严格来说,这分为离线批处理和流式处理。流式处理是未来的趋势,建议大家一定要去学习;而离线批处理其实已经快过时了,它的分批处理思想无法处理无穷数据集,因此其适用范围日益缩小。事实上,Google已经在公司内部正式废弃了以MapReduce为代表的离线处理。因此如果要学习大数据工程,掌握一门实时流式处理框架是必须的。当下主流的框架包括:Apache Samza, Apache Storm, Apache Spark Streaming以及最近一年风头正劲的Apache Flink。当然Apache Kafka也推出了它自己的流式处理框架:Kafka Streams

      • 笔者建议:学习Flink、Spark Streaming或Kafka Streams中的一个
      • 熟读Google大神的这篇文章:《The world beyond batch: Streaming 101》,地址是https://www.oreilly.com/ideas/th ... batch-streaming-101

    • 分布式存储框架:虽说MapReduce有些过时了,但Hadoop的另一个基石HDFS依然坚挺,并且是开源社区最受欢迎的分布式存储,绝对您花时间去学习。如果想深入研究的话,Google的GFS论文也是一定要读的([url=]https://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf[/url])。当然开源世界中还有很多的分布式存储,国内阿里巴巴的OceanBase也是很优秀的一个。

      • 笔者建议:学习HDFS

    • 资源调度框架:Docker可是整整火了最近一两年。各个公司都在发力基于Docker的容器解决方案,最有名的开源容器调度框架就是K8S了,但同样著名的还有Hadoop的YARN和Apache Mesos。后两者不仅可以调度容器集群,还可以调度非容器集群,非常值得我们学习。

      • 笔者建议:学习YARN

    • 分布式协调框架:有一些通用的功能在所有主流大数据分布式框架中都需要实现,比如服务发现、领导者选举、分布式锁、KV存储等。这些功能也就催生了分布式协调框架的发展。最古老也是最有名的当属Apache Zookeeper了,新一些的包括Consul,etcd等。学习大数据工程,分布式协调框架是不能不了解的, 某种程度上还要深入了解。

      • 笔者建议:学习Zookeeper——太多大数据框架都需要它了,比如Kafka, Storm, HBase等

    • KV数据库:典型的就是memcache和Redis了,特别是Redis简直是发展神速。其简洁的API设计和高性能的TPS日益得到广大用户的青睐。即使是不学习大数据,学学Redis都是大有裨益的。

      • 笔者建议:学习Redis,如果C语言功底好的,最好熟读源码,反正源码也不多

    • 列式存储数据库:笔者曾经花了很长的时间学习Oracle,但不得不承认当下关系型数据库已经慢慢地淡出了人们的视野,有太多的方案可以替代rdbms了。人们针对行式存储不适用于大数据ad-hoc查询这种弊端开发出了列式存储,典型的列式存储数据库就是开源社区的HBASE。实际上列式存储的概念也是出自Google的一篇论文:Google BigTable,有兴趣的话大家最好读一下:[url=]https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf[/url]

      • 笔者建议:学习HBASE,这是目前应用最广泛的开源列式存储

    • 消息队列:大数据工程处理中消息队列作为“削峰填谷”的主力系统是必不可少的,当前该领域内的解决方案有很多,包括ActiveMQ,Kafka等。国内阿里也开源了RocketMQ。这其中的翘楚当属Apache Kafka了。Kafka的很多设计思想都特别契合分布流式数据处理的设计理念。这也难怪,Kafka的原作者Jay Kreps可是当今实时流式处理方面的顶级大神。

      • 笔者建议:学习Kafka,不仅仅好找工作(几乎所有大数据招聘简历都要求会Kafka:-) ),还能触类旁通进一步理解基于备份日志方式的数据处理范型


    大数据分析师或数据科学家
        要想成为一个数据科学家,您至少要掌握以下技能:
    • 数学功底:微积分是严格要掌握的。不一定要掌握多元微积分,但一元微积分是必须要熟练掌握并使用的。另外线性代数一定要精通,特别是矩阵的运算、向量空间、秩等概念。当前机器学习框架中很多计算都需要用到矩阵的乘法、转置或是求逆。虽然很多框架都直接提供了这样的工具,但我们至少要了解内部的原型原理,比如如何高效判断一个矩阵是否存在逆矩阵并如何计算等。

      • 重温同济版《高等数学》,有条件可以去Coursea学习宾夕法尼亚大学的微积分课程
      • 推荐学习Strang的线性代数:《Introduction to Linear Algebra》——这是最经典的教材,没有之一!

    • 数理统计:概率论和各种统计学方法要做到基本掌握,比如贝叶斯概率如何计算?概率分布是怎么回事?虽不要求精通,但对相关背景和术语一定要了解

      • 找一本《概率论》重新学习下

    • 交互式数据分析框架:这里并不是指SQL或数据库查询,而是像Apache Hive或Apache Kylin这样的分析交互框架。开源社区中有很多这样类似的框架,可以使用传统的数据分析方式对大数据进行数据分析或数据挖掘。笔者有过使用经验的是Hive和Kylin。不过Hive特别是Hive1是基于MapReduce的,性能并非特别出色,而Kylin采用数据立方体的概念结合星型模型,可以做到很低延时的分析速度,况且Kylin是第一个研发团队主力是中国人的Apache孵化项目,因此日益受到广泛的关注。

      • 首先学习Hive,有时间的话了解一下Kylin以及背后的数据挖掘思想

    • 机器学习框架:机器学习当前真是火爆宇宙了,人人都提机器学习和AI,但笔者一直认为机器学习恰似几年前的云计算一样,目前虽然火爆,但没有实际的落地项目,可能还需要几年的时间才能逐渐成熟。不过在现在就开始储备机器学习的知识总是没有坏处的。说到机器学习的框架,大家耳熟能详的有很多种, 信手拈来的就包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711等,其中又以TensorFlow领衔。笔者当前建议大家选取其中的一个框架进行学习,但以我对这些框架的了解,这些框架大多很方便地封装了各种机器学习算法提供给用户使用,但对于底层算法的了解其实并没有太多可学习之处。因此笔者还是建议可以从机器学习算法的原理来进行学习,比如:

      • Udacity的课程是非常入门级的机器学习课程,笔者推荐大家订阅这个课程:[url=]https://classroom.udacity.com/courses/ud120[/url]
      • 目前机器学习领域最NB的入门课程:吴恩达博士的Machine Learning
      • 学习Python的scikit-learn库[url=]http://scikit-learn.org/stable/[/url]
      • 找一本书籍来看,国内有周志华的《机器学习》,国内可以期待吴恩达的新书:《Machine Learning Yearning》
      • 最后如果你觉得掌握得差不多了,可以尝试挑战Kaggle了:[url=]https://www.kaggle.com/[/url]


    作者:
    胡夕https://mp.weixin.qq.com/s/OG9RcApQoIyi1lu9oiFKMg
    展开全文
  • 大数据开发学习,大数据学习路线(完整详细版)

    万次阅读 多人点赞 2019-05-04 13:24:20
    很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及...


    很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:199427210,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

    在巨大的数据集中进行筛选的最好工具是什么?以下是总结的十大合适大数据处理的编程语言。

    1. R语言

    R语言是数据科学的宠儿,R语言有着简单而明显的吸引力,使用R语言,只需要短短的几行代码,你就可以在复杂的数据集中筛选,通过先进的建模函数处理数据,以及创建平整的图形来代表数字,它被比喻为是Excel的一个极度活跃版本。

    2. Python

    如果说R语言是一个神经质又可爱的高手,那么Python是它随和又灵活的表兄弟。作为一种结合了R语言快速对复杂数据进行挖掘的能力并构建产品的更实用语言,Python迅速得到了主流的吸引力。Python是直观的,并且比R语言更易于学习,以及它的生态系统近年来急剧增长,使得它更能够用于先前为R语言保留的统计分析。

    在数据处理中,在规模和复杂性之间往往会有一个权衡,于是Python成为了一种折中方案。IPython

    notebook和NumPy可以用作轻便工作的一种暂存器,而Python可以作为中等规模数据处理的强大工具。丰富的数据社区,也是Python的优势,因为可以提供了大量的工具包和功能。

    3. Julia

    虽然当前的数据科学绝大多数是通过R语言,Python,Java,MatLab和SAS执行的。但依然有其他的语言存活于夹缝中,Julia就是值得一看的后起之秀。Julia是一种高层次的,极度快速的表达性语言。它比R语言快,比Python更可扩展,且相当简单易学。

    4. JAVA

    Java不能提供R和Python同样质量的可视化,并且它并非统计建模的最佳选择。但是,如果你移动到过去的原型制作并需要建立大型系统,那么Java往往是你的最佳选择。

    5. Hadoop 和 Hive

    Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢,但它出奇的准确,因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。

    6. Scala

    Scala是另一种基于Java的语言,并且和Java相同的是,它正日益成为大规模机器学习,或构建高层次算法的工具。它富有表现力,并且还能够构建健壮的系统。

    7. Kafka和Storm

    Kafka,诞生于LinkedIn内部,是一个超快速的查询消息系统,Storm是用Scala编写的另一个框架,它在硅谷中因为流处理而受到了大量的青睐。它被Twitter纳入其中,勿庸置疑的,这样一来,Twitter就能在快速事件处理中得到巨大的裨益。

    8. MatLab

    MatLab一直以来长盛不衰,尽管它要价不菲,但它仍然被广泛使用在一些非常特殊的领域:研究密集型机器学习,信号处理,图像识别等。

    9. Octave

    Octave和MatLab非常相似,但它是免费的。不过,它在学术性信号处理圈子之外很少见到。

    10. GO

    GO是另一个正在掀起浪潮的后起之秀。它由Google开发,从C语言松散地派生,并在构建健壮基础设施上,正在赢得竞争对手。

    大数据的编程语言有哪些?大数据开发学习

     

    大数据开发学习可以按照以下内容进行学习:

    第一阶段:JavaSE+MySql+Linux

    学习内容:Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysql 数据库 → 阶段项目实战 → Linux 基础 → shell 编程

    学习目标:学习java语言,掌握java程序编写、面向对象程序开发,掌握MySql体系结构及核心编程技术,打好 Linux 基础,为后续学习提供良好的语言基础。

    第二阶段:Hadoop 与生态系统

    学习内容:Hadoop → MapReduce → Avro → Hive → HBase → Zookeeper →Flume → Kafka → Sqoop → Pig

    学习目标:掌握大数据学习基石Hadoop、数据串行化系统与技术、数据的统计分析、分布式集群、流行的队列、数据迁移、大数据平台分析等

    第三阶段:Storm 与Spark 及其生态圈

    学习内容:Storm → Scala → Spark → Spark SQL → Spark Streaming →Spark 机器学习

    学习目标:让大家拥有完整项目开发思路和架构设计,掌握从数据采集到实时计算到数据存储再到前台展示,所有工作一个人搞定!并可以从架构的层次站在架构师的角度去完成一个项目。

    第四阶段:其他

    学习内容:Mahout 机器学习→ R 语言→Python

    学习目标:机器学习领域经典算法的实现,熟练使用 R语法和统计思维,可以基于具体问题建立数学模型,掌握python技术与数据分析,将数据结果以可视化的直观方式展示给目标用户。

    第五阶段:项目实战、技术综合运用

    学习内容:某手机公司bug 系统 → 传统广告怎么用大数据 → 类互联网电商网站 → 网站日志收集清洗系统 → 网站流量统计分析系统

    学习目标:具备企业级大型完整项目开发能力,综合运用大数据分析知识,完成数据分析、收集、展示的完整流程。想学习好大数据可以关注公众号程序员大牛 有视频资源分享一起学习

    展开全文
  • Java大数据学习路径图

    2021-01-13 07:57:48
    Java大数据学习路径图
  • 大数据学习资料

    2018-03-25 10:15:54
    大数据学习资料里面包含了:_数据挖掘原理.pdf、数据挖掘:概念与技术(原书第3版).pdf、数据挖掘导论(完整版).pdf等
  • 大数据学习路线图、大数据所有技术汇总 大数据采集、迁移 大数据存储、数据仓库、搜索引擎 离线大数据、实时大数据 大数据应用 大数据服务器集群部署与监控、资源调度管理、高可用 大数据中间件
  • 大数据学习资料包

    2017-07-28 22:22:58
    大数据学习资料包
  • 大数据学习教程.txt

    2020-03-20 22:05:28
    大数据学习教程,资源搜索不易,链接挂了请私信楼主补链接!大数据学习教程,资源搜索不易,链接挂了请私信楼主补链接!
  • 大数据学习书签.html

    2021-02-08 14:05:57
    整整两年大数据学习各类优秀网站资料收集,包括hadoop、hdfs、yarn、hive、hbase、flume、kafka、flink\spark、sqoop、mysql、ELK等各类大数据组件及遇到的运维问题总结。
  • 描述了大量再大数据学习中的问题集合,大数据课程学习实验报告,如编译Hadoop出现Failed to find a viable JVM installation under JAVA_HOME
  • 云计算大数据学习笔记,让你深入学习云计算大数据学习技术。
  • 全新大数据学习路线图
  • 大数据学习路线图.png

    2020-10-24 00:26:22
    这是大数据学习路线
  • 大数据学习视频第一天
  • 大数据学习笔记.zip

    2019-08-23 09:05:32
    大数据学习笔记 包含Hadoop Hbase kafka flume
  • 大数据学习文档.zip

    2020-03-03 14:33:04
    大数据学习文档.zip
  • 大数据学习资料.zip

    2020-06-10 11:53:14
    大数据学习资源课件,来源于第三届大学生大数据竞赛培训,理论加实战,简单操作,快速入门。 内容详实,例子鲜明,还有具体指令操作,便于大数据入门。
  • 大数据学习路线知识图谱,hadoop、spark、流式计算学习
  • 大数据学习路径思维导图
  • 大数据-大数据学习过程

    千次阅读 多人点赞 2018-09-13 11:03:50
    本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的... 三、大数据学习规划 四、持续学习资源推荐(书籍,博客,网站) 五、项目案例分析(批处理+实时处理) 前言 一、背景介绍 本人目前是一名大数...

    本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。


    前言:

    • 一、背景介绍
    • 二、大数据介绍

    正文:

    • 一、大数据相关的工作介绍
    • 二、大数据工程师的技能要求
    • 三、大数据学习规划
    • 四、持续学习资源推荐(书籍,博客,网站)
    • 五、项目案例分析(批处理+实时处理)

    前言

    一、背景介绍

    本人目前是一名大数据工程师,项目数据50T,日均数据增长20G左右,个人是从Java后端开发,经过3个月的业余自学成功转型大数据工程师。

    二、大数据介绍

    大数据本质也是数据,但是又有了新的特征,包括数据来源广数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。

    针对以上主要的4个特征我们需要考虑以下问题:

    1. 数据来源广,该如何采集汇总?,对应出现了Sqoop,Cammel,Datax等工具。

    2. 数据采集之后,该如何存储?,对应出现了GFS,HDFS&

    展开全文
  • 大数据学习路线图

    2017-10-09 18:18:02
    大数据学习路线图权威指导,立马收藏吧,一图就够了,
  • 大数据学习心得

    万次阅读 多人点赞 2017-03-01 22:52:20
    大数据学习心得一、 概述1大数据简介 1.1起源 “大数据“,近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右,但对大数据分析却早就有之。早在互联网初期,就有很多公司通过计算机技术对大量的分析...
  • 大数据学习路线,0基础小白怎么学习大数据?

    千次阅读 多人点赞 2019-04-07 22:08:01
    大数据的领域非常广泛,往往使...推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的)...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 338,139
精华内容 135,255
关键字:

大数据学习