知识体系结构

1. 大数据技术原理与应用
2. Spark编程基础(Python版)
3.
4.
5.
6.移动端
7.javaweb
8.运维
9.java数据结构与算法
0.c++

职业要求：

能进行大数据Hadoop、Yarn、Spark、Hive、HBase、Kafka、Zookeeper、Flume、AI平台等组件的研发、交付及解决方案支撑
能探索云服务化实现的前沿技术，并负责云大数据服务的架构设计、开发、测试及运维
精通JAVA软件开发，有软件开发项目经验，并至少熟练掌握以下语言中的一种：C/C++/GO/Python/PHP/Python/Shell等编程语言及脚本语言；
熟悉大数据相关开源软件，有应用大数据组件的解决问题的实战经验，有开源社区代码贡献
可以对单点算法性能做出极致优化，或具备全局视野，能从E2E考虑算法应用竞争力体现；
能解决移动终端设备人工智能、大数据挖掘算法和解决方案的研究、设计、验证和交付
能对传感器在专业运动健康、生物识别、情景感知等技术做出优秀的用户体验
具备人工智能AI算法、大数据算法、数据结构算法设计和开发能力
具备前沿人工智能技术跟踪和业界趋势的跟踪和算法应用能力
至少掌握一种数据挖掘工具和深度模型训练工具,如Tensorflow,caffe,matlab
创新、攻坚、合作、沟通

一 大数据技术原理与应用

大数据概述
大数据处理架构Hadoop
分布式文件系统HDFS
分布式数据库HBase
NoSQL数据库
云数据库
MapReduce
基于Hadoop的数据仓库Hive
Hadoop架构再探讨
Spark
流计算
图计算
大数据在不同领域的应用
666
666

二 Spark编程基础(Python版)

大数据技术概述
Spark的设计与运行原理
Spark环境搭建和使用方法
RDD编程基础
Spark SQL
Spark Streaming
Structured Streaming
Spark MLlib

在大数据的发展当中，对相关专业人才的需求是在持续增长的，包括大数据开发、数据分析挖掘等不同的数据处理环节，都形成了相应的岗位体系，大家各自负责不同的环节，共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业，了解大数据开发有哪些岗位？



首先，大数据开发通常指的是基于大数据产业链的一系列开发任务，涉及到大数据平台开发、大数据应用开发等，另外还包括数据采集产品的开发、数据整理产品的开发等等，如果向上延伸的话，部分大数据开发任务与人工智能开发任务也具有密切的联系。

大数据开发分两个层次：

大数据开发通常有两层含义，一层是进行大数据平台自身的开发，这属于研发级开发任务，通常称作大数据平台开发。

比如说大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品，包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等，开发和维护这些产品往往需要一个庞大的技术团队。

所以平台开发，通常是要行业当中颇具实力的头部企业去做。像Hadoop生态下的各种技术框架组件，托管在Apache旗下开源，除了最初的研发团队，也会有很多的Contributor在出力维护。

通常来说，从事大数据平台开发的程序员往往需要具备丰富的开发经验，同时具备较强的研发能力，能够搭建出一个稳定的分布式计算体系。



大数据开发的另一层含义是在大数据平台下进行大数据应用开发，比如在Hadoop、Spark平台下进行具体的大数据应用开发，应用级开发难度要相对小一些，但是往往需要与具体的场景进行紧密的联系，需要开发者具备一定的行业背景知识。

具体来说，大数据应用开发主要的任务有两个，其一是进行已有软件产品的大数据改造；其二是针对于具体的大数据需求进行全新的大数据应用开发。在企业当中，大数据落地应用的初期，大数据改造的开发任务会相对多一些，而随着需求的不断变化，新的大数据开发任务会逐渐增加。

目前行业当中常说的大数据开发，其实更多是指数据研发偏ETL方向；大数据平台开发，则是指开发各种简化数据任务编程的平台，国内常见的有阿里的Dataworks、网易的猛犸等。

事实上，在企业招聘当中，大数据开发的岗位Title还有更多，具体命名不同，在企业当中所规划出来的岗位职责也不同，作为技术开发者，需要结合岗位技能需求来不断提升自己的技术水平实力。

继续介绍大数据系列岗位的要求，今天是“最热门”的岗位大数据开发工程师，之所以说热门主要是基于2个原因，一是因为很多应届生或者想转入大数据行业的同学，都是期望从事“大数据开发”这一定位不是很清晰的岗位；二是因为至少有3个岗位可以称为“大数据开发”，所以这里的“最热门”需要详细分析。老套路先从几个大厂的岗位要求说起。
今日头条
1、本科以上学历，软件工程/计算机/通信/数学等相关专业；
2、熟悉Hive SQL语言，熟悉shell, python等至少一种脚本语言；
3、有hadoop、spark、flink等至少一种大数据平台的使用经验；
4、理解能力强，善于沟通，有责任心和团队精神；
5、有数据仓库建设、商业数据分析、增长项目经验者优先。
有赞
1、java/scala至少熟练使用一种
2、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
3、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink, 对hadoop生态其他组件有一定了解，比如 HBase， hadoop, Hive, Druid等
4、有大规模集群应用开发经验优先
5、有BAT工作经验优先
6、具备良好工作习惯和团队协作精神
华为
1、计算机或相关专业本科及以上学历，对数据处理、数据建模、数据分析等有深刻认识和实战经验；
2、熟悉Hadoop/Spark/Hive/HBase等大数据工具，主导过大型数据平台建设者优先；
3、精通SQL，熟悉常用的关系型数据库、非关系性数据库和数据仓库，具有SQL性能优化经验；
4、了解微服务开发理念、实现技术，熟悉常见设计模式，熟练掌握SSH开发框架，熟练进行Java、Python代码编写，熟悉多线程编程；
5、思维敏捷，对新技术敏感，有较强的钻研学习能力；
蚂蚁金服
1、三年以上工作经验，有大型互联网行业从业经验
2、有Hadoop/Hive/Spark/Storm/Zookeeper 等相关开发经验或从事分布式相关系统的开发工作
3、熟悉Linux/Unix系统和丰富的Java开发经验
4、具有强烈的责任心，求知欲望强
小影
1、本科及以上学历，计算机相关专业
2、3年以上企业级数据仓库开发经验
3、熟悉数据仓库理论，具备复杂业务需求梳理能力
4、熟练SQL开发，精通Mysql等关系型数据库中的一种或几种
5、熟练掌握Hadoop及Map-Reduce应用开发，熟练掌握HBase、Hive、Storm、spark等大数据开发工具中一种或几种
6、熟悉Linux系统，具备shell、python等脚本开发能力者优先
7、学习能力强，喜欢研究开源新技术，有团队观念，具备独立解决问题的能力
能力三核模型分析
大数据开发工程师.png
综合结果如下
知识
1、本科及以上学历(3)
2、计算机相关专业(4)
硬技能
1、熟练掌握hadoop、Hbase、Hive、Storm、Spark Streaming、flink等大数据开发工具中一种或几种(5)
2、熟悉shell、python、scala、java等至少一种开发语言(5)
3、熟悉linux/unix系统(2)
4、有数据仓库建设、数据处理、数据建模、数据分析相关经验(2)
5、精通sql，熟悉常用的关系型数据库和非关系型数据库(1)
才干or 软技能
1、良好的团队精神(3)
2、较强的学习能力和欲望(3)
3、强烈的责任心(2)
4、独立解决问题能力(1)
分析
从上面硬技能来看，同时具备1，2，3项不是很难，这个都是程序开发的范畴，但是要和4，5两个条件同时具备这个就非常难了，这是明显的两个职位。所以需要先看一下工作职责和内容
岗位职责
1、负责数据仓库建设、ETL开发、数据分析(3)
2、负责数据指标统计(2)
3、负责大数据实时计算平台及业务开发(1)
4、负责大数据平台建设及维护(2)
通过上面4项总结后的岗位职责可以看出，1、2两项职责是针对数据仓库岗位要求，也就是前面系列文章大数据岗位要求之数据仓库所介绍内容；第3项岗位职责主要是对应第一项hadoop生态体系硬技能要求的，主要是在实时计算及二次开发方面；第4项岗位要求是大数据平台工具的开发，一般包括开发平台、调度系统、元数据平台等工具，主要对应java等语言开发能力要求。
个人经验
通过上述分析可以知道数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发，其实这是3个岗位，各自要求也不尽相同。希望对应届生同学或者想转入大数据行业的同学有所帮助。
延伸一下hadoop生态体系太庞大了，包括但不限于hdfs、hive、hbase、storm、spark、flink、kafka、flume等，所以作为一个优秀的大数据开发，尤其是大数据运维同学的学习能力的要求是非常高的。在非大数据同学看来这些都是大数据同学应该掌握的，并且在一般公司招聘时也不会每个系统招一个人，也都是综合要求，这样大神或者架构师市面上还是有的，只是太少了，所以大数据开发的薪酬待遇高也是有道理的。

大数据开发近几年越来越火，很多小伙伴都想要从事大数据开发行业。但是零基础怎么学习大数据开发，零基础学习大数据能学会吗?这是很多想要零基础学习大数据开发都想要知道的问题。

零基础怎样学习大数据开发：

1、了解大数据理论：

在学习大数据钱首先要了解什么是大数据，大数据应用于什么领域，大数据以后可以从事的岗位，对大数据有个大概的了解，才能清楚的认识到自己是否对大数据感兴趣，尤其是是零基础学习大数据，兴趣至关重要，如果对于大数据一无所知就开始学习，有可能发现自己其实并不喜欢，没有缜密的学习计划，很可能浪费很多的时间和精力，甚至还可能造成金钱的浪费，所以零基础学习大数据需要提前对大数据有一定的了解和认识。

2、计算机编程语言的学习：

对于零基础学习大数据并不简单，因为大数据的学习需要一定的编程语言基础，对于编程语言大家应该比较清晰和了解，比如：Java、C++、R、net等等。目前大数据培训机构都会教Java编程语言，Java编程语言也是学习大数据的基础。Java基础相对来比较简单，如果你学过C语言你会发现C语言和Java很像，因为Java中很多基本语法和C++一样，比如：常用的循环语句、控制语句等课C++几乎一样，其中Java和C++是两种完全不同的语言，Java只需理解一些基本的概念，就可以用他编写出适合于各种情况的应用程序。Java略去了运算符重载、多重继承等模糊的概念，C++中许多容易混淆的概念，有的被Java弃之不用了，或者以一种更清楚更容易理解的方式实现，因此Java 语言相对是简单的。

在学习Java的时候，我们一般需要学习这些课程: HTML&CSS&JS，java 的基础，JDBC与数据库，JSP java web技术，jQuery 与AJAX技术，SpringMVC、 Mybatis、 Hibernate等等。这些课程都能帮助我们更好了解Java,学会运用Java。

3.大数据相关课程的学习：

学完了编程语言之后，一般就可以进行大数据部分的课程学习了。大数据课程，包括大数据技术入门，海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分，Linux、Hadoop、Scala、HBase、Hive、 Spar等等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。

学习大数据开发，最重要的一点就是坚持！坚持做笔记，坚持认真听讲，坚持不断地反复练习等等，只有不断地坚持你才能够早日学成大数据开发。

学习大数据开发，可以参考下加米谷。加米谷大数据开发开课了，感兴趣的同学赶紧来预约试听吧！