作者：Fickr孫啟誠

原文： 三个月大数据研发学习计划实战解析

关注微信公众号：「GitChat 技术杂谈」 一本正经的讲技术

【不要错过文末彩蛋】
申明：
本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。
前言：
一、背景介绍
二、大数据介绍
正文：
一、大数据相关的工作介绍
二、大数据工程师的技能要求
三、大数据学习规划
四、持续学习资源推荐（书籍，博客，网站）
五、项目案例分析（批处理+实时处理）
###前言
####一、背景介绍
本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。
####二、大数据介绍
大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。
针对以上主要的4个特征我们需要考虑以下问题：

数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。


数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。


由于数据增长速度快，数据存储就必须可以水平扩展。


数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；
普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；
但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。


为了提高工作效率，加快运速度，出现了一些辅助工具：

Ozzie，azkaban：定时任务调度的工具。
Hue，Zepplin：图形化任务执行管理，结果查看工具。
Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
Python语言：编写一些脚本时会用到。
Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。
以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。
###正文
####一、大数据相关工作介绍
大数据方向的工作目前主要分为三个主要方向:
大数据工程师
数据分析师
大数据科学家
其他（数据挖掘等）
####二、大数据工程师的技能要求
附上大数据工程师技能图：

必须掌握的技能11条
Java高级(虚拟机、并发)
Linux 基本操作
Hadoop（HDFS+MapReduce+Yarn ）
HBase（JavaAPI操作+Phoenix ）
Hive(Hql基本操作和原理理解）
Kafka
Storm/JStorm
Scala
Python
Spark (Core+sparksql+Spark streaming ）
辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条
机器学习算法以及mahout库加MLlib
R语言
Lambda 架构
Kappa架构
Kylin
Alluxio
####三、学习路径
假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；
3个月会有（213+42*10）*3=423小时的学习时间。
第一阶段（基础阶段）
1）Linux学习（跟鸟哥学就ok了）-----20小时
Linux操作系统介绍与安装。
Linux常用命令。
Linux常用软件安装。
Linux网络。
防火墙。
Shell编程等。
官网：https://www.centos.org/download/

中文社区：http://www.linuxidc.com/Linux/2017-09/146919.htm
2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时
掌握多线程。
掌握并发包下的队列。
了解JMS。
掌握JVM技术。
掌握反射和动态代理。
官网：https://www.java.com/zh_CN/

中文社区：http://www.java-cn.com/index.html
3）Zookeeper学习（可以参照这篇博客进行学习：http://www.cnblogs.com/wuxl360/p/5817471.html）
Zookeeper分布式协调服务介绍。
Zookeeper集群的安装部署。
Zookeeper数据结构、命令。
Zookeeper的原理以及选举机制。
官网：http://zookeeper.apache.org/

中文社区：http://www.aboutyun.com/forum-149-1.html
第二阶段（攻坚阶段）
4）Hadoop （《Hadoop 权威指南》）—80小时
HDFS
HDFS的概念和特性。
HDFS的shell操作。
HDFS的工作机制。
HDFS的Java应用开发。

MapReduce
运行WordCount示例程序。
了解MapReduce内部的运行机制。
MapReduce程序运行流程解析。
MapTask并发数的决定机制。
MapReduce中的combiner组件应用。
MapReduce中的序列化框架及应用。
MapReduce中的排序。
MapReduce中的自定义分区实现。
MapReduce的shuffle机制。
MapReduce利用数据压缩进行优化。
MapReduce程序与YARN之间的关系。
MapReduce参数优化。



MapReduce的Java应用开发

官网：http://hadoop.apache.org/

中文文档：http://hadoop.apache.org/docs/r1.0.4/cn/

中文社区：http://www.aboutyun.com/forum-143-1.html
5）Hive（《Hive开发指南》）–20小时

Hive 基本概念
Hive 应用场景。
Hive 与hadoop的关系。
Hive 与传统数据库对比。
Hive 的数据存储机制。


Hive 基本操作
Hive 中的DDL操作。
在Hive 中如何实现高效的JOIN查询。
Hive 的内置函数应用。
Hive shell的高级使用方式。
Hive 常用参数配置。
Hive 自定义函数和Transform的使用技巧。
Hive UDF/UDAF开发实例。


Hive 执行过程分析及优化策略

官网：https://hive.apache.org/

中文入门文档：http://www.aboutyun.com/thread-11873-1-1.html

中文社区：http://www.aboutyun.com/thread-7598-1-1.html
6）HBase（《HBase权威指南》）—20小时
hbase简介。
habse安装。
hbase数据模型。
hbase命令。
hbase开发。
hbase原理。
官网：http://hbase.apache.org/

中文文档：http://abloz.com/hbase/book.html

中文社区：http://www.aboutyun.com/forum-142-1.html
7）Scala（《快学Scala》）–20小时
Scala概述。
Scala编译器安装。
Scala基础。
数组、映射、元组、集合。
类、对象、继承、特质。
模式匹配和样例类。
了解Scala Actor并发编程。
理解Akka。
理解Scala高阶函数。
理解Scala隐式转换。
官网：http://www.scala-lang.org/

初级中文教程：http://www.runoob.com/scala/scala-tutorial.html
8）Spark （《Spark 权威指南》）—60小时


Spark core
Spark概述。
Spark集群安装。
执行第一个Spark案例程序（求PI）。


RDD


RDD概述。
创建RDD。
RDD编程API（Transformation 和 Action Operations）。
RDD的依赖关系
RDD的缓存
DAG（有向无环图）
Spark SQL and DataFrame/DataSet

- Spark SQL概述。
- DataFrames。
- DataFrame常用操作。
- 编写Spark SQL查询程序。

Spark Streaming


park Streaming概述。
理解DStream。
DStream相关操作（Transformations 和 Output Operations）。

Structured Streaming


其他（MLlib and GraphX ）

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。
官网：http://spark.apache.org

中文文档（但是版本有点老）：https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details

中文社区：http://www.aboutyun.com/forum-146-1.html
9）Python (推荐廖雪峰的博客—30小时
10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo —30小时
可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）
集群搭建文档1.0版本
1. 集群规划

所有需要用到的软件：
链接：http://pan.baidu.com/s/1jIlAz2Y

密码：kyxl
2. 前期准备
2.0 系统安装

2.1 主机名配置

	2.1.0 vi /etc/sysconfig/network
		NETWORKING=yes

	2.1.1 vi /etc/sysconfig/network
		NETWORKING=yes
		HOSTNAME=ys02
		
	2.1.2 vi /etc/sysconfig/network
		NETWORKING=yes

	2.1.3 vi /etc/sysconfig/network
		NETWORKING=yes
		HOSTNAME=ys04
		
2.2 host文件修改
	2.2.0 vi /etc/hosts
		10.1.1.149 ys01
		10.1.1.148 ys02
		10.1.1.146 ys03
		10.1.1.145 ys04
2.3 关闭防火墙(centos 7默认使用的是firewall，centos 6 默认是iptables)

	2.3.0 systemctl stop firewalld.service （停止firewall）

	2.3.1 systemctl disable firewalld.service （禁止firewall开机启动）

	2.3.2 firewall-cmd --state （查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

2.4 免密登录(ys01 ->ys02,03,04)
    ssh-keygen -t rsa
	ssh-copy-id ys02(随后输入密码)
    ssh-copy-id ys03（随后输入密码）
	ssh-copy-id ys04（随后输入密码）
	ssh ys02(测试是否成功)
	ssh ys03(测试是否成功)
	ssh ys04(测试是否成功)
	
2.5 系统时区与时间同步
	tzselect（生成日期文件）
	cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime（将日期文件copy到本地时间中）

3. 软件安装
3.0 安装目录规划（软件为所有用户公用）
	
	3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft)

	3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app)

 3.1 JDK（jdk1.7）安装
	
	3.1.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

	3.1.2解压jdk
      cd /usr/local/ys/soft
		#解压
		tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app
	
	3.1.3将java添加到环境变量中
	vim /etc/profile
	#在文件最后添加
	export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
	export PATH=$PATH:$JAVA_HOME/bin
	
	3.1.4 刷新配置
	source /etc/profile
	
3.2 Zookeeper安装
	
	3.2.0解压
	tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app（解压）

	3.2.1 重命名
	mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）

	3.2.2修改环境变量
	vi /etc/profile(修改文件)
	添加内容：
	export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
	export PATH=$PATH:$ZOOKEEPER_HOME/bin

	3.2.3 重新编译文件：
	source /etc/profile
	注意：3台zookeeper都需要修改

	3.2.4修改配置文件
	cd zookeeper/conf
	cp zoo_sample.cfg zoo.cfg
	vi zoo.cfg
	添加内容：
	dataDir=/usr/local/ys/app/zookeeper/data
	dataLogDir=/usr/local/ys/app/zookeeper/log
	server.1=ys01:2888:3888 (主机名, 心跳端口、数据端口)
	server.2=ys02:2888:3888
	server.3=ys04:2888:3888

	3.2.5 创建文件夹
	cd /usr/local/ys/app/zookeeper/
	mkdir -m 755 data
	mkdir -m 755 log

	3.2.6 在data文件夹下新建myid文件，myid的文件内容为：
	cd data
	vi myid
	添加内容：
		1
	将集群下发到其他机器上
	scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
	scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/

    3.2.7修改其他机器的配置文件
	到ys02上：修改myid为：2
	到ys02上：修改myid为：3

    3.2.8启动（每台机器）
	zkServer.sh start
	查看集群状态
	jps（查看进程）
	zkServer.sh status（查看集群状态，主从信息）

3.3 Hadoop（HDFS+Yarn）

	3.3.0 alt+p 后出现sftp窗口，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

	3.3.1 解压jdk
      cd /usr/local/ys/soft
		#解压
		tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app

	3.3.2 修改配置文件

core-site.xml


hdfs-site.xml






yarn-sifite.xml


svales

ys02
ys03
ys04

3.3.3集群启动（严格按照下面的步骤）
	3.3.3.1启动zookeeper集群（分别在ys01、ys02、ys04上启动zk）
		cd /usr/local/ys/app/zookeeper-3.4.5/bin/
		./zkServer.sh start
		#查看状态：一个leader，两个follower
		./zkServer.sh status
	
	3.3.3.2启动journalnode（分别在在mini5、mini6、mini7上执行）
		cd /usr/local/ys/app/hadoop-2.6.4
		sbin/hadoop-daemon.sh start journalnode
		#运行jps命令检验，ys02、ys03、ys04上多了JournalNode进程
	
	3.3.3.3格式化HDFS
		#在ys01上执行命令:
		hdfs namenode -format
		#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
		scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
		##也可以这样，建议hdfs namenode -bootstrapStandby
	
	3.3.3.4格式化ZKFC(在ys01上执行一次即可)
		hdfs zkfc -formatZK
	
	3.3.3.5启动HDFS(在ys01上执行)
		sbin/start-dfs.sh
	
	3.3.3.6启动YARN
		sbin/start-yarn.sh

3.3MySQL-5.6安装
	略过
	
3.4 Hive

	3.4.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下

	3.4.2解压
	cd /usr/local/ys/soft
tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app

	3.4.3 .配置hive
		
		3.4.3.1配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home

		3.4.3.2配置元数据库信息   vi  hive-site.xml 

添加如下内容：


	3.4.4 安装hive和mysq完成后，将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
	如果出现没有权限的问题，在mysql授权(在安装mysql的机器上执行)
	mysql -uroot -p
	#(执行下面的语句  *.*:所有库下的所有表   %：任何IP地址或主机都可以连接)
	GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
	FLUSH PRIVILEGES;

	3.4.5 Jline包版本不一致的问题，需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

	3.4.6启动hive
    bin/hive

3.5 Kafka
	3.5.1 下载安装包
	http://kafka.apache.org/downloads.html
	在linux中使用wget命令下载安装包
	wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
	
  3.5.2 解压安装包
	tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka

  3.5.3 修改配置文件
	cp 
	/usr/local/ys/app/kafka/config/server.properties
   /usr/local/ys/app/kafka/config/server.properties.bak
	vi  /usr/local/ys/kafka/config/server.properties

输入以下内容：

	3.5.4 分发安装包
	scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
    scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
    scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
	然后分别在各机器上创建软连
	cd /usr/local/ys/app/
	ln -s kafka_2.11-0.8.2.2 kafka

 3.5.5 再次修改配置文件（重要）
   依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

 3.5.6 启动集群
	依次在各节点上启动kafka
	bin/kafka-server-start.sh  config/server.properties

3.6 Spark

	3.6.1 alt+p 后出现sftp窗口，cd /usr/local/ys/soft，使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
	
	3.6.2  解压安装包
tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/

	3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves)
	cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
	进入conf目录并重命名并修改spark-env.sh.template文件
	cd conf/
	mv spark-env.sh.template spark-env.sh
	vi spark-env.sh
	在该配置文件中添加如下配置
	export JAVA_HOME=/usr/java/jdk1.7.0_45
	export SPARK_MASTER_PORT=7077
	export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
	保存退出
	重命名并修改slaves.template文件
	mv slaves.template slaves
	vi slaves
	在该文件中添加子节点所在的位置（Worker节点）
	Ys02
	Ys03
	Ys04
	保存退出
	
    3.6.4 将配置好的Spark拷贝到其他节点上
	scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
	scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
	scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app

	3.6.5 集群启动
	在ys01上执行sbin/start-all.sh脚本
	然后在ys02上执行sbin/start-master.sh启动第二个Master

3.7 Azkaban

	3.7.1 azkaban web服务器安装
		解压azkaban-web-server-2.5.0.tar.gz
		命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
       将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver
     命令: mv azkaban-web-server-2.5.0 ../azkaban
       cd ../azkaban
        mv azkaban-web-server-2.5.0   webserver
  
     3.7.2 azkaban 执行服器安装
         解压azkaban-executor-server-2.5.0.tar.gz
         命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
     将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor
   命令:mv azkaban-executor-server-2.5.0  ../azkaban
   cd ../azkaban
   mv azkaban-executor-server-2.5.0  executor

	3.7.3 azkaban脚本导入
		解压: azkaban-sql-script-2.5.0.tar.gz
		命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
		将解压后的mysql 脚本,导入到mysql中:
		进入mysql
		mysql> create database azkaban;
		mysql> use azkaban;
		Database changed
		mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;

	3.7.4 创建SSL配置
	参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
	命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
	运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为：123456)
	输入keystore密码： 
	再次输入新密码:
	您的名字与姓氏是什么？
	[Unknown]： 
	您的组织单位名称是什么？
	[Unknown]： 
	您的组织名称是什么？
	[Unknown]： 
	您所在的城市或区域名称是什么？
	[Unknown]： 
	您所在的州或省份名称是什么？
	[Unknown]： 
	该单位的两字母国家代码是什么
	 [Unknown]：  CN
	CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
	[否]：  y
输入<jetty>的主密码（如果和 keystore 密码相同，按回车）： 
再次输入新密码
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

	3.7.5 配置文件
	注：先配置好服务器节点上的时区
	先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
	拷贝该时区文件，覆盖系统本地时区配置
	cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  

	3.7.6 azkaban web服务器配置
	进入azkaban web服务器安装目录 conf目录
	修改azkaban.properties文件
	命令vi azkaban.properties

内容说明如下：
*Azkaban Personalization Settings
azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban                               #描述
azkaban.color=#FF3601                                                 #UI颜色
azkaban.default.servlet.path=/index                         #
web.resource.dir=web/                                                 #默认根web目录
default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海 默认为美国
 
*Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文
 
*Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #
 
database.type=mysql                                                              #数据库类型
mysql.port=3306                                                                       #端口号
mysql.host=localhost                                                      #数据库连接IP
mysql.database=azkaban                                                       #数据库实例名
mysql.user=root                                                                 #数据库用户名
mysql.password=Root123456                                                        #数据库密码
mysql.numconnections=100                                                  #最大连接数
 
* Velocity dev mode
velocity.dev.mode=false
* Jetty服务器属性.
jetty.maxThreads=25                                                               #最大线程数
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密码
jetty.keypassword=123456                                                      #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密码
 
* 执行服务器属性
executor.port=12321                                                               #执行服务器端
 
*邮件设置
mail.sender=xxxxxxxx@163.com                                       #发送邮箱
mail.host=smtp.163.com                                                       #发送邮箱smtp地址
mail.user=xxxxxxxx                                       #发送邮件时显示的名称
mail.password=**********                                                 #邮箱密码
job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #缓存目录

		 3.7.7azkaban 执行服务器executor配置
		 进入执行服务器安装目录conf,修改azkaban.properties
		 vi azkaban.properties
*Azkaban
default.timezone.id=Asia/Shanghai                                              #时区
 
* Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置
 
*Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
 
*数据库设置
database.type=mysql                                                                       #数据库类型(目前只支持mysql)
mysql.port=3306                                                                                #数据库端口号
mysql.host=192.168.20.200                                                           #数据库IP地址
mysql.database=azkaban                                                                #数据库实例名
mysql.user=root                                                                       #数据库用户名
mysql.password=Root23456                                #数据库密码
mysql.numconnections=100                                                           #最大连接数
 
*执行服务器配置
executor.maxThreads=50                                                                #最大线程数
executor.port=12321                                                               #端口号(如修改,请与web服务中一致)
executor.flow.threads=30                                                                #线程数

	3.7.8用户配置
	进入azkaban web服务器conf目录,修改azkaban-users.xml
	vi azkaban-users.xml 增加 管理员用户


	3.7.9 web服务器启动
	在azkaban web服务器目录下执行启动命令
	bin/azkaban-web-start.sh
	注:在web服务器根目录运行
	或者启动到后台
	nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &

	3.7.10执行服务器启动

	在执行服务器目录下执行启动命令
	bin/azkaban-executor-start.sh
	注:只能要执行服务器根目录运行

	启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login

3.8 Zeppelin
参照如下文件：
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962

3.9 HBase
	3.9.1解压
	tar –zxvf  /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz  -C /usr/local/ys/app

	3.9.2重命名
	cd  /usr/local/ys/app
    mv hbase-0.99.2 hbase

	3.9.3修改配置文件
     每个文件的解释如下：
	hbase-env.sh
	export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80   //jdk安装目录
	export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop  //hadoop配置文件的位置
	export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false（此处使用自己的zookeeper）

hbase-site.xml



Regionservers    //是从机器的域名
Ys02
ys03
ys04

注：此处HBase配置是针对HA模式的hdfs

	3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中
	cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
	cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf

	3.9.5发放到其他机器
	scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
	scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
	scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app

	3.9.6启动
	cd  /usr/local/ys/app/hbase/bin
    ./ start-hbase.sh

	3.9.7查看
	进程：jps
	进入hbase的shell：hbase shell
	退出hbase的shell：quit
	页面：http://master:60010/ 

3.10KAfkaOffsetMonitor(Kafka集群的监控程序，本质就是一个jar包)

	3.10.1上传jar包
	略

3.10.2 运行jar包
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

4. 集群调优
4.1 辅助工具尽量不安装到数据或者运算节点，避免占用过多计算或内存资源。

4.2 dataNode和spark的slave节点尽量在一起；这样运算的时候就可以避免通过网络拉取数据，加快运算速度。

4.3 Hadoop集群机架感知配置，配置之后可以使得数据在同机架的不同机器2份，然后其他机架机器1份，可是两台机器四台虚机没有必要配感知个人感觉。

4.4 配置参数调优
可以参考http://blog.csdn.net/chndata/article/details/46003399

第三阶段（辅助工具工学习阶段）
11）Sqoop（CSDN，51CTO ，以及官网）—20小时

数据导出概念介绍
Sqoop基础知识
Sqoop原理及配置说明
Sqoop数据导入实战
Sqoop数据导出实战、
Sqoop批量作业操作
推荐学习博客：http://student-lp.iteye.com/blog/2157983

官网：http://sqoop.apache.org/
12）Flume（CSDN，51CTO ，以及官网）—20小时

FLUME日志采集框架介绍。
FLUME工作机制。
FLUME核心组件。
FLUME参数配置说明。
FLUME采集nginx日志案例（案例一定要实践一下）
推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html

官网：http://flume.apache.org
13）Oozie（CSDN，51CTO ，以及官网）–20小时

任务调度系统概念介绍。
常用任务调度工具比较。
Oozie介绍。
Oozie核心概念。
Oozie的配置说明。
Oozie实现mapreduce/hive等任务调度实战案例。
推荐学习博客：http://www.infoq.com/cn/articles/introductionOozie

官网：http://oozie.apache.org/
14）Hue（CSDN，51CTO ，以及官网）–20小时
推荐学习博客：http://ju.outofmemory.cn/entry/105162

官网：http://gethue.com/
第四阶段（不断学习阶段）
每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。
备注
1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。
2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。
3）快速学习的能力**、解决问题的能力、沟通能力真的很重要。
4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。
5）视频课程推荐：
可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。
####四、持续学习资源推荐
Apache 官网（http://apache.org/）
Stackoverflow（https://stackoverflow.com/）
Github(https://github.com/)
Cloudra官网(https://www.cloudera.com/)
Databrick官网(https://databricks.com/)
About 云 ：http://www.aboutyun.com/
CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）
至于书籍当当一搜会有很多，其实内容都差不多。
####五、项目案例分析
1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）----批处理
http://blog.csdn.net/u014033218/article/details/76847263
2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）—实时处理

http://download.csdn.net/download/csdndataid_123/8079233
最后但却很重要一点:每天都会有新的技术出现，要多关注技术动向，持续学习。
以上内容不保证一年以后仍适用。
【推荐相关图书】
《数据库可靠性工程：数据库系统设计与运维指南 》
《SQL必知必会》
《大数据项目管理：从规划到实现 》
《Spark高级数据分析》
《数据科学入门》

--CSDN 大数据工程师
[url]https://edu.csdn.net/topic/bigdata110?utm_source=blogsp[/url]

大数据工程师

大数据学习路径中会学习并实践 Java、Scala、Hadoop、HBase、Mahout、Sqoop及Spark等大数据技术，本路径通过大量的动手实验，在实验数据集上实践各种大数据工具，帮助你成长为具备动手能力的大数据工程师。

随着大数据技术在企业界如火如荼的实践，企业对组建大数据团队的迫切程度也也来越高，对与大数据相关高端人才的需求也越来越紧迫，那么大数据应该学习哪些知识呢

 



 

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。

 


	
一、Hadoop

	
可以说，hadoop几乎已经是大数据代名词。无论是是否赞成，hadoop已经是大部分企业的大数据标准。得益于Hadoop生态圈，从现在来看，还没有什么技术能够动摇hadoop的地位。

	
这一块可以按照一下内容来学习：

	
1、Hadoop产生背景

	
2、Hadoop在大数据、云计算中的位置和关系

	
3、国内外Hadoop应用案例介绍

	
4、国内Hadoop的就业情况分析及课程大纲介绍

	
5、分布式系统概述

	
6、Hadoop生态圈以及各组成部分的简介

	
 

	
 

	
 
	
	

	
二、分布式文件系统HDFSHDFS全称 Hadoop Distributed File System ，它是一个高度容错性的系统，适合部署在廉价的机器上，同时能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。为了实现流式读取文件系统数据的目的，HDFS放宽了一部分POSIX约束。
	
	

	
1、分布式文件系统HDFS简介

	
2、HDFS的系统组成介绍

	
3、HDFS的组成部分详解

	
4、副本存放策略及路由规则

	
5、NameNode Federation

	
6、命令行接口

	
7、Java接口

	
8、客户端与HDFS的数据流讲解

	
9、HDFS的可用性（HA）
	
	

	
 

	
 

	
三、初级MapReduce

	
这是你成为Hadoop开发人员的基础课程。

	
MapReduce提供了以下的主要功能:

	
1)数据划分和计算任务调度:

	
2)数据/代码互定位:

	
3)系统优化:

	
4)出错检测和恢复:

	
这种编程模型主要用于大规模数据集(大于1TB)的并行运算。

	
1、如何理解map、reduce计算模型

	
2、剖析伪分布式下MapReduce作业的执行过程

	
3、Yarn模型

	
4、序列化

	
5、MapReduce的类型与格式

	
6、MapReduce开发环境搭建

	
7、MapReduce应用开发

	
8、熟悉MapReduce算法原理

	
 
	
	

	
 

	
 

	
四、高级MapReduce

	
这一块主要是高级Hadoop开发的技能，都是MapReduce为什么我要分开写呢？因为我真的不觉得谁能直接上手就把MapReduce搞得清清楚楚。

	
1、使用压缩分隔减少输入规模

	
2、利用Combiner减少中间数据

	
3、编写Partitioner优化负载均衡

	
4、如何自定义排序规则

	
5、如何自定义分组规则

	
6、MapReduce优化

	
 
	
	

	
　五、Hadoop集群与管理

	
　　这里会涉及到一些比较高级的数据库管理知识，乍看之下都是操作性的内容，但是做成容易，做好非常难。

	
　　1、Hadoop集群的搭建 2、Hadoop集群的监控 3、Hadoop集群的管理 4、集群下运行MapReduce程序
	
	

	
六、ZooKeeper基础知识

	
　　ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
	
	

	
　七、HBase基础知识

	
　　HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

	
　　与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

	
　　1、HBase定义 2、HBase与RDBMS的对比 3、数据模型 4、系统架构 5、HBase上的MapReduce 6、表的设计
	
	

	
八、HBase集群及其管理

	
　　1、集群的搭建过程 2、集群的监控 3、集群的管理
	
	

	
十、Pig基础知识

	
　　Pig是进行Hadoop计算的另一种框架，是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。

	
　　1、Pig概述 2、安装Pig 3、使用Pig完成手机流量统计业务
	
	

	
　十一、Hive

	
　　hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。

	
　　1、数据仓库基础知识 2、Hive定义 3、Hive体系结构简介 4、Hive集群 5、客户端简介 6、HiveQL定义 7、HiveQL与SQL的比较 8、数据类型 9、表与表分区概念 10、表的操作与CLI客户端 11、数据导入与CLI客户端 12、查询数据与CLI客户端 13、数据的连接与CLI客户端 14、用户自定义函数(UDF)
	
	

	
十二、Sqoop
	
	

	
　　Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

	
　　1、配置Sqoop 2、使用Sqoop把数据从MySQL导入到HDFS中 3、使用Sqoop把数据从HDFS导出到MySQL中13
	
	

	
十三、Storm
	
	

	
　　Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

	
　　1、Storm基础知识：包括Storm的基本概念和Storm应用场景，体系结构与基本原理，Storm和Hadoop的对比 2、Storm集群搭建：详细讲述Storm集群的安装和安装时常见问题 3、Storm组件介绍: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失败的重发 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm编程实战
	

申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。

前言

一、背景介绍

本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。

二、大数据介绍

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣群：数字4583+数字45782，私信管理员即可免费领取开发工具以及入门学习资料

针对以上主要的4个特征我们需要考虑以下问题：

数据来源广，该如何采集汇总？对应出现了Sqoop，Cammel，Datax等工具。

数据采集之后，该如何存储？对应出现了GFS，HDFS，TFS等分布式文件存储系统。

由于数据增长速度快，数据存储就必须可以水平扩展。

数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

为了提高工作效率，加快运速度，出现了一些辅助工具：

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Python语言：编写一些脚本时会用到。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

正文

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向：

大数据工程师

数据分析师

大数据科学家

其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：



必须掌握的技能11条

Java高级(虚拟机、并发)

Linux 基本操作

Hadoop（HDFS+MapReduce+Yarn ）

HBase（JavaAPI操作+Phoenix ）

Hive(Hql基本操作和原理理解）

Kafka

Storm/JStorm

Scala

Python

Spark (Core+sparksql+Spark streaming ）

辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

机器学习算法以及mahout库加MLlib

R语言

Lambda 架构

Kappa架构

Kylin

Alluxio

三、学习路径

假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；

3个月会有（213+4210）3=423小时的学习时间。

第一阶段（基础阶段）

1）Linux学习（跟鸟哥学就ok了）-----20小时

Linux操作系统介绍与安装。

Linux常用命令。

Linux常用软件安装。

Linux网络。

防火墙。

Shell编程等。

2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）---30小时

掌握多线程。

掌握并发包下的队列。

了解JMS。

掌握JVM技术。

掌握反射和动态代理。

 

3）Zookeeper学习

Zookeeper分布式协调服务介绍。

Zookeeper集群的安装部署。

Zookeeper数据结构、命令。

Zookeeper的原理以及选举机制。

 

第二阶段（攻坚阶段）

4）Hadoop （《Hadoop 权威指南》）---80小时

HDFS

HDFS的概念和特性。

HDFS的shell操作。

HDFS的工作机制。

HDFS的Java应用开发。

MapReduce

运行WordCount示例程序。

了解MapReduce内部的运行机制。

MapReduce程序运行流程解析。

MapTask并发数的决定机制。

MapReduce中的combiner组件应用。

MapReduce中的序列化框架及应用。

MapReduce中的排序。

MapReduce中的自定义分区实现。

MapReduce的shuffle机制。

MapReduce利用数据压缩进行优化。

MapReduce程序与YARN之间的关系。

MapReduce参数优化。

MapReduce的Java应用开发

 

5）Hive（《Hive开发指南》）--20小时

Hive 基本概念

Hive 应用场景。

Hive 与hadoop的关系。

Hive 与传统数据库对比。

Hive 的数据存储机制。

Hive 基本操作

Hive 中的DDL操作。

在Hive 中如何实现高效的JOIN查询。

Hive 的内置函数应用。

Hive shell的高级使用方式。

Hive 常用参数配置。

Hive 自定义函数和Transform的使用技巧。

Hive UDF/UDAF开发实例。

Hive 执行过程分析及优化策略

 

6）HBase（《HBase权威指南》）---20小时

hbase简介。

habse安装。

hbase数据模型。

hbase命令。

hbase开发。

hbase原理。

 

7）Scala（《快学Scala》）--20小时

Scala概述。

Scala编译器安装。

Scala基础。

数组、映射、元组、集合。

类、对象、继承、特质。

模式匹配和样例类。

了解Scala Actor并发编程。

理解Akka。

理解Scala高阶函数。

理解Scala隐式转换。

如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣群：数字4583+数字45782，私信管理员即可免费领取开发工具以及入门学习资料

8）Spark （《Spark 权威指南》）---60小时



Spark core

Spark概述。

Spark集群安装。

执行第一个Spark案例程序（求PI）。

RDD



RDD概述。

创建RDD。

RDD编程API（Transformation 和 Action Operations）。

RDD的依赖关系。

RDD的缓存。

DAG（有向无环图）。

Spark SQL and DataFrame/DataSet



Spark SQL概述。

DataFrames。

DataFrame常用操作。

编写Spark SQL查询程序。

Spark Streaming





Spark Streaming概述。

理解DStream。

DStream相关操作（Transformations 和 Output Operations）。

Structured Streaming

其他（MLlib and GraphX ）

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。