Standalone 集群模式


集群角色介绍:

Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。

Standalone集群使用了分布式计算中的master-slave模型，

master是集群中含有master进程的节点

slave是集群中的worker节点含有Executor进程


●Spark架构图如下(先了解)：

http://spark.apache.org/docs/latest/cluster-overview.html



集群规划 :

node001:master

node002:slave/worker  

node003:slave/worker 

修改配置并分发


●修改Spark配置文件

cd /export/servers/spark/conf

mv spark-env.sh.template spark-env.sh

vim  spark-env.sh


			
#配置java环境变量

			
export JAVA_HOME=/export/servers/jdk1.8

			
 

			
#指定spark Master的IP

			
export SPARK_MASTER_HOST=node01

			
 

			
#指定spark Master的端口

			
export SPARK_MASTER_PORT=7077
			
		


cp slaves.template  slaves

vim  slaves 


			
node002

			
node003
			
		


●配置spark环境变量 (建议不添加，避免和Hadoop的命令冲突)     ! 不推荐添加 ！ 

将spark添加到环境变量,添加以下内容到 /etc/profile


			
export SPARK_HOME=/export/servers/spark

			
export PATH=$PATH:$SPARK_HOME/bin
			
		
注意:

hadoop/sbin 的目录和 spark/sbin 可能会有命令冲突：

start-all.sh stop-all.sh

解决方案：

1.把其中一个框架的 sbin 从环境变量中去掉；

2.改名 hadoop/sbin/start-all.sh 改为: start-all-hadoop.sh


 


●通过scp 命令将配置文件分发到其他机器上

scp -r spark-2.2.0-bin-2.6.0-cdh5.14.0/  node002:$PWD

scp -r spark-2.2.0-bin-2.6.0-cdh5.14.0/  node003:$PWD

scp -r /export/servers/spark node002:$PWD

scp -r /export/servers/spark node003:$/PWD




启动 or  停止​​​​


●集群启动和停止

在主节点上启动spark集群

/export/servers/spark/sbin/start-all.sh 



在主节点上停止spark集群

/export/servers/spark/sbin/stop-all.sh



●单独启动和停止      (一般 不用)

在 master 安装节点上启动和停止 master：

start-master.sh

stop-master.sh

在 Master 所在节点上启动和停止worker(work指的是slaves 配置文件中的主机名)

start-slaves.sh

stop-slaves.sh



查看web界面 ：

正常启动spark集群后，查看spark的web界面，查看相关信息。

http://node001:8080/




​​​​​​​

Standalone Dedicated Server

https://unreal.gg-labs.com/wiki-archives/networking/standalone-dedicated-server

 

Standalone Dedicated Server

  
Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。
1.Standalone-client提交任务方式
提交命令
./spark-submit --master  spark://node01:7077 --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.
0-hadoop2.6.0.jar 100
./spark-submit --master  spark://node01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi  ../li
b/spark-examples-1.6.0-hadoop2.6.0.jar 100
1
2
3
4

  
解释：–class org.apache.spark.examples.SparkPi         main函数

../lib/spark-examples-1.6.0-hadoop2.6.0.jar    jar包    100     main函数需要参数
1
执行原理图解 

 
执行流程

1.client模式提交任务后，会在客户端启动Driver进程。  
2.Driver会向Master申请启动Application启动的资源。
3.资源申请成功，Driver端将task发送到worker端执行。
4.worker将task执行结果返回到Driver端。

总结 

 - 1.client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要提交100个application到集群运行，Driver每次都会在client端启动，那么就会导致客户端100次网卡流量暴增的问题。（因为要监控task的运行情况，会占用很多端口，如上图的结果图）客户端网卡通信，都被task监控信息占用。

2.Client端作用  

Driver负责应用程序资源的申请 

任务的分发。 

结果的回收。 

监控task执行情况。 

2.Standalone-cluster提交任务方式
提交命令
./spark-submit  --master spark://node01:7077  --deploy-mode cluster --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar  100
1
 

执行原理图解 


执行流程 

- 1.cluster模式提交应用程序后，会向Master请求启动Driver.(而不是启动application) 

- 2.Master接受请求，随机在集群一台节点启动Driver进程。 

- 3.Driver启动后为当前的应用程序申请资源。Master返回资源，并在对应的worker节点上发送消息启动Worker中的executor进程。 

- 4.Driver端发送task到worker节点上执行。 

- 5.worker将执行情况和执行结果返回给Driver端。Driver监控task任务，并回收结果。
总结 

- 1.当在客户端提交多个application时，Driver会在Woker节点上随机启动，这种模式会将单节点的网卡流量激增问题分散到集群中。在客户端看不到task执行情况和结果。要去webui中看。 

- 2.cluster模式适用于生产环境 

- 3.Master模式先启动Driver，再启动Application。