spark2对外开放的端口

2019-07-10 15:08:21 RONE321 阅读数 296

![在这里插入图片描述](https://img-blog.csdnimg.cn/20190708154030634.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JPTkUzMjE=,size_16,color

2017-11-30 21:17:39 u010476994 阅读数 9719
常见端口汇总:
Hadoop:    
    50070:HDFS WEB UI端口
    8020 : 高可用的HDFS RPC端口
    9000 : 非高可用的HDFS RPC端口
    8088 : Yarn 的WEB UI 接口
    8485 : JournalNode 的RPC端口
    8019 : ZKFC端口
Zookeeper:
    2181 : 客户端连接zookeeper的端口
    2888 : zookeeper集群内通讯使用,Leader监听此端口
    3888 : zookeeper端口 用于选举leader
Hbase:
    60010:Hbase的master的WEB UI端口
    60030:Hbase的regionServer的WEB UI 管理端口    
Hive:
    9083  :  metastore服务默认监听端口
    10000:Hive 的JDBC端口
Spark
    7077 : spark 的master与worker进行通讯的端口  standalone集群提交Application的端口
    8080 : master的WEB UI端口  资源调度
    8081 : worker的WEB UI 端口  资源调度
    4040 : Driver的WEB UI 端口  任务调度
    18080:Spark History Server的WEB UI 端口
Kafka
    9092: Kafka集群节点之间通信的RPC端口
Redis
    6379: Redis服务端口
CDH
    7180: Cloudera Manager WebUI端口
    7182: Cloudera Manager Server 与 Agent 通讯端口
HUE
    8888: Hue WebUI 端口
2017-03-11 20:27:26 wangkai_123456 阅读数 1571

准备工作

           linux系统默认情况下,防火墙软件都是开启的,几乎所有的端口都是不对外开发的,spark集群内的各个节点间的通信需要用到相关的端口,如master节点的--webui-port:8080,worker节点的--webui-port:8081,master节点与worker节点间的通信需要用6066,7077端口,因此需要在防火墙中设置相关规则,开放这些端口,现以CentOS系统为例,方法如下:

#在CentOS上永久打开一个新端口(如TCP/8080)

firewall-cmd --zone=public --add-port=8080/tcp --permanent

#重启防火墙,使上述更改生效

firewall-cmd --reload

一、配置主机名和映射

以三台机器为例来搭建机器
1、修改主机名
修改/etc/sysconfig/network文件,将主机名改为spark-master,操作系统启动的时候,会读取该文件并设置主机名。因此,修改后不会立即生效。只有当系统重启后,主机名便会生效。
在所有主机上执行上面两步,将三台机器的主机名分别改为spark-master,tomas122,tomas123
2、映射
Spark通过主机名来进行互相访问,通过修改/etc/hosts文件可配置本地主机名映射关系,在hosts文件中添加计
算机的名称和IP的对应关系,如在本机中添加spark-master的主机(假设IP为15.62.32.109),在末尾添加内容为:
15.62.32.109 spark-master
所有主机都在/etc/hosts添加:
15.62.32.109 spark-master
15.62.32.122 tomas122
15.62.32.123 tomas123

二、配置SSH无密码登录

master与worker节点之间需要配置SSH无密码登录

1.使用ssh-keygen生成私钥和公钥

命令如下:

ssh-keygen -t rsa
然后一直按回车键即可。

例子:

fdipzone@ubuntu:~$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/fdipzone/.ssh/id_rsa): 这里输入要生成的文件名
Enter passphrase (empty for no passphrase):                       这里输入密码 
Enter same passphrase again:                                      这里重复输入密码
Your identification has been saved in /home/fdipzone/.ssh/id_rsa.
Your public key has been saved in /home/fdipzone/.ssh/id_rsa.pub.
The key fingerprint is:
f2:76:c3:6b:26:10:14:fc:43:e0:0c:4d:51:c9:a2:b0 fdipzone@ubuntu
The key's randomart image is:
+--[ RSA 2048]----+
|    .+=*..       |
|  .  += +        |
|   o oo+         |
|  E . . o        |
|      ..S.       |
|      .o .       |
|       .o +      |
|       ...oo     |
|         +.      |
+-----------------+

参数 -t rsa 表示使用rsa算法进行加密,执行后,会在/home/当前用户/.ssh目录下找到id_rsa(私钥)id_rsa.pub(公钥)
也可以使用 dsa 加密算法进行加密,命令如下:

ssh-keygen -t dsa
2.需要让机器间都能相互访问,就把每个机子上的id_rsa.pub发给spark-master节点,传输公钥可以用scp来传输

scp root@15.62.32.122:/root/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.
scp root@15.62.32.123:/root/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub.tomas123
3.在spark-master上,将所有公钥加到用于认证的公钥文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
4.将公钥文件authorized_keys分发给tomas122、tomas123节点
scp root@10.62.32.109:/root/.ssh/authorized_keys ~/.ssh/
5.在每台机子上验证SSH无密码登录
ssh tomas122
ssh tomas123
注:.ssh 文件夹的权限必须为700authorized_keys文件权限必须为600或644

三、安装spark

在Spark集群的每个节点上都安装spark,详细步骤参考:http://blog.csdn.net/wangkai_123456/article/details/53860626

1.向环境变量添加spark home
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
2.配置./conf/slaves
首先将slaves.template拷贝一份
cp slaves.template slaves
修改slaves文件
# A Spark Worker will be started on each of the machines listed below.
tomas122
tomas123
3.配置./conf/spark-env.sh
同样将spark-env.sh.template拷贝一份
cp spark-env.sh.template spark-env.sh
在spark-env.sh最后加入以下几行
export JAVA_HOME=/usr/java/jdk1.8.0_111
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_HOST=spark-master
export SPARK_WORKER_MEMORY=25g
export SPARK_WORKER_CORES=34

最后将spark文件夹拷贝到tomas122和tomas123结点即可。

scp -r root@10.62.32.109:/usr/local/spark /usr/local/spark

四、手动启动集群

1、通过如下命令在任一节点上启动一个standalone master server:

./sbin/start-all.sh

2、


2016-08-02 17:51:44 u014726937 阅读数 31489

itcast01上:
启动hadoop集群:
cd /itcast/hadoop-2.6.0/sbin/
./start-dfs.sh
启动yarn:
./start-yarn.sh
itcast02上:
启动resourcemanager
/itcast/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager
itcast01上:
启动spark集群:
cd /itcast/spark-1.3.1-bin-hadoop2.6/sbin/
./start-all.sh
itcast02上启动spark备用 master节点
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
itcast01上:启动spark shell
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
bin/spark-shell –master

如果配置了SparkHA,比如zookeeper,在使用spark-submit提交任务时,则需要指定两个master 的信息:spark://itcast01:7077,itcast02:7077

namenode的webUI端口:50070
yarn的web端口:8088
spark集群的web端口:8080
spark-job监控端口:4040

2017-12-24 20:36:47 u012551524 阅读数 8300

一个CDH集群对外开放的端口有哪些?哪些是必须对外开放的端口?那些是按需开放的?哪些是生产上线是需关闭的?下面是一些初步的接口整理:

 Service

Port

 

REMARK

HOSTNAME

Admin Console 的 HTTP 端口

7180

对外/对内


Spark-Prod-1

Zookeeper Client

2181

对外/对内


Spark-Prod-1,Spark-Prod-2,Spark-Prod-3

ResourceManager Web 应用程序 HTTP 端口

8088

对外/对内


Spark-Prod-1

mapreduce.jobhistory.webapp.address

19888

对外/对内


Spark-Prod-1

spark.history.ui.port

18088

对外/对内


Spark-Prod-2






Hue HTTP 端口

8888

对外/对内


Spark-Prod-1

HBase Master 端口

60000

对外/对内


Spark-Prod-1

HBase Master Web UI 端口

60010

对外/对内


Spark-Prod-1

HBase Region Server 端口

60020

对外/对内     


SparkProd-1,SparkProd-2,SparkProd-3

HBase Region Server Web UI 端口

60030

对外/对内


Spark-Prod-1






备注    其中2181、6000、60020端口上线前开放即可,正式运行后可关闭 如果有用到Hbase的Thrift服务,这个端口开放,比如说你的hbase有对外的服务,当然这些只是只是一些常用,其它特殊服务因项目而异






Hadoop端口一览表

阅读数 5660