一、搭建完全分布式hadoop集群，我们先来实现如下集群的配置：

配置前我们介绍一下配置文件：
以下所有的配置文件都在hadoop安装目录下etc文件中，路径如下：
/opt/module/hadoop-3.1.3/etc/hadoop/

我们需要配置的文件如下：

core-site.xml ：1、NameNode的地址 2、Hadoop数据存储目录

hdfs-site.xml ：1、NameNode和2NN对外web访问地址

yarn-site.xml：1、指定MapReduce的协议 2、指定ResourceManger的地址 3、添加Maperd环境变量的继承（此项hadoop3.2以上版本可以无需指定）

mapred-site.xml ：1、指定MapReduce程序运行在Yarn上

好了，到现在为止，我们搭建了一台服务器，其他两台的配置我们用集群分发脚本分发一下（脚本见之前的文章）。

二、启动集群

1、格式化NameNode

如果是第一次启动集群，我们在含有NameNode的服务器上先格式化NameNode（ 注意 ： 格 式 化 NameNode ， 会 产 生 新的集群 id ， 导 致 NameNode 和 DataNode 的集群 id 不 一 致 ， 集群 找 不 到已 往 数据。 如果集群在 运 行过程中 报错 ， 需 要 重 新 格 式 化 NameNode 的 话 ， 一定要 先 停止 namenode 和 datanode 进程， 并 且 要 删 除所有 机 器的 data 和 logs 目 录 ， 然后再 进行 格 式 化 。 及停服务、删文件、格式化）

 hdfs namenode  -format

结果展示：出现存数据的Data文件、logs日志文件

2、启动HDFS

sbin/start-dfs.sh
jps

结果如下：
hadoop001上启动NameNode、DataNode

hadoop002上启动ResourceManager、DataNoda
hadoop上启动YARN:

sbin/start-yarn.sh

hadoop003上启动了DataNade、SecondaryNode

3、查看Web端HDFS的NameNode和YARN的ResourceManager
首先关闭服务器防火墙

sudo systemctl stop firewalld.service

浏览器输入http://hadoop001:9870查看HDFS信息

浏览器输入http://hadoop002:8088查看ResourceManager信息

至此，hadoop完全分布式搭建完成！

本博客用到的虚拟机客户机已将前五步完成，从6）开始
现有三台客户机，hadoop112,hadoop113,hadoop114。其中hadoop112已完成JDK、Hadoop的安装以及环境变量的配置。所以需要将112上的两者复制到113和114上。

1、将JDK用scp方法从112复制到113上

scp -r jdk1.8.0_212/ dlw@hadoop113:/opt/module/

从113上查看结果，显示出JDK已存在则证明复制成功。

2、将hadoop用scp方法从112上拉到113中。

scp -r dlw@hadoop112:/opt/module/hadoop-3.1.3 ./

从113上查看结果，显示出hadoop已存在则证明113从112上拉取相应的数据已成功。

将JDK和hadoop复制到其他客户机上有两种方式1、从a复制到b。（JDK所用方法）2、b向a拉取数据。（Hadoop所用方法）hadoop114与上方操作一样。

xsync集群分发脚本

循环复制文件到所有节点的相同目录之下。（xsync 要同步的文件名称。）

1、在~目录下创建bin文件并打开


创建脚本

#!/bin/bash
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop112 hadoop113 hadoop114
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4. 判度胺文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件得名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

之后再修改脚本xsync具有的执行权限：

chmod +x xsync

执行完之后即可同步bin文件到113和114

113中显示bin文件，表示xsync执行成功。

利用xsync经JDK和Hadoop的环境变量快速分发到113和114上。

分发完环境变量之后，分别在113和114中进行source指令

source /etc/profile

ssh免密登录配置

在/root/.ssh路径下输入并不断回车

会出现112的公钥和私钥

将112的公钥拷贝到113和114上

ssh-copy-id hadoop113

在113和114上重复以上操作。

完成ssh免密登录之后再应用xsync分发脚本往其他服务器传送数据的时候就可以不用输入密码了（限于一完成ssh免密登录的用户）

集群配置

配置核心文件
1、配置core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop112:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为dlw -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>dlw</value>
        <value>root</value>
    </property>

2、配置hdfs-site.xml

	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>

3、配置yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop113</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA HOME,HADOOP COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://192.168.10.112:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

4、配置mapred-site.xml

    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.10.112:10020</value>
    </property>
    
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.10.112:19888</value>
    </property>

当前四部仅仅在112上完成了配置，然后使用xsync脚本将hadoop分发到113和114

群起集群

1、配置workers
在/opt/module/hadoop-3.1.3/etc/hadoop路径下编辑workers

workers中不能有任何多余的空格，不能有多余的空行。
之后用xsync脚本分发到113和114
2、启动集群
在第一次启动集群的时候需要将hadoop112的NameNode节点格式化。
配置一下root用户启动权限(112,113,114都需要进行相应的操作)
在/opt/module/hadoop-3.1.3/etc/hadoop路径下修改hadoop-env.sh文件。
在hadoop-env.sh文件的最上方加上

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

然后启动dfs

然后输入jps查看进程

启动yarn
在hadoop113上启动yarn
启动完成之后分别查看hadoop112，hadoop113，hadoop114的进程看是否与下表所含的进程一致。

一、集群配置

1、集群部署规划

• NameNode、SecondaryNameNode、ResourceManager不要安装在同一台服务器，很消耗内存；

2、配置文件分类

默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值；

默认配置文件

自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置；

3、配置集群

需要先配置一下hadoop-env.sh

3.1 core-site.xml 核心配置文件

/usr/local/hadoop-2.10.1/etc/hadoop

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.10.1/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

3.2 hdfs-site.xml hdfs配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>namenode的结点名称:端口号</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:50090</value>
    </property>
</configuration>

3.3 yarn-site.xml yarn配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>结点名称</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.4 mapred-site.xml mapreduce配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

# 配置成功后分发配置文件：
xsync /usr/local/hadoop-2.10.1/etc/hadoop

3.5 配置worker

# 配置worker
/usr/local/hadoop-2.10.1/etc/hadoop/worker
# 主机名不能又空格，且不能有空行

3.6 启动

第一次启动

- 需要在格式化NameNode
【注意】：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要新
格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化；

> hdfs namenode -format

# 启动集群
start-dfs.sh

# 关闭集群
stop-dfs.sh

# 在配置了ResourceManager的节点启动YARN
sbin/start-yarn.sh

# 查看hdfs的NameNode
http://node01:配置的端口号

# 查看YARN的ResourceManager
http://node02:配置的端口号