精华内容
下载资源
问答
  • 脚本搭建hadoop集群

    2020-06-08 14:46:08
    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
  • 对各个节点指定好功能 maseter为主节点,hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02,hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
  • hadoop集群信息

    2019-01-11 15:47:31
    搭建高可用的Hadoop集群,基于NFS共享磁盘的namenode配置,使用zookeeper进行主节点推举
  • hadoop 集群部署操作

    2018-11-27 09:56:02
    Hadoop集群的规划,系统环境准备,配置NTP时间服务器,配置无密钥登录,安装配置JDK,,安装配置zooKeeper集群,安装配置Hadoop集群
  • hadoop集群搭建步骤

    2019-01-10 22:29:38
    该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
  • 超详细集群搭建教程(从虚拟机安装到集群搭建完成,集群搭建成功验证),每一个步骤都有,照做即可。 内有集群搭建所需安装包:hadoop2.2.0,zookeeper3.4.5
  • 全部源码dockerfile等,按照readme说明可以使用docker一键安装hadoop集群,需要在linux系统下使用
  • Hadoop集群测试报告

    2018-08-20 18:04:32
    Hadoop集群测试报告
  • hadoop集群服务开启命令 简单好用 一个命令开启所有服务 炫酷!!!!!!
  • Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
  • Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
  • Hadoop集群搭建的详细步骤,涉及Linux:Centos6.5基础环境配置,Hadoop集群离线部署方式。
  • Hadoop集群搭建及Hive的安装与使用
  • Linux 操作系统安装环境下Hadoop集群搭建详细简明教程
  • 自己写的脚本,一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
  • Hadoop集群搭建总结

    2016-10-21 11:06:24
    重点描述hadoop2.0的大数据处理环境搭建过程
  • NULL 博文链接:https://shirley-ren.iteye.com/blog/1174622
  • Hadoop集群高可用与性能优化
  • Hadoop集群安装

    2021-01-07 11:40:44
    Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
  • Hadoop集群安装与配置详细步骤
  • hadoop集群环境搭建

    2014-09-23 17:18:17
    hadoop单机和集群搭建过程,一共三个节点,很详细,每一步都有截图
  • Hadoop集群与安全

    热门讨论 2014-10-28 16:37:46
    手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。
  • Hadoop集群架构搭建分析
  • Hadoop集群配置文件备份
  • CentOS6.5系统下Hadoop2.6.0集群增加机器详解
  • Hadoop集群搭建 集群简介 集群部署方式 1、Standalone mode(独立模式) 2、Pseudo-Distributed mode(伪分布式模式) 3、Cluster mode(群集模式)-单节点模式-高可用HA模式 集群环境准备 hadoop重新编译 ...

    2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习。

    有对大数据感兴趣的可以关注微信公众号:三帮大数据

    目录

    Hadoop集群搭建

    集群简介

    集群部署方式

    1、Standalone mode(独立模式)

    2、Pseudo-Distributed mode(伪分布式模式)

    3、Cluster mode(群集模式)-单节点模式-高可用HA模式

    集群环境准备

    hadoop重新编译

    为什么要编译hadoop

    Hadoop编译实现

    Hadoop安装

    Hadoop安装包目录结构

    Hadoop配置文件修改

    数据目录创建和文件分发

    配置Hadoop的环境变量

    启动集群

    集群的页面访问 

    Hadoop初体验


    Hadoop集群搭建

    集群简介

    HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。

    HDFS集群负责海量数据的存储,集群中的角色主要有:

    NameNode、DataNode、SecondaryNameNode

    YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:

    ResourceManager、NodeManager

    那mapreduce是什么呢?它其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在HDFS集群上,并且受到YARN集群的资源调度管理。

    集群部署方式

    Hadoop部署方式分三种:

    1、Standalone mode(独立模式)

    独立模式又称为单机模式,仅1个机器运行1个java进程,主要用于调试。

    2、Pseudo-Distributed mode(伪分布式模式)

    伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager,但分别启动单独的java进程,主要用于调试。

    3、Cluster mode(群集模式)-单节点模式-高可用HA模式

    集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。

    本课程搭建的是集群模式,以三台主机为例,以下是集群规划:

          主机

    组件   

    node1

    (192.168.88.161)

    node2

    (192.168.88.162)

    node3

    (192.168.88.163)

    NameNode

    Secondary

    Namenode

    DataNode

    ResourceManager

    NodeManager

    集群环境准备

    集群模式主要用于生产环境部署,需要多台主机,并且这些主机之间可以相互访问,我们在之前搭建好基础环境的三台虚拟机上进行Hadoop的搭建

    hadoop重新编译

    为什么要编译hadoop

    由于appache给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题,需要对Hadoop源码包进行重新编译,请注意,资料中已经提供好了编译过的Hadoop安装包,所以这一部分的操作,大家可以不用做,了解即可。

    Hadoop编译实现

    Hadoop的编译步骤可以参考:Hadoop编译

    Hadoop安装

    Hadoop安装包目录结构

    解压hadoop-2.7.5.tar.gz,目录结构如下:

    bin:Hadoop最基本的管理脚本和使用脚本的目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop。

    etc:Hadoop配置文件所在的目录,包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

    include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++程序访问HDFS或者编写MapReduce程序。

    lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。

    libexec:各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。

    sbin:Hadoop管理脚本所在的目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

    share:Hadoop各个模块编译后的jar包所在的目录,官方自带示例。

    Hadoop配置文件修改

    Hadoop安装主要就是配置文件的修改,一般在主节点进行修改,完毕后scp下发给其他各个从节点机器。

    注意,以下所有操作都在node1主机进行。

    1. hadoop-env.sh

    • 介绍

    文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的执行环境当成远程服务器。

    • 配置
    cd  /export/server/hadoop-2.7.5/etc/hadoop
    
    vim  hadoop-env.sh

    添加以下内容:

    export JAVA_HOME=/export/server/jdk1.8.0_241

    2. core-site.xml

    • 介绍

    hadoop的核心配置文件,有默认的配置项core-default.xml。

    core-default.xml与core-site.xml的功能是一样的,如果在core-site.xml里没有配置的属性,则会自动会获取core-default.xml里的相同属性的值。

    • 配置

    在该文件中的标签中添加以下配置,

      在这里添加配置

    cd  /export/server/hadoop-2.7.5/etc/hadoop
    vim  core-site.xml

    配置内容如下:

    <!-- 用于设置Hadoop的文件系统,由URI指定 -->
    
     <property>
    
        <name>fs.defaultFS</name>
    
        <value>hdfs://node1:8020</value>
    
     </property>
    
    <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
    
     <property>
    
       <name>hadoop.tmp.dir</name>
    
       <value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value>
    
    </property>
    
    
    
    <!--  缓冲区大小,实际工作中根据服务器性能动态调整 -->
    
     <property>
    
       <name>io.file.buffer.size</name>
    
       <value>4096</value>
    
     </property>
    
    
    
    <!--  开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
    
     <property>
    
       <name>fs.trash.interval</name>
    
       <value>10080</value>
    
     </property>

    3.hdfs-site.xml

    • 介绍

    HDFS的核心配置文件,主要配置HDFS相关参数,有默认的配置项hdfs-default.xml。

    hdfs-default.xml与hdfs-site.xml的功能是一样的,如果在hdfs-site.xml里没有配置的属性,则会自动会获取hdfs-default.xml里的相同属性的值。

    • 配置

    在该文件中的标签中添加以下配置,

      在这里添加配置

    cd  /export/server/hadoop-2.7.5/etc/hadoop
    vim  hdfs-site.xml

    配置一下内容

    <!-- 指定SecondaryNameNode的主机和端口 -->
    
    <property>
    
    <name>dfs.namenode.secondary.http-address</name>
    
    <value>node2:50090</value>
    
    </property>
    
    <!-- 指定namenode的页面访问地址和端口 -->
    
    <property>
    
    <name>dfs.namenode.http-address</name>
    
    <value>node1:50070</value>
    
    </property>
    
    <!-- 指定namenode元数据的存放位置 -->
    
    <property>
    
    <name>dfs.namenode.name.dir</name>
    
    <value>file:///export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas</value>
    
    </property>
    
    <!--  定义datanode数据存储的节点位置 -->
    
    <property>
    
    <name>dfs.datanode.data.dir</name>
    
    <value>file:///export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas</value>
    
    </property>
    
    <!-- 定义namenode的edits文件存放路径 -->
    
    <property>
    
    <name>dfs.namenode.edits.dir</name>
    
    <value>file:///export/server/hadoop-2.7.5/hadoopDatas/nn/edits</value>
    
    </property>
    
    
    
    <!-- 配置检查点目录 -->
    
    <property>
    
    <name>dfs.namenode.checkpoint.dir</name>
    
    <value>file:///export/server/hadoop-2.7.5/hadoopDatas/snn/name</value>
    
    </property>
    
    
    
    <property>
    
    <name>dfs.namenode.checkpoint.edits.dir</name>
    
    <value>file:///export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
    
    </property>
    
    <!-- 文件切片的副本个数-->
    
    <property>
    
    <name>dfs.replication</name>
    
    <value>3</value>
    
    </property>
    
    
    
    <!-- 设置HDFS的文件权限-->
    
    <property>
    
    <name>dfs.permissions</name>
    
    <value>false</value>
    
    </property>
    
    <!-- 设置一个文件切片的大小:128M-->
    
    <property>
    
    <name>dfs.blocksize</name>
    
    <value>134217728</value>
    
    </property>
    
    <!-- 指定DataNode的节点配置文件 -->
    
    <property>
    
     <name> dfs.hosts </name>
    
     <value>/export/server/hadoop-2.7.5/etc/hadoop/slaves </value>
    
    </property>

    ​​​​​​​​​​​​​​4. mapred-site.xml

    • 介绍

    MapReduce的核心配置文件,Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

    • 配置
    cd  /export/server/hadoop-2.7.5/etc/hadoop
    cp mapred-site.xml.template mapred-site.xml

    在mapred-site.xml文件中的标签中添加以下配置,

      在这里添加配置

    vim  mapred-site.xml

     配置一下内容:

    <!-- 指定分布式计算使用的框架是yarn -->
    
    <property>
    
    <name>mapreduce.framework.name</name>
    
    <value>yarn</value>
    
    </property>
    
    
    
    <!-- 开启MapReduce小任务模式 -->
    
    <property>
    
    <name>mapreduce.job.ubertask.enable</name>
    
    <value>true</value>
    
    </property>
    
    
    
    <!-- 设置历史任务的主机和端口 -->
    
    <property>
    
    <name>mapreduce.jobhistory.address</name>
    
    <value>node1:10020</value>
    
    </property>
    
    
    
    <!-- 设置网页访问历史任务的主机和端口 -->
    
    <property>
    
    <name>mapreduce.jobhistory.webapp.address</name>
    
    <value>node1:19888</value>
    
    </property>

    ​​​​​​​​​​​​​​5. mapred-env.sh

    在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉,然后按照以下方式修改:

    cd  /export/server/hadoop-2.7.5/etc/hadoop
    vim  mapred-env.sh
    export JAVA_HOME=/export/server/jdk1.8.0_241

    ​​​​​​​​​​​​​​6. yarn-site.xml

    YARN的核心配置文件,在该文件中的标签中添加以下配置,

      在这里添加配置

    cd  /export/server/hadoop-2.7.5/etc/hadoop
    vim  yarn-site.xml

    添加以下配置:

    <!-- 配置yarn主节点的位置 -->
    
    <property>
    
    <name>yarn.resourcemanager.hostname</name>
    
    <value>node1</value>
    
    </property>
    
    
    
    <property>
    
    <name>yarn.nodemanager.aux-services</name>
    
    <value>mapreduce_shuffle</value>
    
    </property>
    
    
    
    <!-- 开启日志聚合功能 -->
    
    <property>
    
    <name>yarn.log-aggregation-enable</name>
    
    <value>true</value>
    
    </property>
    
    <!-- 设置聚合日志在hdfs上的保存时间 -->
    
    <property>
    
    <name>yarn.log-aggregation.retain-seconds</name>
    
    <value>604800</value>
    
    </property>
    
    <!-- 设置yarn集群的内存分配方案 -->
    
    <property>    
    
    <name>yarn.nodemanager.resource.memory-mb</name>    
    
    <value>2048</value>
    
    </property>
    
    <property>  
    
              <name>yarn.scheduler.minimum-allocation-mb</name>
    
              <value>2048</value>
    
    </property>
    
    <property>
    
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    
    <value>2.1</value>
    
    </property>

    ​​​​​​​7. slaves

    • 介绍

    slaves文件里面记录的是集群主机名。一般有以下两种作用:

    一是:配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。

    二是:可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。

    dfs.hosts指定一个文件,其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空,则允许所有主机。

    • 配置
    cd  /export/server/hadoop-2.7.5/etc/hadoop
    vim  slaves

    删除slaves中的localhost,然后添加以下内容:

    node1
    node2
    node3

    ​​​​​​​数据目录创建和文件分发

    注意,以下所有操作都在node1主机进行。

    1. 目录创建

    创建Hadoop所需目录

    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
    
    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
    
    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
    
    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
    
    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
    
    mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

    2. 文件分发

    将配置好的Hadoop目录分发到node2和node3主机。

    scp -r /export/server/hadoop-2.7.5/ node2:/export/server/
    
    scp -r /export/server/hadoop-2.7.5/ node3:/export/server/

    ​​​​​​​配置Hadoop的环境变量

    注意,三台机器都需要执行以下命令

    vim  /etc/profile

    添加以下内容:

    export HADOOP_HOME=/export/server/hadoop-2.7.5
    export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    配置完成之后生效

    source /etc/profile

    ​​​​​​​启动集群

    1. 启动方式

    要启动Hadoop集群,需要启动HDFS和YARN两个集群。

    注意:首次启动HDFS时,必须对其进行格式化操作。本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的。

    在node1上执行格式化指令

    hadoop namenode -format

     2. 单节点逐个启动

    在node1主机上使用以下命令启动HDFS NameNode:

    hadoop-daemon.sh start namenode

    在node1、node2、node3三台主机上,分别使用以下命令启动HDFS DataNode:

    hadoop-daemon.sh start datanode

    在node1主机上使用以下命令启动YARN ResourceManager:

    yarn-daemon.sh  start resourcemanager

    在node1、node2、node3三台主机上使用以下命令启动YARN nodemanager:

    yarn-daemon.sh start nodemanager

    以上脚本位于/export/server/hadoop-2.7.5/sbin目录下。如果想要停止某个节点上某个角色,只需要把命令中的start改为stop即可。

    3. 脚本一键启动

    启动HDFS

    start-dfs.sh

    启动Yarn

    start-yarn.sh

    启动历史任务服务进程

    mr-jobhistory-daemon.sh start historyserver

    启动之后,使用jps命令查看相关服务是否启动,jps是显示Java相关的进程命令。

    node1:

    node2:

    node3

    停止集群:stop-dfs.sh、stop-yarn.sh、mr-jobhistory-daemon.sh stophistoryserver

    注意:如果在启动之后,有些服务没有启动成功,则需要查看启动日志,Hadoop的启动日志在每台主机的/export/server/hadoop-2.7.5/logs/目录,需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志,以下是node1主机的日志目录.

    集群的页面访问 

    1. IP访问

    一旦Hadoop集群启动并运行,可以通过web-ui进行集群查看,如下所述:

    查看NameNode页面地址:

    http://192.168.88.161:50070/ 

    查看Yarn集群页面地址:

    http://192.168.88.161:8088/cluster 

    查看MapReduce历史任务页面地址:

    http://192.168.88.161:19888/jobhistory

    ​​​​​​​2. 主机名访问

    请注意,以上的访问地址只能使用IP地址,如果想要使用主机名,则对Windows进行配置。

    配置方式:

    1、打开Windows的C:\Windows\System32\drivers\etc目录下hosts文件

    2、在hosts文件中添加以下域名映射

    192.168.88.161  node1
    192.168.88.162  node2
    192.168.88.163  node3

    配置完之后,可以将以上地址中的IP替换为主机名即可访问,如果还不能访问,则需要重启Windows电脑,比如访问NameNode,可以使用http://node1:50070/ 。

    Hadoop初体验

    1. HDFS使用

    • 从Linux本地上传一个文本文件到hdfs的/目录下
    #在/export/data/目录中创建a.txt文件,并写入数据
    
    cd /export/data/
    
    touch a.txt
    
    echo "hello" > a.txt
    
    
    #将a.txt上传到HDFS的根目录
    
    hadoop fs -put a.txt  /
    • 通过页面查看

    通过NameNode页面.进入HDFS:http://node1:50070/ 

    查看文件是否创建成功

    ​​​​​​​2. 运行mapreduce程序

    在Hadoop安装包的share/hadoop/mapreduce下有官方自带的mapreduce程序。我们可以使用如下的命令进行运行测试。

    示例程序jar:

    hadoop-mapreduce-examples-2.7.5.jar

    计算圆周率

    hadoop jar /export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 2 10

    关于圆周率的估算,感兴趣的可以查询资料蒙特卡洛方法来计算Pi值,计算命令中2表示计算的线程数,50表示投点数,该值越大,则计算的pi值越准确。

      


    • 📢博客主页:https://lansonli.blog.csdn.net
    • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
    • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
    • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
    展开全文
  • Hadoop集群搭建(超级详细)

    千次阅读 2021-05-07 11:34:06
    需要的安装包:jdk-8u162-linux-x64.tar.gz( 提取码:6k1i )、hadoop-3.1.3.tar.gz( 提取码:07p6 ) 1 集群规划 安装VMware,使用三台Ubuntu18.04虚拟机进行集群搭建,下面是每台虚拟机的规划: 主机名 IP ...

    本文略长,希望各位大佬见谅!!!

    需要的安装包:jdk-8u162-linux-x64.tar.gz( 提取码:6k1i )、hadoop-3.1.3.tar.gz( 提取码:07p6 )

    1 集群规划

    安装VMware,使用三台Ubuntu18.04虚拟机进行集群搭建,下面是每台虚拟机的规划:

    主机名IP用户HDFSYARN
    hadoopMaster待定rmc0924NameNode、DataNodeNodeManager、ResourceManager
    hadoopSlave0待定rmc0924DataNode、SecondaryNameNodeNodeManager
    hadoopSlave1待定rmc0924DataNodeNodeManager

    上面表格备用,还需要确定每台虚拟机的IP地址

    2 网络配置

    首先在VMware中新建一台4G内存(后期会进行修改),20G硬盘空间的Ubuntu虚拟机。新建完成后进行下面操作。

    2.1 修改主机名

    sudo vim /etc/hostname
    

    执行上面的命令打开“/etc/hostname”这个文件,将其中内容删除,并修改为“hadoopMaster”,保存退出vim编辑器,重启Linux即可看到主机名发生变化。下面是修改前的主机名:
    在这里插入图片描述
    下面是修改后的主机名:
    在这里插入图片描述

    2.2 设置虚拟机IP地址

    1. 查看VMware虚拟机的虚拟网络编辑器
      在这里插入图片描述
    2. 点击VMnet8网络,点击NAT设置

    在这里插入图片描述
    记录上面图中子网IP、子网掩码、网关三个属性,这些在后面的步骤有用,不同的电脑会有不同。

    1. 获取Ubuntu虚拟机的网卡编号
    ifconfig
    

    在这里插入图片描述

    1. 设置静态网络
    sudo vim /etc/network/interfaces
    

    在原有的内容上添加

    auto ens33				# 网卡编号,我这里是ens33
    iface ens33 inet static	# 设置为静态IP
    adrress 192.168.131.151	# 该机器的IP,根据我们刚才获取到的VMware的子网IP进行选取
    netmask 255.255.255.0	# 子网掩码,刚才获取VMware的子网掩码
    gateway 192.168.131.2	# 网关,也是刚才获取的网关
    dns-nameserver 192.168.131.2	# DNS,和网关一样即可
    

    上面的内容根据各自的电脑进行设置,一定要和VMware中的子网IP、子网掩码、网关保持一致,不然会上不了网。保存退出vim编辑器,重启Ubuntu即可生效。

    1. 主机IP映射
    sudo vim /etc/hosts
    

    打开hosts文件,新增三条IP与主机的映射关系:

    192.168.131.151	hadoopMaster
    192.168.131.152	hadoopSlave0
    192.168.131.153	hadoopSlave1
    

    修改结果如下图所示:
    在这里插入图片描述

    一般情况下,hosts文件中只有一个127.0.0.1,其对应的主机名为localhost,如果存在多余的127.0.0.1,应删除,同时127.0.0.1不能与hadoopMaster这样的主机名进行映射关系。修改后重启Ubuntu。

    2.3 关闭防火墙

    使用下面命令查看防火墙状态,inactive状态是防火墙关闭状态 active是开启状态。

    sudo ufw status
    

    使用下面命令关闭防火墙:

    sudo ufw disable
    

    3 安装SSH服务端

    sudo apt-get install openssh-server
    

    安装后,使用下面命令登录本机:

    ssh localhost
    

    SSH首次登录会有提示,输入yes即可,然后按照提示输入本机密码即可。但是这样每次登录都要输入密码,现在设置SSH无密码登录。首先退出SSH,利用ssh-keygen生成密钥,并将密钥加入到授权中。

    exit	# 退出ssh localhost
    cd ~/.ssh/
    ssh-keygen -t rsa	# 会有提示,都按回车就行
    cat ./id_rsa.pub >> ./authorized_keys	加入授权
    

    现在再使用"ssh localhost",就可以不用输入密码登录ssh
    在这里插入图片描述

    4 安装Java环境

    Hadoop3.1.3需要JDK版本在1.8及以上,jdk-8u162-linux-x64.tar.gz在文首给出,可以进行下载。将文件放在一个目录中后,打开一个终端,执行下面命令。

    cd /usr/lib
    sudo mkdir jvm	# 创建目录来存放JDK文件
    # 进入jdk-8u162-linux-x64.tar.gz所在的文件夹
    sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
    

    上面将JDK文件解压之后,进入/usr/lib/jvm目录下会有个jdk1.8.0_162文件
    下面开始设置环境变量

    sudo vim ~/.bashrc
    

    在打开的文件首部添加下面内容

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    

    保存退出vim编辑器,执行下面命令让.bashrc文件的配置生效:

    source ~/.bashrc
    

    接下来使用下面命令查看是否安装成功:

    java -version
    

    如果显示java的版本信息,则表示安装成功:
    在这里插入图片描述

    5 安装Hadoop3.1.3

    hadoop-3.1.3.tar.gz文件在文首已经给出,将其下载并放到相应的位置上,使用下面命令安装:

    sudo tar -zxf ./hadoop-3.1.3.tar.gz -C /usr/local	# 解压到/usr/local中
    cd mv ./hadoop-3.1.3/ ./hadoop	将文件名改为hadoop
    sudo chown -R rmc0924 ./hadoop	# 修改权限,当前是什么用户登录,就给他赋予用户的权限
    

    解压后使用下面命令看是否安装成功,安装成功会显示Hadoop的版本信息。

    cd /usr/local/hadoop
    ./bin/hadoop verison
    

    在这里插入图片描述

    6 克隆虚拟机

    经过上面步骤,名称为hadoopMaster的Ubuntu已经配置完成,现在退出该虚拟机。将该虚拟机克隆出另外两台虚拟机,分别命名为hadoopSlave0和hadoopSlave1。
    在这里插入图片描述
    在后面的提示框中依次选择“虚拟机中的当前状态”、“创建完整克隆”、对克隆的虚拟机命名、选择位置,等待克隆完成。最后的虚拟机如下所示:
    在这里插入图片描述
    将hadoopSlave0和hadoopSlave1两台虚拟机按照2.1和2.2中步骤,修改主机名以及各自的静态IP,备用。最后我们可以把最初的那张表补全:

    主机名IP用户HDFSYARN
    hadoopMaster192.168.131.151rmc0924NameNode、DataNodeNodeManager、ResourceManager
    hadoopSlave0192.168.131.152rmc0924DataNode、SecondaryNameNodeNodeManager
    hadoopSlave1192.168.131.153rmc0924DataNodeNodeManager

    7 安装SecureCRT

    由于使用一台电脑来搭建集群,电脑的内存就8G,带不动三台带有图形化界面的虚拟机同时运行,所以使用SecureCRT进行远程连接。SecureCRT安装教程在这位大佬的博客中有详细的教程,大家伙自己过去看就好了,我就不再赘述。

    8 集群搭建

    好了,前面说了那么多都是铺垫,现在正式搭建Hadoop集群。首先我们还是需要打开VMware中的三台虚拟机,但是打开之前,我们要把它们的内存进行修改,由原先的4G改为1.5G就行了。硬件原因,不在这三台的图形化界面上进行操作,而是使用SecureCRT远程连接,只在终端上进行操作。将三台虚拟机的内存大小改为1.5G后,就可以将三台机子打开。仅仅打开就行,登录界面出现就够了,不需要登录进去。
    在这里插入图片描述
    这样开了三台,内存还都是1.5G的,我的内存就干到了85%,所以不用在图形化界面上进行操作。使用SecureCRT就可以直接登录三台机子。
    在这里插入图片描述
    三台机子之间互相ping,看是否能ping通。
    在这里插入图片描述

    1. SSH无密码登录节点

    必须要让hadoopMaster节点可以SSH无密码登录到各个hadoopSlave节点上。首先生成hadoopMaster节点公钥,如果之前已经生成,必须删除,重新生成一次。在hadoopMaster上进行下面操作:

    cd ~/.ssh
    rm ./id_rsa*	# 删除之前生成的公钥
    ssh-keygen -t rsa	# 遇到信息,一直回车就行
    

    再让hadoopMaster节点能够无密码SSH登录本机,在hadoopMaster节点上执行下面命令:

    cat ./id_rsa.pub >> ./authorized_keys
    

    使用下面命令进行测试:

    ssh hadoopMaster
    

    接下来将hadoopMaster上的公钥传给各个hadoopSlave节点:

    scp ~/.ssh/id_rsa.pub hadoopSlave0:/home/rmc0924
    

    其中scp是secure copy的简写,在Linux中用于远程拷贝。执行scp时会要求输入hadoopSlave1用户的密码,输入完成后会显示传输完毕:
    在这里插入图片描述
    接着在hadoopSlave0节点上,将接收到的公钥加入授权:

    mkdir ~/.ssh	# 如果不存在该文件夹,先创建
    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    rm ~/id_rsa.pub	# 加完就删除
    

    在hadoopSlave1节点中也执行上的命令。执行完了之后,在hadoopMaster节点上就可以无密码登录代各个hadoopSlave节点,在hadoopMaster节点上执行下面命令:

    ssh hadoopSlave0
    

    在这里插入图片描述
    输入exit即可退出。

    1. 配置集群环境

    配置集群模式时,需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件,包括workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

    A. 修改workers文件

    vim workers
    

    该文件内容可以指定某几个节点作为数据节点,默认为localhost,我们将其删除并修改为hadoopSlave0和hadoopSlave1.当然也可以将hadoopMaster加进去,让hadoopMaster节点既做名称节点,也做数据节点,本文将hadoopMaster一起加进去作为数据节点。

    hadoopMaster 
    hadoopSlave0 
    hadoopSlave1
    

    B.修改core-site.xml文件

    vim core-site.xml
    

    fs.defaultFS:指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口
    hadoop.tmp.dir:hadoop集群在工作时存储的一些临时文件存放的目录

    	<configuration>
    	        <property>
    	                <name>fs.defaultFS</name>
    	                <value>hdfs://hadoopMaster:9000</value>
    	        </property>
    	        <property>
    	                <name>hadoop.tmp.dir</name>
    	                <value>file:/usr/local/hadoop/tmp</value>
    	        </property>
    	</configuration>
    

    C.修改hdfs-site.xml文件

    vim hdfs-site.xml
    

    dfs.namenode.name.dir:namenode数据的存放位置,元数据存放位置
    dfs.datanode.data.dir:datanode数据的存放位置,block块存放的位置
    dfs.repliction:hdfs的副本数设置,默认为3
    dfs.secondary.http.address:secondarynamenode运行节点的信息,应该和namenode存放在不同节点

    	<configuration>
    	        <property>
    	                <name>dfs.namenode.secondary.http-address</name>
    	                <value>hadoopSlave0:50090</value>
    	        </property>
    	        <property>
    	                <name>dfs.replication</name>
    	                <value>3</value>
    	        </property>
    	        <property>
    	                <name>dfs.namenode.name.dir</name>
    	                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    	        </property>
    	        <property>
    	                <name>dfs.datanode.data.dir</name>
    	                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    	        </property>
    	</configuration>
    

    D.修改mapred-site.xml文件

    vim mapred-site.xml
    

    mapreduce.framework.name:指定mapreduce框架为yarn方式
    mapreduce.jobhistory.address:指定历史服务器的地址和端口
    mapreduce.jobhistory.webapp.address:查看历史服务器已经运行完的Mapreduce作业记录的web地址,需要启动该服务才行

    	<configuration>
    	        <property>
    	                <name>mapreduce.framework.name</name>
    	                <value>yarn</value>
    	        </property>
    	        <property>
    	                <name>mapreduce.jobhistory.address</name>
    	                <value>hadoopMaster:10020</value>
    	        </property>
    	        <property>
    	                <name>mapreduce.jobhistory.webapp.address</name>
    	                <value>hadoopMaster:19888</value>
    	        </property>
    	        <property>
    	                <name>yarn.app.mapreduce.am.env</name>
    	                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    	        </property>
    	        <property>
    	                <name>mapreduce.map.env</name>
    	                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    	        </property>
    	        <property>
    	                <name>mapreduce.reduce.env</name>
    	                <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
    	        </property> 
    	</configuration>
    

    E.修改yarn-site.xml文件

    vim yarn-site.xml
    
    	<configuration>
    	        <property>
    	                <name>yarn.resourcemanager.hostname</name>
    	                <value>hadoopSlave1</value>
    	        </property>
    	        <property>
    	                <name>yarn.nodemanager.aux-services</name>
    	                <value>mapreduce_shuffle</value>
    	        </property>
    	</configuration>
    
    1. 分发文件

    修改完上面五个文件后,将hadoopMaster节点上的hadoop文件复制到各个结点上。在hadoopMaster节点上执行下面命令:

    cd /usr/local
    sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
    sudo rm -r ./hadoop/logs/*   # 删除日志文件
    tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
    cd ~
    scp ./hadoop.master.tar.gz hadoopSlave0:/home/hadoop
    

    在这里插入图片描述
    在其他hadoopSlave节点将接收的压缩文件解压出来,并授予权限,命令如下:

    sudo rm -r /usr/local/hadoop    # 删掉旧的(如果存在)
    sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
    sudo chown -R rmc0924 /usr/local/hadoop
    
    1. Hadoop初始化

    HDFS初始化只能在主节点上进行

    cd /usr/local/hadoop
    ./bin/hdfs namenode -format
    

    在这里插入图片描述
    在初始化过程中,只要看到上面红框里面的信息,有个successfully formatted说明初始化成功。

    1. Hadoop集群启动

    在hadoopMaster节点上执行下面命令:

    cd /usr/local/hadoop
    ./sbin/start-dfs.sh
    ./sbin/start-yarn.sh
    ./sbin/mr-jobhistory-daemon.sh start historyserver
    

    通过jps可以查看各个节点所启动的进程,如果按照本文的设置,正确启动的话,在hadoopMaster节点上会看到以下进程:
    hadoopMaster节点进程
    hadoopSlave0节点的进程:
    hadoopSlave0节点进程
    hadoopSlave1节点的进程:
    在这里插入图片描述
    另外还可以在hadoopMaster节点上使用下面命令查看数据节点是否正常启动。本文中使用三个节点作为数据节点,所以会有以下的信息:

    在这里插入图片描述
    在这里插入图片描述
    当然我们也可以在浏览器中查看:
    HDFS:http://192.168.131.151:9870/
    YARN:http://192.168.131.151:8088/cluster

    HDFS界面

    在这里插入图片描述
    点击DataNodes可以查看三个节点:
    在这里插入图片描述
    YARN界面

    在这里插入图片描述
    点击左侧导航栏Nodes可以查看结点
    在这里插入图片描述
    至此,Hadoop集群搭建完成,撒花!!!!!

    9 执行分布式实例

    在HDFS上创建一个文件夹/test/input

    cd /usr/local/hadoop
    ./bin/hdfs dfs -mkdir -p /test/input
    

    查看创建的文件夹

    ./bin/hdfs dfs -ls /
    

    在这里插入图片描述

    创建一个word.txt测试文件

    vim word.txt
    

    输入以下文本(我从《傲慢与偏见》里面抽出来两段话)

    	Be not alarmed, madam, on receiving this letter, by the apprehension of its containing any repetition of those
    sentiments or renewal of those offers which were last night so disgusting to you. I write without any intention of
    paining you, or humbling myself, by dwelling on wishes which, for the happiness of both, cannot be too soon
    forgotten; and the effort which the formation and the perusal of this letter must occasion, should have been spared,
    had not my character required it to be written and read. You must, therefore, pardon the freedom with which I
    demand your attention; your feelings, I know, will bestow it unwillingly, but I demand it of your justice.
    	My objections to the marriage were not merely those which I last night acknowledged to have the utmost required
    force of passion to put aside, in my own case; the want of connection could not be so great an evil to my friend as to
    me. But there were other causes of repugnance; causes which, though still existing, and existing to an equal degree
    in both instances, I had myself endeavored to forget, because they were not immediately before me. These causes
    must be stated, though briefly. The situation of your mother's family, though objectionable, was nothing in
    comparison to that total want of propriety so frequently, so almost uniformly betrayed by herself, by your three
    younger sisters, and occasionally even by your father. Pardon me. It pains me to offend you. But amidst your
    concern for the defects of your nearest relations, and your displeasure at this representation of them, let it give you
    consolation to consider that, to have conducted yourselves so as to avoid any share of the like censure, is praise no
    less generally bestowed on you and your eldersister, than it is honorable to the sense and disposition of both. I will
    only say farther that from what passed that evening, my opinion of all parties was confirmed, and every inducement
    heightened which could have led me before, to preserve my friend from what I esteemed a most unhappy
    connection. He left Netherfield for London, on the day following, as you, I am certain, remember, with the design of
    soon returning.
    

    将word.txt上传到HDFS的/test/input文件夹中

    ./bin/hdfs dfs -put ~/word.txt /test/input
    

    运行一个mapreduce的例子程序:wordcount

    ./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-3.1.3.jar wordcount /test/input /test/output
    

    执行成功后如下所示,输出相关信息:
    在这里插入图片描述
    在YARN Web界面也可以查看:
    在这里插入图片描述
    查看运行结果:

    ./bin/hdfs dfs -cat /test/output
    

    在这里插入图片描述
    由于只是进行词频统计,我没有对测试数据进行其他处理,所以有些单词会带逗号,这些都是小事,重点是,Hadoop集群搭建起来了,还能跑,这就舒服了,嘻嘻嘻嘻嘻嘻。

    10 关闭集群

    接下来就是关闭集群,输入以下命令:

    cd /usr/local/hadoop
    ./sbin/stop-yarn.sh
    ./sbin/stop-dfs.sh
    ./sbin/mr-jobhistory-daemon.sh stop historyserver
    
    展开全文
  • Hadoop集群部署(附集群启停脚本)

    千次阅读 2021-12-08 20:28:48
    集群部署规划(Hadoop3.1.3)

    集群部署规划(Hadoop3.1.3)

    hadoop1hadoop2hadoop3
    HDFS

    NameNode

    DataNode

    DataNode

    SecondaryNameNode

    DataNode

    YARNNodeManager

    ResourceManager

    NodeManager

    NodeManager

    (注意:1、NameNode和SecondaryNameNode不要安装在同一台服务器。2、ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台服务器。)

    1.配置/etc/hosts集群名称(三台节点)

    10.34.80.51 hadoop1
    10.34.80.52 hadoop2
    10.34.80.53 hadoop3

    2.配置ssh免密登录(hadoop1)

       切换到~家目录 cd ~

       显示隐藏文件 ls -al

       进入.ssh,执行下面命令:

    ssh-keygen -t rsa

       按3次回车

       将hadoop1的公钥拷贝到hadoop1(自己也需要拷贝) hadoop2 hadoop3

       ssh-copy-id hadoop1

       ssh-copy-id hadoop2

       ssh-copy-id hadoop3

       hadoop2 hadoop3执行上述两步操作

    3.编写集群分发脚本(hadoop1)

       cd到/usr/local/bin/目录下,新建文件xsync,增加下面内容:

    #1. 判断参数个数
    if [ $# -lt 1 ]
    then
            echo Not Enough Arguement!
            exit;
    fi 
    
    #2. 遍历集群所有机器                 
    for host in hadoop1 hadoop2 hadoop3
    do        
        echo ==================== $host ====================       
        #3. 遍历所有目录,挨个发送        
        for file in $@         
        do                   
            #4. 判断文件是否存在                  
            if [ -e $file ]                         
                then                                  
                    #5. 获取父目录                                  
                    pdir=$(cd -P $(dirname $file); pwd)                                 
                    #6. 获取当前文件的名称                                  
                    fname=$(basename $file)                                  
                    ssh $host "mkdir -p $pdir"                                 
                    rsync -av $pdir/$fname $host:$pdir                        
                else                  
                    echo $file does not exists!
           fi 
        done
    done

    4.安装hadoop和jdk(hadoop1)

       下载jdk和hadoop安装包,上传到/opt/module/software/下

       执行tar -zxvf hadoop安装包名 -C /opt/module/

       执行tar -zxvf jdk安装包名 -C /opt/module/

    5.使用脚本分发到hadoop2、hadoop3

       cd到/opt/module/下,执行命令:

    xsync /hadoop-3.1.3
    xsync /jdk1.8.0_212

    6.配置jdk和hadoop环境变量(hadoop1)

       /etc/profile.d/下新建文件my_env.sh,增加下面内容:

    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_212
    export PATH=$PATH:$JAVA_HOME/bin
    
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    

       使用脚本分发到hadoop2、hadoop3

    xsync /etc/profile.d/my_env.sh

       在所有节点上执行命令使环境变量生效:

    source /etc/profile.d/my_env.sh

    7.hadoop配置文件说明

          hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

          其中自定义配置文件:core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径下,用户可以根据项目需求重新进行修改配置。

    8.修改自定义配置文件(hadoop1)

         配置core-site.xml

    <configuration>
        <!-- 指定NameNode的地址 -->
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://hadoop1:8020</value>
    	</property>
    	<!-- 指定hadoop数据的存储目录 -->
    	<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/opt/module/hadoop-3.1.3/data</value>
    	</property>
    	<!-- 配置HDFS网页登录使用的静态用户 -->
    	<property>
    		<name>hadoop.http.staticuser.user</name>
    		<value>root</value>
    	</property>
    </configuration>
    

        配置hdfs-site.xml

    <configuration>
    	<!-- nn web端访问地址 -->
    	<property>
    		<name>dfs.namenode.http-address</name>
    		<value>hadoop1:9870</value>
    	</property>
    	<!-- 2nn web端访问地址 -->
    	<property>
    		<name>dfs.namenode.secondary.http-address</name>
    		<value>hadoop3:9868</value>
    	</property>
    
    	<property>
    		<name>dfs.permissions</name>
    		<value>false</value>
    	</property>
    </configuration>

         配置yarn-site.xml

    <configuration>
    	<!-- 指定MR走shuffle -->
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    	<!-- 指定ResourceMnager的地址 -->
    	<property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>hadoop2</value>
    	</property>
    	<!-- 环境变量的继承 -->
    	<property>
    		<name>yarn.nodemanager.env-whitelist</name>
    		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    	</property>
    </configuration>

        配置mapred-site.xml 

    <configuration>
    	<!-- 指定MapReduce程序运行在Yarn上 -->
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    </configuration>
    

    9.配置workers(hadoop1)

       切换到目录hadoop3.1.3/etc/hadoop

       vi workers

       hadoop1

       hadoop2

       hadoop3

    10.分发到hadoop2、hadoop3

       切换到目录hadoop3.1.3/etc/下,执行命令:

    xsync hadoop

    11.启动集群(hadoop1)

       (注意:如果集群是第一次启动,需要在hadoop1节点格式化NameNode,格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)

       切到hadoop3.1.3目录执行下面命令:

    hdfs namenode -format

        启动集群命令:

    sbin/start-dfs.sh

        启动历史服务器命令:

    mapred --daemon start historyserver

    12.启动yarn(hadoop2)

       切到hadoop3.1.3目录执行下面命令:

    sbin/start-yarn.sh

    13.查看hadoop集群启动情况

        1、通过jps命令查看

              hadoop1节点:NameNode、NodeManager、DataNode

              hadoop2节点:ResourceManager、NodeManager、DataNode

              hadoop3节点:SecondaryNameNode、NodeManager、DataNode

        2、通过前端界面查看

              访问yarn界面:http://hadoop2:8088/

              访问hdfs界面:http://hadoop1:9870/

    14.hadoop集群启停脚本

       cd到/usr/local/bin/目录下,新建hdp.sh

    #! /bin/bash
    if [ $# -lt 1 ]
    then 
    	echo "No Args Input..."
    	exit ;
    fi
    case $1 in
    "start")
    	echo "==================启动hadoop集群==================="
    	
    	echo "------------------启动hdfs------------------"
    	ssh hadoop1 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
    	echo "------------------启动yarn------------------"
    	ssh hadoop2 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
    ;;
    "stop")
    	echo "==================关闭hadoop集群=================="
    	
    	echo "------------------关闭yarn------------------"
    	ssh hadoop2 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
    	echo "------------------关闭hadoop----------------"
    	ssh hadoop1 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
    ;;
    *)
    	echo "Input Args Error..."
    ;;
    esac

    启动hadoop集群:hdp.sh start

    停止hadoop集群:hdp.sh stop

    展开全文
  • 细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 260,893
精华内容 104,357
关键字:

hadoop集群

友情链接: 666d22.rar