精华内容
下载资源
问答
  • 指定Hadoop运行时产生文件存储目录 2.配置hadoop-env.sh jdk地址 3.配置hdfs-site.xml 指定HDFS副本数量 指定Hadoop辅助名称节点主机配置 4.配置yarn-env.sh jdk地址 5.配置yarn-site.xml 指定YARN...

    一、准备n台服务器(关闭防火墙、静态ip、修改好主机名称)

    二、提前编写好集群分发脚本xsync

    三、集群配置

    1.核心配置文件:core-site.xml
    	指定HDFS中NameNode的地址
    	指定Hadoop运行时产生文件的存储目录
    2.配置hadoop-env.sh
    	jdk地址
    3.配置hdfs-site.xml
    	指定HDFS副本的数量
    	指定Hadoop辅助名称节点主机配置
    4.配置yarn-env.sh
    	jdk地址
    5.配置yarn-site.xml
    	指定YARN的ResourceManager的地址
    6.配置mapred-env.sh
    	jdk地址
    7.配置mapred-site.xml
    	指定MR运行在Yarn上
    

    四、在集群上分发配置好的Hadoop配置文件,使用xsync

    其他机器要有对应的文件夹,才好分发
    

    五、SSH无密登陆配置

    1.进入.ssh目录 输入ssh-keygen -t rsa 生成公钥和私钥
    2.将公钥拷贝到要免密登录的目标机器上	ssh-copy-id xxx
    3.在NameNode和ResourceManager所在的服务器上都需要配置无密登陆
    

    六、设置slaves

    七、启动集群

    1.第一次启动需要格式化NameNode	bin/hdfs namenode -format
    2.启动HDFS	sbin/start-dfs.sh
    3.启动YARN	sbin/start-yarn.sh
    注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
    
    展开全文
  • 今天记录一下前不久基于docker搭建hadoop集群的详细步骤!(本地ubuntu虚拟机搭建可能步骤不完全一样,本文只介绍ubuntu服务器上的操作步骤) 1、肯定是安装docker 此处可以参照 菜鸟教程-ubuntu安装docker 卸载旧...

    今天记录一下前不久基于docker搭建hadoop集群的详细步骤!(本地ubuntu虚拟机搭建可能步骤不完全一样,本文只介绍ubuntu服务器上的操作步骤)
    我自己写的安装脚本,可以直接复制粘贴运行的,有需要的可以下载,没有积分的下方评论区找我

    1、肯定是安装docker

    此处可以参照 菜鸟教程-ubuntu安装docker
    卸载旧版本:

    apt-get remove docker docker-engine docker.io containerd runc
    

    在这里插入图片描述
    使用docker软件仓库安装,更新apt索引:

    sudo apt-get update
    

    安装 apt 依赖包,用于通过HTTPS来获取仓库:

    sudo apt-get install \
        apt-transport-https \
        ca-certificates \
        curl \
        gnupg-agent \
        software-properties-common
    

    添加 Docker 的官方 GPG 密钥:

     curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
    

    9DC8 5822 9FC7 DD38 854A E2D8 8D81 803C 0EBF CD88 通过搜索指纹的后8个字符,验证您现在是否拥有带有指纹的密钥。

    sudo apt-key fingerprint 0EBFCD88
       
    pub   rsa4096 2017-02-22 [SCEA]
          9DC8 5822 9FC7 DD38 854A  E2D8 8D81 803C 0EBF CD88
    uid           [ unknown] Docker Release (CE deb) <docker@docker.com>
    sub   rsa4096 2017-02-22 [S]
    

    使用以下指令设置稳定版仓库:

    sudo add-apt-repository \
       "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
      $(lsb_release -cs) \
      stable"
    

    更新 apt 包索引:

    sudo apt-get update
    

    安装最新版本的 Docker Engine-Community 和 containerd ,或者转到下一步安装特定版本:

    sudo apt-get install docker-ce docker-ce-cli containerd.io
    

    要安装特定版本的 Docker Engine-Community,请在仓库中列出可用版本,然后选择一种安装。列出您的仓库中可用的版本:

    apt-cache madison docker-ce
    

    在这里插入图片描述
    使用第二行中的版本字符串安装特定版本,例如 :

    apt-get install docker-ce=5:19.03.4~3-0~ubuntu-xenial docker-ce-cli=5:19.03.4~3-0~ubuntu-xenial containerd.io
    

    在这里插入图片描述
    测试 Docker 是否安装成功,输入以下指令,打印出以下信息则安装成功:

    sudo docker run hello-world
    

    在这里插入图片描述
    查看安装的docker:

    docker ps -a
    

    在这里插入图片描述

    2、下面开始在docker上搭建hadoop集群了

    拉取docker镜像以及查看镜像

    docker pull ubuntu:16.04
    
    docker images
    

    在这里插入图片描述
    启动镜像

    docker run -it ubuntu:16.04 /bin/bash
    

    之后就进入了该镜像,下面的操作都是在容器里面(注意,容器里面)注意看@后面的字母是不一样的
    在这里插入图片描述
    加入源

    echo "deb http://mirrors.aliyun.com/ubuntu/ xenial main  
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial main
     
     deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main
     
     deb http://mirrors.aliyun.com/ubuntu/ xenial universe
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial universe
     deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates universe
     
     deb http://mirrors.aliyun.com/ubuntu/ xenial-security main
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main
     deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe
     deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security universe" > /etc/apt/sources.list
     
    

    更新软件源

    apt-get update
    

    安装jdk openssh-client openssh-server vim

    apt-get install openjdk-8-jdk
    
    在这里插入代码片
    

    在这里插入图片描述

    apt-get install openssh-client
    
    apt-get install openssh-server
    
    apt-get install vim
    

    配置免费登陆(啥也别问,下面的命令直接就是回车加上yes就好了)

    cd ~
    
    ls -a
    
    ssh-keygen -t rsa -P ""
    
    cat .ssh/id_rsa.pub >>  .ssh/authorized_keys
    
    service ssh start
    
    ssh 127.0.0.1
    

    在这里插入图片描述
    下载hadoop安装包
    (https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 这是下载hadoop安装包的网站,清华大学免费镜像,注意了,不要傻乎乎的用什么xftp连接服务器,然后本地下载压缩包上传解压哈,前面说了这是一个容器,不能瞎搞!按我说的去做就好了。下载之后就是解压,重命名什么的看得懂撒就不说了!)

    wget  https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
    
    tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/
    
    cd /usr/local/
    
    mv hadoop-3.2.1  hadoop
    

    在这里插入图片描述
    修改hadoop配置文件以及配置java环境

    vim /etc/profile
    

    最后面加上下面代码

    #java
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export JRE_HOME=${JAVA_HOME}/jre    
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
    export PATH=${JAVA_HOME}/bin:$PATH
    #hadoop
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_COMMON_HOME=$HADOOP_HOME 
    export HADOOP_HDFS_HOME=$HADOOP_HOME 
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_YARN_HOME=$HADOOP_HOME 
    export HADOOP_INSTALL=$HADOOP_HOME 
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
    export HADOOP_CONF_DIR=$HADOOP_HOME 
    export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec 
    export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
    export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
    export HDFS_DATANODE_USER=root
    export HDFS_DATANODE_SECURE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export HDFS_NAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    
    
    

    上面是配置java环境的,下面是配置hadoop的,两个目录是不一样的首先

    cd  /usr/local/hadoop/etc/hadoop
    

    下面代码太多了,就直接放一起粘贴了,应该看得懂吧

    vim  hadoop-env.sh
    
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    
    
    
    
    
    
    
    
    vim core-site.xml
    
    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://h01:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop3/hadoop/tmp</value>
        </property>
    </configuration>
    
    
    
    
    
    
    
    
    
    
    vim hdfs-site.xml
    
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop3/hadoop/hdfs/name</value>
        </property>
        <property>
            <name>dfs.namenode.data.dir</name>
            <value>/home/hadoop3/hadoop/hdfs/data</value>
        </property>
    </configuration>
    
    
    
    
    
    
    
    
    
    
    vim mapred-site.xml
    
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.application.classpath</name>
            <value>
                /usr/local/hadoop/etc/hadoop,
                /usr/local/hadoop/share/hadoop/common/*,
                /usr/local/hadoop/share/hadoop/common/lib/*,
                /usr/local/hadoop/share/hadoop/hdfs/*,
                /usr/local/hadoop/share/hadoop/hdfs/lib/*,
                /usr/local/hadoop/share/hadoop/mapreduce/*,
                /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
                /usr/local/hadoop/share/hadoop/yarn/*,
                /usr/local/hadoop/share/hadoop/yarn/lib/*
            </value>
        </property>
    </configuration>
    
    
    
    
    
    
    
    
    
    
    
    vim yarn-site.xml
    
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>h01</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    
    
    

    下面配置hadoop节点和master

    vim workers
    

    这是一个空白文件,直接在里面加就好了,随便加。

    在这里插入图片描述
    配置开机自启

    vim ~/.bashrc
    

    最后面插入下面代码

    service ssh start
    

    **退出(按三次exit!,可能每个人都不一样,总之退出容器就好了)**看到没,下面图片#后面是不一样的

    exit
    
    exit
    
    exit
    

    在这里插入图片描述
    查看容器

    docker ps -a
    

    将刚才配置好的打包成镜像(这一步可能有点慢)

    docker commit 容器id hadoop_init
    

    查看镜像

    docker images
    

    在这里插入图片描述

    配置网络桥连接以及查看网络

    docker network create --driver=bridge hadoop
    
    docker network ls
    

    在这里插入图片描述

    指定master

    docker  run -itd --network hadoop -h 'h01' --name 'h01' -p 8088:8088 -p 9870:9870  hadoop_init /bin/bash
    
    docker  run -itd --network hadoop -h 'h02' --name 'h02'  hadoop_init /bin/bash
    
    docker  run -itd --network hadoop -h 'h03' --name 'h03'  hadoop_init /bin/bash
    

    在这里插入图片描述

    进入 h01以及格式化,启动等操作了

    docker attach h01
    
    cd /usr/local/hadoop/bin
    
    ./hadoop namenode -formate
    
    cd ../sbin/
    
    ./start-all.sh
    
    

    最后出现这个就代表你成功了!(这里是在另外一台服务器上搭建的截图,当时配了5个几点,总之只要每个节点后面出现有ip就可以了)
    在这里插入图片描述

    展开全文
  • 本文搭建的是三台虚拟机的集群环境,第一台master,另外两台是克隆过来,分别是node1和node2. 1.查看主机名 hostname 修改主机名(保持和虚拟机名字一致) vi /etc/sysconfig/network (三台都要修改) 改...

    本文搭建的是三台虚拟机的集群环境,第一台master,另外两台是克隆过来的,分别是node1和node2.

    1.查看主机名

    hostname

    修改主机名(保持和虚拟机名字一致)

    vi /etc/sysconfig/network   (三台都要修改)

    改HOSTNAME=master(第一台为例

    改完重启

    reboot

    在配置文件里面更改克隆的两个虚拟机的IP地址

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

    使用命令 重启网卡:service network restart

    修改主机名的一定成功的另一种方法

    vi /etc/hostname  

    #进入之后删除里面的一行,然后加入想要改的主机名,保存退出,重启

     

    2.查看JDK(三台机子都要)

    java -version

    没装的需要装

    在主节点master里上传hadoop的jar包到目录/user/local/soft/里面(这个目录需要自己建)

     

    3.关闭防火墙(三台都要操作)(下面的两个命令是专对于centos7而言的)

    systemctl status firewalld   #查看状态

    systemctl disable firewalld   #永久关闭防火墙

    #上面两个如果不成功就下面的两句

    systemctl stop firewalld.service          #停止firewall
    systemctl disable firewalld.service    #禁止firewall开机启动

     

    4.设置主机名与ip的映射,修改配置文件命令(三台都要操作):

    vi /etc/hosts  

    #添加三台的ip地址及主机名一一对应

    #本来想上传截图的,然后上传图片失败QAQ

     

    将hosts文件拷贝到node1和node2节点

     

    命令:

    scp /etc/hosts node1:/etc/hosts

    scp /etc/hosts node2:/etc/hosts

     

    5.设置ssh免密码登录(只在Master 这台主机操作

    ssh-keygen -t rsa  #产生密钥 一直回车

    将密钥拷贝到其他两个子节点,命令如下:

    ssh-copy-id -i node1

    ssh-copy-id -i node2

    实现免密码登录到子节点。

     

    6.实现主节点master本地免密码登录

    首先进入到/root 命令

    cd  /root

    再进入进入到 ./.ssh目录下

    cd ./.ssh/

    然后将公钥写入本地执行命令:

    cat ./id_rsa.pub >> ./authorized_keys

     

    7.安装JDK(三台机子都要,可以利用复制)

    cd /user/local/

    ll

    tar  -zxvf   jdk.....gz  #解压JDK

    mv  jdk1.8.0_181/ jdk  #重命名JDK

     

    #配置环境

    vi /etc/profile

    #加入下面两句

    export JAVA_HOME=/user/local/jdk

    export PATH=.:$JAVA_HOME/bin:$PATH

    #保存退出执行

    source /etc/profile

    #检查一下

    java -version

     

    #复制JDK给子节点

    scp -rv jdk node1:/user/local/

    scp -rv jdk node2:/user/local/

    上面的两句JDK环境配置也要粘贴到子节点

     

    以下操作都在master 这台主机操作

    8.将hadoop的jar包先上传到虚拟机/user/local/soft主节点的目录下。

    解压

    tar -zxvf hadoop-2.6.0.tar.gz

    #重命名

    mv hadoop-2.6.0 hadoop

    解压完后会出现 hadoop-2.6.0的目录

     

    9.修改master中hadoop的一个配置文件/user/local/soft/etc/hadoop/slaves

     删除原来的所有内容,修改为如下

     vi /user/local/soft/etc/hadoop/slaves

    删除里面本来的内容,写上

    node1

    node2

     

    10.进入/user/local/soft/hadoop-2.6.0/etc/hadoop 目录下,

    修改hadoop-env.sh文件

    vi hadoop-env.sh

    #加上一句

    export JAVA_HOME=/user/local/soft/jdk

     

    11.修改 core-site.xml

    vi core-site.xml

    将下面的配置参数加入进去修改成对应自己的

            <property>

                    <name>fs.defaultFS</name>

                    <value>hdfs://master:9000</value>

            </property>

            <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/user/local/soft/hadoop-2.6.0/tmp</value>

            </property>

        <property>

                     <name>fs.trash.interval</name>

                     <value>1440</value>

            </property>

     

    12.修改 hdfs-site.xml

    vi hdfs-site.xml

    将dfs.replication设置为1

        <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

        <property>

            <name>dfs.permissions</name>

            <value>false</value>

        </property>

     

    13.文件yarn-site.xml

    vi yarn-site.xml

    #加入下面的

    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
    </property>

     

    14.修改 mapred-site.xml

    将mapred-site.xml.template 复制一份为 mapred-site.xml命令:

    cp mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

    #加入下面的

       <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

    <property>  

    <name>mapreduce.jobhistory.address</name>  

    <value>master:10020</value>  

    </property>  

    <property>  

    <name>mapreduce.jobhistory.webapp.address</name>  

    <value>master:19888</value>  

    </property> 

     

    14.将hadoop的安装目录分别拷贝到其他子节点(必须保证子节点的目录已经存在

    #先把目录返回到存放hadoop的地方/user/local/soft/

    cd ..

    cd ..

     scp -r /user/local/soft/hadoop  node1:/user/local/soft/

     scp -r /user/local/soft/hadoop  node2:/user/local/soft/

     

    15.看下hadoop目录下有没有tmp文件夹。

    如果没有 执行一次格式化命令:

    cd  /user/local/soft/hadoop目录下

    执行命令:

    ./bin/hdfs namenode -format

    会生成tmp文件。

    然后

    /uesr/local/soft/hadoop目录下

      启动执行:./sbin/start-all.sh

    #执行JPS查看是否成功了

    jps

      启动完成后验证进程

    主节点进程:namenode/ secondarnamenode/resourcemanager

    子节点进程 datanode /nodenodemanager

    验证hdfs:

    可以登录浏览器地址:192.168.1.80:50070 (ip地址是master的地址)

     

    展开全文
  • VMware中搭建Hadoop集群(文字版) 所用各工具版本: 系统镜像:CentOS-7-x86_64-DVD-1810 VM version:VMware Workstation Pro15 Java version:jdk-8u221-linux-x64 Hadoop version:hadoop-2.7.7 准备步骤: ...

    所用各工具版本:

    • 系统镜像:CentOS-7-x86_64-DVD-1810
    • VM version:VMware Workstation Pro15
    • Java version:jdk-8u221-linux-x64
    • Hadoop version:hadoop-2.7.7

    准备步骤:

    • 下载CentOS-7镜像、下载匹配的Sun JDK包、下载匹配的Hadoop包
    • 将Vmware中的VMnet8网络设置成“NAT模式”,设置子网IP、子网掩码、网关

    集群规划:

    • 集群搭建之前,应该进行 集群规划 ,文件中的某些配置需要基于对集群的规划,进行配置之前,需要先计划好Hadoop中的各个组件服务器应该搭载在哪台主机上,实现 负载均衡,避免由于宕机而造成不可逆损失,集群规划 是搭建分布式环境之前的最重要步骤之一,本次实验中具体规划如下:
    hadoop101 hadoop102 hadoop103
    HDFS NameNode
    DateNode
    DateNode DateNode
    SecondaryNameNode
    YARN NodeManager ResourceManager
    NodeManager
    NodeManager

    正式步骤:

    1. 安装系统镜像

    • “软件安装” 选择“Server with GUI”,这样就具备了如ssh、UI界面等一系列基本工具,“磁盘划分” 选择默认或者自己手动分区都可,自定义最好

    2. 创建root用户和普通用户

    • 注意普通用户的用户名必须要全部小写,本次创建的用户名为tomandersen

    3. 安装Vmware Tools

    • 打开桌面自带的磁盘镜像,解压tar.gz到桌面,执行文件夹中vmware-install.pl文件,安装完成后,在Linux系统中调整分辨率到合适配置

    4. 添加普通用户sudo权限并实现免密使用sudo命令

    • 方法1: 使用 visudo命令 或者直接手动修改 /etc/sudoers配置文件,在root ALL=(ALL) ALL后方添加设置,格式为 <用户名> ALL=(ALL) NOPASSWD:ALL,如tomandersen ALL=(ALL) NOPASSWD:ALL即可实现指定用户使用sudo命令无需密码,也可以使用命令“sudo -s”实现无密码登录root用户。
    • 方法2: 或者也可以使用实现组内用户全部免密使用sudo命令:①创建名为hadoop的用户组,②将用户添加到hadoop组,③将root组成员设置成全部免密:格式为%<组名> ALL=(ALL) NOPASSWD:ALL,如%hadoop ALL=(ALL) NOPASSWD:ALL

    5. 修改网卡名(可以不修改)

    6. 设置静态IP:

    7. 修改主机名:

    • 方法1: 可以手动编辑 /etc/sysconfig/network文件,添加或者设置NETWORKING=yesHOSTNAME=<新主机名>HOSTNAME=hadoop101重启生效
    • 方法2: 使用命令格式为hostnamectl set-hostname <新主机名>,如hostnamectl set-hostname hadoop101立即生效
    • 方法3: 修改/etc/hostname文件,直接添加进这个文件的字符串即为主机名,如hadoop101重启生效

    8. 配置/etc/hosts文件

    • 添加集群中各个主机IP地址与主机名的映射关系,如
    192.168.126.101 hadoop101
    192.168.126.102 hadoop102
    192.168.126.103 hadoop103
    

    9. 禁用防火墙 firewalld

    • systemctl disable firewalld.service
    • 注意:在CentOS 7或RHEL 7或Fedora中防火墙由firewalld来管理

    10. 在/opt/下创建module和software文件夹并将所属权赋给之前创建的普通用户

    • 创建文件夹:sudo mkdir modulesudo mkdir software
    • 改变文件夹所属组和所属用户:sudo chown tomandersen:tomandersen module/ software/
    • 以后相关大数据组件都存放于这两个路径下,便于管理

    11. 使用XShell工具远程连接主机Hadoop101将JDK和Hadoop包传入到/opt/software/路径下

    • 可以在XShell中使用rz命令,或者直接拖拽文件到对应区域

    12. 卸载现有JDK

    • 使用yum命令查看是否安装有JDK:sudo yum list installed | grep java,然后将jdk相关包删除:sudo yum remove <包名>
    • 自带的是Open JDK,这里我们使用Sun JDK

    13. 重装JDK

    • /opt/software/路径下的JDK解压到/opt/module/路径下:tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module/(因为解压目录不在当前路径下所以使用tar命令需要增加-C参数)
    • 设置和添加全局环境变量JAVA_HOMEPATH:使用sudo+vi命令修改/etc/profile文件,在末尾添加export JAVA_HOME=/opt/module/jdk1.8.0_221export PATH=$PATH:$JAVA_HOME/bin
    • 重新加载/etc/profile文件使其生效:source /etc/profile,检查环境变量JAVA_HOME:which java

    14. 安装Hadoop

    • 同样将/opt/software/路径下的Hadoop包解压到/opt/module/路径下:tar -xzvf hadoop-2.7.7.tar.gz -C /opt/module/
    • 设置和添加全局环境变量HADOOP_HOMEPATH:使用sudo+vi命令修改/etc/profile文件,在末尾添加export HADOOP_HOME=/opt/module/hadoop-2.7.7export PATH=$PATH:$HADOOP_HOME/bin
    • 重新加载/etc/profile文件使其生效:source /etc/profile,检查是否安装成功:hadoop version

    15. 配置Hadoop

    16. 完全拷贝虚拟机并且更改新其他主机名和IP

    • 完全拷贝虚拟机hadoop101,生成hadoop102hadoop103,这样hadoop101的配置信息也一并同步到了其他主机中
    • hadoop102hadoop103中将主机名分别设置成对应主机名:hostnamectl set-hostname hadoop102hostnamectl set-hostname hadoop103
    • 分别修改主机IP地址,本次实验中hadoop102hadoop103地址分别设置为192.168.126.102192.168.126.103,然后重启网卡更新IP地址

    17. 设置各主机间ssh免密登录

    18. 使用ntp进行集群时间同步

    19. 格式化NameNode节点

    • 在第一次启动集群之前需要格式化NameNode节点hdfs namenode -format或者hadoop namenode -format,建议用前者,后者命令将被弃用
    • 如果不是第一次格式化NameNode,需要事先删除tmplogs文件夹

    20. 启动HDFS集群

    • 使用hadoop-2.7.7/sbin/路径下的start-dfs.sh脚本启动HDFS集群,在节点上使用jps命令查看Java进程,观察进程启动情况是否和集群规划中的匹配
    • 注意:只能在NameNode主机上启动HDFS集群,否则无法启动NameNode进程,而只能启动DataNode

    21. 启动YARN集群:

    • 使用hadoop-2.7.7/sbin/路径下的start-yarn.sh脚本启动YARN集群,在节点上使用jps命令查看Java进程,观察进程启动情况是否和集群规划中的匹配
    • 注意:只能在ResourceManager主机上启动YARN集群,否则无法启动ResourceManager进程,而只能启动NodeManager

    22. 运行测试:

    • 使用Hadoop自带的例子测试集群是否搭建成功,观察运行结果:
    • hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 10 10

    End~

    展开全文
  • 1、前言在讲述Hadoop集群搭建之前,首先要了解Hadoop和集群两个名词,Hadoop是由Apache基金会开发分布式系统基础架构,简单理解就是大数据技术应用基础。集群可以理解为...
  • hadoop集群搭建步骤

    2019-01-10 22:29:38
    该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
  • 搭建三节点的hadoop集群: 要求: 主机名称 备注 IP地址 功能 hadoop01 Master 主节点 192.168.211.134 NameNode、DataNode、ResourceManager、...
  • Ubuntu搭建Hadoop3.2.1详细步骤 (二)Hadoop集群配置 上篇文章中ssh配置结果是,在master机上能够随心登陆任意一台虚拟机。这篇文章讲述是如何编写hadoop配置文件。 注意:如果你hadoop不是放在home目录...
  • 搭建Hadoop集群步骤

    2013-01-05 14:58:00
    ——基于三台机器 一、前提 1、 首先要有三台已联网机器,假设为A,B1,B2。其中A:192.168.81.91;B1:192.168.81.92;B2:192.168.81.93。...为Hadoop集群的使用新增一个专门的用户,假设用户名和密码...
  • Hadoop集群搭建步骤

    2020-03-09 14:14:34
    准备3台客户机(关闭防火墙...安装Hadoop 配置环境变量,并且还要source /etc/profile 配置集群 配置ssh实现无密码登陆(namenode服务器和resourcemanager服务器、namenode服务器root用户也需要配置) 群起并测试集群...
  • hadoop搭建集群 1.生成密钥对(NameNode和DataNode都需要) [root@sql ~]#ssh-keygen -t rsa -P ' ' 2.查看密钥对 [root@gg1 ~]# cd .ssh/ [root@gg1 .ssh]# ls id_rsa id_rsa.pub 3.删除DataNode密钥对,...
  • Linux 搭建Hadoop集群---Jdk配置 Linux 搭建Hadoop集群 ---SSH免密登陆 一:下载安装 Hadoop 1.1:下载指定Hadoop hadoop-2.8.0.tar.gz 1.2:通过XFTP把文件上传到master电脑bigData目录下 1.3:解压...
  • 搭建hadoop的伪分布式(hdfs,mapreduce,yarn配置在同一服务器上) (1)配置hdsf (a)配置:hadoop-env.sh 修改JAVA_HOME 路径:export JAVA_HOME= jdk路径 (b)配置:core-site.xml fs.defaultFS hdfs://...
  • Hadoop版本:2.x Java版本: jdk-8u251-linux VMware版本:16.x 二、开始第二环节 1.创建虚拟机 2.修改网卡 3.配置hosts 4.配置网络名+修改hostname 5.关掉网络管理 6.关掉Linux内核防火墙 7.关闭linux...
  • hadoop集群搭建步骤

    2018-10-08 14:14:15
    注意:apache提供的hadoop-2.6.4安装包是在32位操作系统编译,因为hadoop依赖一些C++本地库, 所以如果在64位操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 (建议第一次安装用32位系统,我将...
  • 详细描述了在笔记本电脑上搭建hadoop的安装步骤,包括前期虚拟机安装和配置,hdfs、kafka、spark、storm等组件安装。
  • Linux虚拟机安装 后没有网络 一:首次进入虚拟机输入 二:选择启动后,显示没有网络配置如下: ...二:修改VMware里面:(工具栏:编辑——》虚拟网络编辑器)如下图: 跳转到地方 三:...
  • hadoop集群安装步骤

    2013-03-21 14:19:16
    hadoop集群安装步骤,完整的步骤,5台机器搭建,一次成功
  • spark要配合Hadoop的hdfs使用,然而Hadoop的特点就是分布式,在一台主机上搭建集群有点困难,百度后发现可以使用docker构建搭建,于是开搞: github项目:https://github.com/kiwenlau/hadoop-cluster-docker ...
  • 阿里云ubuntu16.04基于docker搭建hadoop详细操作步骤......里面都是详细脚本文件,对照着我博客做应该是没有问题.
  • 详细说明了在Linux18.04上搭建hadoop的过程。详细介绍了在虚拟机上集三台虚拟机的集群步骤
  • 3台主机:1个master、2个slaver/worker ip地址使用docker默认分配地址: master: 主机名: hadoop2、ip地址: 172.17.0.2 slaver1: 主机名: hadoop3、ip地址: 172.17.0.3 主机名: had...
  • 搭建hadoop集群

    2017-08-10 11:35:18
    Hadoop搭建集群和单节点上安装Hadoop过程基本相同:解压安装包,修改主句名,设置映射,配置静态IP,配置环境变量,关闭防火墙之类的步骤在上篇博客里详细写过就不再赘述 一、免密登录  主节点到从节点的免密...
  • 大数据面试题之Hadoop集群搭建步骤

    千次阅读 2018-02-27 23:34:45
    一、打开需要搭建Hadoop集群的主从节点服务器 ,配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙二、通过远程登录工具(我用的是SecureSRT) 登录到Linux系统,登录前需要在Windows系统中C:\Windows...
  • 腾讯云hadoop集群搭建步骤及注意的相关问题步骤: 防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】 配置完全分布式hadoop集群 ... 配置完全分布式hadoop集群集群的搭建详细步骤可参见3
  • Hadoop集群搭建

    2015-01-04 20:26:12
    搭建hadoop集群的步骤如下,有五个虚拟机进行测试:

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,214
精华内容 485
关键字:

搭建hadoop集群的步骤