精华内容
下载资源
问答
  • Hadoop伪分布式安装步骤

    千次阅读 2019-06-28 17:15:50
    Hadoop伪分布式安装步骤 目录 Hadoop伪分布式安装步骤 一.永久关闭防火墙 二.配置主机名 1.编辑network文件:vim /etc/sysconfig/network 2.将HOSTNAME属性改为指定的主机名, 3.让network文件重新生效:s.....

                                 Hadoop伪分布式安装步骤 

    目录

                                 Hadoop伪分布式安装步骤 

    一.永久关闭防火墙

    二.配置主机名

    1.编辑network文件:vim /etc/sysconfig/network

    2.将HOSTNAME属性改为指定的主机名,

    3.让network文件重新生效:source /etc/sysconfig/network

    三.配置hosts文件,将主机名和ip地址进行映射

    1.编辑hosts文件:vim /etc/hosts

    2.将主机名和ip地址对应,

    四.配置ssh进行免密互通

    1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下:ssh-keygen

    2.把生成的公钥拷贝到远程机器上,

    五.重启Linux让主机名的修改生效:reboot

    六.安装JDK

    七.上传或者下载Hadoop安装包到Linux中

    八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz

    九.adoop的安装目录的子目录etc/hadoop

    十.配置hadoop-env.sh

    1.编辑hadoop-env.sh:vim hadoop-env.sh

    2.修改JAVA_HOME的路径,修改成具体的路径。

    1. cat /etc/profile   查看所有的配置文件路径

    3.修改HADOOP_CONF_DIR的路径,修改为具体的路径,

    4.保存退出文件

    5.重新加载生效:

    十一.配置 core-site.xml

    1.编辑core-site.xml:vim core-site.xml

    2.添加如下内容:

    3.保存退出

    十二.配置 hdfs-site.xml

    1.编辑hdfs-site.xml:

    2.添加如下配置:

    3.保存退出

    十三.配置 mapred-site.xml

    1.将mapred-site.xml.template复制为mapred-site.xml

    2.编辑mapred-site.xml

    3.添加如下配置:

    4.保存退出

    十四.配置 yarn-site.xml

    1.编辑yarn-site.xml

    2.添加如下内容:

    3.保存退出

    十五.配置slaves

    1.编辑slaves:vim slaves

    2.添加从节点信息,

    3.保存退出

    4.配置hadoop的环境变量

    十六.编辑profile文件:vim /etc/profile

    1.添加Hadoop的环境变量,例如:

    2.保存退出

    3.重新生效:source /etc/profile

    4.格式化namenode:hadoop namenode -format 

    5.启动hadoop:start-all.sh



    一.永久关闭防火墙

    已经关闭,忽略

     

    二.配置主机名

    需要注意的是Hadoop的集群中的主机名不能有_。如果存在_会导致Hadoop集群无法找到这群主机,从而无法启动!

    1.编辑network文件:vim /etc/sysconfig/network

    2.将HOSTNAME属性改为指定的主机名,

    3.让network文件重新生效:source /etc/sysconfig/network

     

    三.配置hosts文件,将主机名和ip地址进行映射

    1.编辑hosts文件:vim /etc/hosts

    2.将主机名和ip地址对应,

     

    四.配置ssh进行免密互通

    1.生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下:ssh-keygen

    2.把生成的公钥拷贝到远程机器上,

    格式为:ssh-copy-id [user]@host,例如:ssh-copy-id root@hadoop01

     

    五.重启Linux让主机名的修改生效:reboot

     

    六.安装JDK

     

    七.上传或者下载Hadoop安装包到Linux中

     

    八.解压安装包tar -xvf hadoop-2.7.1_64bit.tar.gz

     

    九.adoop的安装目录的子目录etc/hadoop

    配置Hadoop:cd hadoop2.7.1/etc/hadoop

     

    十.配置hadoop-env.sh

    1.编辑hadoop-env.sh:vim hadoop-env.sh

    2.修改JAVA_HOME的路径,修改成具体的路径。

    1. cat /etc/profile   查看所有的配置文件路径

    //home/presoftware/jdk1.8

    例如:export JAVA_HOME=/home/software/jdk1.8

    3.修改HADOOP_CONF_DIR的路径,修改为具体的路径,

    例如:export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

    4.保存退出文件

    :wq

    5.重新加载生效:

    source hadoop-env.sh

     

    十一.配置 core-site.xml

    1.编辑core-site.xml:vim core-site.xml

    2.添加如下内容:

    <property>

        <!-- 指定HDFS中的主节点 - namenode -->

        <name>fs.defaultFS</name>               

        <value>hdfs://hadoop01:9000</value>

    </property>

    <property>

        <!-- 执行Hadoop运行时的数据存放目录 -->

        <name>hadoop.tmp.dir</name>

        <value>/home/software/hadoop-2.7.1/tmp</value>

    </property>

    3.保存退出

     

    十二.配置 hdfs-site.xml

    1.编辑hdfs-site.xml:

    vim hdfs-site.xml

    2.添加如下配置:

    <property>

        <!-- 设置HDFS中的复本数量 -->

        <!-- 在伪分布式下,值设置为1 -->

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    3.保存退出

     

    十三.配置 mapred-site.xml

    1.将mapred-site.xml.template复制为mapred-site.xml

    cp mapred-site.xml.template mapred-site.xml

    2.编辑mapred-site.xml

    vim mapred-site.xml

    3.添加如下配置:

    <property>

        <!-- 指定将MapReduceYarn上运行  -->

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    4.保存退出

     

    十四.配置 yarn-site.xml

    1.编辑yarn-site.xml

    vim yarn-site.xml

    2.添加如下内容:

    <!-- 指定Yarn的主节点 - resourcemanager -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop01</value>

    </property>

    <!-- NodeManager的数据获取方式 -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    3.保存退出

     

    十五.配置slaves

    1.编辑slaves:vim slaves

     

    2.添加从节点信息,

    例如:liuyong

    3.保存退出

     

    4.配置hadoop的环境变量

     

    十六.编辑profile文件:vim /etc/profile

    1.添加Hadoop的环境变量,例如:

    在最后一行添加

    export HADOOP_HOME=/home/software/hadoop-2.7.1

    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    2.保存退出

     

    3.重新生效:source /etc/profile

     

    4.格式化namenode:hadoop namenode -format 

    第一次配置需要初始化

     

    5.启动hadoop:start-all.sh

     

    配置最好手敲,复制遇坑,后果自负

    展开全文
  • hadoop伪分布式安装步骤

    千次阅读 2017-11-13 16:42:32
    hadoop伪分布式安装步骤:(hadoop资源:http://download.csdn.net/download/qq_36952300/10117094)  (jdk资源:http://download.csdn.net/download/qq_36952300/10117137) 1.虚拟机网络适配器

    hadoop伪分布式安装步骤:(hadoop资源:http://download.csdn.net/download/qq_36952300/10117094

                                                (jdk资源:http://download.csdn.net/download/qq_36952300/10117137)

    1.虚拟机网络适配器设置

       

    2.设置静态IP

        2.1 修改ip地址

          

         

        

        2.2 重启网卡 service network restart

          验证:ifconfig

          结果:

          

    3.修改主机名(可选)

          3.1 hostname   主机名

          3.2 修改配置文件 /etc/sysconfig/network  命令:vi /etc/sysconfig/network

          3.3 把主机名与ip地址绑定:执行命令 vi /etc/hosts 增加一行内容

                                                    ip地址(192.168.65.100) 主机名(hadoop)

       验证:ping 主机名

       结果:

       

    4.关闭防火墙

         4.1 执行命令 service iptables stop

           验证: service iptables status

           

           4.2  关闭防火墙的自动运行:chkconfig iptables off

           验证: chkconfig --list | grep iptables

           结果:

          

    5.设置SSH自动登录

         5.1 在usr目录下的.ssh中执行命令:ssh-keygen -t rsa(中间按三次回车键)

         

          5.2 在usr目录下的.ssh中执行命令:cp  id_rsa.pub  authorized_keys或在其他目录下可以执行cp usr/.ssh/id_rsa.pub  usr/.ssh/authorized_keys

         

    6.安装JDK(安装在usr/local目录下)—自己选择安装目录

        6.1 删除usr/local目录下所有内容:rm -rf /usr/local *

        6.2 把jdk文件从windows下复制到usr/local下(使用工具WinSCP)

        6.3 赋jdk文件操作权利:chomd  u+x  jdk文件名

        6.4 解压缩:./jdk文件名

        6.5 设置环境变量(/etc/profile)命令:vi /etc/profile 

              添加内容: export JAVA_HOME=/usr/local/Jjdk(jdk的所在目录)

                                 export PATH=.:$JAVA_HOME/bin:$PATH

       6.6 让配置立即生效命令:source /etc/profile

       验证:java -version

       结果:

       

    7.安装hadoop

       7.1 解压缩:tar -zxvf hadoop文件名

        7.2 设置环境变量(/etc/profile)命令vi /etc/profile 

              添加内容: export HADOOP_HOME=/usr/local/hadoop(hadoop的所在目录及文件名)

              修改内容: export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

              配置完整内容:

                                      

       7.3 让配置立即生效命令:source /etc/profile

       7.4 修改hadoop/conf目录下的配置文件:hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

             hadoop-env.sh:

             export JAVA_HOME=/usr/local/jdk/

             

             core-site.xml:

            <configuration>
                 <property>
                      <name>fs.default.name</name>
                      <value>hdfs://hadoop0:9000</value>
                      <description>change your own hostname</description>
                </property>
               <property>
                    <name>hadoop.tmp.dir</name>
                   <value>/usr/local/hadoop/tmp</value>
               </property>  
          </configuration>

           

         hdfs-site.xml

          <configuration>
              <property>
                   <name>dfs.replication</name>
                   <value>1</value>
             </property>
            <property>
                  <name>dfs.permissions</name>
                  <value>false</value>
            </property>
        </configuration>

        

       mapred-site.xml:

          <configuration>
             <property>
                <name>mapred.job.tracker</name>
                <value>hadoop0:9001</value>
                <description>change your own hostname</description>
            </property>
        </configuration>

        

        7.5 格式化hadoop:hadoop namenode -format

        7.6 启动:start-all.sh

        

        验证—方式1:jps

                   结果:

                  

                          —方式2:虚拟机浏览器url输入:hadoop:50070

                   结果:

               


                  虚拟机浏览器url输入:hadoop:50030 

                  结果:      

    展开全文
  • hadoop jar hadoop-mapreduce-examples-2.8.3.jar wordcount /article /artout //计算文本中词汇的个数 hadoop jar hadoop-mapreduce-examples-2.8.3.jar pi 5 5 //计算圆周率 10\免密登录   $ ssh-...

    操作系统  centos7

    java verson : jdk1.8.0_151

    hadoop version : hadoop-2.8.1

     

    1、把安装包放到 opt文件夹下面。并进行解压。

        cd /opt

        tar -zxvf hadoop-2.8.1

    2、配置jdk、hadoop文件路径

    vi /etc/profile


    export JAVA_HOME=/opt/jdk1.8.0_151
    export JRE_HOME=${JAVA_HOME}/jre
    export HADOOP_HOME=/opt/hadoop-2.8.1

    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH:${HADOOP_HOME}/bin

    3、进入 etc/hadoop 目录下进行配置文件设置

        修改指定运行的java路径地址

        hadoop-env.sh 

    # The java implementation to use.
    #  export JAVA_HOME=${JAVA_HOME}
        export JAVA_HOME=/opt/jdk1.8.0_151

    core-site.xml 默认的配置文件

        
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost:9000/</value>
            </property>
           
            <property>
                   <name>hadoop.tmp.dir</name>
                   <value>/home/hadoop/hadoop-2.8.1/tmp</value>
            </property>

    hdfs-site.xml

    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>

    mapred-site.xml

     

    <property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>

    yarn-site.xml

           <!-- <property>
    		<name>yarn.resourcemanager.address</name>
    		<value>localhost:9000</value>
    	</property> -->
    
            <property>
    		<name>yarn.resourcemanager.hostname</name>
    		<value>localhost</value>
    	</property>
    
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                   
    	</property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

    hadoop namenode -format

    4、启动

    cd sbin

    ./start-dfs.sh

    ./start-yarn.sh

    5、校验查看

    jps

    6、浏览器地址访问

    http://localhost:8088/cluster

    http://localhost:50070

    7、向dfs中上传文件

    hadoop fs -put jdk-8u131-linux-x64.tar.gz  hdfs://localhost:9000/devtools

    8、下载文件

    hadoop fs -get hdfs://localhost:9000/jdk-8u131-linux-x64.tar.gz

    9、运行mapreduce程序

    hadoop jar hadoop-map

    hadoop jar hadoop-mapreduce-examples-2.8.3.jar  wordcount /article /artout     //计算文本中词汇的个数

    hadoop jar hadoop-mapreduce-examples-2.8.3.jar  pi 5 5    //计算圆周率

    10\免密登录

     

    $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
      $ chmod 0600 ~/.ssh/authorized_keys

    ssh localhost

    11\开放端口

    firewall-cmd --zone=public --add-port=6379/tcp --permanent
     

    转载于:https://my.oschina.net/yangcaoling/blog/1611854

    展开全文
  • 前序工作:hadoop环境搭建:琪瑞:Hadoop环境搭建​zhuanlan.zhihu.com伪分布式是完全分布式的一种特例,但它只有一个节点,下图是安装伪分布式模式所需要修改的文件、属性名称、属性值及含义。1、修改主机名使用...

    前序工作:hadoop环境搭建:

    琪瑞:Hadoop环境搭建zhuanlan.zhihu.com
    839d7c90dd676c9a8c7ad423cdd04afa.png

    伪分布式是完全分布式的一种特例,但它只有一个节点,下图是安装伪分布式模式所需要修改的文件、属性名称、属性值及含义。

    05965fae6866f412b509f7c26908994c.png

    1、修改主机名

    使用下面的命令查看ubuntu操作系统的主机名:

    hostname

    为了安装方便和易于记忆,将这台主机的主机名修改为node1。

    用vi命令编辑/etc/hostname文件。

    sudo vi /etc/hostname

    将原有内容删除,添加如下内容。

    node1

    重启ubuntu系统,使修改生效。

    sudo reboot

    3、映射IP地址及主机名(注意,这里的ip地址已经改成了固定的ip地址)

    c93742758907be60bf624c623f845e78.png

    接上图:

    c97801cbbbd711f7f1d995fff2201eb5.png

    接上:

    eae608b97208c2fc15fde668a2ab2b6b.png

    da0997f45a064ccb1903580859a1355b.png

    cdfe0aeceacf8b0ec591b8d935e8b39d.png

    6e7ffc7752dc1326684799b4975b3d67.png
    展开全文
  • 什么是伪分布式安装呢?众所周知,hadoop的集群有namenode(主备)和datanode组成的。实际应该让这些节点都分布在不同的服务器,伪分布式就是将这些节点都放在一台服务器上面,这个是用来做测试。后面我们会介绍全...
  • 最近在学习hadoop,自己下了个视频教程,他的教学版本是hadoop0.20.2版本,现在的最新版本都到了3.0了,版本虽然有点老,但是还是...伪分布式模式安装和配置步骤如下图: 详细步骤 1 首先把文件导入linux系统(...
  • 第一步安装jdk创建java文件sudo mkdir /usr/local/java cd /usr/local/java sudo tar -xzvf /home/wss/jdk-8u201-linux-x64.tar.gz2. 配置环境变量sudo vim /etc/profile在/etc/profile最下面添加(解释:JAVA_HOME...
  • 一、搭建环境的前提条件 环境:Linux系统 Hadoop-2.6.0 MySQL 5.6 apache-hive-2.3.7 这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。但是注意hive和hadoop都是2.x系列...
  • 本篇是hdfs的安装所用版本:hadoop-2.6.0-cdh5.7.0.tar.gz1)jdk安装解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量: ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79...
  • 开始搭建2.1 设置配置信息修改hadoop-env.sh文件将hadoop-env.sh文件中的 # The java implementation to use. 下 修改成:export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/root/bigdata/jdk修改core-site.xml文件#....
  • CentOS hadoop 伪分布式安装步骤

    千次阅读 2016-03-03 21:16:38
    如果 hadoop 对应的 java进程运行在一个物理机器中,我们将之称为分布,如果它运行在多台物理机器中,就称其为分布式。 环境的准备 设置ip地址 采用host only网络连接方式,桌面右键网络连接,选择 ...
  • hadoop伪分布式安装方法步骤,包括每一步的截图、一些常见错误分析等等。
  • 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤
  • 详细讲解hadoop伪分布式安装步骤,让你一下学会安装自己的hadoop集群
  • Hadoop伪分布式安装

    2018-11-06 18:32:10
    Hadoop伪分布式安装步骤 1、 进入安装包所在目录,修改hadoop-env.sh配置文件: $ cd ~/hadoop/etc/hadoop $ vi hadoop-env.sh //找到exportJAVA_HOME,把#去掉,并修改为:  export JAVA_HOME=/home/hadoop/jdk...
  • Linux上的Hadoop伪分布式安装及其相关配置步骤,以及Hadoop3种运行模式的相关知识。该文档摘自:http://public.bigdataedu.org/ ,仅供学习参考!
  • Hadoop伪分布式学习步骤 一、安装Linux需要的步骤(下面是利用镜像文件安装Linux的步骤),懂得安装Linux下面就不要看了    用vm 打开解压的专用centos,找到镜像文件为:   注意在打开镜像文件...
  • 大数据教程-Hadoop伪分布式安装,安装、部署详细细节步骤

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 617
精华内容 246
关键字:

hadoop伪分布式安装步骤