精华内容
下载资源
问答
  • Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

    万次阅读 多人点赞 2017-05-11 23:13:17
    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本:CentOS7 Hadoop2.8.0 JDK1.8


    1下载hadoop

    2安装3个虚拟机并实现ssh免密码登录

            2.1安装3个机器

            2.2检查机器名称

            2.3修改/etc/hosts文件

            2.4 给3个机器生成秘钥文件

            2.5 在hserver1上创建authorized_keys文件

            2.6将authorized_keys文件复制到其他机器

            2.7 测试使用ssh进行无密码登录

                       2.7.1在hserver1上进行测试

                       2.7.2在hserver2上进行测试

                       2.7.3在hserver3上进行测试

    3安装jdk和hadoop

             3.1安装JDK

             3.2安装hadoop

                      3.2.1上载文件并解压缩

                      3.2.2新建几个目录

                      3.2.3修改etc/hadoop中的一系列配置文件

                                  3.2.3.1修改core-site.xml

                                  3.2.3.2修改hadoop-env.sh

                                  3.2.3.3修改hdfs-site.xml

                                  3.2.3.4新建并且修改mapred-site.xml

                                  3.2.3.5修改slaves文件

                                  3.2.3.6修改yarn-site.xml文件

    4启动hadoop

                  4.1在namenode上执行初始化

                  4.2在namenode上执行启动命令

    5测试hadoop

     

      关键字:Linux  CentOS  Hadoop  Java

      版本:  CentOS7  Hadoop2.8.0  JDK1.8

      说明:Hadoop从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

    1下载hadoop

         本博文使用的hadoop是2.8.0

        打开下载地址选择页面:

    http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

        如图:


    我使用的地址是:

           http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 

    2安装3个虚拟机并实现ssh免密码登录

    2.1安装3个机器

            这里用的Linux系统是CentOS7(其实Ubuntu也很好,但是这里用的是CentOS7演示),安装方法就不多说了,如有需要请参考该博文:

            http://blog.csdn.net/pucao_cug/article/details/71229416

            安装3个机器,机器名称分别叫hserver1、hserver2、hserver3(说明机器名不这么叫可以,待会用hostname命令修改也行)。

    如图:

       

     

              说明:为了免去后面一系列授权的麻烦,这里直接使用root账户登录和操作了。

              使用ifconfig命令,查看这3个机器的IP。我的机器名和ip的对应关系是:

    192.168.119.128   hserver1

    192.168.119.129   hserver2

    192.168.119.130   hserver3

    2.2检查机器名称

             为了后续操作方便,确保机器的hostname是我们想要的。拿192.168.119.128这台机器为例,用root账户登录,然后使用hostname命令查看机器名称

    如图:

        

            发现,这个机器名称不是我们想要的。不过这个好办, 我给它改个名称,命令是:

    hostname   hserver1

    如图:

       

             执行完成后,在检查看,是否修改了,敲入hostname命令

      如图:

          

              类似的,将其他两个机器,分别改名为hserver2和hserver3。

    2.3 修改/etc/hosts文件

            修改这3台机器的/etc/hosts文件,在文件中添加以下内容:

    192.168.119.128   hserver1
    192.168.119.129   hserver2
    192.168.119.130   hserver3

    如图:

         

              说明:IP地址没必要和我的一样,这里只是做一个映射,只要映射是对的就可以,至于修改方法,可以用vim命令,也可以在你的本地机器上把hosts文件内容写好后,拿到Linux机器上去覆盖。

              配置完成后使用ping命令检查这3个机器是否相互ping得通,以hserver1为例,在什么执行命令:

     ping  -c 3  hserver2

    如图:

         


           执行命令:

    ping  -c  3  hserver3

    如图:

         

            ping得通,说明机器是互联的,而且hosts配置也正确。

    2.4给3个机器生成秘钥文件

             以hserve1为例,执行命令,生成空字符串的秘钥(后面要使用公钥),命令是:

    ssh-keygen  -t   rsa   -P  ''

    如图:

         

     

             因为我现在用的是root账户,所以秘钥文件保存到了/root/.ssh/目录内,可以使用命令查看,命令是:

    ls    /root/.ssh/

    如图:

       

           使用同样的方法为hserver2和hserver3生成秘钥(命令完全相同,不用做如何修改)。

    2.5在hserver1上创建authorized_keys文件

              接下来要做的事情是在3台机器的/root/.ssh/目录下都存入一个内容相同的文件,文件名称叫authorized_keys,文件内容是我们刚才为3台机器生成的公钥。为了方便,我下面的步骤是现在hserver1上生成authorized_keys文件,然后把3台机器刚才生成的公钥加入到这个hserver1authorized_keys文件里,然后在将这个authorized_keys文件复制到hserver2hserver3上面。

           首先使用命令,在hserver1的/root/.ssh/目录中生成一个名为authorized_keys的文件,命令是:

    touch  /root/.ssh/authorized_keys

    如图:

        

          可以使用命令看,是否生成成功,命令是:

    ls   /root/.ssh/

    如图:

        

              其次将hserver1上的/root/.ssh/id_rsa.pub文件内容,hserver2上的/root/.ssh/id_rsa.pub文件内容,hserver3上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中,复制的方法很多了,可以用cat命令和vim命令结合来弄,也可以直接把这3台机器上的/root/.ssh/id_rsa.pub文件下载到本地,在本地将authorized_keys文件编辑好在上载到这3台机器上。

    hserver1机器上我的/root/.ssh/id_rsa.pub内容是:

    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQD8fTIVorOxgDo81yCEgcJTstUcyfOBecL+NZ/OLXCEzaBMw5pLV0UNRX6SZnaAgu/erazkz4sw74zfRIMzEeKKCeNcZ6W78cg+ZNxDcj8+FGeYqY5+nc0YPhXFVI7AwFmfr7fH5hoIT14ClKfGklPgpEgUjDth0PeRwnUTvUy9A1x76npjAZrknQsnoLYle7cVJZ/zO3eGxS75YEdTYDMv+UMiwtcJg7UxOqR+9UT3TO+xLk0yOl8GIISXzMhdCZkmyAH+DmW56ejzsd+JWwCMm177DtOZULl7Osq+OGOtpbloj4HCfstpoiG58SM6Nba8WUXWLnbgqZuHPBag/Kqjroot@hserver1

    hserver2机器上我的/root/.ssh/id_rsa.pub内容是:

    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC29kPkYz4c3bd9Qa1TV8kCR0bUNs4f7/dDcR1NKwrgIiecN7zPEWJpjILtlm3niNNx1j5R49QLTLBKKo8PE8mid47POvNypkVRGDeN2IVCivoAQ1T7S8bTJ4zDECGydFYyKQfS2nOAifAWECdgFFtIp52d+dLIAg1JC37pfER9f32rd7anhTHYKwnLwR/NDVGAw3tMkXOnFuFKUMdOJ3GSoVOZf3QHKykGIC2fz/lsXZHaCcQWvOU/Ecd9e0263Tvqh7zGWpF5WYEGjkLlY8v2sioeZxgzog1LWycUTMTqaO+fSdbvKqVj6W0qdy3Io8bJ29Q3S/6MxLa6xvFcBJEXroot@hserver2

    hserver2机器上我的/root/.ssh/id_rsa.pub内容是:

    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC1a2o10ttv2570GpuUZy7g9o7lIkkeed7ba25VvFEBcUroQIZ+NIAiVIMGPRiOqm7X4bTLWj5EOz5JXG2l8rwA6CFnWfW3U+ttD1COLOrv2tHTiJ1PhQy1jJR/LpC1iX3sNIDDs+I0txZFGTCTRMLmrbHVTl8j5Yy/CTYLuC7reIZjzpHP7aaS2ev0dlbQzeB08ncjA5Jh4X72qQMOGPUUc2C9oa/CeCvI0SJbt8mkHwqFanZz/IfhLJIKhupjtYsqwQMmzLIjHxbLRwUGoWU6X4e76OkUz/xyyHlzBg1Vu2F9hjoXPW80VmupIRSXFDliDBJ8NlXXQN47wwYBG28broot@hserver3

    合并之后,我的hserver1机器上的/root/.ssh/authorized_keys文件内容是:

    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQD8fTIVorOxgDo81yCEgcJTstUcyfOBecL+NZ/OLXCEzaBMw5pLV0UNRX6SZnaAgu/erazkz4sw74zfRIMzEeKKCeNcZ6W78cg+ZNxDcj8+FGeYqY5+nc0YPhXFVI7AwFmfr7fH5hoIT14ClKfGklPgpEgUjDth0PeRwnUTvUy9A1x76npjAZrknQsnoLYle7cVJZ/zO3eGxS75YEdTYDMv+UMiwtcJg7UxOqR+9UT3TO+xLk0yOl8GIISXzMhdCZkmyAH+DmW56ejzsd+JWwCMm177DtOZULl7Osq+OGOtpbloj4HCfstpoiG58SM6Nba8WUXWLnbgqZuHPBag/Kqjroot@hserver1
    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC29kPkYz4c3bd9Qa1TV8kCR0bUNs4f7/dDcR1NKwrgIiecN7zPEWJpjILtlm3niNNx1j5R49QLTLBKKo8PE8mid47POvNypkVRGDeN2IVCivoAQ1T7S8bTJ4zDECGydFYyKQfS2nOAifAWECdgFFtIp52d+dLIAg1JC37pfER9f32rd7anhTHYKwnLwR/NDVGAw3tMkXOnFuFKUMdOJ3GSoVOZf3QHKykGIC2fz/lsXZHaCcQWvOU/Ecd9e0263Tvqh7zGWpF5WYEGjkLlY8v2sioeZxgzog1LWycUTMTqaO+fSdbvKqVj6W0qdy3Io8bJ29Q3S/6MxLa6xvFcBJEXroot@hserver2
    ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC1a2o10ttv2570GpuUZy7g9o7lIkkeed7ba25VvFEBcUroQIZ+NIAiVIMGPRiOqm7X4bTLWj5EOz5JXG2l8rwA6CFnWfW3U+ttD1COLOrv2tHTiJ1PhQy1jJR/LpC1iX3sNIDDs+I0txZFGTCTRMLmrbHVTl8j5Yy/CTYLuC7reIZjzpHP7aaS2ev0dlbQzeB08ncjA5Jh4X72qQMOGPUUc2C9oa/CeCvI0SJbt8mkHwqFanZz/IfhLJIKhupjtYsqwQMmzLIjHxbLRwUGoWU6X4e76OkUz/xyyHlzBg1Vu2F9hjoXPW80VmupIRSXFDliDBJ8NlXXQN47wwYBG28broot@hserver3

    如图:

        

    2.6将authorized_keys文件复制到其他机器

            hserver1机器的/root/.ssh/目录下已经有authorized_keys这个文件了,该文件的内容也已经OK了,接下来要将该文件复制到hserver2的/root/.ssh/和hserver3的/root/.ssh/。

           复制的方法有很多,最简单的就是用SecureFX可视化工具操作吧。

           复制完成后,可以看到三台机器的/root/.ssh目录下都有了这样的文件

           如图:

           

            上图已经说得很清楚了,三台机器的/root/.ssh都有同名的文件,但是只有authorized_keys文件的内容是相同的。

    2.7测试使用ssh进行无密码登录


    2.7.1在hserver1上进行测试

           输入命令:

    ssh   hserver2

    如图:

      

     输入命令:

     exit回车

    如图:

       

    输入命令:

    ssh   hserver3

    如图:

       

    输入命令:

     exit回车

    如图:

        

    2.7.2 在hserver2上进行测试

            方法类似2.7.1,只不过命令变成了ssh  hserver1和ssh  hserver3,但是一定要注意的是,每次ssh完成后,都要执行exit,否则你的后续命令是在另外一台机器上执行的。

    2.7.3 在hserver3上进行测试

          方法类似2.7.1,只不过命令变成了ssh  hserver1和ssh  hserver2,但是一定要注意的是,每次ssh完成后,都要执行exit,否则你的后续命令是在另外一台机器上执行的。

    3安装jdk和hadoop

             说明,为了省去一系列获取管理员权限,授权等繁琐操作,精简教程,这里都是使用root账户登录并且使用root权限进行操作。

    3.1 安装JDK

            安装jdk在这里不在细数,如果有需要可以参考该博文(虽然那篇博文用的是ubuntu,但是jdk安装在CentOS下也一样):

    http://blog.csdn.net/pucao_cug/article/details/68948639

    3.2  安装hadoop

            注意: 3台机器上都需要重复下面所讲的步骤。

    3.2.1 上载文件并解压缩

            在opt目录下新建一个名为hadoop的目录,并将下载得到的hadoop-2.8.0.tar上载到该目录下,如图:

        

             进入到该目录,执行命令:

    cd   /opt/hadoop

               执行解压命令:

     tar  -xvf   hadoop-2.8.0.tar.gz

                说明:3台机器都要进行上述操作,解压缩后得到一个名为hadoop-2.8.0的目录。

    3.2.2新建几个目录

               在/root目录下新建几个目录,复制粘贴执行下面的命令:

    mkdir  /root/hadoop
    mkdir  /root/hadoop/tmp
    mkdir  /root/hadoop/var
    mkdir  /root/hadoop/dfs
    mkdir  /root/hadoop/dfs/name
    mkdir  /root/hadoop/dfs/data

    3.2.3 修改etc/hadoop中的一系列配置文件

              修改/opt/hadoop/hadoop-2.8.0/etc/hadoop目录内的一系列文件。

    3.2.3.1 修改core-site.xml

                修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml文件

              在<configuration>节点内加入配置:

     <property>

            <name>hadoop.tmp.dir</name>

            <value>/root/hadoop/tmp</value>

            <description>Abase for other temporary directories.</description>

       </property>

       <property>

            <name>fs.default.name</name>

            <value>hdfs://hserver1:9000</value>

       </property>

    </configuration>

    3.2.3.2 修改hadoop-env.sh

             修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件

             将export   JAVA_HOME=${JAVA_HOME}

             修改为:

             export   JAVA_HOME=/opt/java/jdk1.8.0_121

            说明:修改为自己的JDK路径

    3.2.3.3 修改hdfs-site.xml

              修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml文件

              在<configuration>节点内加入配置:

    <property>

       <name>dfs.name.dir</name>

       <value>/root/hadoop/dfs/name</value>

       <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

    </property>

    <property>

       <name>dfs.data.dir</name>

       <value>/root/hadoop/dfs/data</value>

       <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

    </property>

    <property>

       <name>dfs.replication</name>

       <value>2</value>

    </property>

    <property>

          <name>dfs.permissions</name>

          <value>false</value>

          <description>need not permissions</description>

    </property>

              说明:dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。

    3.2.3.4 新建并且修改mapred-site.xml

               在该版本中,有一个名为mapred-site.xml.template的文件,复制该文件,然后改名为mapred-site.xml,命令是:

    cp   /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template     /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

              修改这个新建的mapred-site.xml文件,在<configuration>节点内加入配置:

     <property>

       <name>mapred.job.tracker</name>

       <value>hserver1:49001</value>

    </property>

    <property>

          <name>mapred.local.dir</name>

           <value>/root/hadoop/var</value>

    </property>

    <property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

    </property>


    3.2.3.5 修改slaves文件

             修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves文件,将里面的localhost删除,添加如下内容:

    hserver2
    hserver3

    3.2.3.6 修改yarn-site.xml文件

             修改/opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml文件,

             在<configuration>节点内加入配置(注意了,内存根据机器配置越大越好,我这里只配2个G是因为机器不行):

    <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>hserver1</value>

       </property>

       <property>

            <description>The address of the applications manager interface in the RM.</description>

            <name>yarn.resourcemanager.address</name>

            <value>${yarn.resourcemanager.hostname}:8032</value>

       </property>

       <property>

            <description>The address of the scheduler interface.</description>

            <name>yarn.resourcemanager.scheduler.address</name>

            <value>${yarn.resourcemanager.hostname}:8030</value>

       </property>

       <property>

            <description>The http address of the RM web application.</description>

            <name>yarn.resourcemanager.webapp.address</name>

            <value>${yarn.resourcemanager.hostname}:8088</value>

       </property>

       <property>

            <description>The https adddress of the RM web application.</description>

            <name>yarn.resourcemanager.webapp.https.address</name>

            <value>${yarn.resourcemanager.hostname}:8090</value>

       </property>

       <property>

            <name>yarn.resourcemanager.resource-tracker.address</name>

            <value>${yarn.resourcemanager.hostname}:8031</value>

       </property>

       <property>

            <description>The address of the RM admin interface.</description>

            <name>yarn.resourcemanager.admin.address</name>

            <value>${yarn.resourcemanager.hostname}:8033</value>

       </property>

       <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

       </property>

       <property>

            <name>yarn.scheduler.maximum-allocation-mb</name>

            <value>2048</value>

            <discription>每个节点可用内存,单位MB,默认8182MB</discription>

       </property>

       <property>

            <name>yarn.nodemanager.vmem-pmem-ratio</name>

            <value>2.1</value>

       </property>

       <property>

            <name>yarn.nodemanager.resource.memory-mb</name>

            <value>2048</value>

    </property>

       <property>

            <name>yarn.nodemanager.vmem-check-enabled</name>

            <value>false</value>

    </property>

           说明:yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不容易出问题。如果是实体机上,并且内存够多,可以将这个配置去掉。

    4启动hadoop

    4.1在namenode上执行初始化

               因为hserver1是namenode,hserver2和hserver3都是datanode,所以只需要对hserver1进行初始化操作,也就是对hdfs进行格式化。

              进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/bin目录,也就是执行命令:

    cd   /opt/hadoop/hadoop-2.8.0/bin

               执行初始化脚本,也就是执行命令:

     ./hadoop  namenode  -format

    如图:

             

          稍等几秒,不报错的话,即可执行成功,如图:      

              格式化成功后,可以在看到在/root/hadoop/dfs/name/目录多了一个current目录,而且该目录内有一系列文件

              如图:

     

    4.2在namenode上执行启动命令

               因为hserver1是namenode,hserver2和hserver3都是datanode,所以只需要再hserver1上执行启动命令即可。

               进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录,也就是执行命令:

    cd    /opt/hadoop/hadoop-2.8.0/sbin

              执行初始化脚本,也就是执行命令:

     ./start-all.sh

             第一次执行上面的启动命令,会需要我们进行交互操作,在问答界面上输入yes回车

    如图:


    5测试hadoop

               haddoop启动了,需要测试一下hadoop是否正常。

              执行命令,关闭防火墙,CentOS7下,命令是:

              systemctl   stop   firewalld.service

             如图:

             

                hserver1是我们的namanode,该机器的IP192.168.119.128,在本地电脑访问如下地址:

                 http://192.168.119.128:50070/

                 自动跳转到了overview页面

             如图:

       

     

                在本地浏览器里访问如下地址:

                http://192.168.119.128:8088/

               自动跳转到了cluster页面

               如图:

        

    展开全文
  • Ubuntu18.04安装hadoop

    万次阅读 多人点赞 2018-10-03 12:01:23
    hadoop-0.20.2.tar.gz只能在Linux中安装Hadoop相当于一个服务器,类似于Apache服务器的角色。我们可以在Linux上运行hadoop0.20.2。 二、Java的安装 Hadoop是基于Java开发的,,在Linux配置好Java环境。 ...

    一、虚拟机中Linux的安装

    hadoop-0.20.2.tar.gz只能在Linux中安装。

    Hadoop相当于一个服务器,类似于Apache服务器的角色。我们可以在Linux上运行hadoop0.20.2。

    二、Java的安装

    Hadoop是基于Java开发的,,在Linux配置好Java环境。

    https://blog.csdn.net/weixin_38883338/article/details/82079194

    三、SSH的安装、配置

    在Linux中安装SSH免登录认证,用于避免使用Hadoop时的权限问题。

    SSH的安装命令:

    sudo apt-get install ssh

    ssh-keygen -t rsa

    密码输入空

    cd ~/.ssh
    
    cat id_rsa.pub >> authorized_keys
    
    ssh localhost

     四、hadoop下载安装

    http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz
    http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz

    sudo tar -zxf hadoop-3.0.3.tar.gz -C /usr/local    # 解压到/usr/local中
    cd /usr/local                                                # 定位到/usr/local
    sudo mv ./hadoop-3.0.3/ ./hadoop            # 将文件夹名改为hadoop
    sudo chown -R huyn ./hadoop       # 修改文件权限

    验证是否安装成功

    cd /usr/local/hadoop

    ./bin/hadoop version

    安装成功会显示版本

    五、修改配置文件

    sudo gedit ./etc/hadoop/core-site.xml

    <configuration>
            <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/usr/local/hadoop/tmp</value>
                 <description>Abase for other temporary directories.</description>
            </property>
            <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
            </property>
    </configuration>

    sudo gedit ./etc/hadoop/hdfs-site.xml

    <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
    	<property>
    		<name>dfs.http.address</name>
    		<value>localhost:50070</value>
    	</property>
    </configuration>

    sudo gedit ./etc/hadoop/hadoop-env.sh

    修改java环境变量(你安装的位置)

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171

    执行 NameNode 的格式化:

    sudo ./bin/hdfs namenode -format

    开启 NameNode 和 DataNode 守护进程

    sudo ./sbin/start-dfs.sh

    如果运行脚本报如下错误,

    ERROR: Attempting to launch hdfs namenode as root
    ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
    Starting datanodes
    ERROR: Attempting to launch hdfs datanode as root
    ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
    Starting secondary namenodes [localhost.localdomain]
    ERROR: Attempting to launch hdfs secondarynamenode as root
    ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.

    解决方案

    (缺少用户定义而造成的)因此编辑启动和关闭

    $ sudo vim sbin/start-dfs.sh
    $ sudo vim sbin/stop-dfs.sh

    顶部空白处

    HDFS_DATANODE_USER=huyn
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=huyn
    HDFS_SECONDARYNAMENODE_USER=huyn


    再次开启 NameNode 和 DataNode 守护进程

    sudo ./sbin/start-dfs.sh

    启动完成后,可以通过命令 jps 来判断是否成功启动

    关闭命令sbin/stop-dfs.sh

    可以打开http://localhost:50070/查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

    展开全文
  • ubuntu 安装hadoop

    2017-06-26 09:35:36
    ubuntu 安装hadoop 找不到文件"/usr/hadoop/ect/hadoop/yarn-site.xml".![图片说明](https://img-ask.csdn.net/upload/201706/26/1498469990_901437.png)
  • Eclipse 安装 Hadoop 插件 1、首先下载对应版本的hadoop插件  注意:Hadoop插件要跟自己安装Hadoop版本相对应。 这儿有一个Hadoop 2.X版本对应的Hadoop插件,前往下载, 下载hadoop2x-eclipse-plugin.zip。...

    Eclipse 安装 Hadoop 插件

    1、首先下载对应版本的hadoop插件 

    注意:Hadoop插件要跟自己安装的Hadoop版本相对应。

    这儿有一个Hadoop 2.X版本对应的Hadoop插件,前往下载, 下载hadoop2x-eclipse-plugin.zip。解压后,release文件夹下的hadoop.eclipse-kepler-plugin-2.2.0.jar即为我们所需要的插件。

    2、进入Eclipse的目录,找到Plugins文件夹,讲刚才下载的插件拷贝进去(注意,Eclipse最好要处于关闭状态)并重启Eclipse

    这里写图片描述

    3、打开,Eclipse,会发现左侧多了一个DFS Location,说明已经安装成功 

    这里写图片描述

     

    打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop-2.6.0进来,如图所示:

    4、打开Windows–Show View 

    配置Map/ReduceLocations

       1)点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation

       2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

    这里写图片描述

    5、选择Other 

    这里写图片描述

    6、选择Map/Reduce Location 

    这里写图片描述

    7、这是,下面应该会出现 
    这里写图片描述 
    8、空白部分,右键,New Hadoop Location,然后双击,编辑 


    这里写图片描述

    如果出现 , 
    这里写图片描述 
    请检查 hdfs 里面是否有input和output目录

    新建hdfs input目录: 
    hdfs dfs -mkdir /user 
    hdfs dfs -mkdir /user/root 
    hdfs dfs -mkdir /user/root/input

    9、安装到这里,还缺少一个一个小插件

    到网上搜索下载 hadoop-common-2.2.0-bin-master.jar

    1、解压jar包

    2、将jar包里面的 hadoop.dll 拷贝到系统盘目录 Windows/System32 下

    3、将bin目录配置到环境变量中

    10、这些配置完成之后,就可以新建一个项目,然后导入jar包开始写mapreduce程序了,,,,但是要注意的是,,,,这个时候还需要加载一个配置文件,,,可以拷贝hadoop的配置文件 core-site.xml 到项目中(可以在main下面新建一个resource文件,放入即可)。。。

    展开全文
  • Hadoop基于Linux-CentOS7安装-安装Hadoop

    千次阅读 2017-10-08 21:09:31
    安装Hadoop-0.20.2

    在此之前首先提供一个 xshell 的免费地址:http://www.netsarang.com/download/free_license.html

    安装Hadoop首先要安装jdk和配置jdk环境



    我们使用yum命令进行在线安装,yum命令进行安装是不能指定软件的安装目录的。



    我们要记住,jdk的目录地址就是:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el7_4.x86_64

    接下来,我们配置JDK的环境



    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el7_4.x86_64
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
    只是更改第一行代码,换做你自己的代码;其他不变~

    至此,JDK环境配置完毕!!

    接下来再安装配置Hadoop环境

    这里我们需要使用一个软件(winSCP),她可以在windows和linux系统之间进行信息传递交换。我们现在windows上下载一个Hadoop-0.20.2.tar.gz的Liunux压缩包。使用winSCP从windows上传递到Linux中。这个是Hadoop-0.20.2.tar.gz的地址,点击下载




    当下,我们就要配置Hadoop的环境了;这个是麻烦的,要注意-谨慎操作~

    还是要进入之前配置JDK的环境配置文件中,然后再末尾再加一点Hadoop 的内容。



    接下来就是配置目录 /home/123456/hadoop-0.20.2/conf 下的文件-四个


    配置:hadoop-env.sh


    配置:core-site.xml<端口号是固定的>

    <configuration>
    <property>
     <name>hadoop.tmp.dir</name>
      <value>/hadoop</value>
    </property>
    <property>
      <name>hadoop.name.dir</name>
     <value>/hadoop/name</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost.localdomain:9000</value>
    </property>
    </configuration>


    配置:hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.data.dir</name>
    <value>/hadoop/data</value>
    </property>
    </configuration>
    


    配置:mapred-site.xml<端口号是固定的>

    <configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>localhost.localdomain:9001</value>
    </property>
    </configuration>
    


    中间遇到一个问题,解决如下


    然后就是更新一下,格式化文件系统操作了


    然后在这个地址下执行Hadoop 的启动-("/home/123456/hadoop-0.20.2/bin/")启动命令:start-all.sh





    最后了,随便提一下;如果你的操作中出现了这种错误提示“没有那个文件或目录”。说明你的Hadoop 没有配置正确,所以你要耐心的嘻嘻查找问题的所在位置,改正过来就好了!



    关闭防火墙和禁止开机启动

    systemctl stop firewalld.service #停止firewall
    
    systemctl disable firewalld.service #禁止firewall开机启动


    展开全文
  • Windows下安装Hadoop

    万次阅读 2016-07-08 17:18:48
    Windows10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤,以及相关包或者软件下载安装过程。 不需要在Cygwin下安装Hadoop,官方也不推荐使用Cygwin。 Hadoop...
  • hadoop之虚拟机安装hadoop

    千次阅读 2017-05-13 08:29:08
    我使用的是W7系统,要安装Hadoop;但是想在Linux下运行Hadoop,一个非常好的选择是虚拟机;我使用的是Vmware和Ubuntu server 14; 1、下载Hadoop; 进入官网下载:http://hadoop.apache.org/releases.html 按需下载...
  • Ubuntu20.04安装Hadoop和Hive

    千次阅读 多人点赞 2020-05-21 17:46:44
    Ubuntu20.04安装Hadoop和Hive一、安装Mysql二、安装Hadoop1.1创建Hadoop用户(如果需要将本机的账户与Hadoop分开,可以新建一个新用户)2.1安装SSH2.2安装JDK14.0.13.1下载Hadoop-3.2.13.2伪分布式配置3.3查看安装...
  • CentOS 7安装Hadoop

    万次阅读 2018-02-23 22:35:40
    CentOS 7安装Hadoop一、启动两台虚拟客户机1.打开VMware Workstation142.打开之前已经安装好的虚拟机:HadoopMaster和HadoopSlave二、Linux系统配置以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作...
  • CentOS 6 安装Hadoop 2.6 (二)配置Hadoop

    千次阅读 2016-04-11 12:01:15
    CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop下文服务器描述:一个主节点master,2个从节点slave1和slave2。1. 解压文件tar -xzvf hadoop-2.6.4.tar.gz mv hadoop-2.6.4 /opt...
  • window10安装Hadoop3.1.3

    千次阅读 2019-12-06 11:25:07
    最近做实验需要在Linux系统安装Hadoop,由于我之前就想在window上安装,所以借此机会先在window上安装再在Linux安装。 个人比较喜欢安装比较新的东西,所以选择Hadoop3.1.3 准备工具 : 1、jdk8,这里不要用其他...
  • mac上安装hadoop

    千次阅读 2017-07-12 21:10:40
    首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将生成的公钥加入到用于认证的公钥文件中: $ cat ~/.ssh/id_dsa.pub >...
  • 安装hadoop
  • mac安装Hadoop3.2.1教程(超详细)

    千次阅读 多人点赞 2020-02-19 16:23:14
    由于课程需要和工具限制,需要在mac上安装Hadoop,参考了网上的教程,总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境,如果没...
  • ubuntu安装hadoop详细步骤

    万次阅读 2017-03-11 14:29:39
    ubuntu下安装hadoop详细步骤
  • Linux基础环境搭建(CentOS7)- 安装Hadoop 1 Hadoop下载及安装 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。 Hadoop...
  • Linux下安装Hadoop

    千次阅读 多人点赞 2015-08-20 11:07:40
    当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上...
  • 单机安装hadoop2.6.4

    千次阅读 2016-06-07 13:43:19
    单机安装hadoop2.6.4做测试使用,分为以下几步 配置ip、主机名安装JDK,并设置环境变量(此处跳过)下载hadoop,并设置hadoop环境变量修改4个配置文件格式化hdfs启动hadoop查看hadoop运行情况 二.具体安装步骤和注意...
  • Ubuntu16.04安装hadoop2.7.2分布式集群

    千次阅读 2018-07-20 10:06:22
    安装hadoop集群 ① 配置ssh免密码登录 ② 安装jdk1.8 ③ 下载hadoop并检验是否完整 检验haoop的MD5 ④ 安装hadoop 配置hadoop环境变量: export HADOOP_HOME=/usr/local/hadoop-2.7.2 export PATH=$...
  • 安装前提: 1、在linux虚拟机中已经安装好了jdk Linux软件安装命令,在Linux虚拟机中安装jdk 2、使用MobaXterm连接Linux...开始安装hadoop 使用MobaXterm连接Linux虚拟机后,在software目录下,执行以下安装命令:
  • Ubuntu下安装Hadoop(单机)

    千次阅读 2018-11-22 23:37:34
    Ubuntu下安装Hadoop(单机)确保已安装Java安装Hadoop运行Hadoop(伪集群)执行MapReduce 任务,使用hadoop预置的示例程序进行演示关闭hdfs 确保已安装Java Hadoop是用Java开发的,必须先安装Java环境,Oracle和...
  • 1、安装CentOS72、安装JDK1.7.03、安装Hadoop2.6.04、SSH无密码登录  本文仅作为学习笔记,供大家初学Hadoop时学习参考。初学Hadoop,欢迎有经验的朋友进行指导与交流! 1、安装Ubuntu16.10
  • Hadoop大象之旅006-安装Hadoop环境

    千次阅读 2014-12-02 08:28:39
    关于Hadoop的安装,要注意硬件对虚拟化的支持。我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装...万事具备,应该安装Hadoop了,但是Hadoop有很多版本,我们怎么选择呢?
  • 在Windows中安装Hadoop(非虚拟机安装)

    千次阅读 热门讨论 2018-10-01 11:54:05
    在Windows中安装Hadoop 操作系统:Windows 10 Hadoop版本:hadoop-2.7.3 JDK版本:jdk-8u181-windows-x64.exe 配置Java环境变量 Hadoop底层实现语言是Java,所以我们在运行Hadoop时是需要Java运行环境的。 下载...
  • windows下安装hadoop教程

    千次阅读 2018-04-06 13:59:57
    Win10_x64位配置hadoop-2.7.5开发环境 在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境才能安装hadoop。第一部分:下载安装Java,配置其开发环境1、下载Java下载网站:...
  • centos安装软件(wget下载安装hadoop)

    千次阅读 2018-07-17 19:31:55
    安装hadoop为例: 步骤一:使用wget下载安装包 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz 步骤二:解压 tar -zxf hadoop-2.8.4.tar.gz -C /usr/loca...
  • MAC 系统安装 Hadoop2.7.3

    千次阅读 2019-02-12 14:29:40
    MAC 系统安装 Hadoop2.7.3 1.查看是否安装了Java 使用Item工具,运行java -version 命令,可以查看java版本. ![实际操作截图](https://img-blog.csdnimg.cn/20190212142825515.jpeg) ...
  • RedHat6.5上安装Hadoop集群

    千次阅读 2017-07-05 21:01:07
    版本号:RedHat6.5 JDK1.8 Hadoop2.7.3 ...只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 基础环境准备:   RedHat6.5安装:RHEL 6.5系统安装配置图解教
  • Windows安装hadoop

    千次阅读 2011-09-07 09:50:14
    首先安装cygwin 见同一目录下的“下载安装Cygwin.mht”,或者上谷歌搜索关键字“下载安装Cygwin.mht”。...然后安装hadoop-0.21.0,步骤如下10步:  1. 打开cygwin  进入D盘目录下的Hadoop文件夹:cd D:/Hadoop

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 71,438
精华内容 28,575
关键字:

安装hadoop