精华内容
下载资源
问答
  • Hadoop单机安装详细步骤

    千次阅读 2016-07-11 00:03:12
    环境准备安装Java过程简单,这里省略具体安装步骤安装后确认相应版本的Java已安装,这里选择1.7。java -version创建Hadoop账号为Hadoop创建一个专门的账号是很好的实践:sudo adduser hadoop sudo passwd hadoop...

    环境准备

    安装Java

    过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。

    java -version

    这里写图片描述

    创建Hadoop账号

    为Hadoop创建一个专门的账号是很好的实践:

    sudo adduser hadoop
    sudo passwd hadoop

    这里写图片描述

    授予 Hadoop root权限
    为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。
    使用root权限编辑/etc/sudoers:

    sudo vim /etc/sudoers

    末尾添加一行:

    hadoop  ALL=(ALL) ALL

    这里写图片描述
    切换到Hadoop账号:

    su hadoop

    配置SSH无密码登录

    首先生成公私密钥对、

    ssh-keygen -t rsa

    指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
    输入passphrase,这里直接回车,为空,确保无密码可登陆。

    这里写图片描述

    拷贝生成的公钥到授权key文件(authorized_keys)

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    改变key权限为拥有者可读可写(0600) :

    chmod 0600 ~/.ssh/authorized_keys

    chomod命令参考:

    chmod 600 file – owner can read and write
    chmod 700 file – owner can read, write and execute
    chmod 666 file – all can read and write
    chmod 777 file – all can read, write and execute

    测试是否成功:

    ssh localhost

    这里写图片描述

    下载安装

    下载Hadoop 2.6.0

    cd ~
    wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

    这里写图片描述

    解压:

    tar -zxvf hadoop-2.6.0.tar.gz

    重命名一下:

    mv hadoop-2.6.0 hadoop

    (最好做个关联ln -s hadoop-2.6.0 hadoop

    配置环境变量

    vim ~/.bashrc
    
    export JAVA_HOME=/usr/java/jdk1.7.0_79/
    export HADOOP_HOME=/home/hadoop/hadoop
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
    
    source ~/.bashrc
    

    配置Hadoop

    配置Hadoop

    cd $HADOOP_HOME/etc/hadoop
    
    vim core-site.xml
    <configuration>
    <property>
      <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

    配置HDFS

    vim hdfs-site.xml
    <configuration>
    <property>
     <name>dfs.replication</name>
     <value>1</value>
    </property>
    
    <property>
      <name>dfs.name.dir</name>
        <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
    </property>
    
    <property>
      <name>dfs.data.dir</name>
        <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
    </property>
    </configuration>

    配置MapReduce

    vim mapred-site.xml
     <configuration>
     <property>
      <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
    </configuration>

    配置YARM:

    vim yarn-site.xml
    <configuration>
     <property>
      <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
    </configuration>

    启动集群

    格式化HDFS

    使用之前,需要先格式化Hadoop文件系统

    hdfs namenode -format

    启动HDFS和YARN

    cd $HADOOP_HOME/sbin

    启动文件系统:

    start-dfs.sh

    这里写图片描述

    启动YARN:

    start-yarn.sh

    这里写图片描述

    查看状态

    查看HDFS状态,浏览器访问: http://localhost:50070
    这里写图片描述

    查看second namenode:

    http://localhost:50090

    这里写图片描述

    查看DataNode:
    http://localhost:50075/
    http://localhost:50075/dataNodeHome.jsp
    这里写图片描述

    简单使用Hadoop:

    使用HDFS

    在HDFS创建两个目录:

    hdfs dfs -mkdir /user
    hdfs dfs -mkdir /user/hadoop

    上传:

    hdfs dfs -put  /opt/modules/elasticsearch-2.3.1/logs logs

    从管理界面可以看到:
    这里写图片描述

    运行MapReduce作业

    提交一个MapReduce作业:

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep logs output 'dfs[a-z.]+'

    可以从YARN应用的界面查看作业情况 http://localhost:8088

    这里写图片描述

    (完)

    展开全文
  • 这是本人精心整理和编写的Hadoop单机版配置。详细描述了每一个步骤
  • 最近上手大数据,入门一下hadoop单机部署撸了几天,终于部署起来了,遇到了不少坑。这篇文章把我整个过程码下来了,包括了各个步骤和报错处理。 环境 CentOS release 6.4 openjdk version "1.8.0_201" 复制代码...

    Author : Ali0th

    Date : 2019-4-6

    前言

    最近上手大数据,入门一下hadoop,单机部署撸了几天,终于部署起来了,遇到了不少坑。这篇文章把我整个过程码下来了,包括了各个步骤和报错处理。

    环境

    CentOS release 6.4
    openjdk version "1.8.0_201"
    复制代码

    系统服务

    关闭 iptables

    # 关闭防火墙:
    service iptables stop
    # 从开机启动项中移除防火墙
    chkconfig iptables off
    复制代码

    关闭selinux服务(重启生效)

    vim /etc/selinux/config
    SELINUX=disabled
    复制代码

    hostname 配置

    vim /etc/sysconfig/network
    复制代码

    这里默认为 localhost.localdomain

    ssh 免密登录

    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys
    复制代码

    测试是否成功,执行下面命令,若不用输入密码则成功。

    ssh localhost
    复制代码

    java 安装

    使用 yum 安装

    # 查看yum包含的jdk版本
    yum search java
    # 安装jdk
    yum install java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment
    复制代码

    查看环境变量

    export
    复制代码
    vi /etc/profile
    复制代码

    查看 jvm 目录

    ll /usr/lib/jvm/
    复制代码

    输出如下,其中java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64JAVA_HOME目录。

    [root@localhost java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64]# ll /usr/lib/jvm/
    total 4
    lrwxrwxrwx. 1 root root   26 Apr  3 15:47 java -> /etc/alternatives/java_sdk
    lrwxrwxrwx. 1 root root   32 Apr  3 15:47 java-1.8.0 -> /etc/alternatives/java_sdk_1.8.0
    drwxr-xr-x. 7 root root 4096 Apr  3 15:47 java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64
    lrwxrwxrwx. 1 root root   48 Apr  3 15:47 java-1.8.0-openjdk.x86_64 -> java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64
    lrwxrwxrwx. 1 root root   34 Apr  3 15:47 java-openjdk -> /etc/alternatives/java_sdk_openjdk
    lrwxrwxrwx. 1 root root   21 Apr  3 15:47 jre -> /etc/alternatives/jre
    lrwxrwxrwx. 1 root root   27 Apr  3 15:47 jre-1.8.0 -> /etc/alternatives/jre_1.8.0
    lrwxrwxrwx. 1 root root   52 Apr  3 15:47 jre-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64 -> java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64/jre
    lrwxrwxrwx. 1 root root   52 Apr  3 15:47 jre-1.8.0-openjdk.x86_64 -> java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64/jre
    lrwxrwxrwx. 1 root root   29 Apr  3 15:47 jre-openjdk -> /etc/alternatives/jre_openjdk
    复制代码

    配置全局变量:

    vim /etc/profile
    复制代码

    添加环境配置如下:

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    复制代码

    全局变量立即生效

    source /etc/profile
    复制代码

    hadoop 下载与相关环境配置

    创建账户

    groupadd hadoop
    useradd hadoop -g hadoop 
    ll -d /home/hadoop
    grep hadoop /etc/passwd /etc/shadow /etc/group
    passwd hadoop # hadoop123
    复制代码

    以 root 執行 visudo, 將 hadoop 加入 sudoers,在 root ALL=(ALL) ALL 下加入。

    hadoop  ALL=(ALL)       ALL
    复制代码

    下载 hadoop 并解压。

    wget http://apache.claz.org/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
    tar -xzf hadoop-3.1.2.tar.gz
    sudo mv hadoop-3.1.2 /usr/local/hadoop
    复制代码

    添加启动项。

    vim /etc/profile
    
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    source /etc/profile
    复制代码

    创建数据存储目录:

    1. NameNode 数据存放目录: /usr/local/data/hadoop/name
    2. SecondaryNameNode 数据存放目录: /usr/local/data/hadoop/secondary
    3. DataNode 数据存放目录: /usr/local/data/hadoop/data
    4. 临时数据存放目录: /usr/local/data/hadoop/tmp
    mkdir -p /usr/local/data/hadoop/name
    mkdir -p /usr/local/data/hadoop/secondary
    mkdir -p /usr/local/data/hadoop/data
    mkdir -p /usr/local/data/hadoop/tmp
    复制代码

    hadoop 配置与启动

    配置 hadoop-env.sh、hdfs-site.xml、core-site.xml、mappred-site.xml、yarn-site.xml

    进入配置目录:

    cd /usr/local/hadoop/etc/hadoop/
    复制代码

    hadoop-env.sh

    添加JAVA_HOME

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el6_10.x86_64
    复制代码

    core-site.xml

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost.localdomain:9000</value>
            <description>hdfs内部通讯访问地址</description>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/data/</value>
            <description>hadoop数据存放</description>
        </property>
    </configuration>
    复制代码

    hdfs-site.xml

    <!--
    # replication 副本数量
    # 因为是伪分布式 设置为1
    # 新版本的 hadoop 块默认大小为128mb
    -->
    
    <configuration>
    
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    </configuration>
    复制代码

    mapred-site.xml

    # yran 集群
    mv mapred-site.xml.template mapred-site.xml
    复制代码
    <configuration>
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    </configuration>
    复制代码

    yarn-site.xml

    arn.resourcemanager.hostname yarn集群的老大

    <configuration>
    
    <property>
    
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost.localdomain</value>
    </property>
    
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    
    </configuration>
    复制代码

    dfs 启动

    格式化hadoop文件系统

    cd /usr/local/hadoop
    ./bin/hdfs namenode -format
    复制代码

    启动 dfs

    ./sbin/start-dfs.sh
    复制代码

    使用 jps 查看服务是否已经启动

    [hadoop@localhost hadoop]$ jps
    6466 NameNode
    6932 Jps
    6790 SecondaryNameNode
    6584 DataNode
    复制代码

    全部启动

    ./sbin/start-all.sh
    复制代码

    结果截图如下:

    报错

    问题:

    localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

    解决:

    如果无法使用ssh无密码连接其他节点的主机,那么在启动hadoop的时候会出现的输入其他主机的密码,即使正确输入也无法认证

    问题:

    localhost: ERROR: Unable to write in /usr/local/hadoop/logs. Aborting.

    解决:

    sudo chmod 777 -R /usr/local/hadoop/
    复制代码

    问题:

    localhost: /usr/local/hadoop/bin/../libexec/hadoop-functions.sh: line 1842: /tmp/hadoop-hadoop-namenode.pid: Permission denied localhost: ERROR: Cannot write namenode pid /tmp/hadoop-hadoop-namenode.pid.

    解决:

    修改 hadoop-env.sh

    export HADOOP_PID_DIR=/usr/local/hadoop/tmp/pid 
    复制代码

    问题:

    [hadoop@localhost hadoop]$ ./sbin/start-dfs.sh Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [localhost] 2019-04-06 07:26:22,110 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    解决:

    stackoverflow.com/questions/1…

    cd /usr/local/hadoop/lib
    ldd libhadoop.so.1.0.0
    
    ./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
    	linux-vdso.so.1 =>  (0x00007fff901ff000)
    	libdl.so.2 => /lib64/libdl.so.2 (0x00007f8ceda5d000)
    	libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f8ced83f000)
    	libc.so.6 => /lib64/libc.so.6 (0x00007f8ced4ac000)
    	/lib64/ld-linux-x86-64.so.2 (0x00000031c1e00000)
    复制代码
    # download
    wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.bz2
    wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2
    
    # 解压
    tar -xjvf glibc-2.14.tar.bz2
    cd glibc-2.14
    tar -xjvf ../glibc-linuxthreads-2.5.tar.bz2
    # 加上优化开关,否则会出现错误'#error "glibc cannot be compiled without optimization"'
    cd ../
    export CFLAGS="-g -O2"
    
    glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks
    
    make
    sudo make install
    复制代码

    问题:

    2019-04-06 13:08:58,376 INFO util.ExitUtil: Exiting with status 1: java.io.IOException: Cannot remove current directory: /usr/local/data/hadoop/tmp/dfs/name/current

    解决:

    权限问题

    sudo chown -R hadoop:hadoop /usr/local/data/hadoop/tmp
    sudo chmod -R a+w /usr/local/data/hadoop/tmp
    复制代码

    资料

    juejin.im/entry/5a0a8…

    blog.51cto.com/xpleaf/2082…

    Ubuntu下搭建hadoop出现Permission denied (publickey,password)的问题

    展开全文
  • 由于我是要安装Hadoop和Hbase,并且注意到这两者之间会有版本之间的兼容性问题,之前也是走了弯路,在此记录一下: 1、hbase 与java的兼容性是不一样的,在Hadoop的文档Hbase的文档中对jdk的版本进行了说明 2、...

    转载自洋洋的博客 原文


    对原文的一些补充:
    由于我是要安装Hadoop和Hbase,并且注意到这两者之间会有版本之间的兼容性问题,之前也是走了弯路,在此记录一下:
    1、hbase 与java的兼容性是不一样的,在Hadoop的文档Hbase的文档中对jdk的版本进行了说明
    hbase与JDK的兼容性
    2、Hadoop与hbase的版本之间也有兼容性问题,在官方文档中也都做了说明
    Hadoop与Hbase版本兼容性
    这个在原作者的一篇hbase安装指南中中也做了说明。具体可以看Hbase安装教程
    3、官方文档很有用,很多问题都可以找到,这里贴出两个文档原文和中文翻译的版本:
    Hadoop官方文档
    w3c Hadoop文档
    Hbase官方文档
    w3c Hbase文档
    4、补充下Hadoop所有版本下载链接
    Hbase所有版本下载链接


    下面是原博原文


    csdn 转载的时候代码模块会出现问题,没有解决,可以直接去原博看。

    展开全文
  • CentOS安装Hadoop单机

    万次阅读 多人点赞 2019-01-17 11:17:45
    1、首先安装jdk 下载jdk-7u45-linux-x64.tar.gz 地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg 提取码3z6s 放到/usr/local目录下 解压jdk, tar -zxvfjdk-7u45-linux-x64.tar.gz 配置环境变量 vim...

    1、首先安装jdk

    下载jdk-7u45-linux-x64.tar.gz    地址https://pan.baidu.com/s/1HlkngnG5H8JAdm0zYezEyg    提取码3z6s

    放到/usr/local目录下

    解压jdk,

    tar -zxvf jdk-7u45-linux-x64.tar.gz

    配置环境变量   vim /etc/profile  在文件末尾加上

    JAVA_HOME=/usr/local/jdk1.7.0_45
    export JAVA_HOME
    export PATH=$JAVA_HOME/bin:$PATH

    刷新环境变量配置  source /etc/profile

    测试jdk安装是否成功,显示如下截图代表成功  java -version

    2、安装hadoop2.9.2   下载hadoop2.9.2  地址http://mirrors.hust.edu.cn/apache/hadoop/common/

    放到 /usr/local目录下 

    解压   tar -zxvf hadoop-2.9.2.tar.gz    查看 ll

    配置hadoop环境变量   vim /etc/profile   添加如下配置

    export HADOOP_HOME=/usr/local/hadoop-2.9.2
    export PATH=$HADOOP_HOME/bin:$PATH

    重新刷新配置 source /etc/profile

    查看版本  hadoop version

    配置几个配置文件,路径是  cd /usr/local/hadoop-2.9.2/etc/hadoop/

    vim core-site.xml   添加如下配置

    <property>
        <name>fs.defaultFS</name>
        <!-- 这里填的是你自己的ip,端口默认-->
        <value>hdfs://192.168.124.144:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 这里填的是你自定义的hadoop工作的目录,端口默认-->
        <value>/usr/local/hadoop-2.9.2/tmp</value>
    </property>

    <property>
        <name>hadoop.native.lib</name>
        <value>false</value>
        <description>Should native hadoop libraries, if present, be used.
        </description>
    </property>

    vim hadoop-env.sh   配置成你自己的jdk安装路径

    vim hdfs-site.xml  添加如下内容

        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        <property>
            <name>dfs.secondary.http.address</name>

    <!--这里是你自己的ip,端口默认-->
            <value>192.168.124.144:50090</value>
        </property>

    复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

    vim mapred-site.xml  添加如下配置

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    配置yarn-site.xml   

    vim yarn-site.xml 添加如下配置

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <!-- 自己的ip端口默认 -->
        <value>192.168.124.144</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    配置好之后切换到sbin目录下

     cd /usr/local/hadoop-2.9.2/sbin/  查看命令 ll

    格式化hadoop文件格式,执行命令  hadoop namenode -format,成功之后启动

    执行启动所有命令 ./start-all.sh 

    没启动一个进程需要输入密码,可以通过配置ssh来解决,就不需要输入了,暂时配置

    使用  jps   查看进程,能看到这些进程证明启动成功了,

    也可以通过网页来查看  localhost:50070

    我用的是虚拟机安装的,在里面访问的地址,没有问题,如果想在外面访问,需要关闭防火墙

    关闭防火墙的方法为:
        1. 永久性生效
            开启:chkconfig iptables on
            关闭:chkconfig iptables off
        2. 即时生效,重启后失效
            开启:service iptables start
            关闭:service iptables stop

    展开全文
  • 二、安装步骤 1.之前已经上传过hadoop的压缩包了,所以这里直接进行解压: sudo tar xvf hadoop-2.7.2.tar.gz 2.解压之后将其移动到之前的hadoop文件夹里面去 sudo mv hadoop-2.7.2 /home/j
  • 五、安装单机Hadoop 1. 下载安装Hadoop 2. 运行示例 总结 前言 本文安装Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用(第3版)》中所要求,其中Java 版本为1.8.0_301,Hadoop 版本为3.3.1,...
  • vi /etc/hostname,比如这里设置主机名为hadoop vi /etc/hosts 设置主机名和ip的映射关系 reboot 重启,使得主机名修改生效,重启后执行hostname 可以发现已经生效 检查sshd服务是否已经启动,如下,表示已经...
  • export HADOOP_HOME=Hadoop安装目录 export PATH= P A H T : PAHT: P A H T : HADOOP_HOME/bin export PATH= P A T H : PATH: P A T H : HADOOP_HOME/sbin 更新资源使生效 source /etc/profile 首先在 ...
  • Ubuntu15 中安装hadoop2.7.1单机模式 (图文详细步骤),其中有jdk1.8.51安装、ssh安装hadoop安装、wordCount测试

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 11,270
精华内容 4,508
关键字:

hadoop单机安装详细步骤