精华内容
下载资源
问答
  • hadoop 单机安装

    2018-01-25 22:06:18
    hadoop 单机安装 对于初学者应该是很有用,简单易懂实用
  • hadoop单机安装

    2012-07-10 08:50:57
    Hadoop单机安装配置过程 1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上 2. 安装ssh,免密码登陆。
  • Hadoop单机安装

    2016-07-20 15:40:25
    官方英文文档描述的hadoop安装方法对某些步骤的描述...(1)单机安装 参考http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 1、从http://www.oracle.com/technetwork/jav

    官方英文文档描述的hadoop安装方法对某些步骤的描述不够详细,以下内容是自己安装hadoop时记录的过程

    (1)单机安装

    参考http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
    1、从http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u21-oth-JPR下载jdk-7u21-linux-x64.tar.gz,在Downloads文件夹中解压缩,得到jdk1.7.0_21目录。
    2、执行sudo mv ./jdk1.7.0_21 /usr/local/lib/jdk1.7.0_21
    3、设置环境变量,执行sudo gedit ~/.bashrc,加入以下语句
    export JAVA_HOME=/usr/local/lib/jdk1.7.0_21
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    保存退出,执行source ~/.bashrc
    4、sudo update-alternatives --install /usr/bin/java java /usr/local/lib/jdk1.7.0_21/bin/java 300,设置默认程序
    sudo update-alternatives --install /usr/bin/javac javac /usr/local/lib/jdk1.7.0_21/bin/javac 300
    sudo update-alternatives --install /usr/bin/jar jar /usr/local/lib/jdk1.7.0_21/bin/jar 300
    sudo update-alternatives --config java,检查配置
    5、最后执行java -version,看看java是否安装正确
    6、写一个测试文件Hello.java
    //Hello.java
    public class Hello{
     public static void main(String[] args)
     {
            System.out.println("Hello world!");
     }
    }
    执行javac Hello.java,编译成功后执行java Hello,如果输出正确,则表示java安装成功。
    7、按照http://www.apache.org/dyn/closer.cgi/hadoop/common/网站说明选择合适的hadoop版本进行下载,下载后得到hadoop-2.7.2.tar.gz,将解压后的文件夹移动到/usr/local/lib/
    8、执行sudo gedit ~/.bashrc,加入以下语句
    export HADOOP_INSTALL=/usr/local/lib/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_INSTALL/bin
    export PATH=$PATH:$HADOOP_INSTALL/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL
    export YARN_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
    9、执行hadoop version,检查配置是否成功
    10、现在的hadoop是单机模式,执行以下内容测试hadoop是否安装成功
    $ mkdir input
    $ cp etc/hadoop/*.xml input
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+',从文件中查询匹配正则表达式的内容
    $ cat output/*
    11、删除input中所有内容和output目录,执行hadoop经典实例WordCount
    $ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
    $ cat output/*

    (2)伪分布式安装
    参考http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation,已经安装好了,在/usr/local/lib/hadoop-2.7.2
    展开全文
  • EasyHadoop Hadoop 单机系统 安装配置 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单
  • PAGE4 / NUMPAGES4 hadoop单机安装手册 目录 TOC \o "1-3" \h \z \u 一搭建java环境 2 1安装jdk 2 2配置JAVA环境变量 2 3设权 2 4测试java 2 二安装SSH免登陆 2 1设置不用登陆密码 2 2完成后登录不用输入密码第一次...
  • 单机安装主要用于程序逻辑调试。安装步骤基本通分布式安装,包括环境变量,主要Hadoop配置文件,SSH配置等,需要的朋友可以参考下
  • 搁置挺长时间的HBase API学习终于提上日程,打开原来创建的虚拟机,发现竟然崩掉了,于是就干脆重新创一个加上Hadoop单机安装一个单机HBase,以下为过程记录。 准备 NAT模式的虚拟机一个(Vmware创建),具体...

    前言

    搁置挺长时间的HBase API学习终于提上日程,打开原来创建的虚拟机,发现竟然崩掉了,于是就干脆重新创一个加上Hadoop单机版安装一个单机HBase,以下为过程记录。

    准备

           1. ssh-keygen -t rsa (中间Y/N选择直接空格即可)

           2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    安装过程

    1. tar -zxvf解压所有压缩包,并移动到安装目录/usr/local/src/【根据个人需求】

    2. 配置环境变量并source /etc/profile生效

    3. hadoop单机配置

    3.1 配置hadoop-2.4.0/etc/hadoop/hadoop-env.sh

    export JAVA_HOME=/usr/local/src/jdk1.8.0_201
    
    export HADOOP_NAMENODE_OPTS=" -Xms1024m -Xmx1024m -XX:+UseParallelGC"
    export HADOOP_DATANODE_OPTS=" -Xms1024m -Xmx1024m"
    

    3.2 配置hadoop-2.4.0/etc/hadoop/core-site.xml  其中8020为hadoop的端口号

    <configuration>
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://ranger:8020</value>
      </property>
    </configuration>
    

    3.3 配置hadoop-2.4.0/etc/hadoop/hdfs-site.xml

    <configuration>
      <property>
            <name>dfs.replication</name>
            <value>1</value>
      </property>
      <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///usr/local/src/hadoop/hdfs/nn</value>
      </property>
      <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///usr/local/src/hadoop/hdfs/dn</value>
      </property>
    </configuration>
    

    3.4 格式化namenode

    3.5 启动测试是否成功

     

    3.6 web端查看结点情况 hbase:50070/  注意hbase为虚拟机的hostname

    3.7 如果启动Hadoop出错

    错误:

            Starting namenodes on [master]

            ERROR: Attempting to operate on hdfs namenode as root
           
            ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
           
            Starting datanodes

            ERROR: Attempting to operate on hdfs datanode as root
           
            ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

            Starting secondary namenodes [slave1]

            ERROR: Attempting to operate on hdfs secondarynamenode as root

            ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

    解决方法:

             在/hadoop/sbin路径下:
             将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
                  HDFS_DATANODE_USER=root
                  HADOOP_SECURE_DN_USER=hdfs
                  HDFS_NAMENODE_USER=root
                  HDFS_SECONDARYNAMENODE_USER=root
             start-yarn.sh,stop-yarn.sh顶部也需添加以下
                YARN_RESOURCEMANAGER_USER=root
                HADOOP_SECURE_DN_USER=yarn
                YARN_NODEMANAGER_USER=root

    然后重新执行3.4-.3.5格式化后重新启动Hadoop服务(如果仍然未成功,尝试配置SSH)。

    3.8 如果需要配置资源管理yarn,则继续配置marped-site.xml和yarn-site.xml

     # etc/hadoop/mapred-site.xml:
     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
     </configuration>
     ​
     # etc/hadoop/yarn-site.xml:
     <configuration>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>

    4. hbase单机配置

    4.1 配置hbase-1.3.3/conf/hbase-site.xml 

    4.2 bin/start-hbase.sh测试是否安装成功

    4.3 bin/hbase shell测试是否可用

    总结

    根据需要学会安装单机版、伪分布式版和完全分布式版,一般初步学习单机版足够。

    展开全文
  • Hadoop单机安装配置过程

    千次阅读 2012-11-24 14:51:44
    Hadoop单机安装配置过程:  1、首先安装JDK,必须是sun公司的jdk,最好1.6版本以上。 最后java–version 查看成功与否。 注意配置/etc/profile文件,在其后面加上下面几句: exportJAVA_HOME=/usr/local/jdk...

    Hadoop单机安装配置过程:

      1、首先安装JDK,必须是sun公司的jdk,最好1.6版本以上。

    最后java–version 查看成功与否。

    注意配置/etc/profile文件,在其后面加上下面几句:

    exportJAVA_HOME=/usr/local/jdk1.6.0_17
    exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
    exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar


    2、安装SSH,免密码登陆

    apt-getinstall openssh-server 安装ssh

    建立 SSHKEY 

    $ssh-keygen -t rsa -P "" (注意不要多加空格或缺少空格)

    中途需要安装者选择保存密钥的文件,按回车使用默认的文件就可以了:

    Enterfile in which to save the key (/root/.ssh/id_rsa):(按回车)

    启用SSHKEY:

    $cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

    /etc/init.d/sshreload

    reloadssh

    sshlocalhost

    3、安装配置单机hadoop

    1)解压到/opt/hadoop

    Java代码

    1. $tar zxvf hadoop-0.20.2.tar.gz

    2. $sudo mv hadoop-0.20.2/opt/

    3. $sudo chown -R hadoop:hadoop /opt/hadoop-0.20.2

    4. $sudo ln -sf /opt/hadoop-0.20.2/opt/hadoop

    4.配置hadoop-env.sh
    1
    )在hadoop/conf里面hadoop-env.sh增加

    Java代码

    1. exportJAVA_HOME=/usr/jdk1.6.0.18

    2. exportHADOOP_HOME=/opt/hadoop

    3. exportPATH=$PATH:/opt/hadoop/bin

    5.配置文件
    1)
    編輯/opt/hadoop/conf/core-site.xml

    Java代码

    1. <configuration>

    2. <property>

    3. <name>fs.default.name</name>

    4. <value>hdfs://localhost:9000</value>

    5. </property>

    6. <property>

    7. <name>hadoop.tmp.dir</name>

    8. <value>/tmp/hadoop/hadoop-${user.name}</value>

    9. </property>

    10. </configuration>

    2)編輯/opt/hadoop/conf/hdfs-site.xml

    Java代码

    1. <configuration>

    2. <property>

    3. <name>dfs.replication</name>

    4. <value>1</value>

    5. </property>

    6. </configuration>

    3)編輯/opt/hadoop/conf/mapred-site.xml

    Java代码

    1. <configuration>

    2. <property>

    3. <name>mapred.job.tracker</name>

    4. <value>localhost:9001</value>

    5. </property>

    6. </configuration>

    6.格式化hdfs

    Java代码

    1. $cd /opt/hadoop

    2. $source conf/hadoop-env.sh

    3. $hadoop namenode -format

    提示信息一大堆...

    7.启动hadoop

    Java代码

    1. $sudo ./start-all.sh //hadoop/bin下执行



    8.
    完成后的测试

    Java代码

    1. http://localhost:50030/- Hadoop 管理接口



    启动
    [hadoop@hadoop00~]$ ~/hadoop-0.21.0/bin/start-all.sh
     
    Thisscript is Deprecated. Instead use start-dfs.sh andstart-mapred.sh
    starting namenode, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-namenode-hadoop00.out
    192.168.91.11:starting datanode, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-datanode-hadoop01.out
    192.168.91.12:starting datanode, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-datanode-hadoop02.out
    192.168.91.10:starting secondarynamenode, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-secondarynamenode-hadoop00.out
    startingjobtracker, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-jobtracker-hadoop00.out
    192.168.91.12:starting tasktracker, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-tasktracker-hadoop02.out
    192.168.91.11:starting tasktracker, logging to/home/hadoop/hadoop-0.21.0/bin/../logs/hadoop-hadoop-tasktracker-hadoop01.out

    2.停止
    [hadoop@hadoop00~]$ ~/hadoop-0.21.0/bin/stop-all.sh
     
    Thisscript is Deprecated. Instead use stop-dfs.sh andstop-mapred.sh
    stopping namenode
    192.168.91.12: stoppingdatanode
    192.168.91.11: stopping datanode
    192.168.91.10:stopping secondarynamenode
    stopping jobtracker
    192.168.91.11:stopping tasktracker
    192.168.91.12: stopping tasktracker

    初始配置HDFS 
    1
    、 格式化HDFS文件系统
    [hadoop@hadoop00~]$ hadoop namenode -format

    2
    、 查看HDFS
    [hadoop@hadoop00~]$ hadoop fs -ls /
    11/09/24 07:49:55 INFO security.Groups: Groupmapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;cacheTimeout=300000
    11/09/24 07:49:56 WARN conf.Configuration:mapred.task.id is deprecated. Instead, usemapreduce.task.attempt.id
    Found 4 items
    drwxr-xr-x  - hadoop supergroup         0 2011-09-22 08:05 /home
    drwxr-xr-x   - hadoopsupergroup          02011-09-22 11:29 /jobtracker
    drwxr-xr-x   - hadoopsupergroup          02011-09-22 11:23/user

    3
    、 通过WEB查看hadoop
    查看集群状态 http://192.168.91.10:50070/dfshealth.jsp

    查看JOB状态 http://192.168.91.10:50030/jobtracker.jsp


    运行hadoopexample-wordcount 
    Wordcount
    程序是一个简单的计算输入文件中每个单词出现的次数,并输出到指定的目录下。该程序是官方的例子,在hadoop-0.21.0安装目录下的:hadoop-mapred-examples-0.21.0.jar

    hdfs上建立程序的输入目录和文件,同时建立程序的输出目录.
    [hadoop@hadoop00~]$ mkdir input
    [hadoop@hadoop00 ~]$ cat a a a a a b b b c c c c cc c c c 1 1 1 > input/file
    [hadoop@hadoop00 ~]$ hadoop fs–mkdir /wordcount
    [hadoop@hadoop00 ~]$ hadoop fs –put input/wordcount

    [hadoop@hadoop00~]$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jarwordcount /wordcount/input /wordcount/output
    11/09/24 08:11:25INFO security.Groups: Group mappingimpl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;cacheTimeout=300000
    11/09/24 08:11:26 WARN conf.Configuration:mapred.task.id is deprecated. Instead, usemapreduce.task.attempt.id
    11/09/24 08:11:26 WARNmapreduce.JobSubmitter: Use GenericOptionsParser for parsing thearguments. Applications should implement Tool for the same.
    11/09/2408:11:26 INFO input.FileInputFormat: Total input paths to process :2
    11/09/24 08:11:26 WARN conf.Configuration: mapred.map.tasks isdeprecated. Instead, use mapreduce.job.maps
    11/09/24 08:11:26 INFOmapreduce.JobSubmitter: number of splits:2
    11/09/24 08:11:27 INFOmapreduce.JobSubmitter: adding the following namenodes' delegationtokens:null
    11/09/24 08:11:27 INFO mapreduce.Job: Running job:job_201109240745_0002
    11/09/24 08:11:28 INFO mapreduce.Job: map 0% reduce 0%
    11/09/24 08:11:44 INFO mapreduce.Job:  map50% reduce 0%
    11/09/24 08:11:50 INFO mapreduce.Job:  map 100%reduce 0%
    11/09/24 08:11:57 INFO mapreduce.Job:  map 100%reduce 100%
    11/09/24 08:11:59 INFO mapreduce.Job: Job complete:job_201109240745_0002
    11/09/24 08:11:59 INFO mapreduce.Job:Counters: 34
    ……

    [hadoop@hadoop00~]$ hadoop fs -cat /wordcount/output/part-r-00000
    11/09/2408:18:09 INFO security.Groups: Group mappingimpl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;cacheTimeout=300000
    11/09/24 08:18:09 WARN conf.Configuration:mapred.task.id is deprecated. Instead, usemapreduce.task.attempt.id
    1      3
    a       5
    b      3
    c       9



    展开全文
  • Hadoop单机版本的安装,说实话的确不是很难,挺简单的,按照命令走下去,就可以了,我下载的是最新版本的hadoop ,hadoop-2.8.1,2017年8月13号,对于集群安装,需要额外配置免密码登录ssh和slaves,以及主机名统一

    Hadoop单机版本的安装,说实话的确不是很难,挺简单的,按照命令走下去,就可以了,我下载的是最新版本的hadoop ,hadoop-2.8.1,2017年8月13号,对于集群安装,需要额外配置免密码登录ssh和slaves,以及主机名统一

    1、解压

    tar xzvf hadoop-2.4.0.tar.gz

    2、环境配置hadoop-env.sh

    记住,我们的JAVA_HOME是自己的,不能是这个

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_45

    3、配置core-site.xml

    修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS master(即namenode)的地址和端口号。如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删掉,必须重新执行format才行,否则会出错。

    <configuration>
      <!---xx-->
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
        <final>true</final>
      </property>
      <!---默认的tmp地址-->
      <property>
        <name>hadoop.tmp.dir</name>
        <!--自己定hadoop目录-->
        <value>/usr/hadoop/tmp</value>
      </property>
    </configuration>

    4、配置hdfs-site.xml

    修改Hadoop中HDFS的配置,配置的备份方式默认为3。replication 是数据副本数量,默认为3,salve少于3台就会报错

    <configuration>
         <property>
              <name>dfs.replication</name>
              <value>1</value>
         </property>
    </configuration>

    5、配置mappred-site.xml

    修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。

    <configuration>
         <property>
              <name>mapred.job.tracker</name>
              <value>localhost:9001</value>
         </property>
    </configuration>

    6、添加sbin和bin目录到环境变量

    vim /etc/profile
    
    #添加环境变量
    export HADOOP_HOME_BIN=/usr/local/hadoop/hadoop-2.8.1/bin
    export HADOOP_HOME_SBIN=/usr/local/hadoop/hadoop-2.8.1/sbin
    export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$NATAPP_HOME:$SUN_HOME:$ZOOKEEPER_HOME:$HADOOP_HOME_BIN:$HADOOP_HOME_SBIN
    
    #立马生效
    source /etc/profile
    
    #查看配置的path
    echo $PATH

    7、格式化hdfs

    启动Hadoop前,需要先格式化Hadoop的文件系统HDFS,执行命令:

    hadoop namenode -format

    这里写图片描述

    启动后,如果
    Exitting with status 0 表示成功
    Exitting with status 1 表示出错

    这里写图片描述

    8、启动hadoop

    通过sbin目录中启动我们的服务

    start-all.sh

    我们也可以分布来启动

    start-dfs.sh
    start-yarn.sh

    9、查看jps

    jps

    jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。

    这里写图片描述

    10、WEB访问端口

    名称端口
    NameNode50070
    ResourceManager8088
    MapReduce JobHistory Server19888

    这里写图片描述

    展开全文
  • 大数据技术 讲解Hadoop单机安装和集群部署的方法和步骤入门文档 适用于centos等操作系统(共24页).rar
  • 供有相同兴趣的人一起参考学习
  • Hadoop单机安装测试

    千次阅读 2016-03-30 19:11:10
    1 设置为普通用户安装hadoop最好在普通用户下,不要用超级用户。(第一步:useradd -d /home/john john,第二部:passwd john 123456)2 配置本机的hosts方便后续使用,这个hosts,root用户才可以改。 增加: ...
  • Hadoop单机安装详细步骤

    千次阅读 2016-07-11 00:03:12
    环境准备安装Java过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。java -version创建Hadoop账号为Hadoop创建一个专门的账号是很好的实践:sudo adduser hadoop sudo passwd hadoop...
  • Hadoop单机安装部署

    2018-01-23 18:35:29
    一、准备工作:  1、下载安装JDK  在线安装:执行命令$sudo apt-get install jdk  离线安装: 下载jdk-7u75-linux-x64.tar.gz,下载路径: ...把离线包拷入到ubuntu
  • hadoop 单机安装与部署

    千次阅读 2017-06-24 14:20:02
    说明:安装hadoop首先要安装java 然后再安装hadoop 安装JAVA 。解压 cd /usr/local  tar -zxvf jdk-7u25-linux-x64.gz  2.配置/etc/profile vi /etc/profile #set java ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,617
精华内容 16,646
关键字:

hadoop单机安装