hadoop3.1 伪分布式
2016-01-22 17:14:28 Shannon_ying 阅读数 210

Hadoop伪分布式配置
参考:http://www.powerxing.com/install-hadoop/
step1. 下载Hadoop2.6.0版本,解压到/usr/local/hadoop
step2. 修改配置文件(配置文件地址:/usr/local/hadoop/etc/hadoop)
1).core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2). hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

3). hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_71

step3. 格式化NameNode

$/usr/local/hadoop/bin/hdfs namenode -format
#$./bin/hdfs namenode -format

这里写图片描述
step4. 开启守护进程

$/usr/local/hadoop/sbin/start -format
#$./bin/hdfs namenode -format

这里写图片描述

$jps #查看是否启动成功

成功时启动的进程: NameNode, DataNode, SecondaryNameNode
访问http://localhost:50070 可查看NameNode和DataNode信息

Hadoop伪分布实例
1). 单机测试

# ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep ./input ./output/* 'dfs[a-z.]+'
#cat ./output/*

单机测试
hadoop默认不覆盖结果文件,再次运行前先将./output删除

2).分布式实例测试,数据需从HDFS读取

$./bin/hdfs dfs -mkdir -p /user/hadoop #在HDFS中创建用户目录
$./bin/hdfs dfs -mkdir /user/hadoop/input #创建input,此处使用绝对路径,相对路径input需要使用hadoop用户
$./bin/hdfs dfs -put ./etc/hadoop/*.xml input
$./bin/hdfs dfs -ls input #查看文件列表
$./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep /user/hadoop/input /user/hadoop/output 'dfs[a-z.]+'

这里写图片描述

HDFS命令:

//创建目录
$./bin/hdfs dfs -mkdir -p /user/hadoop
//复制文件
$./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
//查看文件列表
$./bin/hdfs dfs -ls /user/hadoop/input
//查看文件
$./bin/hdfs dfs -cat output/*
//HDFS文件拷贝到本机 hdfs目录 本地目录
$./bin/hdfs dfs -get output ./output
//删除目录
$./bin/hdfs dfs -rm -r output

关闭hadoop $./sbin/stop-dfs.sh
启动hadoop $./sbin/start-dfs.sh
//该命令启动Hadoop,仅仅启动了MapReduce环境,并没有启动YARN,因此没有JobTracker和TaskTracker。

配置YARN

修改配置文件mapred-site.xml

$mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

编辑$vi /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration> 

编辑$vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

启动yarn

$./sbin/stop-dfs.sh    //关闭mp
$./sbin/start-dfs.sh   //打开mp
$./sbin/start-yarn.sh  //打开yarn
$./sbin/mr-jobhistory-daemon.sh start historyserver    //打开历史服务器,才能在web中查看任务运行情况
$jps

这里写图片描述

开启yarn之后,多了NodeManager和ResourceManager两个后台进程

2017-05-16 22:16:34 a1055186977 阅读数 118

在搭建Hadoop单机模式成功后,进入下一个,伪分布模式;

确保已安装SSH

首先修改配置文件;hadoop 2.7.3的配置文件在Hadoop_home/etc/hadoop目录下。依次修改

core-site.xml



hdfs-site.xml文件


mapred-site.xml


 

在sbin目录下运行start-all.sh

或直接把sbin也加入到环境变量中:

停止hadoop

完毕

2015-03-25 19:33:22 zhangpengfei104 阅读数 269

Hadoop伪分布式的安装


准备:安装Linux系统的虚拟机,jdk,Hadoop(这里用jdk1.7.0,Hadoop1.2.1)

1,打开命令提示符输入sudo -s回车,输入密码升级到更高权限。

2,安装ssh,

      # apt-get install ssh

3,安装jdk,这里我的jdk在home文件夹下就解压到此处

   #  tar xzvf jdk-7u71-linux-i586.tar     解压到当前文件夹下,接下来环境变量配置

   #   vim /etc/profile

   在其中加入

   export  JAVA_HOME=/home/jdk1.7.0_71

   export  JAVA_BIN=/home/jdk1.7.0_71/bin

   export  PATH=$PATH:$JAVA_HOME/bin

export   CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME PATH JAVA_BIN CLASSPATH

让文件修改后立即生效命令如下

# . /etc/profile

注意.和/etc/profile之间有空格

重启测试

java -version

输出版本信息即安装成功

4,安装Hadoop

解压

  #  tar xzvf hadoop-1.2.1.tar

1)编辑conf/hadoop-env.sh文件

  将#export JAVA_HOME行改为

   export  JAVA_HOME=jdk安装目录

  2)配置core-site.xml文件

  <configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop-1.2.1/tmpdir</value>
      <description>A base for other temporary directories.</description>
    </property>

</configuration>

3)配置hdfs-site.xml文件

  <configuration>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop-1.2.1/data</value>
</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4)配置mapred-site.xml文件

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

5,免密码ssh设置

首先进入root目录下

#  cd  /root

#  ssh-keygen -t rsa

一直按enter.

进入.ssh目录执行命令

 #cp id_rsa.pub authorized_keys

6,Hadoop运行

1)进入Hadoop1.2.1目录,格式化文件系统

  #bin/hadoop namenode -format

2)启动Hadoop进程

#bin/start-all.sh

3)查看进程启动情况

# jps

3235 NameNode

4113 Jps

3819 JobTracker

4059 TaskTracke

3721 SecondaryNameNode

3487 DataNode

这六个进程全部启动说明已经成功

4)停止所有进程

# stop-all.sh



2018-02-07 15:26:26 lys07962000 阅读数 80

卸载系统自动JDK
//查看系统自带JDK


[root@Master local]# rpm -qa | grep java


java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
tzdata-java-2017b-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
//删除
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
安装JDK
上传到 /usr/local目录
tax -zxvf jdk-7u80-linux-x64.tar.gz 
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin


source /etc/profile   //生效配置文件,环境变量
// 查看是否已安装JAVA环境
[root@Master local]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
////////////////////////////////////////////////////////////////
mkdir /usr/local/hadoop
上传 hadoop-2.6.4.tar.gz
tax -zxvf hadoop-2.6.4.tar.gz
 
//设置免密码登录
//无密攻略
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    // 注意是大写 P,此处纠结过很久
// 攻略添加
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
vim /etc/hostname
修改成  Master


vim /etc/hosts
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.21 Master


mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data


vim ~/.bash_profile


末尾添加:
HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH


source ~/.bash_profile  // 生效配置文件
切换路径:
cd /usr/local/hadoop/hadoop-2.6.4


vim etc/hadoop/hadoop-env.sh


vim etc/hadoop/core-site.xml


# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}  /////找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80   /////添加


vim etc/hadoop/yarn-env.sh


# export JAVA_HOME=/home/y/libexec/jdk1.6.0/     /////找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80      /////添加


vim etc/hadoop/core-site.xml


<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>


vim etc/hadoop/hdfs-site.xml


<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data</name>
<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>


切换路径:cd /usr/local/hadoop/hadoop-2.6.4/etc/hadoop


cp mapred-site.xml.template mapred-site.xml


vim mapred-site.xml


<configuration>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</configuration>


vim yarn-site.xml


<configuration>


<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


//格式化
./hdfs namenode  -format


切换路径:cd ../sbin/


启动hadoop
./start-all.sh


///查看是否启动
[root@Master sbin]# jps
3479 NameNode
4269 Jps
3968 NodeManager
3879 ResourceManager
3566 DataNode
3738 SecondaryNameNode
[root@Master sbin]#
//启动成功


IE 访问: http://192.168.1.21:8088/
http://192.168.1.21:50070


无法打开页面,查看防火墙
[root@Master sbin]# firewall-cmd --state
running
// 停止防火墙

systemctl stop firewalld.service

再次:IE访问 http://192.168.1.21:8088/, http://192.168.1.21:50070

IE 访问: http://192.168.1.21:8088/

http://192.168.1.21:50070

 





Hadoop分布式集群搭建


[root@localhost ~]# mkdir apps
[root@localhost ~]# rz 上传 hadoop-2.6.4.tar.gz  ,若RZ命令认不到则安装
[root@localhost ~]# yum install lrzsz
// 解压,放到apps目录
[root@localhost ~]# tar -zxvf hadoop-2.6.4.tar.gz -C apps/
[root@localhost ~]# cd apps/
[root@localhost hadoop]# cd hadoop-2.6.4/etc/hadoop/
//查看JDK
[root@localhost hadoop]# echo $JAVA_HOME
/usr/local/jdk1.7.0_80
[root@localhost hadoop]# vim hadoop-env.sh


#export JAVA_HOME=${JAVA_HOME}   // 找到这个并注释掉
export JAVA_HOME=/usr/local/jdk1.7.0_80  // 添加这一行


[root@master sbin]# vim /etc/host   //添加以下三行
192.168.1.20 master
192.168.1.22 slave1
192.168.1.23 slave2


//设置免密码登录
//无密攻略
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    // 注意是大写 P,此处纠结过很久


// 攻略添加,并发送到slave1,slave2上
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys  root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys  root@slave2:~/.ssh/
并保证  ssh slave1,ssh slave2能登录上去
[root@master sbin]# ssh slave1
Last login: Wed Feb  7 14:16:37 2018 from 192.168.1.20
[root@slave1 ~]# exit
登出
Connection to slave1 closed.
[root@master sbin]# ssh slave2
Last login: Wed Feb  7 14:18:36 2018 from 192.168.1.20
[root@slave2 ~]# exit
登出
Connection to slave2 closed.
[root@master sbin]# cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop


[root@master hadoop]# vim slaves
#localhost // 注释,添加以下2行
slave1
slave2


[root@localhost hadoop]# vim core-site.xml


<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.20:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>


[root@localhost hadoop]# vim hdfs-site.xml


<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>


[root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml


[root@localhost hadoop]# vim mapred-site.xml
<configuration>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</configuration>


[root@localhost hadoop]# vim yarn-site.xml


<configuration>


<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.1.20</value>  // 机器名称或IP
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>




//传到其它机器上,当前的 apps 与其它机器 apps 路径是否相同,同时会将所有配置发送到其它机器上
[root@localhost ~]# scp -r apps 192.168.1.22:/home/hadoop  
[root@localhost ~]# scp -r apps 192.168.1.23:/home/hadoop  
[root@localhost ~]# scp -r apps 192.168.1.24:/home/hadoop  


//切换路径:
cd /root/apps/hadoop-2.6.4/bin
[root@localhost bin]# hadoop namenode -format
-bash: hadooop: 未找到命令


[root@localhost bin]# vim /etc/profile
// 添加:
export HADOOP_HOME= /root/apps/hadoop-2.6.4      //hadoop路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
//配置文件传到其它机器上,注意不同机器上的路径是否相同
[root@localhost bin]# scp /etc/profile 192.168.1.22:/etc
[root@localhost bin]# scp /etc/profile 192.168.1.23:/etc
[root@localhost bin]# scp /etc/profile 192.168.1.24:/etc


[root@localhost bin]# source /etc/profile   //每台机器都要执行
// 再执行格式化
[root@localhost bin]# hadoop namenode -format
//以下提示 successfully formatted. 表示成功了


18/02/05 12:32:12 INFO common.Storage: Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted.
18/02/05 12:32:12 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/02/05 12:32:12 INFO util.ExitUtil: Exiting with status 0
18/02/05 12:32:12 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
************************************************************/
[root@localhost ~]# /root/apps/hadoop-2.6.4/sbin
// 启动节点
[root@localhost sbin]# hadoop-daemon.sh start namenode
starting namenode, logging to /root/apps/hadoop-2.6.4/logs/hadoop-root-namenode-localhost.localdomain.out
//查看进程
[root@localhost sbin]# jps
1535 NameNode
1569 Jps
//停止
[root@localhost sbin]# hadoop-daemon.sh stop namenode
stopping namenode
[root@localhost sbin]# 
// 启动所有服务
[root@localhost sbin]# ./start-all.sh 

[root@master hadoop]# jps
6951 Jps
5305 NameNode
5633 ResourceManager
5488 SecondaryNameNode

[root@master hadoop]#

[root@slave1 ~]# jps
1684 NodeManager
1595 DataNode
1781 Jps

IE访问 http://192.168.1.21:8088/, http://192.168.1.21:50070

 

2017-11-10 17:48:16 bingoxubin 阅读数 322356

应用场景

在研究hadoop的过程中,当然需要部署hadoop集群,如果想要在本地简单试用hadoop,并且没有那么多服务器供你使用,那么伪分布式hadoop环境绝对是你最好的选择。

操作步骤

1. 安装JDK

1.1 查看是否安装了openjdk

 # java -version

openjdk version "1.8.0_65"
OpenJDK Runtime Environment (build 1.8.0_65-b17)
OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)

1.2 查看openjdk源

 # rpm -qa | grep java

java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
tzdata-java-2015g-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

1.3 依次删除openjdk

 # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 
 # rpm -e --nodeps tzdata-java-2015g-1.el7.noarch 
 # rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 
 # rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 
 # rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

1.4 重新下载jdk

将下载JDK的后缀为.tar.gz,上传到linux上,解压缩至/opt路径下
jdk下载地址

1.5 配置JDK环境变量

# vim /etc/profile

JAVA_HOME=/opt/jdk1.7.0_79
JRE_HOME=/opt/jdk1.7.0_79/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$PATH

1.6 使变量生效

 # source /etc/profile

2. SSH免秘钥登录

2.1 正常登陆,节点跳转ssh,需要输入用户名密码,每次都需要输入,很麻烦,需要设置成免密码登录

 # ssh localhost
 
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
[root@localhost's password:
Last login: Sat Apr  2 22:32:44 2016

2.2 配置免密码登录

 # cd ~/.ssh/    #若没有该目录,请先执行一次
 # ssh localhost 
 # ssh-keygen -t rsa     #会有提示,都按回车就可以 
 # cat id_rsa.pub >> authorized_keys 
 # chmod 600 ./authorized_keys  # 加入授权

2.3 再次登录,可免秘钥

 # ssh localhost
 
Last login: Sat Apr  2 22:51:41 2016 from localhost

3. 安装Hadoop

3.1 解压Hadoop至/opt路径下

下载hadoop2.6.0
下载hadoop其他版本

3.2 配置Hadoop环境变量

 # vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_79
export HADOOP_HOME=/opt/hadoop-2.6.0
export HADOOP_PREFIX=/opt/hadoop-2.6.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.3 使变量生效

 # source /etc/profile

3.4 修改hadoop-env.sh

 # cd /opt/hadoop-2.6.0   # 进入hadoop目录,修改hadoop-env.sh,添加JAVA_HOME路径
 # vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.7.0_79

 # bin/hadoop  # 执行hadoop指令,测试

3.5 配置HDFS

3.5.1 编辑core-site.xml

 # vim /opt/hadoop-2.6.0/etc/hadoop/core-site.xml

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/opt/hadoop-2.6.0/tmp</value>
 <description>Abase for other temporary directories.</description>
 </property>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.208.110:9000</value>
 </property>
</configuration>

3.5.2 编辑hdfs-site.xml

 # vim /opt/hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<configuration>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/opt/hadoop-2.6.0/tmp/dfs/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/opt/hadoop-2.6.0/tmp/dfs/data</value>
 </property>
 <property>
 <name>dfs.permissions.enabled</name>
 <value>false</value>
 </property>
</configuration>

3.5.3 格式化

[root@hadoop hadoop-2.6.0]# hdfs namenode -format

省略N行
16/04/02 22:54:15 INFO common.Storage: Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted.

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at bogon/221.192.153.42
************************************************************/

3.5.4 开启HDFS

 # start-dfs.sh
 
访问http://localhost:50070

这里写图片描述

3.5.5 HDFS简单使用案例

 # hdfs dfs -mkdir /user
 # hdfs dfs -mkdir /user/lei
 # hdfs dfs -put etc/hadoop input   # 如果出现没有input错误
 
     put: `input': No such file or directory

 # bin/hadoop fs -mkdir -p input     # 手动创建
 # hdfs dfs -put etc/hadoop input
 # hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'


 # hdfs dfs -ls /      #查看文件

DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Found 2 items
drwxr-xr-x   - root supergroup          0 2016-04-02 23:39 input
drwxr-xr-x   - root supergroup          0 2016-04-02 23:43 output

3.6 YARN配置

3.6.1 配置mapred-site.xml

 # cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
 # vim /opt/hadoop-2.6.0/etc/hadoop/mapred-site.xml

<configuration> 
      <property>  
           <name>mapreduce.framework.name</name>  
           <value>yarn</value>  
      </property>  
      <property>  
           <name>mapred.job.tracker</name>  
           <value>192.168.208.110:10020</value>  
      </property> 
</configuration>

3.6.2 配置yarn-site.xml

 # vim /opt/hadoop-2.6.0/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3.6.3 启动YARN

 # start-yarn.sh

访问http://localhost:8088

这里写图片描述

Hadoop之伪分布式

阅读数 96

Hadoop伪分布式模式

博文 来自: qq_36933797

hadoop伪分布式

阅读数 25

首先是本机模式的搭建,如https://mp.csdn.net/mdeditor/83589359#1hdfsdfs-ls/查看本地分布式文件系统,查询结果为你本机linux文件系统,说明你的本地模式已经搭建成功2进入安装目录hadoop文件夹下,进入etc/hadoop下对四个配置文件进行配置:core-site.xml,hdfs-site.xml,mapred-site....

博文 来自: zhang_sir_xia_sir

Hadoop伪分布式

阅读数 52

1.安装JDK解压tar-zxvfjdk压缩包-C指定目录2.安装hadoop和jdk安装一样,直接tar开。3.配置环境变量4.使环境变量生效source/etc/profile5.伪分布模式。 a)进入${HADOOP_HOME}/etc/hadoop目录 b)编辑core-site.xml &lt;?xmlversion="1.0"?&gt; ...

博文 来自: lp284558195

hadoop之伪分布式

阅读数 335

接上篇http://blog.csdn.net/yibei8811/article/details/46709135配置文件etc/hadoop/core-site.xml:添加fs.defaultFShdfs://localhost:9000--配置hdfs分布式文件系统配置文件etc/hadoop/hdfs-site.xm

博文 来自: yibei8811

hadoop伪分布式

阅读数 16

hadoop伪集群搭建第一阶段第二阶段:安装完系统配置。(root帐号)第三个阶段(root帐号)第四个阶段:(hadoop帐号)第五个阶段测试运行程序,以wordcount为例第一阶段:使用平台,创建虚拟机CentOS:CentOS-6.9-x86_64-bin-DVD1VMwareWorkstation12Pro2.安装系统安装时选择最小化安装,内存设置51...

博文 来自: qq_41837900
没有更多推荐了,返回首页