精华内容
下载资源
问答
  • hadoop 状态查看端口

    2014-04-19 00:05:00
    http://masterip:50030/jobtracker.jsp 转载于:https://www.cnblogs.com/chunjiaodelei/p/3674375.html

    http://masterip:50030/jobtracker.jsp

    转载于:https://www.cnblogs.com/chunjiaodelei/p/3674375.html

    展开全文
  • web界面查看hadoop状态

    万次阅读 2017-09-16 16:22:10
    用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。   1、安装虚拟机环境  Vmware,收费产品,占内存较大。  或  ...

    用于测试,我用4台虚拟机搭建成了hadoop结构

    我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。

     

    1、安装虚拟机环境

         Vmware,收费产品,占内存较大。

         或

         Oracle的VirtualBox,开源产品,占内存较小,但安装ubuntu过程中,重启会出错。

         我选Vmware。

     

    2、安装操作系统

         Centos,红帽开源版,接近于生产环境。

         Ubuntu,操作简单,方便,界面友好。

         我选Ubuntu12.10.X 32位

     

    3、安装一些常用的软件

         在每台linux虚拟机上,安装:vim,ssh

         sudo apt-get install vim

         sudo apt-get install ssh

         在客户端,也就是win7上,安装SecureCRT,Winscp或putty,这几个程序,都是依靠ssh服务来操作的,所以前提必须安装ssh服务。

         service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。

         SecureCRT,可以通过ssh远程访问linux虚拟机。

         winSCP或putty,可以从win7向linux上传文件。

     

    4、修改主机名和网络配置

        主机名分别为:master,host2,host3,host4。

        sudo vim /etc/hostname

        网络配置,包括ip地址,子网掩码,DNS服务器。如上图所示。

     

    5、修改/etc/hosts文件。

        修改每台电脑的hosts文件。

        hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。

        在每台linux上,sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后,结果如下:

        

     

     

    6、配置ssh,实现无密码登陆

        无密码登陆,效果也就是在master上,通过 ssh host2 ssh host3ssh host4 就可以登陆到对方计算机上。而且不用输入密码。

        四台虚拟机上,使用   ssh-keygen -t rsa    一路按回车就行了。

        刚才都作甚了呢?主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。

        打开~/.ssh 下面有三个文件

        authorized_keys,已认证的keys

        id_rsa,私钥

        id_rsa.pub,公钥   三个文件。

        下面就是关键的地方了,(我们要做ssh认证。进行下面操作前,可以先搜关于认证和加密区别以及各自的过程。)

        ①在master上将公钥放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys

        ②将master上的authorized_keys放到其他linux的~/.ssh目录下。

           命令:sudo scp authorized_keys hadoop@10.10.11.192:~/.ssh       

                   sudo scp authorized_keys 远程主机用户名@远程主机名或ip:存放路径。

        ③修改authorized_keys权限,命令:chmod 644 authorized_keys

        ④测试是否成功

           ssh host2 输入用户名密码,然后退出,再次ssh host2不用密码,直接进入系统。这就表示成功了。

     

    7、上传jdk,并配置环境变量。

        通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中,四个linux都要操作。

        解压缩:tar -zxvf jdk1.7.0_21.tar

        设置环境变量 sudo vim ~/.bashrc

        在最下面添加:

        export JAVA_HOME = /usr/lib/java/jdk1.7.0_21

        export PATH = $JAVA_HOME/bin:$PATH

     

        修改完后,用source ~/.bashrc让配置文件生效。

     

    8、上传hadoop,配置hadoop

        通过winSCP,上传hadoop,到/usr/local/下,解压缩tar -zxvf hadoop1.2.1.tar

        再重命名一下,sudo mv hadoop1.2.1 hadoop 

        这样目录就变成/usr/local/hadoop

     

        修改环境变量,将hadoop加进去(最后四个linux都操作一次)

        sudo vim ~/.bashrc

        export HADOOP_HOME = /usr/local/hadoop

        export PATH = $JAVA_HOme/bin:$HADOOP_HOME/bin:$PATH

     

        修改完后,用source ~/.bashrc让配置文件生效。

     

        修改/usr/local/hadoop/conf下配置文件

        hadoop-env.sh,

         

     

        (上面这张图片,有一些问题,只export JAVA_HOME进去就可以了,不用export HADOOP_HOME和PATH了 )

        core-site.xml,

        

        hdfs-site.xml,

        

        mapred-site.xml,

        

        master,

        

        slave,

        

     

        上面的hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,master,slave几个文件,在四台linux中都是一样的。

        配置完一台电脑后,可以将hadoop包,直接拷贝到其他电脑上。

     

        最后要记得,将hadoop的用户加进去,命令为

          sudo chown -R hadoop:hadoop hadoop 

          sudo chown -R 用户名@用户组 目录名

        让hadoop配置生效

          source hadoop-env.sh

     

        格式化namenode,只格式一次

          hadoop namenode -format

     

        启动hadoop

          切到/usr/local/hadoop/bin目录下,执行 start-all.sh启动所有程序

     

        查看进程,是否启动

           jps

          master,

          

          host2,

          

          host3,host4,的显示结果,与host2相同。

    展开全文
  • hadoop状态检查

    千次阅读 2018-08-27 15:34:26
    状态地址 namenode的50070端口,如:192.168.117.101:50070 上传文件 hadoop fs -put filename hdfs://192.168.117.101:9000/ 下载文件 hadoop fs -get hdfs:/192.168.117.101:9000/filename...

    状态地址

    使用此端口查看hadoop时要关闭防火墙

    service firewalld stop
    namenode的50070端口,如:192.168.117.101:50070
    job运行状态查看:http://192.168.117.105:8088
    

    上传文件

    hadoop fs -put filename hdfs://192.168.117.101:9000/
    

    下载文件

    hadoop fs -get hdfs:/192.168.117.101:9000/filename
    

    删除文件

    hadoop fs -rm -r hdfs:/192.168.117.101:9000/filename
    

    查看输出

    hadoop fs -cat 输出文件名
    

    列出文件

    hadoop fs -ls
    

    修改所有者

    hadoop fs -chown 名:组  /文件名
    

    修改权限

    hadoop fs -chmod 777 /文件名
    

    查看存储空间使用状态

    hadoop fs -df -h /
    

    查看文件和文件夹大小

    hadoop fs -du -h /
    

    查看文件尾部内容

    hadoop fs -tail 文件名
    

    退出安全模式

    hadoop dfsadmin -safemode leave
    
    展开全文
  • hadoop yarn查看任务状态

    千次阅读 2020-12-30 20:18:24
    https://blog.csdn.net/u010003835/article/details/83347589
    展开全文
  • Hadoop】用web查看hadoop运行状态

    千次阅读 2014-05-09 16:12:11
    我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况;   10.10.11.191:50030 这个里面,我们可以看到Map/Reduce的管理情况     10.10.11.191:50070 这里可以看到...
  • web查看hadoop运行状态

    千次阅读 2018-12-16 17:11:47
    ...我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况;     192.168.206.21:50030 这个里面,我们可以看到Map/Reduce的管理情况   192.168.2...
  • Hadoop状态转移图生成

    千次阅读 2015-04-15 11:29:50
    事件驱动和状态转移,在很大程度上保证了大型系统的顺利推进。状态转移有如下好处: 状态转移图是可以生成的。在讨论某个功能的时候,可以直接对着图进行讨论...Hadoop也大量采用了这种方法,如MapReduce的状态转移,NM
  • centos7下hadoop3.0.3 hdfs状态查看命令

    千次阅读 2018-07-09 16:37:42
    centos7下hadoop3.0.3 hdfs状态查看命令 查看安全模式状态 hdfs dfsadmin -safemode get 通过命令来查看NameNode的状态(是Active还是Standby) hdfs haadmin -getServiceState nn1 hdfs haadmin -...
  • 查看hadoop主从节点状态 命令行

    千次阅读 2019-10-04 13:18:47
    [root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop01 ~]# 转载于:https://www.cnblogs.com/lihuanghao/p/1...
  • 二使用web查看hadoop的运行状态查看HDFS集群状态,访问如下地址:http://master:50070 2 查看web控制台状态:http://master:8088(yarn.resourcemanager.webapp.address) 3 查看HBase的状态:...
  • hadoop 查看集群的网页监控状态

    万次阅读 2016-12-19 15:37:03
    一、查看集群的网页监控状态 1.查看hdfs集群状态,也就是namenode的访问地址 配置:hdfs-site.xml--dfs.namenode.http-address 默认访问地址:http://namenode的ip:50070 2.如果配置了secondary ...
  • Hadoop

    万次阅读 多人点赞 2019-09-16 22:44:08
    Hadoop简介 Hadoop 的思想之源:Google 第一遇到大数据计算问题的公司 Openstack :NASA 面对的数据和计算难题 - 大量的网页怎么存储 - 搜索算法 带给我们的关键技术和思想(Google三大理论) - GFS 文件存储 - Map-...
  • hadoop集群查看进程情况【超实用】

    千次阅读 2017-06-28 19:16:43
    hadoop集群查看进程情况
  • hadoop查看mapreduce(yarn)运行状态

    千次阅读 2019-03-15 10:56:31
    启动hadoop之后,在web浏览器中加/logs/userlogs,就可以看到所有运行的任务,再找到自己想看的那个任务就行 注意这个端口是ResourceManager(yarn)默认的端口号,如果做了修改,这个端口也是要改的 ...
  • 假如需要通过外网IP来连接到服务器集群,通过自己本地的电脑来查看Hadoop集群的运行情况是不合理的, 因为服务器集群之间是通过局域网IP通信的,所以本地电脑无法查看Hadoop服务器集群的运行情况, 可以通过VNC...
  • 端口查看hadoop hbase和hdfs状态

    千次阅读 2014-03-31 22:10:19
    通过以下端口查看hadoop hbase和hdfs状态 hadoop administration : http://localhost:50030 hdfs namenode: http://localhost:50070 hbase reginserver: http://localhost:60030
  • 如何判断Hadoop Namenode状态

    千次阅读 2018-11-29 21:27:36
    主要借助Hadoop JMX 提供的API信息获取信息来判断Namenode的状态,一般使用类似语句 http://namenode.abc.com:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus 其返回信息如下: { "beans" :...
  • hadoop dfsadmin -safemode get # 查看安全模式状态 hadoop dfsadmin -safemode enter # 进入安全模式状态 hadoop dfsadmin -safemode leave # 离开安全模式
  • 利用java查看hdfs/hadoop系统的状态与配置/**Name : KcnaufHadoopManagement *Author : Zhang Bing *Created : 2013-7-31 *Function : Catch the hadoop status of filesystem * */ package ...
  • 1. 格式化节点 1.1 进入hadoop安装目录 1.2
  • Hadoop3.2.1状态机图生步骤.

    千次阅读 2020-12-16 23:20:44
    1. 进入项目目录, 执行命令 mvn compile -Pvisualize 2. 安装指令(mac 版本) brew install graphviz 3. 执行转换操作 dot -Tpng ResourceManager.gv > ResourceManager.png dot -Tpng NodeManager.gv >...
  • 在使用hadoop自带的wordcount之后,在hdfs的web界面(2.8.5版本为端口50070)可以看见任务完成 但在8088的ResourceManager中看不见 原因是没有打开JobHistory Server JobHistory Server详解 它的作用我还没搞懂 在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 116,266
精华内容 46,506
关键字:

hadoop状态查看