精华内容
下载资源
问答
  • Hadoop 50070端访问

    万次阅读 2016-09-20 15:21:32
    可是就是50070访问了,困扰许久 网上说是浏览器缓存的原因,这恐怕是个误解, 刚开始我参照官网上的配置进行配置的,启动没错,但是hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,默认存放在/tmp下,每次...

    最近搭建Haoop集群环境的时候遇到的这个问题,所有的节点都已启动了,jps也有能显示,


    可是就是50070访问不了,困扰许久

    网上说是浏览器缓存的原因,这恐怕是个误解,

    刚开始我参照官网上的配置进行配置的,启动没错,但是hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,默认存放在/tmp下,每次启动的话都会重置

    注意core-site.xml里面的配置

     <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-1.2.1</value>
      </property>

    官网上的说明这个配置默认是没有的,默认是在 /tmp下,每次启动都会重置,所以我选了一个路径/opt/hadoop-1.2.1

    关键一步  hadoop namenode -format 格式化文件熊HDFS

    停止服务stop-all.sh

    启动服务start-all.sh

    ok 大功告成






    展开全文
  • 正常打开页面是这样的 解决办法1: #编辑此路径下的文件 [hyf@localhost hadoop-2.7.3]$ sudo vim /...查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3: 必须在hadoop-en...

    解决办法1:

     #编辑此路径下的文件
     [hyf@localhost hadoop-2.7.3]$ sudo vim /etc/selinux/config
    

    在这里插入图片描述 将SELINUX=enforing改为SELINUX=disabled

    解决办法2:
    查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好

    解决办法3:
    必须在hadoop-env.sh文件中设置Java的绝对路径

    解决办法4:
    是否关闭linux系统的防火墙
    在这里插入图片描述
    打开页面
    在这里插入图片描述

    展开全文
  • 最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。  配置内容及流程如下: Configuration Use the following: 0:安装jdk并配置hadoop-env.sh的JAVA_...

    CDH 镜像地址       apach官方镜像地址 按需选择下载安装

    最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。 

    配置内容及流程如下:

    Configuration
    	Use the following:
    
    	0:安装jdk并配置hadoop-env.sh的JAVA_HOME
    	
    		必须在hadoop-env.sh文件中设置Java的绝对路径
    	
    	1:	etc/hadoop/core-site.xml:
    
    		<configuration>
    			<property>
    				<name>fs.defaultFS</name>
    				<value>hdfs://alex-prod-01.com:9000</value>
    			</property>
    			#hadoop存放临时文件
    			<property>
    				<name>hadoop.tmp.dir</name>
    				<value>/alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/tmp</value>
    			</property>
    		</configuration>
    		
    		
    	2:etc/hadoop/hdfs-site.xml:
    
    		<configuration>
    			<property>
    				<name>dfs.replication</name>
    				<value>1</value>
    			</property>
    			<property>
    				<name>dfs.permissions.enabled</name>
    				<value>false</value>
    			</property>
    		</configuration>
    		
    
    bin/hadoop namenode -format
    
    sbin/hadoop-daemon.sh start namenode
    
    sbin/hadoop-daemon.sh start datanode
    #查看namenode datanode 启动日志
    /alex/data/bigdata/hadoop/hadoop-2.6.0-cdh5.9.3/logs
    
    ps: alex-prod-01.com 
    /etc/hosts  127.0.0.1 alex-prod-01.com

    1:参考文章:https://www.cnblogs.com/lishpei/p/6136043.html

    2:https://blog.csdn.net/shizhixin/article/details/50469566  

    3:https://www.cnblogs.com/zlslch/p/6604189.html

     

    首先google了一下,网上看了几个方法没有解决。

    干脆看启动日志,我们从启动脚本打印的日志可知启动NameNode的日志是放在hadoop下的logs目录下,进入这个目录可发现有一个hadoop-namenode.log(名字貌似根据用户名而定:格式如×××namenode×××.log),打开这个日志文件发现有这么一段:

    netstat -ntlp 查看端口不是占用问题;是有序漏掉了流程的0步;del tmp文件夹;重新启动;效果如下

    ps: 切记安装流程3中hdfs-default.xml配置权限问题的说明路径: url;否则root用户不能启动问题,默认true权限;根据自己需要修改

    展开全文
  • Hadoop集群搭建完成后,hadoop本身自带了一个webUI访问页面,我们可以观察到一些集群的基本状况,包括磁盘容量和集群节点是否正常存活状态,Hadoop版本,可以查看hdfs的一些文件位置,副本备份情况和文件块大小等...

    在Hadoop集群搭建完成后,hadoop本身自带了一个webUI访问页面,我们可以观察到一些集群的基本状况,包括磁盘容量和集群节点是否正常存活状态,Hadoop版本,可以查看hdfs的一些文件位置,副本备份情况和文件块大小等。虽然功能简单一些,但是也还可以,能看一些集群的基本信息。当然我们也可以根据需要来自定义开发需要的功能,实现网页操作所有的服务。

    搭建完hadoop集群后,启动hdfs进程后,jps 查看也有相应的进程, 测试一下hdfs dfs -put 文件到 集群上也正常,想用网页查看一下,缺发现不能打开网页。这就奇怪了啊。以下是不能访问webUI的原因。

    首先要查看配置文件中是否启用了50070的端口访问。如果没有那当然不能访问了哦

      <property>
              <name>dfs.namenode.http.address</name>
             <value>slave1:50070</value>
      </property>
    
    

    在这里插入图片描述
    添加后:wq保存,重新启动一下集群。再次访问即可。一般是正常可以访问的。

    1. 应该是防火墙没有关闭,也没有设置端口允许通过防火墙访问规则,导致被拦截不能访问。

      一般最好是关闭防火墙比较关闭。 systemctl stop firewalld.service 关闭防火墙; 禁止自动启动就用 systemctl disable firewalld.service . 就可以了。

      还有个防火墙是selinux: 要设置为 vi /etc/selinux.config

    [root@localhost etc]# cd /etc/selinux
    [root@localhost selinux]# ll
    total 8
    -rw-r--r--. 1 root root  543 Oct 19 22:56 config
    drwx------. 3 root root   22 Nov 14 18:36 final
    -rw-r--r--. 1 root root 2321 Oct 30  2018 semanage.conf
    drwxr-xr-x. 8 root root  226 Nov 14 18:36 targeted
    drwxr-xr-x. 2 root root    6 Oct 30  2018 tmp
    [root@localhost selinux]# vim config 
    [root@localhost selinux]# 
    
    

    在这里插入图片描述
    再次访问:
    ip+500700
    在这里插入图片描述

    展开全文
  • 最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。 伪集群搭建采用的是CentOS 7.0,而CentOS...
  • 2.50070页面只显示一个datanode节点 3.8088和50090页面无法连接 解决过程: 1.SecondaryNameNode节点起来 我按照步骤在每个节点下都进行了启动,jps命令后唯独SecondaryNameNode节点找到,后来是在slave1的日志...
  • 因为hadoop hdfs 新版本号的端口改了,我还以为出错了 50070 改成9870了
  • Hadoop无法访问50070端口

    千次阅读 2018-11-01 09:54:51
    查看50070端口是否开放,显示如下,50070端口并没有开发 在hadoop安装目录下,使用命令 vim etc/hadoop/hdfs-site.xml 插入如下代码 &amp;lt;property&amp;gt; &amp;lt;name&amp;gt;dfs...
  • hadoop无法访问50070端口

    万次阅读 多人点赞 2016-12-19 16:00:45
    整个环境下JDK正常,hadoop配置文件正常,各个守护进程正常启动,但是启动后无法从浏览器中访问50070、50030端口,显示无法范文,但是又可以访问8088端口。 启动后的守护进程 网上的主要解决方式是重新格式化...
  • 最近在浅玩Hadoop,配置HDFS时,遇到两个小问题,记之. 首先介绍下概况: centos8和hadoop2.10.0,三台虚机,分配地址分别为.41 .42和.43,准备在.41机器上搭建namenode和datanode,另外两台分别搭建一个datanode. 先看下...
  • Hadoop架在阿里云的VPS上,用本地机器访问阿里云的Hadoop50070端口查看一下,显示的是: 无法显示该网页,扫描了一下端口,确实是这个50070端口没有开放。 然而,所有防火墙也都关闭了,于是,使用命令:netstat...
  • Cluster 集群页面只显示一个节点 1 不配服务器hosts 文件坑 三台腾讯云服务器 ----可以看到节点都正常启动 关闭dfs.sh /yarn.sh 全部进程进程 修改本地hosts 文件 修改成: 启动dfs.sh/ 和yarn.sh 进程 可以看到...
  • 问题一、 如果配置了: <property> <!-- <name>dfs.namenode.http.address</name>--> <name>dfs.namenode.http.address</name> <...Master.Hadoop:5007...
  • 这里写自定义目录标题博主在学习hadoop的时候,在配置集群时候,使用了三台虚拟机,分别启动datanode后,发现jps可以看见datanode,但在主机的管理页面始终显示主机的datanode,从机的data目录下面也没有VERSION文件...
  • Hadoop namenode -format 格式化节点会出现 http://ip:50070 不显示DataNode的问题 请先使用jps命令分别在master上操作 [root@hserver1 sbin]# jps 4787 Jps 4532 ResourceManager 4213 NameNo
  • Hadoop框架无法访问50070端口页面

    千次阅读 2018-08-15 16:00:49
    最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。   伪集群搭建采用的是CentOS 7.0,而...
  • hadoop集群启动但能访问50070

    万次阅读 2017-10-29 21:11:35
    最近搭建Hadoop伪集群时 ,HDFS文件系统成功格式化,节点启动了,jps也有显示,但http://IP :50070就是访问了。 困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。 伪集群搭建采用的是CentOS 7.0,...
  • Hadoop

    万次阅读 多人点赞 2019-09-16 22:44:08
    Hadoop简介 Hadoop 的思想之源:Google 第一遇到大数据计算问题的公司 Openstack :NASA 面对的数据和计算难题 - 大量的网页怎么存储 - 搜索算法 带给我们的关键技术和思想(Google三大理论) - GFS 文件存储 - Map-...
  • 问题: 启动集群后,无法访问网页 解决: 在/etc/hosts里面配置上对应IP 。如192.168.161.138 localhost
  • 问题描述 搭建Hadoop集群,节点...浏览器访问:http://node01:50070 Overview页面Live Nodes显示为3。Datanodes页面In operation,node只显示node01。 Overview页面截图: Datanodes页面截图: 问题原因 因为使用...
  • 虚拟机可以通过主机名访问50070端口和8088端口,但是宿主机只能通过主机名访问50070端口,8088端口。 问题原因 host配置问题或者是端口绑定主机的错误。(排除hadoop的yarn-site.xml配置和防火墙等问题) 解决方案 /...
  • 我遇到这个问题搜索过很多地方,基本都正确。 我回到了我整个配置过程的起点 我的虚拟机是这样的,下载好了几个包,然后复制了2份。 然后我发现我的3个虚拟机的网卡的UUID是相同的。 然后我对复制出来的两份虚拟机...
  • hadoop集群问题合集(四) namenode启动了。查看日志显示 port in use : 0.0.0.0 : 50070 如果namenode节点没有启动,查看启动日志发现报错如下: 解决方案:打开linux的地址映射文件(vim /etc/hosts),...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,798
精华内容 2,719
关键字:

hadoop50070不显示