精华内容
下载资源
问答
  • hdfs的web界面访问端口
    千次阅读
    2019-11-06 11:02:05

    HDFS对外提供了可访问的http server,开放了很多端口,下面介绍几个常用的端口:

    50070端口,查看NameNode状态
    50075端口,查看DataNode
    50090端口,查看secondaryNameNode
    50030端口,查看JobTracker状态
    50060端口,查看TaskTracker

    更多相关内容
  • HDFSWeb页面操作

    千次阅读 2021-09-03 20:36:06
    Hadoop集群启动后,可以通过浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,访问端口默认为50070。 1,首先我们在命令行界面输入 ifconfig 命令: 这样就可以查看本机的ip地址,例如...

    Hadoop集群启动后,可以通过浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,访问端口默认为50070。

    1,首先我们在命令行界面输入 ifconfig 命令:

    这样就可以查看本机的ip地址,例如我的机器ip为192.168.2.130

     

    2,打开浏览器输入 ip:50070

    例如我的访问地址为 192.168.2.130:50070

    点击Overview就可以查看文件系统的基本信息,例如系统启动时间,Hadoop版本号,Hadoop源码编译时间,集群ID等等。

    Summary一栏中,我们可以看见HDFS磁盘存储空间,已使用空间,剩余空间等信息。

     

    3,HDFS Web界面可以直接下载文件。单击文件列表中需要下载的文件名,超链接在弹出窗口中单击【Download】,即可将文件下载到本地。

     今天研究了一些JAVAAPI操作HDFS还没有成功,明天继续加油!

    展开全文
  • Hadoop webHDFS设置和使用说明

    千次阅读 2021-08-12 02:00:16
    1.配置namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。...

    1.配置

    namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。

    --------------------------------------分割线 --------------------------------------

    --------------------------------------分割线 --------------------------------------

    在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性:

    dfs.webhdfs.enabled

    true

    2.使用说明

    访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口,访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口,直接使用namenode的IP和端口进行所有的webhdfs操作,就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。

    3.curl操作webhdfs

    创建并写一个文件

    curl -i -X PUT "http://localhost:50070/webhdfs/v1/?op=CREATE

    [&overwrite=][&blocksize=][&replication=]

    [&permission=][&buffersize=]“

    curl -i -X PUT -T "http://:/webhdfs/v1/?

    op=CREATE...“

    注意这个地方填入的是DataNode的信息

    在一个文件内追加内容

    curl -i -X POST "http://:/webhdfs/v1/?op=APPEND[&buffersize=]”

    curl -i -X POST -T "http://:/webhdfs/v1/?

    op=APPEND...“

    注意该条命令获得的是DataNode的信息。

    打开并读取一个文件

    curl -i -L "http://:/webhdfs/v1/?op=OPEN

    [&offset=][&length=][&buffersize=]“

    创建一个目录

    curl -i -X PUT "http://:/?op=MKDIRS[&permission=]“

    重名命文件、文件夹

    curl -i -X PUT ":/webhdfs/v1/?op=RENAME&destination="

    删除文件/文件夹

    curl -i -X DELETE "http://:/webhdfs/v1/?op=DELETE [&recursive=]“

    文件/ 文件夹的状态信息

    curl -i “http://:/webhdfs/v1/?op=GETFILESTATUS“

    目录列表

    curl -i "http://:/webhdfs/v1/?op=LISTSTATUS”

    获取目录的上下文环境汇总信息

    curl -i "http://:/webhdfs/v1/?op=GETCONTENTSUMMARY"

    获取Check Sum File

    curl -i "http://:/webhdfs/v1/?op=GETFILECHECKSUM”

    获取Home 目录

    curl -i "http://:/webhdfs/v1/?op=GETHOMEDIRECTORY”

    设置权限

    curl -i -X PUT "http://:/webhdfs/v1/?op=SETPERMISSION [&permission=]“

    设置所有者

    curl -i -X PUT "http://:/webhdfs/v1/?op=SETOWNER [&owner=][&group=]"

    设置备份

    curl -i -X PUT "http://:/webhdfs/v1/?op=SETREPLICATION [&replication=]“

    参考

    0b1331709591d260c1c78e86d0c51c18.png

    展开全文
  • 问题1:浏览器访问不了hdfs web 问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error 问题3:浏览器HDFS文件系统上传文件时报Couldn...

    目录

    问题1:浏览器访问不了hdfs web

    问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

    ??


    最近通过虚拟机安装配置了hadoop集群,集群虽然搭建起来了,不过通过浏览器访问管理界面的过程中遇到了一些问题,现整理总结一下。

    问题1:浏览器访问不了hdfs web

    可能的原因:

    (1).防火墙未关闭时,无法通过浏览器访问hdfs web页面。先查看防火墙的状态:

    firewall-cmd --state
    

    如果防火墙为开启状态,需要关闭防火墙(集群所有节点都需要关闭,不然通过控制台无法传文件到文件系统):

    systemctl stop firewalld.service
    

    防火墙关闭后,重新打开浏览器:

    (2).hadoop默认的hdfs web控制界面的端口为9870,如果在hdfs-site.xml中没有配置dfs.namenode.http-address项,可以尝试用默认端口访问。

    问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/op=LISTSTATUS: Server Error

    这个问题查找了相关资料,发现是Java版本过高导致的,我用的是jdk11,hadoop3目前对jdk8支持得更好。于是卸载掉jdk11相关组件,重新安装jdk8并配置jdk环境变量。

    查看软件版本
    rpm -qa|grep jdk
    卸载软件
    yum -y remove java **
    

    然后更改hadoop-env.sh中JAVA_HOME中的配置即可。

    更新配置并重启hadoop服务后,重新打开Browse the file system,已经正常了。

    问题3:浏览器HDFS文件系统上传文件时报Couldn’t upload the file错误

    F12打开谷歌控制台,看到报as been blocked by CORS policy: No ‘Access-Control-Allow-Origin’ header is present on the requested resource.错误,大概意思是由于跨域访问CORS policy策略,访问阻塞了:

    于是查阅了hadoop相关配置信息,将hadoop跨域访问过滤器加上:

    <!--安全认证初始化的类-->
    <property>
        <name>hadoop.http.filter.initializers</name>
        <value>org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value>
    </property>
    <!--是否启用跨域支持-->
    <property>
        <name>hadoop.http.cross-origin.enabled</name>
        <value>true</value>
    </property>
    <!--允许跨域访问的来源,如果有多个,用逗号(,)分隔-->
    <property>
        <name>hadoop.http.cross-origin.allowed-origins</name>
        <value>*</value>
    </property>
    <!--允许跨域的方法列表,如果有多个,用逗号(,)分隔-->
    <property>
        <name>hadoop.http.cross-origin.allowed-methods</name>
        <value>GET,POST,HEAD</value>
    </property>
    <!--允许跨域的标头列表,如果有多个,用逗号(,)分隔-->
    <property>
        <name>hadoop.http.cross-origin.allowed-headers</name>
        <value>X-Requested-With,Content-Type,Accept,Origin</value>
    </property>
    <!--预检请求可以缓存的秒数-->
    <property>
        <name>hadoop.http.cross-origin.max-age</name>
        <value>1800</value>
    </property>
    

    然后重启hadoop服务后,浏览器重新上传文件,还是报同样的错误。不过此时通过日志(logs/hadoop-hadoop-namenode-master.log)可以看到跨域过滤器已经开启了。那是什么原因导致浏览器还传不了文件呢?

    左思右想想不明白,最后还是通过分析日志发现了端倪:

    原来是目录权限的问题,新系统默认的目录只对当前用户有写权限。

    于是修改目录权限,并在该目录中上传文件,问题解决。也就是说这个问题其实并非是跨域的问题,而是访问权限的问题,后来去掉跨域的配置,并赋予合适的权限重新访问可以正常上传文件验证了这一点。

    通过这个问题的解决,启发我分析问题不能只看表面,要结合相关日志对比分析才能得出正确的结论。也深刻体会到了查看日志的重要性,以后要牢记!

    展开全文
  • HDFS各个端口

    万次阅读 2020-07-14 09:44:03
    8020端口: 在cd /opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置: dfs.namenode.rpc-address.mycluster.nn1 node01:8020 8020是namenode节点active状态下的端口号; 9000端口:是fileSystem默认的端口...
  • HDFS查看web页面

    千次阅读 2021-02-16 13:37:28
    HDFS为什么无法访问web页面
  • 首先 第一步 确定你启动了namenode 和datenode 启动成功并且能正常工作 jps 命令敲出后有进程运行 ...本机windows端进入浏览器输入hadoop的hdfs的服务器ip和端口号 例如我的是192.168.1.130:50070 查...
  • HDFS有关的地址及端口属性

    千次阅读 2021-08-12 02:00:17
    HDFS有关的地址及端口属性fs.default.name位 置:conf/core-site.xml必须项:是常用值:hdfs://[域名或IP地址]:9000说明:NameNode主服务器的地址必须在所有master及slave上的conf/core-site.xml中设置此项。...
  • hdfs web页面打不开

    千次阅读 2019-08-15 11:38:36
    我是在https://blog.csdn.net/weixin_42001089/article/details/81865101的基础上进行的操作,遇到了hdfs页面打不开问题。...应该在hdfs-site.xml,添加端口的配置。不然web页面打不开。 <property> &l...
  • 大数据教程分享HDFS常用shell和web界面介绍 最后一个:块删除的开始时间 HDFS的Shell命令: ps:无论看到是hdfs dfs 形式还是hadoop fs这种形式 都可以 完成对HDFS的操作 1.向HDSF上传文件 put: 从...
  • 端口的定义位于core-default.xml中,可以在hdfs-site.xml中修改; 如果通过该端口看着这个页面,以为着NameNode节点是存活的。 1、HDFS页面:50070 2、YARN的管理界面:8088 3、HistoryServer的管理界面:19888 4、...
  • HDFSWEB页面访问常见问题

    千次阅读 2018-08-06 20:16:00
    HDFSWEB UI管理页面 50070 端口 无法访问解决办法...特别注意:HaDoop3.0之前web访问端口是50070 hadoop3.0之后web访问端口为9870 学习建议:倘若按照多数人的配置进行配置且配置语法没有问题,遇到错误时,尽量不...
  • hadoop的9870端口不能访问WEB界面的解决办法汇总
  • 先决条件:本文默认hadoop安装成功。...2.修改配置文件 在如下两个文件中...检查50070端口是否被占用 netstat -tpnl 若出现0.0.0.0:50070就能在本机上访问云服务器上的hadoop了 本地Web访问:http://阿里云公网ip:50070
  • 在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作hdfs基本操作1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以...
  • 然后netstat -nltp|grep 50070,如果,没有找到进程,说明没有配置web界面端口修改hdfs-site,xml中加上如下配置 再次启动后,netstat -nltp|grep 5070,仍然没有该端口号信息的话说明namenode可能没有成功启动,建议...
  • 首先改用虚拟机IP访问 例如我的虚拟机IP为192.168.75.136 在浏览器输入发现可以访问。 出现以上情况解决办法: 进入电脑C盘 C:\Windows\System32\drivers\etc 文件夹下 用notepad++编辑hosts文件 保存...
  • Hadoop通过命令行和网页访问hdfs

    千次阅读 2019-07-16 11:05:56
    如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs,也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs,此时做需要配置core-site.xml: <property> ...
  • hadoop之hdfs与yarn界面功能介绍

    千次阅读 2019-02-25 11:32:26
    1、hdfsweb界面介绍 1.1、访问地址:http://ip:50070,默认是50070端口 1.2tab页功能介绍 overview:显示概要信息,关注度较高,主要关注如红色圈信息   datanodes:显示所有datanode节点信息,关注度一般...
  • 目录Flink 环境的搭建Standallone Cluster 独立集群1、上传、解压、配置环境变量2、修改配置文件3、同步到所有节点4、启动(停止)集群访问Flink web界面Flink提交任务的三种方式1、在web页面中提交2、通过flink命令...
  • 大数据-Hadoop-户管理界面:hue【是Hadoop的用户管理界面,通过词工具对大数据各个软件进行更加友好的操作】
  • 带你快速进阶:HDFS架构与操作

    万次阅读 2021-11-22 15:47:49
    HDFS 简介 HDFS 架构 如同其名称,HDFS (Hadoop Distributed File System)是 Hadoop 框架内进行分布式存储的组件,具有容错性和可扩展性。 HDFS 可以作为 Hadoop 集群的一部分,也可以作为独立的通用分布式文件...
  • 我们在安装完hadoop 2.x 版本之后,默认情况下,可以通过 http://ip:50070/dfshealth.html...既然这是一个web界面,那就可以从为web项目添加用户校验入手,而不是为hadoop提供用户校验入手。 1、具体的配置如下 在name
  • HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件(一);任务二 修改hdfs-site.xml配置文件(二);任务二 修改hdfs-site.xml配置文件(三);...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,924
精华内容 2,369
关键字:

hdfs的web界面访问端口