-
2019-11-06 11:02:05
HDFS对外提供了可访问的http server,开放了很多端口,下面介绍几个常用的端口:
50070端口,查看NameNode状态
50075端口,查看DataNode
50090端口,查看secondaryNameNode
50030端口,查看JobTracker状态
50060端口,查看TaskTracker更多相关内容 -
HDFS—Web页面操作
2021-09-03 20:36:06Hadoop集群启动后,可以通过浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,访问端口默认为50070。 1,首先我们在命令行界面输入 ifconfig 命令: 这样就可以查看本机的ip地址,例如...Hadoop集群启动后,可以通过浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,访问端口默认为50070。
1,首先我们在命令行界面输入 ifconfig 命令:
这样就可以查看本机的ip地址,例如我的机器ip为192.168.2.130
2,打开浏览器输入 ip:50070
例如我的访问地址为 192.168.2.130:50070
点击Overview就可以查看文件系统的基本信息,例如系统启动时间,Hadoop版本号,Hadoop源码编译时间,集群ID等等。
在Summary一栏中,我们可以看见HDFS磁盘存储空间,已使用空间,剩余空间等信息。
3,HDFS Web界面可以直接下载文件。单击文件列表中需要下载的文件名,超链接在弹出窗口中单击【Download】,即可将文件下载到本地。
今天研究了一些JAVAAPI操作HDFS还没有成功,明天继续加油!
-
Hadoop webHDFS设置和使用说明
2021-08-12 02:00:161.配置namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。...1.配置
namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。
--------------------------------------分割线 --------------------------------------
--------------------------------------分割线 --------------------------------------
在namenode和一台datanode中向/etc/hadoop/conf/hdfs-site.xml中添加属性:
dfs.webhdfs.enabled
true
2.使用说明
访问namenode的hdfs使用50070端口,访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口,访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口,直接使用namenode的IP和端口进行所有的webhdfs操作,就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。
3.curl操作webhdfs
创建并写一个文件
curl -i -X PUT "http://localhost:50070/webhdfs/v1/?op=CREATE
[&overwrite=][&blocksize=][&replication=]
[&permission=][&buffersize=]“
curl -i -X PUT -T "http://:/webhdfs/v1/?
op=CREATE...“
注意这个地方填入的是DataNode的信息
在一个文件内追加内容
curl -i -X POST "http://:/webhdfs/v1/?op=APPEND[&buffersize=]”
curl -i -X POST -T "http://:/webhdfs/v1/?
op=APPEND...“
注意该条命令获得的是DataNode的信息。
打开并读取一个文件
curl -i -L "http://:/webhdfs/v1/?op=OPEN
[&offset=][&length=][&buffersize=]“
创建一个目录
curl -i -X PUT "http://:/?op=MKDIRS[&permission=]“
重名命文件、文件夹
curl -i -X PUT ":/webhdfs/v1/?op=RENAME&destination="
删除文件/文件夹
curl -i -X DELETE "http://:/webhdfs/v1/?op=DELETE [&recursive=]“
文件/ 文件夹的状态信息
curl -i “http://:/webhdfs/v1/?op=GETFILESTATUS“
目录列表
curl -i "http://:/webhdfs/v1/?op=LISTSTATUS”
获取目录的上下文环境汇总信息
curl -i "http://:/webhdfs/v1/?op=GETCONTENTSUMMARY"
获取Check Sum File
curl -i "http://:/webhdfs/v1/?op=GETFILECHECKSUM”
获取Home 目录
curl -i "http://:/webhdfs/v1/?op=GETHOMEDIRECTORY”
设置权限
curl -i -X PUT "http://:/webhdfs/v1/?op=SETPERMISSION [&permission=]“
设置所有者
curl -i -X PUT "http://:/webhdfs/v1/?op=SETOWNER [&owner=][&group=]"
设置备份
curl -i -X PUT "http://:/webhdfs/v1/?op=SETREPLICATION [&replication=]“
参考
-
hadoop3访问hdfs web控制页面遇到的各种问题总结
2022-04-18 12:13:19问题1:浏览器访问不了hdfs web 问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error 问题3:浏览器HDFS文件系统上传文件时报Couldn...目录
最近通过虚拟机安装配置了hadoop集群,集群虽然搭建起来了,不过通过浏览器访问管理界面的过程中遇到了一些问题,现整理总结一下。
问题1:浏览器访问不了hdfs web
可能的原因:
(1).防火墙未关闭时,无法通过浏览器访问hdfs web页面。先查看防火墙的状态:
firewall-cmd --state
如果防火墙为开启状态,需要关闭防火墙(集群所有节点都需要关闭,不然通过控制台无法传文件到文件系统):
systemctl stop firewalld.service
防火墙关闭后,重新打开浏览器:
(2).hadoop默认的hdfs web控制界面的端口为9870,如果在hdfs-site.xml中没有配置dfs.namenode.http-address项,可以尝试用默认端口访问。
问题2:浏览器点击Browse the file system打开文件系统报错:Failed to retrieve data from /webhdfs/v1/op=LISTSTATUS: Server Error
这个问题查找了相关资料,发现是Java版本过高导致的,我用的是jdk11,hadoop3目前对jdk8支持得更好。于是卸载掉jdk11相关组件,重新安装jdk8并配置jdk环境变量。
查看软件版本 rpm -qa|grep jdk 卸载软件 yum -y remove java **
然后更改hadoop-env.sh中JAVA_HOME中的配置即可。
更新配置并重启hadoop服务后,重新打开Browse the file system,已经正常了。
问题3:浏览器HDFS文件系统上传文件时报Couldn’t upload the file错误
F12打开谷歌控制台,看到报as been blocked by CORS policy: No ‘Access-Control-Allow-Origin’ header is present on the requested resource.错误,大概意思是由于跨域访问CORS policy策略,访问阻塞了:
于是查阅了hadoop相关配置信息,将hadoop跨域访问过滤器加上:
<!--安全认证初始化的类--> <property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value> </property> <!--是否启用跨域支持--> <property> <name>hadoop.http.cross-origin.enabled</name> <value>true</value> </property> <!--允许跨域访问的来源,如果有多个,用逗号(,)分隔--> <property> <name>hadoop.http.cross-origin.allowed-origins</name> <value>*</value> </property> <!--允许跨域的方法列表,如果有多个,用逗号(,)分隔--> <property> <name>hadoop.http.cross-origin.allowed-methods</name> <value>GET,POST,HEAD</value> </property> <!--允许跨域的标头列表,如果有多个,用逗号(,)分隔--> <property> <name>hadoop.http.cross-origin.allowed-headers</name> <value>X-Requested-With,Content-Type,Accept,Origin</value> </property> <!--预检请求可以缓存的秒数--> <property> <name>hadoop.http.cross-origin.max-age</name> <value>1800</value> </property>
然后重启hadoop服务后,浏览器重新上传文件,还是报同样的错误。不过此时通过日志(logs/hadoop-hadoop-namenode-master.log)可以看到跨域过滤器已经开启了。那是什么原因导致浏览器还传不了文件呢?
左思右想想不明白,最后还是通过分析日志发现了端倪:
原来是目录权限的问题,新系统默认的目录只对当前用户有写权限。
于是修改目录权限,并在该目录中上传文件,问题解决。也就是说这个问题其实并非是跨域的问题,而是访问权限的问题,后来去掉跨域的配置,并赋予合适的权限重新访问可以正常上传文件验证了这一点。
通过这个问题的解决,启发我分析问题不能只看表面,要结合相关日志对比分析才能得出正确的结论。也深刻体会到了查看日志的重要性,以后要牢记!
-
HDFS各个端口号
2020-07-14 09:44:038020端口: 在cd /opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置: dfs.namenode.rpc-address.mycluster.nn1 node01:8020 8020是namenode节点active状态下的端口号; 9000端口:是fileSystem默认的端口... -
HDFS查看web页面
2021-02-16 13:37:28HDFS为什么无法访问web页面 -
hadoop 本机不能访问虚拟机启动的hdfs的50070端口web界面
2019-04-28 23:27:38首先 第一步 确定你启动了namenode 和datenode 启动成功并且能正常工作 jps 命令敲出后有进程运行 ...本机windows端进入浏览器输入hadoop的hdfs的服务器ip和端口号 例如我的是192.168.1.130:50070 查... -
HDFS有关的地址及端口属性
2021-08-12 02:00:17与HDFS有关的地址及端口属性fs.default.name位 置:conf/core-site.xml必须项:是常用值:hdfs://[域名或IP地址]:9000说明:NameNode主服务器的地址必须在所有master及slave上的conf/core-site.xml中设置此项。... -
hdfs web页面打不开
2019-08-15 11:38:36我是在https://blog.csdn.net/weixin_42001089/article/details/81865101的基础上进行的操作,遇到了hdfs页面打不开问题。...应该在hdfs-site.xml,添加端口的配置。不然web页面打不开。 <property> &l... -
大数据教程分享HDFS常用shell和web界面介绍
2019-07-15 17:26:00大数据教程分享HDFS常用shell和web界面介绍 最后一个:块删除的开始时间 HDFS的Shell命令: ps:无论看到是hdfs dfs 形式还是hadoop fs这种形式 都可以 完成对HDFS的操作 1.向HDSF上传文件 put: 从... -
Hadoop的各个web界面的地址
2022-04-18 13:08:07该端口的定义位于core-default.xml中,可以在hdfs-site.xml中修改; 如果通过该端口看着这个页面,以为着NameNode节点是存活的。 1、HDFS页面:50070 2、YARN的管理界面:8088 3、HistoryServer的管理界面:19888 4、... -
HDFS的WEB页面访问常见问题
2018-08-06 20:16:00HDFS的WEB UI管理页面 50070 端口 无法访问解决办法...特别注意:HaDoop3.0之前web访问端口是50070 hadoop3.0之后web访问端口为9870 学习建议:倘若按照多数人的配置进行配置且配置语法没有问题,遇到错误时,尽量不... -
hadoop的9870端口不能访问WEB界面的解决办法汇总
2022-06-07 15:49:33hadoop的9870端口不能访问WEB界面的解决办法汇总 -
阿里云配置hadoop远程连接Web页面(如50070端口)
2022-04-29 11:44:00先决条件:本文默认hadoop安装成功。...2.修改配置文件 在如下两个文件中...检查50070端口是否被占用 netstat -tpnl 若出现0.0.0.0:50070就能在本机上访问云服务器上的hadoop了 本地Web访问:http://阿里云公网ip:50070 -
hdfs shell的基本操作以及hdfsWeb查看文件
2018-05-09 09:31:40在安装好hadoop集群并成功的启动了hdfs之后,我们就可以利用hdfs对文件进行操作了,一下是对文件的一些基本操作hdfs基本操作1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以... -
hadoop 3.x 无法访问hdfs(50070,8088)的web界面
2018-08-17 23:13:00然后netstat -nltp|grep 50070,如果,没有找到进程,说明没有配置web界面的端口修改hdfs-site,xml中加上如下配置 再次启动后,netstat -nltp|grep 5070,仍然没有该端口号信息的话说明namenode可能没有成功启动,建议... -
hadoop伪分布式配置正确,https://Hadoop01:50070 (HDFS管理界面)不能访问的解决方法
2021-09-23 12:05:19首先改用虚拟机IP访问 例如我的虚拟机IP为192.168.75.136 在浏览器输入发现可以访问。 出现以上情况解决办法: 进入电脑C盘 C:\Windows\System32\drivers\etc 文件夹下 用notepad++编辑hosts文件 保存... -
Hadoop通过命令行和网页访问hdfs
2019-07-16 11:05:56如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs,也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs,此时做需要配置core-site.xml: <property> ... -
hadoop之hdfs与yarn界面功能介绍
2019-02-25 11:32:261、hdfs的web界面介绍 1.1、访问地址:http://ip:50070,默认是50070端口 1.2tab页功能介绍 overview:显示概要信息,关注度较高,主要关注如红色圈信息 datanodes:显示所有datanode节点信息,关注度一般... -
Flink 环境的搭建、Standallone Cluster 独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三...
2022-08-03 17:11:19目录Flink 环境的搭建Standallone Cluster 独立集群1、上传、解压、配置环境变量2、修改配置文件3、同步到所有节点4、启动(停止)集群访问Flink web界面Flink提交任务的三种方式1、在web页面中提交2、通过flink命令... -
户管理界面:HUE(Hadoop User Experience)【将Hadoop中各种相关的软件(HDFS、Hive...)的操作界面融合在...
2021-07-12 12:04:21大数据-Hadoop-户管理界面:hue【是Hadoop的用户管理界面,通过词工具对大数据各个软件进行更加友好的操作】 -
带你快速进阶:HDFS架构与操作
2021-11-22 15:47:49HDFS 简介 HDFS 架构 如同其名称,HDFS (Hadoop Distributed File System)是 Hadoop 框架内进行分布式存储的组件,具有容错性和可扩展性。 HDFS 可以作为 Hadoop 集群的一部分,也可以作为独立的通用分布式文件... -
Hadoop Web控制台添加身份验证
2022-04-18 11:46:54我们在安装完hadoop 2.x 版本之后,默认情况下,可以通过 http://ip:50070/dfshealth.html...既然这是一个web界面,那就可以从为web项目添加用户校验入手,而不是为hadoop提供用户校验入手。 1、具体的配置如下 在name -
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
2022-06-20 17:51:13HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件(一);任务二 修改hdfs-site.xml配置文件(二);任务二 修改hdfs-site.xml配置文件(三);...