-
2020-03-24 21:57:23
hadoop伪分布式,在配置好环境后,jps启动只有五个进程,少了namenode节点,并且没有tmp文件夹。查了一圈原因可能是多次格式化hadoop namenode -format,所以参照了一些教程,修改了sudo nano core-site.xml为
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> fs.defaultFS hdfs://localhost/<name>hadoop.tmp.dir</name> <value>file:/soft/hadoop/tmp</value>
修改了:sudo nano hdfs-site.xml 为
Hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
/soft/hadoop/tmp/dfs/name
dfs.datanode.data.dir
/soft/hadoop/tmp/dfs/data
但是格式化之后重启就只剩下了三个节点
4169 ResourceManager
4394 NodeManager
4940 Jps
最后又把core-site.xml改为:
fs.defaultFS
hdfs://localhost/
hdfs-site.xml 为:
dfs.replication
1
然后格式化,重启所有进程
jps结果为:
5272 NameNode
5816 SecondaryNameNode
4169 ResourceManager
4394 NodeManager
6171 Jps
5500 DataNode更多相关内容 -
jps没有namenode(hadoop3.3.2)
2022-03-07 16:18:08我在某app里看了一个大佬的教程在ubuntu下安装的hadoop,运行jps下只有这两个 然后我就找解决办法,找了n篇解决方案,结果都没有解决,于是我照着hadoop官方教程有重新看了一遍,发现大佬的教程里core-site.xml有两...我在某app里看了一个大佬的教程在ubuntu下安装的hadoop,运行jps下只有这两个
然后我就找解决办法,找了n篇解决方案,结果都没有解决,于是我照着hadoop官方教程有重新看了一遍,发现大佬的教程里core-site.xml有两项
官网的配置里只有这一个
于是我把多余的部分删除了,问题就解决了
建议大家还是按照官网上的步骤一步一步来!还有这个core-site.xml在hadoop包—etc—hadooo里,希望本篇文章可以帮助到你。
另外附hadoop官网地址:hadoop官网链接
-
jps没有namenode和datanode原因
2021-10-13 20:21:17重点:所有的原因都可以在hadoop下的logs目录下namenode的日志文件中找到问题所在,运行中的问题都会保存到这些文件中 这里总结几个主要问题 原因1 配置文件有问题 检查所有的hadoop配置文件,看是不是有遗漏...重点:所有的原因都可以在hadoop下的logs目录下namenode的日志文件中找到问题所在,运行中的问题都会保存到这些文件中
这里总结几个主要问题
原因1
配置文件有问题
检查所有的hadoop配置文件,看是不是有遗漏或者不对的地方
原因2(很可能是这个问题)
节点在本机的路径有问题:日志文件中提示无法访问到你的namenode的路径
你如果使用的普通用户,你节点在本地的存放位置普通用户要得有权限,不然初始化的数据都不能够存放到指定位置
原因3
你之前多次格式化主节点,却没有删除,多次格式化namenode造成了namenode和datanode的clusterID不一致,它都不知道加载哪个了。
解决方法
删掉hadoop/logs日志文件中的所有日志文件,还有你namenode和datanode存放路径的所有文件信息,重新格式化
-
hadoop启动后jps没有namenode(转)
2020-12-20 16:30:20hadoop启动后jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改...hadoop启动后jps没有namenode
一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:
1.删除DataNode的所有资料
2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中),
目的是两者一致。
但是查看后,两者的ID是一样的,
于是查看/usr/local/hadoop/logs下的namenode日志文件,发现错误是java.io.FileNotFoundException: /home/hadoop/hdfs/name/current/VERSION (Permission denied)
在网上搜索后,发现是/home/hadoop/hdfs/name/current/VERSION的权限问题,于是
hadoop@master:/usr/local/hadoop/bin$ sudo chmod -R 777 /home/hadoop/hdfs
再进行格式化:hadoop@master:/usr/local/hadoop/bin$ hadoop namenode -format
启动:hadoop@master:/usr/local/hadoop/bin$ start-all.sh
jps:hadoop@master:/usr/local/hadoop/bin$ jps
6692 JobTracker
6259 NameNode
6601 SecondaryNameNode
6810 Jps
由于看到datanode和tasktracker还没有启动,就用了以下命令进行启动,但是发现确实已经启动了。
jobtracker running as process 6692. Stop it first.
192.168.1.3: tasktracker running as process 4959. Stop it first.
192.168.1.4: tasktracker running as process 5042. Stop it first.
hadoop@master:/usr/local/hadoop/bin$ jps
6692 JobTracker
6259 NameNode
6601 SecondaryNameNode
7391 Jps
hadoop@master:/usr/local/hadoop/bin$ start-dfs.sh
Warning: $HADOOP_HOME is deprecated.
namenode running as process 6259. Stop it first.
192.168.1.3: datanode running as process 4757. Stop it first.
192.168.1.4: datanode running as process 4828. Stop it first.
192.168.1.2: secondarynamenode running as process 6601. Stop it first.
http://www.cnblogs.com/linjiqin/archive/2013/03/07/2948078.html
从百度知道里看到这么一句话,
提示都说了,不建议使用这个脚本,使用start-dfs.sh和start-mapred.sh来替代它。这说明脚本的作者或者维护人也觉得这个脚本可能有问题……
你要是有兴趣也可以自己改改……
-
关于Hadoop启动之后jps没有namenode节点的解决方法
2019-11-01 09:52:16发现ip地址对应上了,那我们运行一下jps,发现没有192.168.100.201这个节点下并没有namenode 这时候我运行停止所有命令,发现Hadoop01节点没有namenode可以停止 我怀疑问题出在了我多次格式化导致namenode启动不了... -
jps没有namenode和SecondaryNameNode
2020-05-07 14:34:19重新配置core-site.xml [hadoop@hadoop102 ~]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/ [hadoop@hadoop102 hadoop]$ vi core-site.xml ...-- 指定HDFS中NameNode的地址 --> <property> <na... -
jps没有namenode
2019-07-23 20:53:21时隔两个多月,继续学习hive的时候,发现start-all.sh后namenode没有启起来,查了一通,原因是每次开机都得重新格式化一下namenode才可以。需要改配置文件(以前用的好好的为啥要改…目前以我的水平还不是很理解),... -
解决HDFS启动后使用JPS没有Namenode
2020-05-13 16:50:31https://blog.csdn.net/qq_32641659/article/details/87894610 -
hadoop启动jps缺少namenode
2021-12-28 13:53:37,导致后面启动jps的时候一直没有namenode。 在将公网地址修改成私网ip后,就能成功启动了。 在此提供一个修改方法,原因我按其他文章的方法前前后后花了我数个小时无法解决,其也在于我并不理解相关知识。 ... -
hadoop启动后jps没有namenode
2015-06-17 23:28:09hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION... -
jps命令没有namenode如何解决?
2021-05-05 23:34:45格式化NameNode 注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据。如果集群在运行的过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和... -
master jps 没有namenode问题
2018-08-15 19:51:00在主节点机器上执行命令/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh(相当于执行/opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh和/opt/modules/app/hadoop-2.5.0/sbin/...查看logs日志发现namenode没有格... -
jps命令没有namenode或datanode, 怎么解决?
2019-11-26 11:22:35(3)格式化namenode之前,没有删除data里的数据和logs日志,造成导致NameNode和DataNode的集群id不一致的情况。 2、解决方法(一定要按顺序操作) (1)停止hadoop集群 stop-all.sh (2) 删除data数据和logs日志... -
jps看不到namenode
2021-06-19 18:44:201、问题现象: 启动无报错, 但是jps看不到namenode 环境变量也没有问题 2、解决办法: 重新格式化namenode发现还是2.5.1,因为我之前安装过2.5.1 进入到hadoop的bin目录下重新格式化namenode ./hadoop namenode -... -
hadoop启动后jps查不到namenode的解决办法
2022-01-27 11:04:52启动过程没有发现错误,但是jps查看进程时,发现少了NameNode,而DataNode却存在: 原因之一是:端口9000已经被占用,解决办法有两个, 一:查找占用端口的进程,kill掉它。 netstat -anp|grep 9000 kill -9 ... -
hadoop查看jps进程没有namenode secondary namenode datenode具体解决方法
2020-04-22 23:18:43我是因为虚拟机宕机后自动重启导致二号虚拟机jps失去secondary namenode和datenode进程,我首先调整所有虚拟机时间保持一致,暂停stop-dfs.sh,根据hadoop的配置文件coresite.xml删除此目录 需要在namenode和... -
Hadoop启动之后jps没有NameNode节点
2012-09-04 22:47:09http://ghostjay.blog.51cto.com/2815221/515147 解决方案在这里。 -
hadoop配置问题,jps命令没有namenode
2017-08-22 13:49:06配置HADOOP的时候,输入jps没有namenode出现,其他的都有 我在输入start-dfs.sh之后,出现下图  然后我在输入hadoop namnode -format... -
记录一下hadoop集群启动后,jps查看无namenode的解决办法
2021-08-19 16:04:581、百度之前,我先到hadoop...首先百度了一番,基本上都是namenode format,但真的不想重做一遍数据,不死心的继续寻找。。。 找到了这个解答 https://my.oschina.net/dreamness/blog/3083130 啥意思啊?不懂。 ... -
Ubuntu下伪分布式安装Hadoop启动后jps无NameNode等输出解决办法
2021-10-26 10:45:13文章目录项目场景问题描述原因分析解决方案1. 配置文件出错2. 当前用户对 Hadoop 目录的操作权限不够3....在 /usr/lcoal/hadoop 目录下,使用 ./sbin/start-dfs.sh 命令启动 Hadoop 后,使用 jps 命令无 NameNode、Da -
启动Hadoop用jps不显示namenode
2021-08-01 10:12:27启动Hadoop集群,启动过程中报错, starting...... 具体看图 然后输入jps不显示namenode 尝试过删除dfs下的文件重新格式化namenode没有用 找不到data文件夹下的current文件没法复制cid保持一致,怎么办 -
输入jps显示不出namenode和datanode,只要jps
2021-04-27 22:10:20输入jps显示不出namenode和datanode,只要jps 你要做的就是: 1.打开节点的日志文件查看 打开logs 然后日志末尾显示如下: 2018-08-05 13:24:26,408 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: ... -
hadoop jps namenode进程没有启动
2019-04-02 22:37:112019-04-02 22:07:27,024 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap in the edit log... -
Hadoop启动后jps查询后没有namedata,datanode进程
2021-10-31 15:10:04我的namedata进程突然之间没有的原因:是因为我之前没有停止hadoopd的集群又重新启动hadoopde集群 还有其他原因也会导致比如:1...格式化namenode之前,没有删除data里面的数据和日志,导致 namenode和datanode的cl... -
Hadoop | 解决启动Hadoop,jps后无namenode,datanode等进程
2021-01-11 22:23:58导致修改后,导致Hadoop启动,失败,即jps后,没有namenode,datanode,显然这两个文件对于hadoop是至关重要的,要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合,碰巧...