精华内容
下载资源
问答
  • hadoop启动jps缺少namenode
    千次阅读
    2021-12-28 13:53:37

            环境搭建的过程中,修改 core-site.xml 文件的时候我在configuration与/configuration之间写入<value>hdfs://192.168.0.53(公网地址):9820</value>,导致后面启动jps的时候一直没有namenode。 在将公网地址修改成私网ip后,就能成功启动了。

            在此提供一个修改方法,原因我按其他文章的方法前前后后花了我数个小时无法解决,其也在于我并不理解相关知识。

    更多相关内容
  • 描述:在hadoop 运行start-all.sh,发现缺少NameNode缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。 目录 1.hadoop日志 2.1 没有NameNode(选读) 2.2 没有...

    描述:在hadoop 运行start-all.sh,发现缺少了NameNode, 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。

    目录

    1.hadoop日志

    hadoop日志位于 hadoop 安装目录下的logs里,包含了start-all.sh命令中没有显示的重要信息,如果有报错,信息也可以在以下文件中找到。
    在这里插入图片描述
    由于我测试了两个host,所以在文件夹里会有两种日志,即以localhost.localdomain.log为结尾的,和以mainnode.log

    2.1没有NameNode

    一般来说没有node是由于没有找到是由于忘记格式化namenode,我们输入

    [root@mainnode logs]# vim hadoop-root-namenode-mainnode.log +

    可以查看logs日志找到如下提示。
    在这里插入图片描述
    Directory /opt/hadoop-3.2.1/tmp/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

    在这句话中 /opt/hadoop-3.2.1/tmp/dfs/name是由格式化namenode产生的,所以就意味着我们没有初始化namenode。需要我们先执行如下命令

    hdfs namenode -format

    然后再次尝试start-all.sh

    2.2没有ResourceManager和NodeManager

    了解了日志之后,我们来试试使用日志来解决这个问题

    vim hadoop-root-resourcemanager-localhost.localdomain.log

    输入上面的命令,我们可以在resourcemanager的日志里看到如下提示,原来是缺少了一个类。
    在这里插入图片描述

    出现这个问题,一般来说是由于jdk版本过引起,建议使用1.7和1.8两个版本。如果你不想跟换jdk,也可以直接下载activation-1.1.1.jar到lib目录下,或者本地上传到${HADOOP_HOME}/share/hadoop/yarn/lib目录下后重新启动start-yarn.sh即可:

    cd ${HADOOP_HOME}/share/hadoop/yarn/lib
    wget https://repo1.maven.org/maven2/javax/activation/activation/1.1.1/activation-1.1.1.jar
    

    然后再次尝试start-all.sh

    2.3没有ResourceManager

    了解了日志之后,我们来试试使用日志来解决这个问题

    vim hadoop-root-resourcemanager-localhost.localdomain.log

    输入上面的命令,我们可以在resourcemanager的日志里看到如下提示,原来是端口被占用了,我们只需要更改以下ResourceManager的端口就好
    Address already in use; For more details see: http://wiki.apache.org/hadoop/BindException
    在这里插入图片描述

    vim hadoop-root-resourcemanager-localhost.localdomain.log

    进入yarn-site.xml 在configuration 添加如下的属性更改一个没有被使用端口即可

        <property>
            <name>yarn.resourcemanager.address</name>
            <value>hadoop:8888</value> <!-- hadoop要改为你的ip地址或hosts -->
       </property>
    

    然后再次尝试start-all.sh

    总结

    面对这类hadoop启动缺少缺少进程没有提示的问题,我们需要先查阅logs找到更加精确问题原因,通过这些错误原因我们就很容易找到解决方案了。
    祝大家hadoop之旅愉快。

    展开全文
  • 关于Hadoop启动之后jps没有namenode节点的解决方法

    万次阅读 多人点赞 2019-11-01 09:52:16
    安装完Hadoop集群的时候进行网页验证时发现并没有加载出来 检查ip地址是否是namenode所在节点的ip 发现ip地址对应上了,那我们...我怀疑问题出在了我多次格式化导致namenode启动不了 这时候就需要删除原目录,即...

    安装完Hadoop集群的时候进行网页验证时发现并没有加载出来
    在这里插入图片描述
    检查ip地址是否是namenode所在节点的ip
    在这里插入图片描述
    发现ip地址对应上了,那我们运行一下jps,发现没有192.168.100.201这个节点下并没有namenode
    在这里插入图片描述
    这时候我运行停止所有命令,发现Hadoop01节点没有namenode可以停止
    在这里插入图片描述
    我怀疑问题出在了我多次格式化导致namenode启动不了
    这时候就需要删除原目录,即core-site.xml下配置的hadoop.tmp.dir所指向的目录,重新建立配置的空目录 格式化namdenode,hadoop namenode -format
    再重新运行start-all.sh
    启动成功后再jps测试一下
    在这里插入图片描述
    发现有namenode了
    再进行网页测试
    在这里插入图片描述
    成功。
    这次问题出现的主要原因就是我可能进行了多次格式化,所以导致namenode不能正常启动,只要删除原目录,重新格式化一下就行了。

    展开全文
  • hadoop启动后给jps没有namenode节点

    千次阅读 2020-03-24 21:57:23
    hadoop伪分布式,在配置好环境后,jps启动只有五个进程,少了namenode节点,并且没有tmp文件夹。查了一圈原因可能是多次格式化hadoop namenode -format,所以参照了一些教程,修改了sudo nano core-site.xml为 <...

    hadoop伪分布式,在配置好环境后,jps启动只有五个进程,少了namenode节点,并且没有tmp文件夹。查了一圈原因可能是多次格式化hadoop namenode -format,所以参照了一些教程,修改了sudo nano core-site.xml为

    <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> fs.defaultFS hdfs://localhost/
                <name>hadoop.tmp.dir</name>
                <value>file:/soft/hadoop/tmp</value>
    

    修改了:sudo nano hdfs-site.xml 为
    Hdfs-site.xml

    dfs.replication
    1


    dfs.namenode.name.dir
    /soft/hadoop/tmp/dfs/name


    dfs.datanode.data.dir
    /soft/hadoop/tmp/dfs/data

    但是格式化之后重启就只剩下了三个节点
    4169 ResourceManager
    4394 NodeManager
    4940 Jps
    最后又把core-site.xml改为:


    fs.defaultFS
    hdfs://localhost/


    hdfs-site.xml 为:


    dfs.replication
    1


    然后格式化,重启所有进程
    jps结果为:
    5272 NameNode
    5816 SecondaryNameNode
    4169 ResourceManager
    4394 NodeManager
    6171 Jps
    5500 DataNode

    展开全文
  • 启动Hadoop集群,启动过程中报错, starting... namenodes error : resfusing.... 具体看图 然后输入jps不显示namenode 尝试过删除dfs下的文件重新格式化namenode没有用 找不到data文件夹下的current文件没法复制cid...
  • hadoop启动jps没有namenode

    千次阅读 2015-06-17 23:28:09
    hadoop启动jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION...
  • 导致修改后,导致Hadoop启动,失败,即jps后,没有namenode,datanode,显然这两个文件对于hadoop是至关重要的,要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合,碰巧...
  • hadoop启动后没有namenode

    千次阅读 2022-04-03 11:59:20
    参考教程: 教程1 (我按照教程1成功了。) 教程2 教程3 前提: 使用命令: cd $HADOOP_HOME ./sbin/start-dfs.sh jps ...hadoop namenode -format 再次打开: start-dfs.sh 再次验证: jps ...
  • 1、百度之前,我先到hadoop的logs目录下看了今天的日志, 首先百度了一番,基本上都是namenode format,但真的不想重做一遍数据,不死心的继续寻找。。。 找到了这个解答 ...
  • hadoop启动jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改...
  • 我的namedata进程突然之间没有的原因:是因为我之前没有停止hadoopd的集群又重新启动hadoopde集群 还有其他原因也会导致比如:1.直接关闭虚拟机,也没有停止hadoop 集群 2.格式化namenode之前,没有删除data里面...
  • 文章目录项目场景问题描述原因分析解决方案1. 配置文件出错2. 当前用户对 Hadoop 目录的操作权限不够3....在 /usr/lcoal/hadoop 目录下,使用 ./sbin/start-dfs.sh 命令启动 Hadoop 后,使用 jps 命令无 NameNode、Da
  • 启动过程没有发现错误,但是jps查看进程时,发现少了NameNode,而DataNode却存在: 原因之一是:端口9000已经被占用,解决办法有两个, 一:查找占用端口的进程,kill掉它。 netstat -anp|grep 9000 kill -9 ...
  • jps没有namenodehadoop3.3.2)

    千次阅读 2022-03-07 16:18:08
    我在某app里看了一个大佬的教程在ubuntu下安装的hadoop,运行jps下只有这两个 然后我就找解决办法,找了n篇解决方案,结果都没有解决,于是我照着hadoop官方教程有重新看了一遍,发现大佬的教程里core-site.xml有两...
  • 由于最近安装hadoop,出现了启动hdfs后 jps查不到NameNode 和 DataNode 的情况,经过一番查找。终于找到了问题所在:下面是我的 hdfs-site.xml中的/usr/local/data/namenode 是存放namenode的日志和启动文件如果...
  • 最近在尝试在搭建Hadoop集群并测试集群是否搭建成功,但是第一次格式化NameNode启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了,二者没有同时存在,也尝试过停止进程再重新启动都没有解决掉该...
  • Hadoop启动之后jps没有NameNode节点

    万次阅读 2012-09-04 22:47:09
    http://ghostjay.blog.51cto.com/2815221/515147 解决方案在这里。
  • hadoop jps namenode进程没有启动

    千次阅读 2019-04-02 22:37:11
    2019-04-02 22:07:27,024 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap in the edit log...
  • 启动hadoopjps没有datanode

    千次阅读 2021-09-02 11:23:32
    启动./start-dfs.sh后jps发现没有datanode进程。 查看日志 2018-02-27 13:54:27,918 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 2018-02-27 13:54:29,140 INFO org.apache.hadoop.hdfs....
  • 【问题解决方案】之 hadoopjps命令后缺少namenode的问题
  • 我是因为虚拟机宕机后自动重启导致二号虚拟机jps失去secondary namenode和datenode进程,我首先调整所有虚拟机时间保持一致,暂停stop-dfs.sh,根据hadoop的配置文件coresite.xml删除此目录 需要在namenode和...
  • 但是后期应该也会在自己项目中添加信息推荐模块,所以就开始关注spark,hadoop,Thrift等工具,以下就以hadoop先开始,包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建,网上也有各种各样的教程。拿来...
  • Hadoop 启动后使用JPS查看没有DataNode

    万次阅读 多人点赞 2018-05-24 22:14:42
    Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop,发现DataNode没有启动: 然后在网上查找了如何解决这个问题的方法,但是其中有一部分没有看懂,后来才猜测处作者的意思,所以在自己记录一下。 ...
  • hadoop启动jps没有datanode

    千次阅读 2022-03-12 15:41:01
    Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop,发现DataNode没有启动: 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode...
  • 运行下面的命令启动namenodejps命令查看namenode发现没有启动。查看生成的日志文件发现有如下的警告信息 [root@localhost hadoop-2.8.5]# sbin/hadoop-daemon.sh start namenode starting secondarynamenode, ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,836
精华内容 11,534
关键字:

hadoop启动jps缺少namenode