精华内容
下载资源
问答
  • hadoop无法启动datanode

    2017-02-07 09:55:54
    hadoop无法启动datanode 错误: at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812) Caused by: java.net.NoRouteToHostException: 没有到主机的路由 错误: ERROR org.apache.hadoop....

    错误: at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)
    Caused by: java.net.NoRouteToHostException: 没有到主机的路由

    错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Shutting down. Incompatible version or revision.DataNode version '1.2.1' and revision '1503
    152' and NameNode version '1.2.1' and revision ' and hadoop.relaxed.worker.version.check is not enabled and hadoop.skip.worker.version.check is not enabled


    1、检查防火墙:service firewalld stop  关闭防火墙

    2、

    在core-site.xml中添加


    <property>

            <name>hadoop.relaxed.worker.version.check</name>
            <value>true</value>
         </property>
         <property>
             <name>hadoop.skip.worker.version.check</name>
             <value>true</value>

         </property>

    记得同步到其他的slave去!!

    展开全文
  • Hadoop无法启动DataNode

    2020-10-13 22:29:54
    导致我在JPS查询时发现DataNode无法启动 问题原因: 多次格式化,导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动。 解决方案: # 关闭hadoop ./sbin/stop-dfs.sh # 删除tmp文件 rm -rf ./tmp # 重新...

    问题详述:
    当我多次通过以下指令格式化NameNode之后,

    #格式化NameNode#
    ./bin/hdfs namenode -format
    

    导致我在JPS查询时发现DataNode无法启动

    问题原因:
    多次进行NameNode格式化,导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动。
    详细来讲就是:当我们使用./bin/hdfs namenode -format格式化NameNode时,会在NameNode数据文件夹(这个文件夹为自己配置文件中dfs.name.dir的路径)中保存一个current/VERSION文件,记录clusterID,DataNode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID,这样,DataNode和NameNode之间的ID不一致。

    解决方案:

    如果没有重要文件,就可以直接删除之后重新格式化再启动即可,代码如下:

    # 关闭hadoop
    ./sbin/stop-dfs.sh
    
    # 删除tmp文件
    rm -rf ./tmp
    
    # 重新进行NameNode格式化
    ./bin/hdfs namenode -format
    
    # 重启hadoop
    ./sbin/start-dfs.sh
    

    通过以上代码即可解决问题,亲测

    展开全文
  • hadoop无法启动DataNode守护进程

    由于种种原因,今天重新安装hadoop集群,清空了/tmp下的目录,重启集群,hadoop namenode -format 之后  start-all   但是没有发现DataNode的守护进程,查了些资料发现重

    复格式化namenode之后会造成current/VERSION中id不同,因此不能启动datanode

    解决如下图


    将前面/data/下的namespaceID:改为后面的namespaceID:重新启动hadoop集群,问题即可解决。

    展开全文
  • 2019-04-04 09:44:42,114 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT] 2019-04-04 09:44:46,654 INFO org.apache.hadoop.hdfs.server.datanode....
  • 启动Hadoop后 没有DataNode进程 的解决方法

    万次阅读 多人点赞 2020-12-22 15:40:09
    介绍怎样解决执行命令start-all.sh启动Hadoop时 没有DataNode进程 这个问题。

    搭建完全分布式模式后,启动Hadoop发现没有DataNode进程。下面来说说怎样解决这个问题。

    一、 问题描述

    在从节点(Slave)执行命令jps后,发现没有运行DataNode。
    在这里插入图片描述

    二、 问题分析

    在启动Hadoop之前,进行了多次格式化,导致DataNode的ID发生了变化。

    三、 解决方法

    我们可以从 删除所有的DataNode资料 ,或者让 NameNode与DataNode的ID一致 ,这两个方向去解决这个问题。

    3.1 方法一

    删除 所有DataNode资料 ,再启动集群。

    打开集群中运行DataNode进程的机子,找到VERSION文件(该文件的路径是自己之前搭建环境时所配置的,根据自己的配置去查找),如下图所示

    下图是在Xshell连上虚拟机后,通过Xftp的图形界面去找文件;当然也可以通过命令去查找文件。

    在这里插入图片描述
    VERSION文件删掉(要将 集群中每个 运行DataNode进程主机的VERSION文件都删掉)

    在这里插入图片描述
    接着,重新格式化

    hadoop namenode -format
    

    再重启集群,执行jps命令查看

    在这里插入图片描述

    3.2 方法二

    把DataNode的ID改为NameNode的ID。

    上面3.1是通过Xftp查找文件的,这里演示下通过命令去查找文件。如果习惯通过图形界面查找文件的话,也可以使用Xftp查找。

    首先,打开自己的hadoop目录,找到 dfs 目录(根据自己的配置找),在dfs目录下面有一个 data 目录和一个 name 目录

    在这里插入图片描述
    接着进入name目录,查看到有一个名为current的目录,如下图所示

    在这里插入图片描述
    再进入current目录,里面会有一个VERSION文件,执行命令打开它(gedit这个位置可以用 vi 或者 vim 代替)

    gedit VERSION
    

    在这里插入图片描述
    打开后,把这个ID复制下来

    在这里插入图片描述

    退回 dfs 目录,打开该目录中的 data 目录下的 current 文件,如下图所示
    在这里插入图片描述

    执行命令打开 VERSION 文件(这个是data目录下的VERSION文件,别搞错了)

    gedit VERSION
    

    在这里插入图片描述
    把上面在name目录下的 VERSION 文件中,复制的ID粘贴到这里。输入以下命令使之生效

    source VERSION
    

    重新格式化

    hadoop namenode -format
    

    再重启就可以解决这个问题了。


    如果文章对你有帮助,请点个,留给评论支持一下😊,若有疑问可以私信留言😉。如果能给个三连(点赞收藏关注 )就最好啦😁。

    展开全文
  • 首先我看查看datanode启动日志$HADOOP_HOME/logs/ vi logs/hadoop-root-datanode-master.out查看datanode启动日志 ava.io.IOException: Incompatible clusterIDs in /opt/data/hadoop/hdfs/data: namenode ...
  • 问题描述: 设置了三台集群:配置如下 hadoop01:NameNode+DataNode+NodeManager hadoop02:DataNode+NodeManager+ResourceManager ...在hadoop01上启动dfs后,另外两台虚拟机的jps进程中datanode信息未出...
  • 经常会出现没有启动datanode的情况。 运行命令: jps 发现没有datanode线程。 现给出原因和解决方案 原因 当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹(这个文件夹为自己配置...
  • hadoop启动DataNode没有启动

    千次阅读 2019-03-04 21:21:33
    由于一些原因,我对namenode进行过很多次格式化,格式化时删除了Hadoop的临时存储目录tmp、...重新格式化后启动hadoop,发现DataNode没有启动 原因: 当我们使用hadoop namenode -format格式化namenode时,会在nam...
  • hadoop启动datanode或者namenode没有启动起来hadoop的配置是参考这篇教程的http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/hadoop@ubuntu:~$ hadoop/bin/start-all....
  • hadoop启动datanode

    2014-05-02 04:09:15
    分别运行 start-dfs.sh, start-yarn.sh jps后未发现 datanode 有 ...java.io.IOException: Incompatible clusterIDs in /opt/hadoop/hadoop...datanode 顺利启动 详细参考此文件 点击打开链接
  • hadoop的data-node在它的版本文件里存储一个永久性的clusterID,当datanode启动时会检查并匹配namenode的版本文件里的clusterID,如果两者不匹配,就会出现"Incompatible clusterIDs"的异常。  每次格式化namenode...
  • 1.问题hadoop伪布式安装,文件配置好后格式化启动,发现其他都启动正常唯独datanode启动不了.查看日志如下: 2.解决 在/tmp/hadoop-root/dfs/name/current/version文件里面clusterID 复制到/tmp/hadoop-root/dfs/data/...
  • HadoopHadoop datanode启动不起来的原因总结

    千次阅读 多人点赞 2019-11-01 08:44:45
    1、多次格式化导致Namenode和Datanode对应信息不一致 下图为 Namenode 的 ${dfs.name.dir}/current/VERSION 信息 下图为 Datanode 的 ${dfs.name.dir}/current/VERSION 信息 下图为 Datanode 的 ${dfs.name.dir}...
  • 一、问题描述 当我多次格式化文件系统时,... 会出现datanode无法启动 二、问题产生原因 当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.namenode.name.dir在本地系统的路径)中保存一个c...
  • Hadoop--DataNode无法启动

    2014-10-11 10:41:00
    hadoop@yts-Rev-1-0:/usr/local/hadoop/hadoop-2.2.0/hdfs/data/current$ jps 11634 SecondaryNameNode 11315 NameNode 11779 ResourceManager 11910 NodeManager ... 启动hadoop后发现DataNode没有启动,...
  • hadoop中的datanode启动失败
  • Hadoop集群中DataNode启动不了

    千次阅读 2018-12-20 14:52:25
    主要原因 是因为datanode的clusterID 和 namenode的clusterID 不匹配 解决办法 停止Hadoop的所有进程 删除每个节点Hadoop目录下 logs 和 tmp 手动创建每个节点下 logs...没有问题后,重新启动hadoop集群,DataNode...
  • Hadoop 启动节点Datanode失败解决 [日期:2014-11-01] 来源:Linux社区 作者:shuideyidi [字体:大中小] 当我动态添加一个Hadoop从节点的之后,出现了一个问题: [root@hadoop ...
  • 启动Hadoop后发现datanode无法启动

    千次阅读 2013-07-26 11:46:49
    感谢原有发帖人,内容来源:...***最近发现重启虚拟机后,启动Hadoop后发现datanode无法启动,查看日志报如下错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible name
  • hadoop--datanode无法启动

    2016-08-30 19:09:30
    启动hadoopdatanode无法启动 利用sbin/start-all.sh命令启动hadoop后,发现datanode、ResoureceManager、NodeManager进程没有启动。查看datanode相关日志内容如下: java.net.UnknownHostException: ip-219-216-...
  • 使用 $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode 启动 datanode 后,通过jps发现并没有 datanode 进程,在 datanode 日志中存在以下报错信
  • 使用命令`start-dfs.sh` 启动hadoop2.7遇到datanode启动成功。
  • Hadoop中配置完之后,出现datanode启动之后就结束: 查看日志: 查看安装目录下:logs中日志;显示有如下部分信息 2017-08-25 09:27:10,379 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: ...
  • Hadoop 启动节点Datanode失败解决

    千次阅读 2017-07-21 12:50:25
    当我动态添加一个Hadoop从节点的之后,出现了一个问题: [root@hadoop current]# hadoop-...starting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out [root@had
  • Hadoop伪分布式 datanode节点启动不了 一,当出现namenode和datanode不能同时工作时,显示的问题如下 <1>当不启动namenode的时候可以启动datanode,情况如下图。 <2>当启动namenode节点的时候,datanode...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 54,876
精华内容 21,950
关键字:

hadoop无法启动datanode