精华内容
下载资源
问答
  • namenode格式化只需要在hdfs所在主机上格式化一次即可,如果多次格式化且没有删除hadoop目录下tmp临时文件时就有可能会报错。因为namenode每次格式化都会更新clusterID,但datanode只会保持第一次ID,所以导致两...

    问题原因:
    namenode格式化只需要在hdfs所在主机上格式化一次即可,如果多次格式化且没有删除hadoop目录下的tmp临时文件时就有可能会报错。因为namenode每次格式化都会更新clusterID,但datanode只会保持第一次的ID,所以导致两个ID不匹配的问题。
    解决方案:

    1. 在hdfs-site.xml中,按照日志信息将不一致的clusterID改为一致
    2. 将hadoop目录下的data和logs文件夹删除掉,再对namenode进行格式化,此时格式化后系统会自动让namenode和datanode的clusterID保持一致,问题就解决了。
    展开全文
  • 最近要开始找工作,就在原来搭建好的hadoop1.2.1的伪分布式跑跑...以前格式化过了,如果多少次格式化就需要将tmp目录下的文件统统删除 再次格式化就没有问题了 官方文档说,这是hadoop自带的一个集群的保护...

    最近要开始找工作,就在原来搭建好的hadoop1.2.1的伪分布式跑跑mapreduce

    很久没用,就想着格式化一下namode,结果:

    Format aborted in /uar/local/hadoop/tmp/dfs/name

    进入tmp查看

    以前格式化过了,如果多少次格式化就需要将tmp目录下的文件统统删除

    再次格式化就没有问题了

    官方文档说,这是hadoop自带的一个集群的保护措施!

    展开全文
  • hadoop中namenode格式化失败解决

    万次阅读 2018-07-27 09:52:20
    如果有 第一次格式化后 产生了 tmp文件夹,先删除 /tmp/dfs/hadoop/name(可以直接把tmp文件夹删除),然后重新格式化 再执行 启动程序 start-all.sh 第二种: 如果格式化后没有生成 tmp 文件夹,把 /etc/hadoop/...

    第一种:

    如果有 第一次格式化后 产生了 tmp文件夹,先删除 /tmp/dfs/hadoop/name(可以直接把tmp文件夹删除),然后重新格式化
    再执行 启动程序 start-all.sh

    第二种:

    如果格式化后没有生成 tmp 文件夹,把 /etc/hadoop/core-site.xml & /etc/hadoop/hdfs-site.xml 这两个文件中的配置

    /etc/hadoop/core-site.xml


    hadoop.tmp.dir
    file:/Softwares/hadoop/tmp
    Abase for other temporary directories.


    fs.defaultFS
    hdfs://localhost:9000

    /etc/hadoop/hdfs-site.xml


    dfs.replication
    1


    dfs.namenode.name.dir
    file:/Softwares/hadoop/tmp/dfs/name


    dfs.datanode.data.dir
    file:/Softwares/hadoop/tmp/dfs/data

    把对应路径 修改为 绝对路径

    展开全文
  • hadoop中namenode格式化失败解决 等文章之后,发现删除tmp无法解决,在阅读hdfs-site.xml配置文件后发现,slave中还会新建了一个QJEditsData文件夹,应当将tmp和QJEditsData文件夹都删除再进行format命令。 ...

    hdfs namenode -format格式化失败问题

    在这里插入图片描述

    在多次格式化namenode之后,发现再进行namenode的格式化出现如上问题,格式化失败,参考网上一些文章之后
    hadoop中namenode格式化失败的解决
    等文章之后,发现删除tmp无法解决,在阅读hdfs-site.xml配置文件后发现,slave中还会新建了一个QJEditsData文件夹,应当将tmp和QJEditsData文件夹都删除再进行format命令。

    在这里插入图片描述

    展开全文
  • Hadoop namenode重新格式化需注意问题

    千次阅读 2018-04-04 11:14:17
    1、重新格式化意味着集群数据会被全部删除格式化前需考虑数据备份或转移问题; 2、先删除主节点(即namenode节点),Hadoop临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录...
  • 重新格式化NameNode

    2015-01-10 18:54:03
    2.删除 master和slave 中tmp目录下的文件 rm -r /tmp/* 3.格式化 hadoop NameNode -format 4启动 start-all.sh 5查看状态 jps 或者 hadoop dfsadmin -report 或者浏览器查看http://master:50030/
  • 关于格式化NameNode的几点注意

    千次阅读 2019-09-24 18:45:28
    原因: 如果在开启进程时候去上出data和logs文件夹,因为进程仍然在运 行还是会产生相应data和logs文件,所有并不能删除相应记录 结束相关进程后,在hadoop目录下删除data和logs文件夹 原因 格式化.....
  • 格式化主节点NameNode所在的服务器后,启动其它服务器节点的DataNode无法启动 ...#重新格式化文件系统,因为之前的文件系统被误删除了 sh $HADOOP_HOME/bin/hdfs namenode -format #重启hadoop,此时hadoop的相关
  • 二、 删除配置文件core-site.xml和hdfs-site.xml中指定目录下的文件 vim /moudle/hadoop-3.3.0/etc/hadoop/core-site.xml <configuration> <!-- 用来指定hadoop运行时文件产生目录--> <property>...
  • Hadoop配置好之后,第一个要执行的命令是...名字节点格式化的本质,就是从配置文件里读取NameNode的两个目录NamespaceDirs和NamespaceEditsDirs,然后将目录清空--也就是删除这两个目录,再新建这两个目录。 “.
  • 1.Hadoop生态中的文件系统HDFS类似一块磁盘,初次使用硬盘需要格式化,让存储空间明白该按什么方式组织存储数据。 2.格式化NameNode会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往数据。 ...
  • ***在这里说一下 ,在没有删除格式化产生的文件前重新格式化是没有用的,hadoop不会覆盖重写已有文件!!! *** 而namenode,datanode等启动不全的原因是因为底层文件version的配置信息clusterID不一样导致的
  • 进行着一步前,要把以前格式化的内容删掉,如果,你的路径是在hadoop文件夹内,那么直接格式化即可,如果是在外部创建的文件夹,需要把dfs下的data与name下的所有文件删掉。 !!! 这里为了方便看到直接用的图形化...
  • 进入路径 hadoop-xx.xx/data/tmp/dfs...这里边应该有个data文件,里面存放了datanode日志, 将其删除, 即 rm -rf data, 重新执行 hadoop-daemon.sh start datanode 再输入jps,就可以看到创建datanode了 ...
  • 格式化namenode :hdfs namenode -format 格式化之前要关闭集群,并且删除根目录下hdfs下的文件,并删除hadoop的logs和data,可能还要删别的,我只删除了这俩。 然后重启集群,发现datanode没有日志
  • namenode无法启动

    2020-05-24 10:48:31
    将/data和/log目录下的文件删除了,之后启动集群时没有先进行namenode格式化bin/hdfs namenode -format。
  • 虚拟机移动了个位置,从本地D盘移动到了移动硬盘E盘上后,出现了了一些问题。...查了网上资料,删除了/home/hadoop/data/hadoopdata/journaldata/bd1804/current里VERSION 文件,重新格式化后,nameno...
  • DataNode和NameNode的clusterID不一致

    千次阅读 2019-05-13 09:41:24
    推荐方案:关闭Hadoop,删除各个datanode中data文件夹下所有文件,启动Hadoop,这样不用更换namenodeclusterID。 第二种方案就是格式化namenode。 关键代码: hadoop namenode -forma...
  • namenode格式化,顾名思义,格式化的是 namenode中的元数据,editlog,fsimage 什么 在集群的使用过程中,最好不要格式化namenode,否则会出现错误,因为在集群的运行过程中,本身就会产生各种信息。 先关闭集群 ...
  • 我是因为虚拟机宕机后自动重启导致二号虚拟机jps失去secondary namenode和datenode进程,我首先...需要在namenode和secondary namenode的虚拟机上进行,再在namenode进行格式化hdfs namenode -format,最后重新启动即...
  • hadoop格式化

    2019-09-22 12:00:59
    1、hadoop启动时,namenode没有启动起来 1、删除 namenode产生临时文件 tmp ..../bin/hdfs namenode -format #进行格式化 2、hbase连接不上报一下错  a)master.HMaster: hbase:meta,,1.1588...
  • namenode没启动

    2019-04-01 11:52:54
    namenode没启动解决方法: 查看hadoop/log里面 日志文件(只看错误信息) 发现报i/o异常 查看hadoop/dfs/name里面current文件,发现...运行hadoop namenode -format,进行格式化,sbin目录下运行start-all.s...
  • hadoop集群中namenode启动不起来如何解决 新手在初次搭建hadoop集群中经常遇到namenode或者databode...删除原目录,先删除data文件和logs日志文件夹,然后再格式化NameNode。data文件的路径在core-site.xml下配置h..
  • hadoop启动后jps没有namenode

    千次阅读 2015-06-17 23:28:09
    一般都是由于两次或两次以上格式化NameNode造成,有两种方法可以解决: 1.删除DataNode所有资料 2.修改每个DataNodenamespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的...

空空如也

空空如也

1 2 3 4 5 ... 11
收藏数 212
精华内容 84
关键字:

删除namenode格式化的文件