精华内容
下载资源
问答
  • jps没有namenode
    千次阅读
    2020-03-24 21:57:23

    hadoop伪分布式,在配置好环境后,jps启动只有五个进程,少了namenode节点,并且没有tmp文件夹。查了一圈原因可能是多次格式化hadoop namenode -format,所以参照了一些教程,修改了sudo nano core-site.xml为

    <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> fs.defaultFS hdfs://localhost/
                <name>hadoop.tmp.dir</name>
                <value>file:/soft/hadoop/tmp</value>
    

    修改了:sudo nano hdfs-site.xml 为
    Hdfs-site.xml

    dfs.replication
    1


    dfs.namenode.name.dir
    /soft/hadoop/tmp/dfs/name


    dfs.datanode.data.dir
    /soft/hadoop/tmp/dfs/data

    但是格式化之后重启就只剩下了三个节点
    4169 ResourceManager
    4394 NodeManager
    4940 Jps
    最后又把core-site.xml改为:


    fs.defaultFS
    hdfs://localhost/


    hdfs-site.xml 为:


    dfs.replication
    1


    然后格式化,重启所有进程
    jps结果为:
    5272 NameNode
    5816 SecondaryNameNode
    4169 ResourceManager
    4394 NodeManager
    6171 Jps
    5500 DataNode

    更多相关内容
  • jps没有namenode(hadoop3.3.2)

    千次阅读 2022-03-07 16:18:08
    我在某app里看了一个大佬的教程在ubuntu下安装的hadoop,运行jps下只有这两个 然后我就找解决办法,找了n篇解决方案,结果都没有解决,于是我照着hadoop官方教程有重新看了一遍,发现大佬的教程里core-site.xml有两...

    我在某app里看了一个大佬的教程在ubuntu下安装的hadoop,运行jps下只有这两个watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA44GL44GPYWJjZA==,size_12,color_FFFFFF,t_70,g_se,x_16

     然后我就找解决办法,找了n篇解决方案,结果都没有解决,于是我照着hadoop官方教程有重新看了一遍,发现大佬的教程里core-site.xml有两项watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA44GL44GPYWJjZA==,size_20,color_FFFFFF,t_70,g_se,x_16

     官网的配置里只有这一个watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA44GL44GPYWJjZA==,size_15,color_FFFFFF,t_70,g_se,x_16

     于是我把多余的部分删除了,问题就解决了watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA44GL44GPYWJjZA==,size_11,color_FFFFFF,t_70,g_se,x_16

     建议大家还是按照官网上的步骤一步一步来!还有这个core-site.xml在hadoop包—etc—hadooo里,希望本篇文章可以帮助到你。

    另外附hadoop官网地址:hadoop官网链接

    展开全文
  • jps没有namenode和datanode原因

    千次阅读 2021-10-13 20:21:17
    重点:所有的原因都可以在hadoop下的logs目录下namenode的日志文件中找到问题所在,运行中的问题都会保存到这些文件中 这里总结几个主要问题 原因1 配置文件有问题 检查所有的hadoop配置文件,看是不是有遗漏...

     

    重点所有的原因都可以在hadoop下的logs目录下namenode的日志文件中找到问题所在,运行中的问题都会保存到这些文件中 

     

     这里总结几个主要问题

    原因1

    配置文件有问题

    检查所有的hadoop配置文件,看是不是有遗漏或者不对的地方

    原因2(很可能是这个问题)

    节点在本机的路径有问题:日志文件中提示无法访问到你的namenode的路径

    你如果使用的普通用户,你节点在本地的存放位置普通用户要得有权限,不然初始化的数据都不能够存放到指定位置

    原因3

    你之前多次格式化主节点,却没有删除,多次格式化namenode造成了namenode和datanode的clusterID不一致,它都不知道加载哪个了。

    解决方法

    删掉hadoop/logs日志文件中的所有日志文件,还有你namenode和datanode存放路径的所有文件信息,重新格式化

    展开全文
  • hadoop启动后jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改...

    hadoop启动后jps没有namenode

    一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:

    1.删除DataNode的所有资料

    2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中),

    目的是两者一致。

    但是查看后,两者的ID是一样的,

    于是查看/usr/local/hadoop/logs下的namenode日志文件,发现错误是java.io.FileNotFoundException: /home/hadoop/hdfs/name/current/VERSION (Permission denied)

    在网上搜索后,发现是/home/hadoop/hdfs/name/current/VERSION的权限问题,于是

    hadoop@master:/usr/local/hadoop/bin$ sudo chmod -R 777 /home/hadoop/hdfs

    再进行格式化:hadoop@master:/usr/local/hadoop/bin$ hadoop namenode -format

    启动:hadoop@master:/usr/local/hadoop/bin$ start-all.sh

    jps:hadoop@master:/usr/local/hadoop/bin$ jps

    6692 JobTracker

    6259 NameNode

    6601 SecondaryNameNode

    6810 Jps

    由于看到datanode和tasktracker还没有启动,就用了以下命令进行启动,但是发现确实已经启动了。

    jobtracker running as process 6692. Stop it first.

    192.168.1.3: tasktracker running as process 4959. Stop it first.

    192.168.1.4: tasktracker running as process 5042. Stop it first.

    hadoop@master:/usr/local/hadoop/bin$ jps

    6692 JobTracker

    6259 NameNode

    6601 SecondaryNameNode

    7391 Jps

    hadoop@master:/usr/local/hadoop/bin$ start-dfs.sh

    Warning: $HADOOP_HOME is deprecated.

    namenode running as process 6259. Stop it first.

    192.168.1.3: datanode running as process 4757. Stop it first.

    192.168.1.4: datanode running as process 4828. Stop it first.

    192.168.1.2: secondarynamenode running as process 6601. Stop it first.

    http://www.cnblogs.com/linjiqin/archive/2013/03/07/2948078.html

    从百度知道里看到这么一句话,

    提示都说了,不建议使用这个脚本,使用start-dfs.sh和start-mapred.sh来替代它。这说明脚本的作者或者维护人也觉得这个脚本可能有问题……

    你要是有兴趣也可以自己改改……

    展开全文
  • 关于Hadoop启动之后jps没有namenode节点的解决方法

    万次阅读 多人点赞 2019-11-01 09:52:16
    发现ip地址对应上了,那我们运行一下jps,发现没有192.168.100.201这个节点下并没有namenode 这时候我运行停止所有命令,发现Hadoop01节点没有namenode可以停止 我怀疑问题出在了我多次格式化导致namenode启动不了...
  • jps没有namenode和SecondaryNameNode

    千次阅读 2020-05-07 14:34:19
    重新配置core-site.xml [hadoop@hadoop102 ~]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/ [hadoop@hadoop102 hadoop]$ vi core-site.xml ...-- 指定HDFS中NameNode的地址 --> <property> <na...
  • jps没有namenode

    千次阅读 2019-07-23 20:53:21
    时隔两个多月,继续学习hive的时候,发现start-all.sh后namenode没有启起来,查了一通,原因是每次开机都得重新格式化一下namenode才可以。需要改配置文件(以前用的好好的为啥要改…目前以我的水平还不是很理解),...
  • https://blog.csdn.net/qq_32641659/article/details/87894610
  • hadoop启动jps缺少namenode

    千次阅读 2021-12-28 13:53:37
    ,导致后面启动jps的时候一直没有namenode。 在将公网地址修改成私网ip后,就能成功启动了。 在此提供一个修改方法,原因我按其他文章的方法前前后后花了我数个小时无法解决,其也在于我并不理解相关知识。 ...
  • hadoop启动后jps没有namenode

    千次阅读 2015-06-17 23:28:09
    hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION...
  • jps命令没有namenode如何解决?

    千次阅读 2021-05-05 23:34:45
    格式化NameNode 注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据。如果集群在运行的过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和...
  • master jps 没有namenode问题

    千次阅读 2018-08-15 19:51:00
    在主节点机器上执行命令/opt/modules/app/hadoop-2.7.4/sbin/start-all.sh(相当于执行/opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh和/opt/modules/app/hadoop-2.5.0/sbin/...查看logs日志发现namenode没有格...
  • jps命令没有namenode或datanode, 怎么解决?

    万次阅读 多人点赞 2019-11-26 11:22:35
    (3)格式化namenode之前,没有删除data里的数据和logs日志,造成导致NameNode和DataNode的集群id不一致的情况。 2、解决方法(一定要按顺序操作) (1)停止hadoop集群 stop-all.sh (2) 删除data数据和logs日志...
  • jps看不到namenode

    千次阅读 2021-06-19 18:44:20
    1、问题现象: 启动无报错, 但是jps看不到namenode 环境变量也没有问题 2、解决办法: 重新格式化namenode发现还是2.5.1,因为我之前安装过2.5.1 进入到hadoop的bin目录下重新格式化namenode ./hadoop namenode -...
  • 启动过程没有发现错误,但是jps查看进程时,发现少了NameNode,而DataNode却存在: 原因之一是:端口9000已经被占用,解决办法有两个, 一:查找占用端口的进程,kill掉它。 netstat -anp|grep 9000 kill -9 ...
  • 我是因为虚拟机宕机后自动重启导致二号虚拟机jps失去secondary namenode和datenode进程,我首先调整所有虚拟机时间保持一致,暂停stop-dfs.sh,根据hadoop的配置文件coresite.xml删除此目录 需要在namenode和...
  • Hadoop启动之后jps没有NameNode节点

    万次阅读 2012-09-04 22:47:09
    http://ghostjay.blog.51cto.com/2815221/515147 解决方案在这里。
  • 配置HADOOP的时候,输入jps没有namenode出现,其他的都有 我在输入start-dfs.sh之后,出现下图 ![图片说明](https://img-ask.csdn.net/upload/201708/22/1503409611_645641.jpg) 然后我在输入hadoop namnode -format...
  • 1、百度之前,我先到hadoop...首先百度了一番,基本上都是namenode format,但真的不想重做一遍数据,不死心的继续寻找。。。 找到了这个解答 https://my.oschina.net/dreamness/blog/3083130 啥意思啊?不懂。 ...
  • 文章目录项目场景问题描述原因分析解决方案1. 配置文件出错2. 当前用户对 Hadoop 目录的操作权限不够3....在 /usr/lcoal/hadoop 目录下,使用 ./sbin/start-dfs.sh 命令启动 Hadoop 后,使用 jps 命令无 NameNode、Da
  • 启动Hadoop集群,启动过程中报错, starting...... 具体看图 然后输入jps不显示namenode 尝试过删除dfs下的文件重新格式化namenode没有用 找不到data文件夹下的current文件没法复制cid保持一致,怎么办
  • 输入jps显示不出namenode和datanode,只要jps 你要做的就是: 1.打开节点的日志文件查看 打开logs 然后日志末尾显示如下: 2018-08-05 13:24:26,408 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: ...
  • hadoop jps namenode进程没有启动

    千次阅读 2019-04-02 22:37:11
    2019-04-02 22:07:27,024 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage java.io.IOException: There appears to be a gap in the edit log...
  • 我的namedata进程突然之间没有的原因:是因为我之前没有停止hadoopd的集群又重新启动hadoopde集群 还有其他原因也会导致比如:1...格式化namenode之前,没有删除data里面的数据和日志,导致 namenode和datanode的cl...
  • 导致修改后,导致Hadoop启动,失败,即jps后,没有namenode,datanode,显然这两个文件对于hadoop是至关重要的,要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合,碰巧...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 29,069
精华内容 11,627
关键字:

jps没有namenode