精华内容
下载资源
问答
  • namenode启动命令

    千次阅读 2016-04-06 07:53:00
    ./hadoop-daemon.sh start namenode 转载于:https://www.cnblogs.com/wenhouniba/p/5357706.html

    ./hadoop-daemon.sh start namenode

    转载于:https://www.cnblogs.com/wenhouniba/p/5357706.html

    展开全文
  • Hadoop 启动namenode节点失败

    千次阅读 2018-09-26 11:47:23
     运行下面的命令启动namenode,jps命令查看namenode发现没有启动。查看生成的日志文件发现有如下的警告信息 [root@localhost hadoop-2.8.5]# sbin/hadoop-daemon.sh start namenode starting secondarynamenode,...

    问题产生

           运行下面的命令启动namenode,jps命令查看namenode发现没有启动。查看生成的日志文件发现有如下的警告信息

    
    [root@localhost hadoop-2.8.5]# sbin/hadoop-daemon.sh start namenode
    starting secondarynamenode, logging to /opt/modules/hadoop-2.8.5/logs/hadoop-root-secondarynamenode-localhost.localdomain.out
    
    
    WARN:Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/opt/modules/hadoop-2.8.5/share/hadoop/common/lib/hadoop-auth-2.8.5.jar) to method sun.security.krb5.Config.getInstance()

    问题解决

    我们通过执行hostname命令可以看到:

    [shirdrn@localhost bin]# hostname  
    localhost.localdomain  

    也就是说,Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名是localhost.localdomain,然后在/etc/hosts文件中进行映射的时候,没有找到,看下我的/etc/hosts内容

    [root@localhost bin]# cat /etc/hosts  
    # Do not remove the following line, or various programs  
    # that require network functionality will fail.  
    127.0.0.1               localhost       localhost  
    192.168.1.103           localhost       localhost  

    也就说,通过localhost.localdomain根本无法映射到一个IP地址,所以报错了。

    此时,我们查看一下/etc/sysconfig/network文件:

    NETWORKING=yes  
    NETWORKING_IPV6=yes  
    HOSTNAME=localhost.localdomain  

    可见,执行hostname获取到这里配置的HOSTNAME的值。

    解决方法

    第一种:修改主机名

          修改/etc/sysconfig/network中HOSTNAME的值为localhost,或者自己指定的主机名,保证localhost在/etc/hosts文件中映射为正确的IP地址,然后重新启动网络服务:

    [root@localhost bin]# /etc/rc.d/init.d/network restart  
    Shutting down interface eth0:  [  OK  ]  
    Shutting down loopback interface:  [  OK  ]  
    Bringing up loopback interface:  [  OK  ]  
    Bringing up interface eth0:    
    Determining IP information for eth0... done.  
    [  OK  ]  

    这时,再执行格式化HDFS命令,以及启动HDFS集群就正常了。

    第二种:修改core-site.xml文件defaultFS为已有的主机名或者直接就为本机的IP地址即可

    重新格式化HDFS

    重新格式化hdfs系统的方法:

    1、打开hdfs-site.xml

    我们打开Hadoop的hdfs-site.xml,基本配置如下所示:

    <property>
    
    <name>dfs.name.dir</name>
    
    <value>/usr/local/hadoop/hdfs/name</value>
    
    </property>
    
    <property>
    
    <name>dfs.data.dir</name>
    
    <value>/usr/local/hadoop/hdsf/data</value>
    
    </property>

     将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除

     2、删除core-site.xml配置文件指定的相关目录

    <property>
    
    <name>hadoop.tmp.dir</name>
    
    <value>/usr/local/hadoop/hadooptmp</value>
    
    </property>

     将hadoop.tmp.dir所指定的目录删除,即删除Hadoop的临时文件路径。

    3、重新执行命令:hadoop namenode -format

    格式化完毕。
    这种格式化HDFS的方式是需要把原来HDFS中的数据全部清空,然后再格式化并安装一个全新的HDFS。
    注:这种格式化方式需要将HDFS中的数据全部清空,以后我们探讨不需删除数据即可重新格式化的方法。

    注解:如果删除文件,提示permission denied

    使用 rm -rf 删除输出如下:

     

    加 sudo 执行后发现关键信息了:xxx is not in the sudoers file.

    解决方法:

    首先需要切换到root身份

    $su - (非root用户名)

    (注意有 -,这和su是不同的,在用命令"su"的时候只是切换到root,但没有把root的环境变量传过去,还是当前用户的环境变量,用"su -"命令将环境变量也一起带过去,就象和root登录一样)

    然后

    $visudo     //切记,此处没有vi和sudo之间没有空格

    1、“:$”移动光标,到最后一行

    2、按a,进入append模式

    3、输入您的用户名及后面的信息

    your_user_name ALL=(ALL)  ALL

    4、按Esc

    5、输入“:wq”(回车,保存文件并退出)

    这样就把自己加入了sudo组,可以使用sudo命令了。

    展开全文
  • 关于hdfs中启动namenode进程

    千次阅读 2017-06-07 14:28:05
    hdfs启动namenode,datanode的命令

    cd $HADOOP_HOME 

    NameNode启动命令:sbin/hadoop-daemon.sh start namenode

    DataNode启动命令:sbin/hadoop-daemon.sh start datanode

    过程描述:

    NameNode启动后,会进入30秒的等待时间,此时处于安全模式,所谓的安全模式就是只能执行相关读取操作,比如查看text,下载get等,不能执行创建,删除or追加内容操作,

    此时NameNode做两件事,第一件,接受DataNode的心跳和块状态报告,心跳为每3秒发送一次,用来标记是否存活,而块的状态报告主要是用来发送NameNode节点下各个

    块的状态,默认每一小时发送一次,之后NameNode就会根据自身的元数据来比对DataNode发送的所有块报告的数据是否匹配来判断各个DataNode是否正常,另外一件事,

    NameNode会去加载fsimage镜像文件和edits编辑日志文件,并将其两合并生成一个新的fsimage镜像文件和生成空的edits编辑日志文件。


    展开全文
  • 这篇文章是在不同的机器上配置namenode和secondarynamenode出现的问题。...我出现的问题是在配置有namenode机器上输入start-dfs.sh命令的时候,过一会儿就会一直阻塞在那里,而其它的机器datanode...

    这篇文章是在不同的机器上配置namenode和secondarynamenode出现的问题。

    对于配置文件的写法,可以参考我的这一片文章:https://blog.csdn.net/qq_37076742/article/details/83104395

    我出现的问题是在配置有namenode机器上输入start-dfs.sh命令的时候,过一会儿就会一直阻塞在那里,而其它的机器datanode启动会成功,但是配置有secondarynamenode那台机器不会启动secondarynamenode.这时候,我在namenode那台机器上按ctrl+c终止,会发现有这个错误,localhost: Host key verification failed.这是因为有多台机器的时候,会配置ssh.就是因为这个问题,所以导致我使用start-dfs.sh命令的时候,启动另外一台机器的secondarynamenode失败。

    感谢下面这一篇博文帮了我很大忙:https://blog.csdn.net/pointfish/article/details/7025932

    如果是在内网测试,那么你可以这样配置:

            在namenode那台主机上面:vi  /etc/ssh/ssh_config

                     StrictHostKeyChecking no
                     UserKnownHostsFile /dev/null

    添加这两行就可以了,其中第一行在ssh_config里面有,你把前面的注释去掉修改一下就可以了,第二行你就添加在第一行下面。

    这个时候你再使用start-dfs.sh就会发现secondarynamenode启动成功。

    展开全文
  • 最近使用Hadoop,因为之前配置过Hadoop(单机模式),所以直接使用start-all.sh启动Hadoop,用jps命令查看启动进程时,发现只有TaskTracker,DataNode和SecondaryNameNode三个进程启动了,而另外两个进程NameNode和...
  • 1.当启动hadoop后,一般会通过jps命令查看hadoop的启动情况,本人hadoop菜鸟一枚,在启动后一直看不到namenode启动。   2.一般发生这种情况,我觉得有必要在hadoop文件夹下的logs文件夹里查看日志: ...
  • 第一次在云服务器上搭建hadoop环境,启动namenode报错 Cannot assign requested address(输入命令并没有报错 是在日志看到的) 我的日志放在/opt/module/hadoop-2.7.2/logs里面 问题解决 修改/etc/hosts 中的映射 改...
  • 在页面启动HDFS失败,显示日志和下面用命令启动显示日志一样  NameNode is not formatted. 使用命令# sudo -u hdfs hdfs namenode -format格式化成功  
  • 执行命令 查看是否进入安全模式 hadoop dfsadmin -safemode get 离开安全模式 hadoop dfsadmin -safemode leave 让NameNode离开安全模式
  • HDFS之NameNode启动过程分析

    千次阅读 2013-10-26 22:18:33
    创建NameNode的入口为NameNode.main(String[] argv),主要的创建工作在方法NameNode.createNameNode...【parseArguments(argv)】:解析启动NameNode命令传来的参数,启动参数有:“-format,-regular,-upgrade,-r
  • 起初安装配置好hadoop后(安装搭建hadoop集群详细步骤),使用jps命令都可以查看到NameNode,SecondaryNameNode,jps,ResourceManager,NodeManager,DataNode节点,但是每天打开电脑重新启动虚拟机,启动集群后,要么...
  • Hdfs ...启动NameNode sbin/hadoop-daemon.sh start namenode 启动DataNode sbin/hadoop-daemon.sh start datanode 停止集群 sbin/stop-dfs.sh 停止单个进程 sbin/hadoop-daemon.sh stop zkfc s
  • 首先安装hadoop要安装好java的开发环境,配置好jdk其实创建一个...bin是自己的操作命令,sbin是启动命令!etc是配置文件include是本地库的头文件!我们的jar包在share文件中!下图是share包中的目录剩下就在前面...
  • 但是启动群集后,jps显示依然没有NameNode 说明:因为前面已经做了很多学习实验数据,不想重装虚拟机,因为会把之前的数据覆盖掉(之前已经试过一次T-T)。本人小白一个࿰...
  • namenode不能启动

    2021-02-05 11:53:11
    删出journode jn目录和namenode的目录,格式化namenode,其余namenode节点执行同步命令后再启动namenode 1)在各个JournalNode节点上,输入以下命令启动JournalNode服务 sbin/hadoop-daemon.sh start journalnode 2...
  • 第一步:在各个JournalNode节点上,输入以下命令启动journalNode服务。 并使用jps命令确定启动成功。 第二步:在[nn1]上,对其进行格式化,并启动。 我们格式化出错了,错误的情况如下: 经过检查,...
  • namenode 启动过程

    千次阅读 2016-01-24 20:39:04
    hadoop2.5.2学习及实践笔记(四)—— namenode启动过程源码概览 对namenode启动时的相关...HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh,查看start-dfs.sh可以看出,namenode是通过bin/hdfs命令启动 $ vi s
  • 解决namenode无法启动

    2020-11-18 23:19:54
    hadoop 伪分布式启动,因多次初始化而无法启动namenode和datanode 在/usr/local/hadoop/etc/hadoop的core-site.xml配置文件中添加如下内容 然后在/usr/local/hadoop的目录下执行 如下命令,进行格式化。 $ ./bin/...
  • Namenode启动

    2019-09-27 14:34:25
    Question:多次格式化文件系统导致datanode无法启动 ...Reason:执行文件系统格式化时(即执行命令$bin/hadoop namenode -format 后),会在namenode数据文件夹(即配置文件中dfs.name.dir在...
  • HDFS中NameNode启动过程

    2017-11-14 08:29:08
    NameNode启动命令:sbin/hadoop-daemon.sh start namenode DataNode启动命令:sbin/hadoop-daemon.sh start datanode 过程描述: NameNode启动后,会进入30秒的等待时间,此时处于安全模式,所谓的安全模式就是只能...
  • 启动bootstrapStandby nameNode时,直接通过ssh 过去执行该命令,一直无法成功,使用的命令如下: ssh 192.168.17.51 "/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode -bootstrapStand...
  • 2.进行start-dfs.sh命令时,发现主节点可以启动,但是其他两个从节点,启动以后,立刻死亡,yarn是可以正常启动的,所以定位,问题应该是出在hdfs的格式化问题上 3.原因是我们每次格式化的时候,会产生这个文件夹/...
  • NameNode服务端的启动过程 ...下面是Linux服务器上启动NameNode命令。 [root@hadoop01 sbin]# hadoop-daemon.sh start namenode 既然是通过hadoop-daemon.s进行启动,那么我们可以看看这个shell脚本是怎么启...
  • 使用命令: cd $HADOOP_HOME ./sbin/start-dfs.sh jps 后发现没有namenode: 解决: 关闭进程: stop-dfs.sh 格式化: hadoop namenode -format 再次打开: start-dfs.sh 再次验证: jps ...
  • 1.进入hadoop的目录,看到一个tmp 文件夹 2.进入tmp文件夹 3.删除dfs文件夹,sudo rm -rf dfs 4.再次格式化namenode命令是: hdfs namenode -format
  • namenode无法启动问题

    千次阅读 2018-07-28 15:27:41
    Hadoop中运行start-all命令后,通过jps查看进程,发现namenode并没有启动 按照网上的方法,删除hadoop的临时目录tmp后重启,仍然没有 查看日志如下 org.apache.hadoop.hdfs.server.common....
  • hadoop的namenode无法启动的解决办法

    千次阅读 2015-07-15 22:02:56
    安装hadoop集群时,启动集群,发现master节点的namenode没有启动成功,这一般都是没有格式格式化namenode的缘故,格式化...有时hadoop集群非首次启动时也无法启动namenode,而格式化以后,namenode可以启动了,但是dat

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 995
精华内容 398
关键字:

启动namenode命令