精华内容
下载资源
问答
  • hadoop常用的启动命令
    千次阅读
    2022-03-08 16:22:47

    本人三台节点:hadoop01,hadoop02,hadoop03(部署hive,mysql)

    默认jdk,zookeeper,hadoop,hbase,kafka,flume,hue,spark已经安装

    #一.zookeeper启动  (QuorumPeerMain)

    1.启动zookeeper
          启动:bin/zkServer.sh start   (单台节点启动命令)
          关闭:bin/zkServer.sh stop    (单台节点关闭命令)
          查看:bin/zkServer.sh status  (单台节点查看命令)
    2.启动zookeeper中shell的操作(启动zookeeper服务)
          启动: bin/zkCli.sh
          关闭:  quit


    #二.hadoop启动
      

     1.进入hadoop>sbin(这是用管理员的命令,里面存放在都是脚本)
              启动脚本命令:  ./start-all.sh  hdfs和yarn都会启动 (此时会hadoop01会启动8个,但是haddoop02没有启动ResourceManager这不是bug漏洞)
            接着启动hadoop02的ResourceManager:      命令 yarn-daemon.sh start resourcemanager (start)
                                                          yarn-daemon.sh stop resourcemanager   (stop)
    
            启动单个节点的namenode命令:sbin/hadoop-daemon.sh start namenode
        
    2.启动hdfs (JournalNode,NameNode, DataNode, DFSZKFailoverController)          (web访问  hadoop01:50070)
            启动:sbin/start-dfs.sh
            关闭:sbin/stop-dfs.sh
    
    3.启动yarn  (ResourceManager,NodeManager)                (web访问  Hadoop01:8088)
            启动:sbin/start-yarn.sh
            关闭:sbin/stop-yarn.sh
            


    #三.hbase启动 (HMaster HRegionServer) (仅依赖hdfs,hdfsHA依赖zookeeper   首先启动zookeeper,然后在启动sbin/start-dfs.sh)     
        (必须时间同步,不然hbase进程很容易挂掉)
      

      启动:bin/start-hbase.sh       (注意时间同步)                                  (web访问  hadoop01:60010)
        关闭:bin/stop-hbase.sh
        进入:  hbase shell
        退出:     exit

    #四.kafka启动 (kafka依赖zookeeper可以实现对kafka集群的管理) (每台kafka服务器都要启动)       
      

     启动:bin/kafka-server-start.sh config/server.properties &   (加上&就是后台启动)
        关闭:kill -9 进程号 或 ctrl+c
        新api使用
        消费者启动:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
        生产者启动:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
            再打开一个消费者如果从头开始消费:
            bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test (--from-beginning)
        查看topic列表
            bin/kafka-topics.sh --zookeeper localhost:2181/kafka1.0 --list
            


    #五.flume启动
      

     启动:bin/flume-ng agent -n agent -c conf -f conf/flume-conf2.properties  -Dflume.root.logger=INFO,console  (hadoop01)
              bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop02)
              bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties  -Dflume.root.logger=INFO,console   (hadoop03)
    
        关闭:kill -9 进程号 或 ctrl+c

    #六.hive启动 (启动之前要开启mysql服务,依赖zookeeper,hadoop中HDFS Yarn)

        启动mysql服务 (hadoop03中root用户启动mysql服务)  查看:service mysqld status 
                                                           启动:service mysqld start   
                                                           关闭:service mysqld stop 
        问题:linux下mysql中文乱码?  
                永久解决:1.:首先用命令进入到vim /etc/my.cnf,(可能有的没有这个文件打开是空的,可以直接添加下面的语句
                            如果root用户/etc/my.cnf有这个文件的话那就修改下面的这些语句:
                                [client]
                                default-character-set=utf8
                                [mysql]
                                default-character-set=utf8
                                [mysqld]
                                init_connect='SET collation_connection = utf8_unicode_ci'
                                init_connect='SET NAMES utf8'
                                character-set-server=utf8
                                collation-server=utf8_unicode_ci
                                skip-character-set-client-handshake
                          2.重启mysql服务:service mysql restart
                          3.:进入mysql    用命令查看一下几个地方是不是变成了utf8,命令是:show variables like "%char%";
                
        hadoop03节点启动mysql
            启动:mysql -u hive -h hadoop03 -p    (密码是hive)
            退出:exit; 或者 ctrl+c
        说明:启动hive 
        启动:bin/hive
        关闭  exit; 或者 ctrl+c
        Hive Web 界面的启动命令:bin/hive --service hwi   (必须先启动hive,进入hive界面)
        通过浏览器访问 Hive,默认端口为 9999。  (http://hadoop03:9999/hwi/)
    

    #七.hue启动    (访问地址:hadoop03:8888 )   
      

     启动命令:/home/hadoop/app/hue-3.9.0-cdh5.10.0/build/env/bin/supervisor
          
       

    #八,spark启动
        

    启动:    在主节点执行以下命令
                sbin/start-all.sh
                再选择一个节点作为master启动,执行命令如下
                sbin/start-master.sh
                sbin/stop-master.sh
        查看主节点web界面
            http://hadoop01:8888/

    更多相关内容
  • hadoop启动流程

    2021-01-12 02:10:00
    1、集群分布:集群分布启动hadoop流程1、关闭防火:机器:node01-04命令:service iptables stop2、启动ZK机器:node02-04命令:zkServer.sh start3、启动hadoop机器:node01start-dfs.sh || hadoop-daemon.sh start...

    1、集群分布:集群分布

    启动hadoop流程

    1、关闭防火:

    机器:node01-04

    命令:service iptables stop

    2、启动ZK

    机器:node02-04

    命令:zkServer.sh start

    3、启动hadoop

    机器:node01

    start-dfs.sh || hadoop-daemon.sh start zkfc

    4、启动yarm资源调度

    机器:node01

    4.1、yarm resourcemanager

    机器:node02-03

    命令:yarn-daemon.sh start resourcemanager

    5、启动Mysql

    服务:node01

    命令:service mysqld start

    mysql -h127.0.0.1 -uroot -p123

    6、启动hive

    机器:node01

    命令 hive --service metastore &

    6.1 客户端启动hive

    机器node02

    命令:hive

    7、spark启动

    机器:node01-node03

    命令:

    /opt/data/spark-1.6/sbin

    ./start-all.sh

    redis 启动

    服务器:node01

    路径:/opt/data/redis/bin

    命令:

    启动服务: ./redis-server &

    启动客户端:./redis-cli

    展开全文
  • 启动安装下载hadoop2.7.22.7.2-官方文档安装ssh## 检查是否有ssh## 若返回结果有openssh-clients、openssh-server说明安装rpm -qa | grep ssh## 检查ssh是否可用ssh localhost启动查看hadoop版本./bin/hadoop ...

    一、安装&启动

    安装

    下载hadoop2.7.2

    2.7.2-官方文档

    安装ssh

    ## 检查是否有ssh

    ## 若返回结果有openssh-clients、openssh-server说明安装

    rpm -qa | grep ssh

    ## 检查ssh是否可用

    ssh localhost

    启动

    查看hadoop版本

    ./bin/hadoop version

    运行一个例子

    $ mkdir input

    $ cp etc/hadoop/*.xml input

    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

    $ cat output/*

    输出结果

    运行WordCount样例

    创建文件夹wordinput以及在文件夹下创建word.txt文本,文本内容如下:

    hello

    world

    hello

    kafka kafka

    hello world

    big data

    bigdata

    执行脚本

    ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wordinput wordoutput

    得到运行结果

    Hadoop 配置文件

    hadoop core-default配置文件介绍

    配置etc/hadoop/core-site.xml

    fs.defaultFS

    hdfs://localhost:9000

    配置etc/hadoop/hdfs-site.xml

    dfs.replication

    1

    启动HDFS

    执行脚本

    ./bin/hdfs namenode -format

    下面两种方式是等价的

    ./sbin/start-dfs.sh

    ## 启动namenode进程

    ./sbin/hadoop-daemon.sh start namenode

    ## 启动datanode进程

    ./sbin/hadoop-daemon.sh start datanode

    namenode是什么?datanode是什么?为什么必须要格式化namenode才能启动成功?

    看到DFS的面板。

    启动Yarn

    配置etc/hadoop/mapred-site.xml:

    mapreduce.framework.name

    yarn

    配置etc/hadoop/yarn-site.xml:

    yarn.nodemanager.aux-services

    mapreduce_shuffle

    启动 ResourceManager daemon and NodeManager daemon:

    sbin/start-yarn.sh

    问题解决

    每次启动HDFS,都必须格式化,才能启动NameNode

    原因是,配置HDFS时,只配置了DataNode目录,没有配置NameNode相关信息。默认的tmp文件每次重新开机都会被清空,导致集群找不到NameNode信息,所以需要每次都重新格式化。

    解决方法:

    hadoop.tmp.dir

    /usr/local/hadoop/Hadoop_tmp

    A base for other temporary directories.

    参考文档

    展开全文
  • 本文用于解决 Apache Hadoop 启动时 DataNode 启动异常的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。


    前言

    本文用于解决 Apache Hadoop 启动时 DataNode 启动异常的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。

    在这里插入图片描述


    一、启动 HDFS 并显示当前所有 Java 进程

    依次在 Hadoop 安装目录下执行以下命令启动 HDFS 并显示当前所有 Java 进程:

    ./bin/hdfs namenode -format		#格式化NameNode
    ./sbin/start-dfs.sh				#启动HDFS
    jps								#显示当前所有的Java进程
    

    二、DataNode 启动异常场景描述

    当 DataNode 启动异常时或者没有启动时我们调用 jps 命令不会显示其进程,具体如下图所示:

    在这里插入图片描述

    三、DataNode 启动异常解决方式

    再次提醒:删除 tmp 文件,会删除 HDFS 中原有的所有数据。

    依次执行如下命令:

    ./sbin/stop-dfs.sh				#关闭HDFS
    rm -r ./tmp						#删除tmp文件,注意这会删除HDFS中原有的所有数据,tmp文件目录根据本地目录寻找
    ./bin/hdfs namenode -format		#重新格式化NameNode
    ./sbin/start-dfs.sh				#重启HDFS
    jps								#显示当前所有的Java进程
    

    成功启动后我们可以看到 DataNode 的进程,具体如下图所示:

    在这里插入图片描述

    四、Web 界面检查 Hadoop 信息

    同时,可以通过 Linux 本地浏览器访问 Web 界面(http://localhost:9870)来查看 Hadoop 的信息,具体如下图所示:

    在这里插入图片描述


    总结

    本文解决了 Apache Hadoop 启动时 DataNode 没有启动的问题,但是请注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做。其他的方法暂时还没有发现,这个方法百试百灵,有其他的方法的小伙伴欢迎补充!

    在这里插入图片描述


    我是白鹿,一个不懈奋斗的程序猿。望本文能对你有所裨益,欢迎大家的一键三连!若有其他问题、建议或者补充可以留言在文章下方,感谢大家的支持!

    展开全文
  • 当我们在虚拟机上的Hadoop启动正常,但进不去Hadoop102:9870解决办法! 例子如下: 但是网页进不去: 第一:首先看自己的hdfs是否改了登录网址 路径为:/opt/module/hadoop-3.1.3/etc/hadoop/hdfs.site...
  • 1. 集群环境Master 192.168.2.100Slave1 192.168.2.101Slave2 ... 修改Hadoop配置文件#Mastercd hadoop-2.8.4/etc/hadoopvim hadoop-env.shexport JAVA_HOME=/usr/local/src/jdk1.8.0_152vim yarn-env.shexport JA...
  • Hadoop启动成功,但50070端口无法访问 先查看自己的hadoop版本 我的hadoop是3.2.2版本的,hadoop-3.2.2是我的hadoop目录 /usr/local/hadoop-3.2.2/bin/hadoop version 2.x.x版本的hadoop默认端口为http://你的主机...
  • Hadoop 启动 YARN

    万次阅读 2017-01-10 22:00:09
    1,首先进入hadoop目录:cd /usr/local/hadoop 2,修改配置文件 mapred-site.xml,这边需要先进行重命名:  mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml  然后修改内容:...
  • 目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 ...
  • 第一步:vi etc/hadoop/hdfs-site.xml //查看hdfs-site.xml文件,找到namenode与datanode的所属路径 第二步:vi /opt/hadoop/data/namenode/current/VERSION //打开namenode路径下的current/VERSION文件,复制其中...
  • Hadoop正常运行,但是网页无法进去。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-24tUFsZp-1652111655055)(C:\Users\siver\AppData\Roaming\Typora\typora-user-images\image-...
  • Hadoop启动jobhistoryserver

    2021-05-08 23:33:00
    Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动,启动的方法是通过:mr-jobhistory-daemon.sh start historyserver ...
  • hadoop3.1.3启动使用web页面查看

    千次阅读 2020-03-01 17:33:25
    应该使用 http://localhost:9870 访问 注意是9870端口而非之前的50070
  • 最近又摸了一下大数据方面的东西,今天在装hadoop的时候突然遇到了一个小问题,记录一下。 这里使用的是JDK1.8,hadoop3.1.4。配置完成后初始化handoop并启动,看起来一切正常 namenode启动正常 secondrynamenode...
  • 服务器搭建hadoop时,启动后,无法通过8088端口,访问,首先查看我们ip端口是否启动,其次查看ip是否正确配置,最后,服务器有公网和私网的区分。 问题描述:ResourceManager开启但无法访问,jps没有显示...
  • hadoop的web管理界面打不开

    千次阅读 2020-12-19 10:57:58
    hadoop配置好后,localhost:50030和50070打不开,打开后显示:==================================================HTTPERROR404Problemaccessing/dfshealth.jsp.Reason:NOT_FOUNDPow...hadoop配置好后,localhost:...
  • Hadoop的搭建及启动

    2021-04-03 13:46:53
    Hadoop 项目主要包含了以下四个模块: Hadoop 通用模块(Hadoop Common): 为其他 Hadoop 模块提供支持的公共实用程序。 Hadoop 分布式文件系统(HDFS, Hadoop Distributed File System):提供对应用程序数据的高...
  • 启动Hadoop,namenode进程无法启动

    千次阅读 2022-04-15 15:09:45
    解决namenode无法启动问题
  • Hadoop的web管理页面打不开

    千次阅读 2020-12-19 10:58:02
    问题描述:配置好hadoop启动后,可以正常使用hdfs和mapreduce,但是不能打开Namenode和Jobtracker的web管理界面,错误代码404。原因:该问题很有可能是由于HADOOP_HOME下面存在build文件夹引起的,将其改名后重启...
  • 最近在学hadoop,租了一台百度云服务器部署hadoop,启动了NameNode和DataNode还有ResourceManager,在配置完mapred-site.xml后打算启动JobHistoryServer进程看看工作记录,但是配置完ip地址后不是启动成功但打不开...
  • 因为操作失误,导致hadoop格式化了两次。然后再启动的时候一直失败。启动不起来。 ①、先关闭集群 ②、删除hadoop/data目录 ③、hadoop/logs,删除logs里的所有内容 ④、重新执行格式化命令:hdfs namenode -format ...
  • 在本机浏览器输入: 192.168.52.100:50070 (也就是自己的虚拟机ip加上:50070) 在本机浏览器输入:192.168.52.100:8088 (也就是自己的虚拟机ip加上:8088 ) 当然,如果虚拟机已经更改了名字,想直接用名字也是...
  • 启动hadoop小技巧

    2021-10-19 20:53:26
    注意:格式化只需要进行一次,以后启动hadoop前不需要再次格式化。 如果多次格式化点击此处 2. 启动Hadoop 2.1启动HDFS $ start-dfs.sh jps查看进程,能看到除了jps之外有三个进程出现,分别是:NameNode、DataNode...
  • Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade,DFS Used显示0(100%)  以下会列出引起该问题的常见原因,及其解决办法 1、在hadoop已经启动的前提下,...
  • Hadoop的配置文件中使用127.0.0.1作为IP时,web只能本地访问
  • Hadoop集群启动命令及相关介绍

    万次阅读 2019-06-25 10:26:30
    ---------------------------------------------------Hadoop集群第二次以后启动--------------------------------------------------------------- (1) 先在node002、node003、node0004启动zookeeper集群, 启动...
  • 一、集群1.启动/停止Hadoop集群:start-all.shstop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置,主备NameNode共享数据,方便同步3) 启动...
  • Hadoop[04]启动yarn(Hadoop2.0)
  • Hadoop3.x以后端口号从50070改到了9870 使用namenode机器的ip + 9870即可跳转

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 58,230
精华内容 23,292
关键字:

hadoop启动页面