精华内容
下载资源
问答
  • hadoop安装详细步骤
    千次阅读
    2021-11-16 15:10:32


    前言

    随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文介绍了机器学习的基础内容。


    提示:以下是本篇文章正文内容,下面案例仅供参考。

    一、Hadoop是什么?

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要解决海量数据的存储以及分析计算的问题,并且含有一个更广泛的概念——Hadoop生态圈。
    Hadoop是大数据集成技术之一的

    二、Hadoop单机版安装

    1.安装步骤

    ① Hadoop解压
    安装前已经完成主机配置以及JDK安装,这里不多详细介绍。
    咱们开始:
    首先 (Hadoop默认安装在家目录下的 /opt/module/ 没有就使用 mkdir 命令创建)
    代码如下(示例):

    [kira@hadooploca7 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
    

    等待安装完毕后检查是否解压成功

    [kira@hadooploca7 software]$ ls /opt/module/
    hadoop-3.1.3
    

    ② 环境配置
    我们老师在教我们的时候把Hadoop解压后的文件夹名从 hadoop-3.1.3 改成 hadoop 这样比较方便后续操作。
    打开 /etc/profile.d/my_env.sh 文件(如果忘记解压到哪里了使用 pwd 查询、vim命令修改不成功使用 sudo )

    [kira@hadooploca7 hadoop]$ sudo vim /etc/profile.d/my_env.sh
    

    在my_env.sh文件末尾 添加如下内容:

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    

    保存并退出 source 一下让变量生效

    [kira@hadooploca7 hadoop]$ source /etc/profile
    

    测试是否安装成功

    [kira@hadooploca7 hadoop]$ hadoop version
    Hadoop 3.1.3
    

    reboot 一下 ~

    [kira@hadooploca7 hadoop]$ sudo reboot
    

    查看Hadoop目录结构(已经使用一段时间 所以文件有增添变化)

    [kira@hadooplocal7 hadoop]$ ll
    总用量 92
    drwxr-xr-x. 2 kira kira    203 6月  15 13:52 bin
    drwxr-xr-x. 4 kira kira     37 6月  28 16:25 data
    drwxr-xr-x. 3 kira kira     20 6月  15 13:15 etc
    drwxr-xr-x. 2 kira kira    106 6月  15 13:52 include
    drwxr-xr-x. 3 kira kira     20 6月  15 13:52 lib
    drwxr-xr-x. 4 kira kira    288 6月  15 13:52 libexec
    -rw-rw-r--. 1 kira kira  23450 6月  15 13:02 LICENSE-binary
    drwxr-xr-x. 2 kira kira   4096 6月  15 13:52 licenses-binary
    -rw-rw-r--. 1 kira kira  15217 6月  15 13:02 LICENSE.txt
    drwxr-xr-x. 3 kira kira   4096 6月  28 16:35 logs
    -rw-rw-r--. 1 kira kira  29473 6月  15 13:02 NOTICE-binary
    -rw-rw-r--. 1 kira kira   1541 5月  22 00:11 NOTICE.txt
    -rw-rw-r--. 1 kira kira    175 5月  22 00:11 README.txt
    drwxr-xr-x. 3 kira kira  4096 10月  28 15:36 sbin
    drwxr-xr-x. 4 kira kira     31 6月  15 14:18 share
    

    Hadoop 重要目录:
    bin 目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本。
    etc 目录:Hadoop的配置文件目录,存放Hadoop的配置文件。
    lib 目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)。
    sbin 目录:存放启动或停止Hadoop相关服务的脚本。
    share 目录:存放Hadoop的依赖jar包、文档、和官方案例。

    2.Hadoop运行模式

    完全分布式是我们的开发重点,这篇帖子先给大家介绍如何进行单机版配置
    Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。
    ① 本地模式:单机运行,只是用来演示案例,生产环境不推荐使用。
    ② 也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境,我们用来测试,生产环境不推荐使用。
    ③ 多台服务器组成分布式环境,模拟真实生产环境推荐使用。

    3.Hadoop集群配置

    ① 集群配置
    Ⅰ. 集群规划部署
    (完全分布式按此规划,单机版跳过)
    ⅰ. ⅲNameNode和SecondaryNameNode不要安装在同一台虚拟机(服务器)。
    ⅱ. ResourceManager 也很消耗内存,不要和 NameNode 、 SecondaryNameNode 配置在同一台虚拟机(服务器)上。
    默认文件配置
    咱也不知道,咱也不敢问~ 照着做就OK呐
    #NameNode 、 ResourceManager 、 SecondaryNameNod 单机版配置在同一机器上,完全分布式需要分别配置,因为它们都比较消耗内存,分开配置可以减小竞争压力~ (土豪、大佬除外)

    Ⅱ. 配置文件说明
    Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
    ⅰ. 默认配置文件:
    [core-default.xml]
    [hdfs-default.xml]
    [yarn-default.xml]
    [mapred-default.xml]
    ⅱ. 自定义配置文件:
    core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在 /hadoop 解压包里的 /hadoop 这个路径(根据下面操作),用户可以根据项目需求重新进行修改配置。
    Ⅲ. 配置集群
    ⅰ. 核心配置文件
    [配置 .xml 文件中修改或添加]
    配置 core-site.xml
    切换到该文件路径

    [kira@hadooplocal7 ~]$ cd /opt/module/hadoop/etc/hadoop/
    

    或者

    [kira@hadooplocal7 ~]$ cd $HADOOP_HOME/etc/hadoop
    

    接下去使用 vim 命令修改该 xml 文件

    [kira@hadooplocal7 hadoop]$ vim core-site.xml
    

    修改内容如下

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
        <!-- 指定NameNode的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop102:8020</value>
        </property>
    
        <!-- 指定hadoop数据的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
    
        <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
        <property>
            <name>hadoop.http.staticuser.user</name>
            <value>atguigu</value>
        </property>
    </configuration>
    

    ⅱ. HDFS 配置文件
    配置 hdfs-site.xml
    一样的使用 vim 命令修改该 xml 文件

    [kira@hadooplocal7 hadoop]$  vim hdfs-site.xml
    

    修改内容如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    	<!-- nn web端访问地址-->
    	<property>
            <name>dfs.namenode.http-address</name>
            <value>hadoop102:9870</value>
        </property>
    	<!-- 2nn web端访问地址-->
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop104:9868</value>
        </property>
    </configuration>
    

    ⅲ. YARN 配置文件
    配置 yarn-site.xml
    一样的使用 vim 命令修改该 xml 文件

    [kira@hadooplocal7 hadoop]$  vim yarn-site.xml
    

    修改内容如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <!-- 指定MR走shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    
        <!-- 指定ResourceManager的地址-->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
        </property>
    
        <!-- 环境变量的继承 -->
        <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
    </configuration>
    

    ⅳ. MapReduce 配置文件
    配置 mapred-site.xml
    一样的使用 vim 命令修改该 xml 文件

    [kira@hadooplocal7 hadoop]$  vim mapred-site.xml
    

    修改内容如下:

    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
    	<!-- 指定MapReduce程序运行在Yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    

    Ⅳ. 检查 Hadoop 配置文件

    [kira@hadooplocal7 hadoop]$ cat core-site.xml
    [kira@hadooplocal7 hadoop]$ cat hdfs-site.xml
    [kira@hadooplocal7 hadoop]$ cat yarn-site.xml
    [kira@hadooplocal7 hadoop]$ cat mapred-site.xml
    

    检查修改后与上述文件是否一致

    ②群起集群
    Ⅰ.配置 workers

    [kira@hadooplocal7 hadoop]$ vim /opt/module/hadoop/etc/hadoop/workers
    

    在该文件中添加内容:(注意不能有空格和空行)

    hadooplocal7
    hadooplocal8
    hadooplocal9
    

    Ⅱ. 启动集群
    如果集群是第一次启动需要在 hadooplocal7 节点格式化 NameNode
    (注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)
    使用 hadoop 文件夹下 sbin 文件中命令进行
    ⅰ. 格式化 NameNode

    [kira@hadooplocal7 hadoop]$ hdfs namenode -format
    

    ⅱ. 启动 HDFS

    [kira@hadooplocal7 hadoop]$ sbin/start-dfs.sh
    

    ⅲ. 在配置了ResourceManager的节点(hadooplocal9)启动YARN

    [kira@hadooplocal7 hadoop]$ sbin/start-yarn.sh
    

    ⅳ. Web端查看 HDFS 的 NameNode(打开 CentOS 8 中的火狐浏览器)
    1、浏览器中输入:http://hadooplocal8:9870
    单机版输入:http://hadooplocal7:9870 (9870为端口号,你设置为哪个就输入哪个一般来说是8090 这里是9870)
    2、查看 HDFS 的上存储的数据信息
    ⅴ. Web端查看 YARN 的 ResourceManager(打开 CentOS 8 中的火狐浏览器)
    1、浏览器中输入:http://hadooplocal9:8088
    单机版输入:http://hadooplocal7:8088
    2、查看 YARN 上运行的Job信息

    ③配置历史服务器
    为了查看程序的历史运行情况,需要配置一下历史服务器。(单机版直接跳过)
    Ⅰ. 配置mapred-site.xml

    [kira@hadooplocal7 hadoop]$  vim mapred-site.xml
    

    ⅰ. 在文件里增添配置:

    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
    

    ⅱ. 在 hadooplocal8 启动历史服务器:

    [kira@hadooplocal7 hadoop]$ mapred --daemon start historyserver
    

    ⅲ. 查看历史服务器是否启动

    [kira@hadooplocal7 hadoop]$ jps
    

    ⅳ. 查看 JobHistory
    浏览器中输入:http://hadooplocal8:19888/jobhistory
    单机版输入:http://hadooplocal7:19888/jobhistory

    篇幅过大先不开启日志聚集功能,开启日志聚集需要重新启动 NodeManager 、 ResourceManage 和 HistoryServer

    ④ 集群启动 / 停止方式总结
    Ⅰ. 各个模块分开启动 / 停止(配置ssh免密为前提,不知道怎么配置ssh可以问度娘)
    ⅰ. 启动 / 停止 HDFS (使用 hadoop 文件夹中 sbin 文件下的命令)

    [kira@hadooplocal7 hadoop]$ start-hdfs.sh
    [kira@hadooplocal7 hadoop]$ stop-hdfs.sh
    

    ⅱ. 启动 / 停止 YARN (使用 hadoop 文件夹中 sbin 文件下的命令)

    [kira@hadooplocal7 hadoop]$ start-yarn.sh
    [kira@hadooplocal7 hadoop]$ stop-yarn.sh
    

    Ⅱ. 各个服务组件逐一启动 / 停止
    ⅰ. 分别启动 / 停止 HDFS 组件

    [kira@hadooplocal7 hadoop]$ hdfs --daemon start namenode/datanode/secondarynamenode
    [kira@hadooplocal7 hadoop]$ hdfs --daemon stop namenode/datanode/secondarynamenode
    

    ⅱ. 启动 / 停止 YARN

    [kira@hadooplocal7 hadoop]$ yarn --daemon start  resourcemanager/nodemanager
    [kira@hadooplocal7 hadoop]$ yarn --daemon stop resourcemanager/nodemanager
    

    Ⅲ. 启动 / 停止整体服务(使用 hadoop 文件夹中 sbin 文件下的命令)

    [kira@hadooplocal7 hadoop]$ start-all.sh
    [kira@hadooplocal7 hadoop]$ stop-all.sh
    

    三、总结

    这里对文章进行总结:
    如果要完成完全分布式集群还需要在克隆另外两台虚拟机并安装配置Hadoop 、集群时间同步等操作,我们可以编写一些集群脚本控制集群启动 / 停止、分发文件等,使用 rsync 进行分发文件,效率更快~
    还有安装Hadoop之前的主机IP配置及JDK安装还有ssh免密登录等参考这儿~
    Hadoop环境搭建

    文章不一定严谨,欢迎大佬指导!

    最后祝大家学习愉快~

    更多相关内容
  • windows环境下安装hadoop-2.8.3的详细步骤,包括调用自带的CountWord。
  • Hadoop2.0安装详细步骤

    2018-10-11 14:54:21
    本文是详细Hadoop2.0安装方法步骤
  • 很棒棒的hadoop安装配置步骤超级详细,只要有手并且认识字就能学会
  • 本篇文章主要介绍了Linux中安装配置hadoop集群详细步骤,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。
  • Hadoop 安装详细步骤

    千次阅读 2022-04-03 10:35:06
    下载 hadoop 安装包至安装目录 安装目录:/opt hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz 解压安装包至软件目录(最好更名,以便之后方便配置文件) tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz mv hadoop-2.6.0-...

    前期操作

    1. 下载 hadoop 安装包至安装目录
      安装目录:/opt
      hadoop版本:hadoop-2.6.0-cdh5.14.2.tar.gz
      在这里插入图片描述

    2. 解压安装包至软件目录(最好更名,以便之后方便配置文件)

      tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz
      mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260

    在这里插入图片描述

    1. 进入文件,准备配置
      因为需要用到 java 的路径,可以代码查找,并复制至剪贴板备用

      cd /opt/soft/hadoop260/etc/hadoop
      echo $JAVA_HOME

    在这里插入图片描述

    修改配置文件

    注:注意修改路径和IP地址之类的变更项

    1. 配置 jdk 路径
      #更换 JAVA_HOME 的路径

      vi hadoop-env.sh

      export JAVA_HOME=/opt/soft/jdk180

    2. 修改核心配置文件
      设置默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样
      创建临时存储文件路径
      授权访问用户为所有 root 型
      授权访问用户为任意组的 root 型

      vi core-site.xml

      fs.defaultFS hdfs://192.168.56.101:9000 hadoop.tmp.dir /opt/soft/hadoop260/tmp hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups *
    3. 设置文件副本个数
      这里:最少3个伪分布只写1个,我只用一台机子模拟

      vi hdfs-site.xml

      dfs.replication 1
    4. 设置映射化简模型框架
      这里需要复制 mapred-site.xml.template 临时文件,并在复制后的文件中配置(注意命名)
      设置框架为 yarn

      cp mapred-site.xml.template mapred-site.xml

      vi mapred-site.xml

      mapreduce.framework.name yarn
    5. 设置 yarn 站点+节点
      设置 yarn 站点名称为:localhost
      设置辅助节点管理

      vi yarn-site.xml

      yarn.resourcemanager.localhost localhost yarn.nodemanager.aux-services mapreduce_shuffle
    6. 添加环境变量的相关项

      vi /etc/profile
      #末行添加配置项
      export HADOOP_HOME=/opt/soft/hadoop260
      export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOOPHOMEexportHADOOPCOMMONHOME=HADOOP_HOME
      export HADOOP_HDFS_HOME= H A D O O P H O M E e x p o r t Y A R N H O M E = HADOOP_HOME export YARN_HOME= HADOOPHOMEexportYARNHOME=HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR= H A D O O P H O M E / l i b / n a t i v e e x p o r t P A T H = HADOOP_HOME/lib/native export PATH= HADOOPHOME/lib/nativeexportPATH=PATH: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPHOME/sbin:HADOOP_HOME/bin
      export HADOOP_INSTALL=$HADOOP_HOME

    启动调试是否配置成功

    1. 加载环境变量配置文件

      source /etc/profile

    2. 格式化 NameNode

      hadoop namenode -format

    3. 启动 Hadoop

      start-all.sh

    4. 检验启动是否成功
      后台进程应该有相关的5项
      在这里插入图片描述
      网页键入 192.168.56.101:50070 页面显示为:
      在这里插入图片描述
      检验成功,即安装成功,祝大家好运,谢谢!!!

    展开全文
  • 大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装
  • 【Linux】安装hadoop详细步骤

    千次阅读 2022-04-01 20:03:46
    安装JDK 本人的有道原文贴 本人的有道原文贴https://note.youdao.com/s/QXu3e5cW 1.查看安装后的镜像中是否存在Java java -version openjdk version "1.8.0_181" OpenJDK Runtime Environment (build 1.8.0_181-b13...

    一.安装JDK

    本人的有道原文贴 本人的有道原文贴https://note.youdao.com/s/QXu3e5cW

    1.查看安装后的镜像中是否存在Java

    java -version
    
    openjdk version "1.8.0_181"
    OpenJDK Runtime Environment (build 1.8.0_181-b13)
    OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
    

    如果有并且版本前是OpenJDK的话需要卸载,安装Oracle JDK

    1.1.卸载OpenJDK

    rpm -e --nodeps java-1.8.0-openjdk
    rpm -e --nodeps javapackages-tools
    rpm -e --nodeps java-1.8.0-openjdk-headless
    rpm -e --nodeps tzdata-java
    

    2.安装jdk

    mkdir -p /export/server     //创建jdk的安装目录
    

    2.1上传jdk,这里选用的是jdk-8u291版本的,一般jdk版本在1.8以上即可

    yum -y install lrzsz    //从Windows上拖动文件到Linux的插件
    

    这里在xshell里先进入jdk的安装目录 /export/server ,再进行文件拖动
    在这里插入图片描述

    2.2解压文件

    tar -zxvf jdk-8u291-linux-x64.tar.gz 
    

    2.3配置JDK环境变量

    vim /etc/profile
    
    //文件末尾加上
    export JAVA_HOME=/export/server/jdk1.8.0_291
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    
    //更新环境变量的配置文
     source /etc/profile
    

    2.4检验Java是否配置成功

    java -version
    
    //显示以下内容成功
    java version "1.8.0_291"
    Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
    Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)
    

    二.安装hadoop

    上传Hadoop安装包,同上面上传JDK一样的操作 也是放在 /export/server 目录下

    1.解压Hadoop安装包,并设置环境

    tar -zxvf hadoop-2.7.4.tar.gz   //解压
    
    vim /etc/profile  //修改环境
    
    //文件末尾加上
    export HADOOP_HOME=/export/server/hadoop-2.7.4
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    

    //更新环境变量的配置文

     source /etc/profile
    

    //检查安装,出现下面内容表示成功

    hadoop version   
    

    Hadoop 2.7.4
    Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r cd915e1e8d9d0131462a0b7301586c175728a282
    Compiled by kshvachk on 2017-08-01T00:29Z
    Compiled with protoc 2.5.0
    From source with checksum 50b0468318b4ce9bd24dc467b7ce1148
    This command was run using /export/server/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

    2.修改配置文件

    cd /export/server/hadoop-2.7.4/etc/hadoop/     //进入配置文件目录
    ll  //查看文件
    
    //检查是否有下列配置文件,没有则安装错误
    -rw-r--r--. 1 20415 101  4436 81 2017 capacity-scheduler.xml
    -rw-r--r--. 1 20415 101  1335 81 2017 configuration.xsl
    -rw-r--r--. 1 20415 101   318 81 2017 container-executor.cfg
    -rw-r--r--. 1 20415 101   774 81 2017 core-site.xml
    -rw-r--r--. 1 20415 101  3670 81 2017 hadoop-env.cmd
    -rw-r--r--. 1 20415 101  4224 81 2017 hadoop-env.sh
    -rw-r--r--. 1 20415 101  2598 81 2017 hadoop-metrics2.properties
    -rw-r--r--. 1 20415 101  2490 81 2017 hadoop-metrics.properties
    -rw-r--r--. 1 20415 101  9683 81 2017 hadoop-policy.xml
    -rw-r--r--. 1 20415 101   775 81 2017 hdfs-site.xml
    -rw-r--r--. 1 20415 101  1449 81 2017 httpfs-env.sh
    -rw-r--r--. 1 20415 101  1657 81 2017 httpfs-log4j.properties
    -rw-r--r--. 1 20415 101    21 81 2017 httpfs-signature.secret
    -rw-r--r--. 1 20415 101   620 81 2017 httpfs-site.xml
    -rw-r--r--. 1 20415 101  3518 81 2017 kms-acls.xml
    -rw-r--r--. 1 20415 101  1527 81 2017 kms-env.sh
    -rw-r--r--. 1 20415 101  1631 81 2017 kms-log4j.properties
    -rw-r--r--. 1 20415 101  5540 81 2017 kms-site.xml
    -rw-r--r--. 1 20415 101 11237 81 2017 log4j.properties
    -rw-r--r--. 1 20415 101   951 81 2017 mapred-env.cmd
    -rw-r--r--. 1 20415 101  1383 81 2017 mapred-env.sh
    -rw-r--r--. 1 20415 101  4113 81 2017 mapred-queues.xml.template
    -rw-r--r--. 1 20415 101   758 81 2017 mapred-site.xml.template
    -rw-r--r--. 1 20415 101    10 81 2017 slaves
    -rw-r--r--. 1 20415 101  2316 81 2017 ssl-client.xml.example
    -rw-r--r--. 1 20415 101  2697 81 2017 ssl-server.xml.example
    -rw-r--r--. 1 20415 101  2250 81 2017 yarn-env.cmd
    -rw-r--r--. 1 20415 101  4567 81 2017 yarn-env.sh
    -rw-r--r--. 1 20415 101   690 81 2017 yarn-site.xml
    
    

    2.1修改 hadoop-env.sh 文件

    vim hadoop-env.sh
    

    修改以下位置
    在这里插入图片描述

    2.2修改 core-site.xml 文件

    注意:hdfs://hadoop1:9000 hadoop1是主机名,自己安装配置的时候要写自己Linux上的主机名。

    hostname     //查看自己的主机名
    hostnamectl set-hostname 新主机名   //永久修改马上生效(显示时可能不是最新的但其实已经更新了)
    
    vim core-site.xml
    

    //加入以下内容,configuration标签不用重复写

    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://hadoop1:9000</value>
            </property>
            
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/export/server/hadoop-2.7.4/tmp</value>
            </property>
    </configuration>
    

    2.3修改 hdfs-site.xml 文件

    vim hdfs-site.xml
    

    //加入以下内容,configuration标签不用重复写

    <configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>
    

    3.初始化文件系统

    3.1.初始化名称节点

    hdfs namenode -format
    

    最后几行中看见红框内容说明成功了
    在这里插入图片描述

    3.2.文件系统初始化成功,启动hdfs

    start-dfs.sh
    

    这里会有三次确定与三次输入密码,密码时登录Linux的密码

    3.3启动之后,通过 jps 指令查询所有的java进程

    jps
    
    //有以下内容说明启动成功
    70164 SecondaryNameNode
    69526 NameNode
    69883 DataNode
    71691 Jps
    

    3.4访问页面

    如果你的Linux系统装有图形化界面就打开自带的浏览器输入 http://hadoop1:50070 进行访问 会出现下面的界面
    如果你的Linux系统没有图形化界面,则先放行端口,再去window上 访问 http://虚拟机ip:50070 进行访问

    展开全文
  • Hadoop分布式安装详细步骤

    千次阅读 2021-05-30 00:24:12
    一、先决条件 1. 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的...ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。 3.安装所需环境软件

    一、先决条件

    1. 支持平台

    GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
    Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。

    2. 所需软件

    Linux所需软件包括:

    JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。
    ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。

    3.安装所需环境软件

    如果你的集群尚未安装所需软件,你得首先安装它们。
    Linux 安装jdk

    二、虚拟机相关配置

    1.配置虚拟机启用网卡, 并设置固定IP地址

    参考这篇文章

    2. 关闭防火墙

    # 查看防火墙状态
    firewall-cmd --state
    
    # 停止防火墙
    systemctl stop firewalld.service
    
    # 禁止firewall开机启动
    systemctl disable firewalld.service 
    

    3. 时间同步

    1. 安装 ntp命令: yum install ntp -y
    2. 将ntp设置为缺省启动:systemctl enable ntpd
    3. 启动ntp服务:service ntpd restart
    4. 将系统时区改为上海时间(即CST时区):ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
    5. 同步时间 ntpdate -u ntp1.aliyun.com
    6. 输入date命令查看时间是否正确

    4. 配置 hosts文件

    1. centos 7中的 /etc/hosts
    192.168.42.31 node1
    192.168.42.32 node2
    192.168.42.33 node3
    192.168.42.34 node4
    
    1. windows 中的 C:\Windows\System32\drivers\etc\hosts
    192.168.42.31 node1
    192.168.42.32 node2
    192.168.42.33 node3
    192.168.42.34 node4
    

    5. 克隆虚拟机镜像(需要几个克隆几个)

    如图所示
    在这里插入图片描述

    1. 配置虚拟机启用网卡, 并设置固定IP地址(有几台重复几台 注意固定IP 不要相同)
    vim /etc/sysconfig/network-scripts/ifcfg-ens32
    # 没有vim可以使用vi 或者安装vim
    yum -y install vim
    
    BOOTPROTO=static        #开机协议,有dhcp及static;
    ONBOOT=yes              #设置为开机启动;
    DNS1=114.114.114.114    #这个是国内的DNS地址,是固定的;
    IPADDR=192.168.42.100      #你想要设置的固定IP,理论上192.168.42.2-255之间都可以,请自行验证;
    NETMASK=255.255.255.0   #子网掩码,不需要修改;
    GATEWAY=192.168.42.2     #网关,这里是你在“2.配置虚拟机的NAT模式具体地址参数”中的(2)选择VMnet8--取消勾选使用本地DHCP--设置子网IP--网关IP设置。
    

    在这里插入图片描述

    1. 修改主机名 vi /etc/hostname

    2. reboot 重启系统

    3. 检验配置是否成功
      (1)查看修改后的固定IP为192.168.42.100,配置正确;
      在这里插入图片描述
      (2)测试虚拟机中的CentOS 7系统是否能连外网,有数据返回,说明可以连接外网;
      ping www.baidu.com
      在这里插入图片描述
      (3)测试本机是否能ping通虚拟机的固定IP,有数据返回,说明可以使用终端工具正常连接;
      打开命令操作界面:
      ping 192.168.42.100
      在这里插入图片描述

    6. 免密钥设置

    #1 生成自己的密钥:
    ssh-keygen -t rsa -P '' -f    ~/.ssh/id_rsa
    #2 将自己的密钥加入到自己的受信列表:
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    # 3为受信列表赋权:
    chmod 0600 ~/.ssh/authorized_keys
    # 4将本机的公钥发给其他用户:
    scp ~/.ssh/id_rsa.pub     node2:/tmp/ #这里的node2是主机映射域名 没有设置host 请改为ip
    

    在这里插入图片描述
    在这里插入图片描述
    验证是否可以免密登录
    在这里插入图片描述
    最起码可以做到主机可以免密登录其他机器 这里node1为主机
    小结: 经过以上步骤, node1可以免密登录node2,node3, node4了.

    三、hadoop安装及配置

    下载地址 本文使用2.7.1版本
    微云
    官网

    1. 上传hadoop2.7.1到node1的/king下解压(安装路径可以按自己的来)

    tar -xzvf hadoop-2.7.1
    mv hadoop-2.7.1 hadoop
    

    在这里插入图片描述

    2. 将hadoop位置加入环境变量

    vim /etc/profile
    
    HADOOP_HOME=/king/hadoop
    PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export PATH HADOOP_HOME
    
    source /etc/profile
    

    在这里插入图片描述
    验证是否成功

    hdfs
    

    在这里插入图片描述

    3. hadoop/etc/hadoop/hadoop-env.sh中的 JAVA_HOME

    vim /king/hadoop/etc/hadoop/hadoop-env.sh
    

    在这里插入图片描述

    4. hadoop/etc/hadoop/core-site.xml

    注意这个 hadoopdata目录不存在,由hadoop生成

    vim /king/hadoop/etc/hadoop/core-site.xml
    <property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://node1:9000/</value> 
     </property> 
    <property> 
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoopdata</value> 
    </property> 
    

    在这里插入图片描述

    5. hadoop/etc/hadoop/hdfs-site.xml

    vim /king/hadoop/etc/hadoop/hdfs-site.xml
    
     <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
     <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node2:50090</value>
       </property>
    

    在这里插入图片描述

    6. hadoop/etc/hadoop/slaves 中 指定 三台 DN

    vim /king/hadoop/etc/hadoop/slaves
    
    node2
    node3
    node4
    

    在这里插入图片描述

    7. 手动创建masters文件, 指定 SNN

    vim /king/hadoop/etc/hadoop/masters
    
    node2
    

    在这里插入图片描述

    8. 同步配置文件到其它节点

    scp -r hadoop/    node2:/king/
    scp -r hadoop/    node3:/king/
    scp -r hadoop/    node4:/king/
    

    9. 格式化 NN hdfs namenode -format

    在这里插入图片描述

    10启动dfs服务

     start-dfs.sh
    

    在这里插入图片描述

    11. 测试

    1. namenode查看 http://node1:50070/
      在这里插入图片描述
      在这里插入图片描述

    2. SNN查看 http://node2:50090/
      在这里插入图片描述

    3. 创建文件夹

    hadoop dfs -mkdir /hello_hadoop
    

    四、 idea插件连接

    1. 下载idea插件 Big Data Tools

    在这里插入图片描述

    2. 配置连接

    像这样直接连接会有错误
    在这里插入图片描述
    报错如下

    On Windows you should have HADOOP_HOME environment variable defined or Java property hadoop.home.dir. Please, refer to Hadoop Wiki for more details

    需要下载
    微云
    github
    选择自己安装的hadoop版本对应的文件夹,解压然后配置环境

    HADOOP_HOME
    在这里插入图片描述
    PATH
    在这里插入图片描述
    然后连接就会成功
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • Hadoop安装教程,很详细

    千次阅读 2021-12-12 08:08:28
    jdk的安装Hadoop的分布式安装安装步骤简单,还有一些常见错误的讲解,安装过程有什么问题随时联系小编
  • Windows环境下hadoop安装和配置详细步骤 一、下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common (我下载的版本是hadoop-2.7.3.tar.gz,这里就以此版本为例) 下载完成后解压,把hadoop-2.7.3放到某个...
  • hadoop单机的详细安装步骤-MobaXterm

    千次阅读 2022-04-12 18:04:36
    ----------------------------------------------------安装 hadoop 单机 -------------------------------------------- ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★...
  • ubuntu安装hadoop详细步骤

    千次阅读 2017-04-22 17:05:00
    原文 http://blog.csdn.net/feixia586/article/details/24950111 hadoop官方网站对其安装配置hadoop步骤太粗略,在这篇博客中,我会详细介绍在ubuntu中如何安装hadoop,...
  • 参考 ...1.首先下载hadoop2.7.1和hadooponwindows-master.zip 链接:https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw 提取码:acif 下载并解压到本地 我是放到了的D盘 2.原版的Hadoop不支持Win.
  • CentOs7下安装Hadoop详细步骤

    千次阅读 2021-12-07 14:48:44
    一、安装虚拟机 版本(CentOS7) 二、修改主机名(当前虚拟机的主机名) 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname (1)一定要在vi的命令模式下(在编辑模式下按esc键) :wq #保存退出 :wq! #...
  • 这是我在centos7上安装hadoop单机版,和spark单机版的详细步骤,全是我自己确定能用才写好的笔记,还有一些centos7的操作,如NFS共享文件,ssh无秘登陆的详细步骤,全都做好了详细的笔记,且保证能用的。
  • 史上最详细hadoop安装教程

    万次阅读 2021-08-23 21:51:04
    一、引言 ...Hadoop(3.1.1) Ubuntu Linux(64位系统) 二、安装ssh服务 ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装: sudo apt-get install ssh openssh-server ..
  • CentOS下安装hadoop-2.8.3详细步骤,包括如何调用原生CountWord并输出
  • 详细介绍采用vmware虚拟机安装 hadoop系统的过程, 为学习hadoop创造一个良好的环境
  • Hadoop集群安装详细步骤,Hadoop集群安装详细步骤
  • Hadoop虚拟机安装详细

    千次阅读 2021-03-14 19:41:56
    二、Hadoop虚拟机安装步骤 1.创建一个新的虚拟机 2.选择使用的使用类型 3.选择稍后安装 4.选择我们的操作系统:CentOS 64位 5.命名一个虚拟机名称,如:hadoop1。(注:位置不放在C盘) 6.选择磁盘大小,选择...
  • 新建虚拟机Ubuntu并安装Hadoop步骤

    千次阅读 2019-11-28 16:28:02
    新建虚拟机Ubuntu并安装Hadoop步骤 (初学Hadoop可能会要多次重新安装虚拟机,所有写下来方便自己) 新建虚拟机,自定义安装,双处理机双内核,如果经常使用,尽可能给多的磁盘空间 软件包software update立即同意...
  • hadoop安装和配置步骤

    千次阅读 2021-03-13 20:20:17
    本次安装是建立在之前安装完jdk以及mysql的基础上,如果其他朋友们想了解的可以查看下之前的安装步骤,这里是传送门 本次安装使用MobaXterm 辅助工具,先把对应的hadoop压缩包上传到 root/software文件夹内备用 1、...
  • Linux安装Hadoop详细教程

    千次阅读 2022-04-20 11:17:39
    Hadoop(3.1.1) Ubuntu Linux(64位系统) 二、安装ssh服务 ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装: sudo apt-get install ssh openssh-server 然后设置ssh免密码登陆
  • hadoop安装(超详细

    千次阅读 2022-01-17 21:28:17
    完整搭建Hadoop-2.6.5的分布式集群,本文搭建了一个主节点和两个从节点。
  • windows安装hadoop流程

    千次阅读 2022-02-23 14:06:46
    在windows中安装hadoop其实很简单,下面我们一起来看一下 首先我们要下载一个hadoop的压缩包, hadoop-3.2.2 这是hadoop的官网下载地址,也可以自行选择其他版本 下载完成之后,解压到本地的文件夹中 这里,因为...
  • 安装doc文档说明希望对大家有用,本人也是按照文档自学的
  • 详细虚拟机hadoop集群环境安装步骤

    千次阅读 2016-11-17 11:25:22
    要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。...
  • Hadoop安装与配置详细教程

    万次阅读 多人点赞 2019-04-27 17:50:42
    【确保服务器集群安装和配置已经完成!】 前言 请根据读者的自身情况,进行相应随机应变。 我的三台CentOS7服务器: 主机:master(192.168.56.110) 从机:slave0(192.168.56.111) 从机:slave1(192.168.56.112...
  • 虚拟机Hadoop安装

    千次阅读 2020-08-16 22:41:06
    虚拟机Hadoop单机安装 1、将所需要的hadoop安装包导入root用户的/etc/install/hadoop目录下,其中install和hadoop为自己新建的目录 2、将hadoop-2.6.0-cdh5.14.2.tar.gz解压到/etc/bigdata/hadoop目录下,并且...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 90,099
精华内容 36,039
关键字:

hadoop安装详细步骤