hadoop_hadoop菜鸟教程 - CSDN
hadoop 订阅
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算 [1]  。 展开全文
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算 [1]  。
信息
中文名
海杜普
学    科
信息科学
全    称
Hadoop Distributed File System
核心设计
HDFS和MapReduce
外文名
Hadoop
类    别
电脑程序
Hadoop起源
Hadoop起源于Apache Nutch项目,始于2002年,是Apache Lucene的子项目之一 [2]  。2004年,Google在“操作系统设计与实现”(Operating System Design and Implementation,OSDI)会议上公开发表了题为MapReduce:Simplified Data Processing on Large Clusters(Mapreduce:简化大规模集群上的数据处理)的论文之后,受到启发的Doug Cutting等人开始尝试实现MapReduce计算框架,并将它与NDFS(Nutch Distributed File System)结合,用以支持Nutch引擎的主要算法 [2]  。由于NDFS和MapReduce在Nutch引擎中有着良好的应用,所以它们于2006年2月被分离出来,成为一套完整而独立的软件,并被命名为Hadoop。到了2008年年初,hadoop已成为Apache的顶级项目,包含众多子项目,被应用到包括Yahoo在内的很多互联网公司 [2]  。
收起全文
  • Hadoop从入门到精通

    2019-04-17 10:59:10
    本门课程总体分为初始HadoopHadoop深入及Hadoop高级三大阶段。由浅入深地讲解了Hadoop三大模块:HDFS、YARN及     MapReduce。 课程内容:    &...
  • python hadoop与spark教程

    2019-12-25 10:22:12
    本节为python hadoop与spark教程,主要讲解hadoop与spark的应用。
  • Hadoop分布式文件系统(HDFS)和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别...
  • Hadoop基本介绍

    2018-01-10 09:11:57
    1、Hadoop的整体框架  Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行...

    1、Hadoop的整体框架 
    Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。

    这里写图片描述

    (1)Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口; 
    (2)Hive是基于Hadoop的一个工具,提供完整的SQL查询,可以将sql语句转换为MapReduce任务进行运行; 
    (3)ZooKeeper:高效的,可拓展的协调系统,存储和协调关键共享状态; 
    (4)HBase是一个开源的,基于列存储模型的分布式数据库; 
    (5)HDFS是一个分布式文件系统,有着高容错性的特点,适合那些超大数据集的应用程序; 
    (6)MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。 
    下图是一个典型的Hadoop集群的部署结构: 
    这里写图片描述

    接着给出Hadoop各组件依赖共存关系: 
    这里写图片描述

    2、Hadoop的核心设计 
    这里写图片描述

    (1)HDFS 
    HDFS是一个高度容错性的分布式文件系统,可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据,这大大提高了整个系统的数据吞吐量,因而非常适合用于具有超大数据集的应用程序中。 
    HDFS的架构如图所示。HDFS架构采用主从架构(master/slave)。一个典型的HDFS集群包含一个NameNode节点和多个DataNode节点。NameNode节点负责整个HDFS文件系统中的文件的元数据的保管和管理,集群中通常只有一台机器上运行NameNode实例,DataNode节点保存文件中的数据,集群中的机器分别运行一个DataNode实例。在HDFS中,NameNode节点被称为名称节点,DataNode节点被称为数据节点。DataNode节点通过心跳机制与NameNode节点进行定时的通信。 
    这里写图片描述 
    •NameNode 
    可以看作是分布式文件系统中的管理者,存储文件系统的meta-data,主要负责管理文件系统的命名空间,集群配置信息,存储块的复制。

    •DataNode 
    是文件存储的基本单元。它存储文件块在本地文件系统中,保存了文件块的meta-data,同时周期性的发送所有存在的文件块的报告给NameNode。

    •Client 
    就是需要获取分布式文件系统文件的应用程序。

    以下来说明HDFS如何进行文件的读写操作: 
    这里写图片描述

    文件写入: 
    1. Client向NameNode发起文件写入的请求 
    2. NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。 
    3. Client将文件划分为多个文件块,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

    这里写图片描述

    文件读取: 
    1. Client向NameNode发起文件读取的请求 
    2. NameNode返回文件存储的DataNode的信息。 
    3. Client读取文件信息。

    (2)MapReduce

    MapReduce是一种编程模型,用于大规模数据集的并行运算。Map(映射)和Reduce(化简),采用分而治之思想,先把任务分发到集群多个节点上,并行计算,然后再把计算结果合并,从而得到最终计算结果。多节点计算,所涉及的任务调度、负载均衡、容错处理等,都由MapReduce框架完成,不需要编程人员关心这些内容。 
    下图是MapReduce的处理过程:

    这里写图片描述

     用户提交任务给JobTracer,JobTracer把对应的用户程序中的Map操作和Reduce操作映射至TaskTracer节点中;输入模块负责把输入数据分成小数据块,然后把它们传给Map节点;Map节点得到每一个key/value对,处理后产生一个或多个key/value对,然后写入文件;Reduce节点获取临时文件中的数据,对带有相同key的数据进行迭代计算,然后把终结果写入文件。

     如果这样解释还是太抽象,可以通过下面一个具体的处理过程来理解:(WordCount实例) 
     这里写图片描述

    Hadoop的核心是MapReduce,而MapReduce的核心又在于map和reduce函数。它们是交给用户实现的,这两个函数定义了任务本身。

    map函数:接受一个键值对(key-value pair)(例如上图中的Splitting结果),产生一组中间键值对(例如上图中Mapping后的结果)。Map/Reduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。 
    reduce函数:接受一个键,以及相关的一组值(例如上图中Shuffling后的结果),将这组值进行合并产生一组规模更小的值(通常只有一个或零个值)(例如上图中Reduce后的结果)

    但是,Map/Reduce并不是万能的,适用于Map/Reduce计算有先提条件: 
    (1)待处理的数据集可以分解成许多小的数据集; 
    (2)而且每一个小数据集都可以完全并行地进行处理; 
    若不满足以上两条中的任意一条,则不适合适用Map/Reduce模式。

    展开全文
  • hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 在这里我还是要推荐下我自己建的...

     hadoop是什么?Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。

    在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
     

     

      Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算.

     

      大数据在Hadoop处理的流程可以参照下面简单的图来进行理解:数据是通过了Hadoop的集群处理后得到的结果。


    \

     

      HDFS:Hadoop Distributed File System,Hadoop的分布式文件系统.

     

      大文件被分成默认64M一块的数据块分布存储在集群机器中.如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中.


    \


      MapReduce:Hadoop为每一个input split创建一个task调用Map计算,在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出,保存在HDFS上.


    \


      Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成.如下图所示:


    \


      NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点.NameNode同时保存了文件系统运行的状态信息. DataNode中存储的是被拆分的blocks.Secondary NameNode帮助NameNode收集文件系统运行的状态信息.JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker.TaskTracker负责某一个map或者reduce任务.

    展开全文
  • Hadoop

    2019-10-14 20:48:54
    Hadoop简介 Hadoop 的思想之源:Google 第一遇到大数据计算问题的公司 Openstack :NASA 面对的数据和计算难题 - 大量的网页怎么存储 - 搜索算法 带给我们的关键技术和思想(Google三大理论) - GFS 文件存储 - Map-...

    Hadoop简介

    Hadoop 的思想之源:Google 第一遇到大数据计算问题的公司
    Openstack :NASA

    面对的数据和计算难题
    - 大量的网页怎么存储
    - 搜索算法
    带给我们的关键技术和思想(Google三大理论)
    - GFS 文件存储
    - Map-Reduce 计算
    - Bigtable

    创始人:Doug cutting

    Hadoop简介:http://hadoop.apache.org
    分布式存储系统HDFS (Hadoop Distributed File System )POSIX
     	分布式存储系统
     	提供了 高可靠性、高扩展性和高吞吐率的数据存储服务
    分布式计算框架MapReduce
    	分布式计算框架(计算向数据移动)
    	具有 易于编程、高容错性和高扩展性等优点。
    分布式资源管理框架YARN(Yet Another Resource Management)
    	负责集群资源的管理和调度
    	
    版本:1.x,2.x,3.x
    

    Hadoop 分布式文件系统HDFS

    存储模型:字节
    文件线性切割成块(Block):偏移量 offset (byte, 中文)
    block分散存储存储在集群节点中
    单一文件Block大小一致,文件与文件可以不一致
    Block可以设置副本数,副本无序分散在不同节点中(默认是3个)
    副本数不要超过节点数量
    文件上传可以设置Block大小和副本数(资源不够开辟的进程)
    已上传的文件Block副本数可以调整,大小不变
    2.x 128MB Block 默认Block为128M,可以人为设置,最小1M,
    只支持一次写入多次读取,同一时刻只有一个写入者
    可以append追加数据

    架构模型 主从模型

    文件元数据MetaData, 文件数据
    元数据:metedata size offset
    主节点负责管理元数据
    从节点负责处理具体的文件数据,即块文件
    NameNode 主节点保存文件元数据:单节点posix
    DataNode 从节点保存文件Block数,多数据
    DataNode 与NameNode1报错心跳, DataNode向NameNode提交Block列表
    HdfsClient与NameNode交互元数据信息
    HdfsClient与DataNode交互文件Block数据(cs架构)
    DataNode利用服务器本地文件系统存储数据块

    Hadoop架构
    在这里插入图片描述
    在这里插入图片描述

    内存存储持久化

    NameNode(NN)

    基于内存存储:不会和磁盘发生交换(双向)
    - 值存在内存中
    - 持久化 单向 => 写入磁盘

    NameNode主要功能:
    - 接受客户端的读写服务
    - 收集DataNode汇报的Block列表信息

    NameNode保存metadata信息包括
    - 文件owership和 permissions
    - 文件大小,时间
    - (Block列表:Block偏移量), 位置信息(持久化不存)
    - Block每个副本位置(有DataNode上报)

    NameNode持久化的两种方式 fsimage 和 edits

    fsimage 写入磁盘时慢,从磁盘恢复到内存中快
    - NameNode的metadata信息在启动后会加载到内存中
    - 磁盘镜像快照 内存—》序列化 — 》 二进制文件
    - metadata 存储到磁盘文件名 “fsimage”(时点备份 )
    - 从二进制文件反序列化成对象恢复到内存中
    - Block的位置信息不回保存到fsimage

    edits 写入磁盘时快,从磁盘恢复时慢
    - edits记录对metadata的操作日志 .存储所有操作记录
    - 按照操作记录重新执行一遍从而变成内存中数据

    所以二者需要结合使用
    在系统第一次搭建完成后此时还没有跑起来时会格式化, 就会产生第一 fsimage 文件, 空的fsimage文件,启动hadoop时读取空的fsimage文件时会产生一个空的edits_log文件,此时edits和fsimage会进行合并生成一个新的fsimage文件,以后不管重启多少次fsimage文件将不会再改变,只是对edits文件增长,但是不能任由edits文件增长,此时需要在达到一定条件后再对edits和fsimage文件做合并,生成新的fsimage,充分发挥两者优势

    此时需要SecondaryNameNode(SNN) Hadoop1.0
    它不是NN的备份(但可以做备份), 它的主要工作就是帮助NN合并editslog,减少NN启动时间
    SNN执行合并时机:
    - 根据配置文件设置的时间间隔fs.checkpoint.period 默认是3600s
    - 根据配置文件设置editslog的大小,fs.checkpoint.size 规定edits文件的最大值, 默认是64MB

    在这里插入图片描述

    DataNode(DN)
    - 本地磁盘目录存储数据(Block),文件形式
    - 同时存储Block的元数据信息文件(此处的元数据是指存储数据Block的md5值,确保文件的正确性完整性,如果不正确,则去另外的DN去寻找这个文件的备份)
    - 启动DN时回想NN汇报block信息
    - 通过向NN发送心跳保持与其联系(3s一次),如果NN10分钟没有收到DN的心跳,则认为其已经lost, 并copy其上的block到其他DN上,恢复到默认的副本数
    为啥是10分钟?
    DN数据较大,给10分钟有可能进行恢复工作,避免进行频繁的拷贝

    HDFS优点

    • 高容错性
      • 数据自动保存
      • 副本丢失后,自动恢复
    • 适合批处理
      • 移动计算而非数据
      • 数据位置暴露给计算框架(Block偏移量)
    • 适合大数据处理
      • GB,TB,甚至PB级数据
      • 百万规模以上的文件数量
      • 10K+节点
    • 可构建在廉价机器上
      • 通过多副本提高可靠性
      • 提供了容错和恢复机制

    HDFS缺点

    • 低延迟数据访问
      • 比如毫秒级
      • 低延迟与高吞吐率
    • 小文件存取
      • 占用NameNode大量内存
      • 寻道时间超过读取时间
    • 并发写入,文件随机修改
      • 一个文件只能有一个写者
      • 仅支持append

    Block的副本放置策略

    在这里插入图片描述

    第一个副本:放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点。
    第二个副本:放置在于第一个副本不同的 机架的节点上。
    第三个副本:与第二个副本相同机架的其他节点。
    更多副本:随机节点

    HDFS写流程
    在这里插入图片描述
    HDFS写流程

    • Client:
      • 切分文件Block
      • 按Block线性和NN获取DN列表(副本数)
      • 验证DN列表后以更小的单位流式传输数据
        - 各节点,两两通信确定可用
      • Block传输结束后:
        - DN向NN汇报Block信息
        - DN向Client汇报完成
        - Client向NN汇报完成
      • 获取下一个Block存放的DN列表
        。。。。。。
      • 最终Client汇报完成
      • NN会在写流程更新文件状态

    读流程
    在这里插入图片描述
    HDFS读流程

    • Client:
      • 和NN获取一部分Block副本位置列表
        线性和DN获取Block,最终合并为一个文件
        在Block副本列表中按距离择优选取
        MD5验证数据完整性

    HDFS文件权限 POSIX标准(可移植操作系统接口)

    • 与Linux文件权限类似
      • r:read w:write x:execute
      • 权限x对于文件忽略,对于文件夹表示是否允许访问其内容
    • 如果linux系统用户zhangsan使用hadoop命令也创建一个文件,那么这文件在HDFS中的owner就是zhangsan
    • HDFS的权限目的:阻止误操作,但不绝对,HDFS相信,你告诉我你是谁,我就认为你是谁

    安全模式
    namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。
    一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不需要SecondaryNameNode)和一个空的编辑日志。
    此刻namenode运行在安全模式。即namenode的文件系统对于客服端来说是只读的。(显示目录,显示文件内容等。写、删除、重命名都会失败,尚未获取动态信息)。
    在此阶段Namenode收集各个datanode的报告,当数据块达到最小副本数以上时,会被认为是“安全”的, 在一定比例(可设置)的数据块被确定为“安全”后,再过若干时间,安全模式结束
    当检测到副本数不足的数据块时,该块会被复制直到达到最小副本数,系统中数据块的位置并不是由namenode维护的,而是以块列表形式存储在datanode中。

    集群
    角色==进程

    • namenode
      • 数据元数据
        内存存储,不会有磁盘交换
        持久化(fsimage,edits log)
        不会持久化block的位置信息
        block:偏移量,因为block不可以调整大小,hdfs,不支持修改文件
        偏移量不会改变
    • datanode
      • block块,md5
        磁盘
        面向文件,大小一样,不能调整
        副本数,调整,(备份,高可用,容错/可以调整很多个,为了计算向数据移动)
    • SN 只在hadoop1.x版本中有
    • NN&DN
      • 心跳机制
        DN向NN汇报block信息
        安全模式
    • client
      Client:

      线性上传block
      先和NN通信,元数据,获取第一个block的节点信息(3副本,选择机制)
      和DN通信:pipeline:C和1stDN有socket,1stDN和2edDN有socket。。。。
      小片传输:4K,C给1stDN,1stDN同时本机缓存,瞬间放入下游socket中
      当block传输完毕:block自身的网络I/O时间,时间线重叠的艺术
      DN会向NN汇报自己新增的block
      C向NN汇报blockX传输完成给我下一个block节点信息
      全部传输完成,NN更新元数据状态可用

      线性读取block,不会有并发,只有一个网卡
      距离:择优选取同机架,同节点
      NN每次只给一部分block信息

    Hadoop 分布式计算框架MR

    Hadoop 体系架构

    Hadoop安装

    可以通过官网查看安装细节
    Hadoop

    • 操作系统环境
      • 依赖软件ssh,jdk
      • hadoop3.0以后需要装jdk8,其他的装jdk7就行
    • 环境的配置
      • java_home
      vi + /etc/profile
      
      export JAVA_HOME=/usr/java/jdk1.7.0_67
      PATH=$PATH:$JAVA_HOME/bin
      保存退出
      
      source /etc/profile
      
      
      • 免密钥
      cd到用户目录
      ll -a 查看隐藏目录
      如果没有  ./ssh文件夹
      则输入 ssh localhost
      输入密码后 再输入exit退出ssh
      此时在输入 ll -a 就会看到 ./ssh文件夹
      
      如果在输入 ssh localhost后无法免密,此时输入
      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      
      此时会在ssh文件夹中生成两个文件 id_dsa,和id_dsa.pub
      然后执行 
      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
      
      验证:ssh  localhost ,此时不需要输入密码就可以联接
      
      
      
    部署伪分布式
    安装jdk、配置环境变量,测试
    
    
    免秘钥
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    
    
    hadoop包安装并配置环变:hadoop-2.6.5.tar.gz
    
    
    Hadoop的第二次JAVA_HOME 环境变量配置
    
    vi hadoop-env.sh
    vi mapred-env.sh
    vi yarn-env.sh
    
    配置core-site.xml
    vi core-site.xml
    
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node001:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/var/test/hadoop/local</value>
        </property>
    
    
    配置hdfs-site.xml
                  
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node001:50090</value>
        </property>
    配置slaves文件
                     vi slaves node06
    格式化hdfs
              hdfs namenode -format  (只能格式化一次,再次启动集群不要执行)
    启动集群
             start-dfs.sh
    
    角色进程查看:jps
    帮助: hdfs 
           hdfs dfs 	
    
    查看web UI: IP:50070
         创建目录:hdfs dfs  -mkdir -p  /user/root
    		
         查看目录:  hdfs dfs -ls   /
    	
         上传文件: hdfs dfs -put  hadoop-2.6.5.tar.gz   /user/root				
        
          停止集群:stop-dfs.sh
    
    
    部署全分布式
    
    全分布安装
    ---------------------------------------------
    前期准备:
    
    jdk
    hostname
    hosts
    date
    安全机制
    firewall
    windows 域名映射
    
    节点: node001/003/003/04
    全分布分配方案:
    
    		NN		SNN		DN
    NODE06		*
    NODE07				*		*	
    NODE08						*
    NODE09						*
    
    
    节点状态:
    	node001: 伪分布
    	node002/003/004 :  ip配置完成
    建立各节点通讯(hosts)
    
    设置时间同步:date -s “xxxx-x-xx xx:xx:xx”
    
    
    秘钥分发: 
    在每个节点上登录一下自己:产生.ssh目录
    从node001向node002/node003/node004分发公钥 (公钥的名称要变化)
    scp  id_dsa.pub   node002:`pwd`/node001.pub
    
    各节点把node001的公钥追加到认证文件里:
    cat ~/node001.pub  >> ~/.ssh/authorized_keys
    
    
    node002/node003/node004安装jdk环境,node001分发profile给其他节点,并重读配置文件
    
    分发hadoop部署程序2.6.5 到其他节点
    
    
    copy node001 下的 hadoop 为 hadoop-local (管理脚本只会读取hadoop目录)
    
    [root@node001 etc]# cp -r hadoop   hadoop-local
    
    配置core-site.xml
    配置hdfs-site.xml
    配置slaves
    
    分发副本到其他002,003,004节点
    
    格式化集群:hdfs namenode -format
    
    启动集群:start-dfs.sh
    Jps  查看各节点进程启动情况
    
    
    

    Hadoop Shell

    Hadoop API

    展开全文
  • GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对...

    GitChat 作者:鸣宇淳 
    原文: 史上最详细的Hadoop环境搭建 
    关注公众号:GitChat 技术杂谈,一本正经的讲技术 
    【不要错过文末活动哦】

    前言

    Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

    这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。

    本文分为五个部分、十三节、四十九步。

    第一部分:Linux环境安装

    Hadoop是运行在Linux,虽然借助工具也可以运行在Windows上,但是建议还是运行在Linux系统上,第一部分介绍Linux环境的安装、配置、Java JDK安装等。

    第二部分:Hadoop本地模式安装

    Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。

    第三部分:Hadoop伪分布式模式安装

    学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块,伪分布式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的,并不是真正的分布式。

    第四部分:完全分布式安装

    完全分布式模式才是生产环境采用的模式,Hadoop运行在服务器集群上,生产环境一般都会做HA,以实现高可用。

    第五部分:Hadoop HA安装

    HA是指高可用,为了解决Hadoop单点故障问题,生产环境一般都做HA部署。这部分介绍了如何配置Hadoop2.x的高可用,并简单介绍了HA的工作原理。 
    安装过程中,会穿插简单介绍涉及到的知识。希望能对大家有所帮助。 

    第一部分:Linux环境安装

    第一步、配置Vmware NAT网络

    一、Vmware网络模式介绍

    参考:http://blog.csdn.net/collection4u/article/details/14127671

    二、NAT模式配置

    NAT是网络地址转换,是在宿主机和虚拟机之间增加一个地址转换服务,负责外部和虚拟机之间的通讯转接和IP转换。

    我们部署Hadoop集群,这里选择NAT模式,各个虚拟机通过NAT使用宿主机的IP来访问外网。

    我们的要求是集群中的各个虚拟机有固定的IP、可以访问外网,所以进行如下设置:

    1、 Vmware安装后,默认的NAT设置如下:

    enter image description here

    2、 默认的设置是启动DHCP服务的,NAT会自动给虚拟机分配IP,但是我们需要将各个机器的IP固定下来,所以要取消这个默认设置。

    3、 为机器设置一个子网网段,默认是192.168.136网段,我们这里设置为100网段,将来各个虚拟机Ip就为 192.168.100.*。

    4、 点击NAT设置按钮,打开对话框,可以修改网关地址和DNS地址。这里我们为NAT指定DNS地址。

    enter image description here

    5、 网关地址为当前网段里的.2地址,好像是固定的,我们不做修改,先记住网关地址就好了,后面会用到。

    第二步、安装Linux操作系统

    三、Vmware上安装Linux系统

    1、 文件菜单选择新建虚拟机

    2、 选择经典类型安装,下一步。

    3、 选择稍后安装操作系统,下一步。

    4、 选择Linux系统,版本选择CentOS 64位。

    enter image description here

    5、 命名虚拟机,给虚拟机起个名字,将来显示在Vmware左侧。并选择Linux系统保存在宿主机的哪个目录下,应该一个虚拟机保存在一个目录下,不能多个虚拟机使用一个目录。

    enter image description here

    6、 指定磁盘容量,是指定分给Linux虚拟机多大的硬盘,默认20G就可以,下一步。

    7、 点击自定义硬件,可以查看、修改虚拟机的硬件配置,这里我们不做修改。

    8、 点击完成后,就创建了一个虚拟机,但是此时的虚拟机还是一个空壳,没有操作系统,接下来安装操作系统。

    9、 点击编辑虚拟机设置,找到DVD,指定操作系统ISO文件所在位置。

    enter image description here

    10、 点击开启此虚拟机,选择第一个回车开始安装操作系统。

    enter image description here

    11、 设置root密码。

    enter image description here

    12、 选择Desktop,这样就会装一个Xwindow。

    enter image description here

    13、 先不添加普通用户,其他用默认的,就把Linux安装完毕了。

    四、设置网络

    因为Vmware的NAT设置中关闭了DHCP自动分配IP功能,所以Linux还没有IP,需要我们设置网络各个参数。

    1、 用root进入Xwindow,右击右上角的网络连接图标,选择修改连接。

    enter image description here

    2、 网络连接里列出了当前Linux里所有的网卡,这里只有一个网卡System eth0,点击编辑。

    enter image description here

    3、 配置IP、子网掩码、网关(和NAT设置的一样)、DNS等参数,因为NAT里设置网段为100.*,所以这台机器可以设置为192.168.100.10网关和NAT一致,为192.168.100.2

    enter image description here

    4、 用ping来检查是否可以连接外网,如下图,已经连接成功。

    enter image description here

    五、修改Hostname

    1、 临时修改hostname

    [root@localhost Desktop]# hostname bigdata-senior01.chybinmy.com
    • 1

    这种修改方式,系统重启后就会失效。

    2、 永久修改hostname

    想永久修改,应该修改配置文件 /etc/sysconfig/network。

    命令:[root@bigdata-senior01 ~] vim /etc/sysconfig/network
    • 1

    打开文件后,

    NETWORKING=yes  #使用网络
    HOSTNAME=bigdata-senior01.chybinmy.com  #设置主机名
    • 1
    • 2

    六、配置Host

    命令:[root@bigdata-senior01 ~] vim /etc/hosts
    添加hosts: 192.168.100.10 bigdata-senior01.chybinmy.com
    • 1
    • 2

    七、关闭防火墙

    学习环境可以直接把防火墙关闭掉。

    (1) 用root用户登录后,执行查看防火墙状态。

    [root@bigdata-senior01 hadoop]# service iptables status
    • 1

    (2) 用[root@bigdata-senior01 hadoop]# service iptables stop关闭防火墙,这个是临时关闭防火墙。

    [root@bigdata-senior01 hadoop-2.5.0]# service iptables stop
    iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
    iptables: Flushing firewall rules:                         [  OK  ]
    iptables: Unloading modules:                               [  OK  ]
    • 1
    • 2
    • 3
    • 4

    (3) 如果要永久关闭防火墙用。

    [root@bigdata-senior01 hadoop]# chkconfig iptables off
    • 1

    关闭,这种需要重启才能生效。

    八、关闭selinux

    selinux是Linux一个子安全机制,学习环境可以将它禁用。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux
    • 1
    # This file controls the state of SELinux on the system.
    # SELINUX= can take one of these three values:
    #     enforcing - SELinux security policy is enforced.
    #     permissive - SELinux prints warnings instead of enforcing.
    #     disabled - No SELinux policy is loaded.
    SELINUX=disabled
    # SELINUXTYPE= can take one of these two values:
    #     targeted - Targeted processes are protected,
    #     mls - Multi Level Security protection.
    SELINUXTYPE=targeted
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    enter image description here

    第三步、安装JDK

    九、安装Java JDK

    1、 查看是否已经安装了java JDK。

    [root@bigdata-senior01 Desktop]# java –version
    • 1

    注意:Hadoop机器上的JDK,最好是Oracle的Java JDK,不然会有一些问题,比如可能没有JPS命令。 
    如果安装了其他版本的JDK,卸载掉。

    2、 安装java JDK

    (1) 去下载Oracle版本Java JDK:jdk-7u67-linux-x64.tar.gz

    (2) 将jdk-7u67-linux-x64.tar.gz解压到/opt/modules目录下

    [root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules
    • 1

    (3) 添加环境变量

    设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile,追加

    export JAVA_HOME="/opt/modules/jdk1.7.0_67"
    export PATH=$JAVA_HOME/bin:$PATH
    • 1
    • 2

    修改完毕后,执行 source /etc/profile

    (4)安装后再次执行 java –version,可以看见已经安装完成。

    [root@bigdata-senior01 /]# java -version
    java version "1.7.0_67"
    Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
    Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
    • 1
    • 2
    • 3
    • 4

    第二部分:Hadoop本地模式安装

    第四步、Hadoop部署模式

    Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。

    区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。

    模式名称各个模块占用的JVM进程数各个模块运行在几个机器数上
    本地模式1个1个
    伪分布式模式N个1个
    完全分布式模式N个N个
    HA完全分布式N个N个

    第五步、本地模式部署

    十、本地模式介绍

    本地模式是最简单的模式,所有模块都运行与一个JVM进程中,使用的本地文件系统,而不是HDFS,本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置,默认的就是本地模式。

    十一、解压hadoop后就是直接可以使用

    1、 创建一个存放本地模式hadoop的目录

    [hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
    • 1

    2、 解压hadoop文件

    [hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/
    • 1

    3、 确保JAVA_HOME环境变量已经配置好

    [hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
    /opt/modules/jdk1.7.0_67
    • 1
    • 2

    十二、运行MapReduce程序,验证

    我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。

    1、 准备mapreduce输入文件wc.input

    [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
    hadoop mapreduce hive
    hbase spark storm
    sqoop hadoop hive
    spark hadoop
    • 1
    • 2
    • 3
    • 4
    • 5

    2、 运行hadoop自带的mapreduce Demo

    [hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
    • 1

    enter image description here

    这里可以看到job ID中有local字样,说明是运行在本地模式下的。

    3、 查看输出文件

    本地模式下,mapreduce的输出是输出到本地。

    [hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
    total 4
    -rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
    -rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS
    • 1
    • 2
    • 3
    • 4

    输出目录中有_SUCCESS文件说明JOB运行成功,part-r-00000是输出结果文件。 

    第三部分:Hadoop伪分布式模式安装

    第六步、伪分布式Hadoop部署过程

    十三、Hadoop所用的用户设置

    1、 创建一个名字为hadoop的普通用户

    [root@bigdata-senior01 ~]# useradd hadoop
    [root@bigdata-senior01 ~]# passwd hadoop
    • 1
    • 2

    2、 给hadoop用户sudo权限

    [root@bigdata-senior01 ~]# vim /etc/sudoers
    • 1

    设置权限,学习环境可以将hadoop用户的权限设置的大一些,但是生产环境一定要注意普通用户的权限限制。

    root    ALL=(ALL)       ALL
    hadoop ALL=(root) NOPASSWD:ALL
    • 1
    • 2

    注意:如果root用户无权修改sudoers文件,先手动为root用户添加写权限。

    [root@bigdata-senior01 ~]# chmod u+w /etc/sudoers
    • 1

    3、 切换到hadoop用户

    [root@bigdata-senior01 ~]# su - hadoop
    [hadoop@bigdata-senior01 ~]$
    • 1
    • 2

    4、 创建存放hadoop文件的目录

    [hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules
    • 1

    5、 将hadoop文件夹的所有者指定为hadoop用户

    如果存放hadoop的目录的所有者不是hadoop,之后hadoop运行中可能会有权限问题,那么就讲所有者改为hadoop。

    [hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
    • 1

    十四、解压Hadoop目录文件

    1、 复制hadoop-2.5.0.tar.gz到/opt/modules目录下。

    2、 解压hadoop-2.5.0.tar.gz

    [hadoop@bigdata-senior01 ~]# cd /opt/modules
    [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
    • 1
    • 2

    十五、配置Hadoop

    1、 配置Hadoop环境变量

    [hadoop@bigdata-senior01 hadoop]# vim /etc/profile
    • 1

    追加配置:

    export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    • 1
    • 2

    执行:source /etc/profile 使得配置生效

    验证HADOOP_HOME参数:

    [hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
    /opt/modules/hadoop-2.5.0
    • 1
    • 2

    2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数

    [hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
    • 1
    修改JAVA_HOME参数为:
    export JAVA_HOME="/opt/modules/jdk1.7.0_67"
    • 1
    • 2

    3、 配置core-site.xml

    enter image description here

    [hadoop@bigdata-senior01 ~]sudovim{HADOOP_HOME}/etc/hadoop/core-site.xml

    (1) fs.defaultFS参数配置的是HDFS的地址。

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
    </property>
    • 1
    • 2
    • 3
    • 4

    (2) hadoop.tmp.dir配置的是Hadoop临时目录,比如HDFS的NameNode数据默认都存放这个目录下,查看*-default.xml等默认配置文件,就可以看到很多依赖${hadoop.tmp.dir}的配置。

    默认的hadoop.tmp.dir/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下,如果操作系统重启了,系统会清空/tmp目录下的东西,导致NameNode元数据丢失,是个非常严重的问题,所有我们应该修改这个路径。

    • 创建临时目录:
        [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
    • 1
    • 将临时目录的所有者修改为hadoop
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp
    • 1
    • 修改hadoop.tmp.dir
     <property>
       <name>hadoop.tmp.dir</name>
        <value>/opt/data/tmp</value>
      </property>
    • 1
    • 2
    • 3
    • 4

    十六、配置、格式化、启动HDFS

    1、 配置hdfs-site.xml

    enter image description here

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
    • 1
        <property>
           <name>dfs.replication</name>
           <value>1</value>
        </property>
    • 1
    • 2
    • 3
    • 4

    dfs.replication配置的是HDFS存储时的备份数量,因为这里是伪分布式环境只有一个节点,所以这里设置为1。

    2、 格式化HDFS

    enter image description here

    [hadoop@bigdata-senior01 ~]$ hdfs namenode –format
    • 1

    格式化是对HDFS这个分布式文件系统中的DataNode进行分块,统计所有分块后的初始元数据的存储在NameNode中。

    格式化后,查看core-site.xml里hadoop.tmp.dir(本例是/opt/data目录)指定的目录下是否有了dfs目录,如果有,说明格式化成功。

    注意:

    1. 格式化时,这里注意hadoop.tmp.dir目录的权限问题,应该hadoop普通用户有读写权限才行,可以将/opt/data的所有者改为hadoop。 
      [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data

    2. 查看NameNode格式化后的目录。

       [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
    • 1

    enter image description here

    fsimage是NameNode元数据在内存满了后,持久化保存到的文件。

    fsimage*.md5 是校验文件,用于校验fsimage的完整性。

    seen_txid 是hadoop的版本

    vession文件里保存:

    • namespaceID:NameNode的唯一ID。

    • clusterID:集群ID,NameNode和DataNode的集群ID应该一致,表明是一个集群。

    #Mon Jul 04 17:25:50 CST 2016
    namespaceID=2101579007
    clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
    cTime=0
    storageType=NAME_NODE
    blockpoolID=BP-1641019026-127.0.0.1-1467624350057
    layoutVersion=-57
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    3、 启动NameNode

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
    starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
    • 1
    • 2

    enter image description here

    4、 启动DataNode

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
    starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
    • 1
    • 2

    enter image description here

    5、 启动SecondaryNameNode

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
    starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
    • 1
    • 2

    enter image description here

    6、 JPS命令查看是否已经启动成功,有结果就是启动成功了。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
    3034 NameNode
    3233 Jps
    3193 SecondaryNameNode
    3110 DataNode
    • 1
    • 2
    • 3
    • 4
    • 5

    enter image description here

    7、 HDFS上测试创建目录、上传、下载文件

    HDFS上创建目录

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
    • 1

    上传本地文件到HDFS上

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
    ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
    • 1
    • 2

    读取HDFS上的文件内容

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml
    • 1

    enter image description here

    从HDFS上下载文件到本地

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml
    • 1

    enter image description here

    十七、配置、启动YARN

    1、 配置mapred-site.xml

    默认没有mapred-site.xml文件,但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。

    [hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
    • 1

    添加配置如下:

    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    • 1
    • 2
    • 3
    • 4

    指定mapreduce运行在yarn框架上。

    enter image description here

    2、 配置yarn-site.xml

    添加配置如下:

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior01.chybinmy.com</value>
     </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • yarn.nodemanager.aux-services配置了yarn的默认混洗方式,选择为mapreduce的默认混洗算法。

    • yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。

      enter image description here

    3、 启动Resourcemanager

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
    • 1

    enter image description here

    4、 启动nodemanager

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
    • 1

    enter image description here

    5、 查看是否启动成功

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
    3034 NameNode
    4439 NodeManager
    4197 ResourceManager
    4543 Jps
    3193 SecondaryNameNode
    3110 DataNode
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    可以看到ResourceManager、NodeManager已经启动成功了。

    enter image description here

    6、 YARN的Web页面

    YARN的Web客户端端口号是8088,通过http://192.168.100.10:8088/可以查看。

    enter image description here

    十八、运行MapReduce Job

    在Hadoop的share目录里,自带了一些jar包,里面带有一些mapreduce实例小例子,位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar,可以运行这些例子体验刚搭建好的Hadoop平台,我们这里来运行最经典的WordCount实例。

    1、 创建测试用的Input文件

    创建输入目录:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
    • 1

    创建原始文件:

    在本地/opt/data目录创建一个文件wc.input,内容如下。

    enter image description here

    将wc.input文件上传到HDFS的/wordcountdemo/input目录中:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
    • 1

    enter image description here

    2、 运行WordCount MapReduce Job

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
    2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
    • 1
    • 2

    enter image description here

    3、 查看输出结果目录

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
    -rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
    -rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000
    • 1
    • 2
    • 3

    enter image description here

    • output目录中有两个文件,_SUCCESS文件是空文件,有这个文件说明Job执行成功。

    • part-r-00000文件是结果文件,其中-r-说明这个文件是Reduce阶段产生的结果,mapreduce程序执行时,可以没有reduce阶段,但是肯定会有map阶段,如果没有reduce阶段这个地方有是-m-。

    • 一个reduce会产生一个part-r-开头的文件。

    • 查看输出文件内容。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
    hadoop  3
    hbase   1
    hive    2
    mapreduce       1
    spark   2
    sqoop   1
    storm   1
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    结果是按照键值排好序的。

    十九、停止Hadoop

     [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
    stopping namenode
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
    stopping datanode
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
    stopping resourcemanager
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
    stopping nodemanager
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    enter image description here

    二十、 Hadoop各个功能模块的理解

    1、 HDFS模块

    HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单台机器无法存储大文件的问题,HDFS是个相对独立的模块,可以为YARN提供服务,也可以为HBase等其他模块提供服务。

    2、 YARN模块

    YARN是一个通用的资源协同和任务调度框架,是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。

    YARN是个通用框架,不止可以运行MapReduce,还可以运行Spark、Storm等其他计算框架。

    3、 MapReduce模块

    MapReduce是一个计算框架,它给出了一种数据处理的方式,即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理,对实时性要求很高的应用不适用。

    第七步、开启历史服务

    二十一、历史服务介绍

    Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。

    二十二、开启历史服务

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、
    • 1

    开启后,可以通过Web页面查看历史服务器:

    http://bigdata-senior01.chybinmy.com:19888/

    二十三、Web查看job执行历史

    1、 运行一个mapreduce任务

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
    2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
    • 1
    • 2

    2、 job执行中

    enter image description here

    3、 查看job历史

    enter image description here

    enter image description here

    历史服务器的Web端口默认是19888,可以查看Web界面。

    但是在上面所显示的某一个Job任务页面的最下面,Map和Reduce个数的链接上,点击进入Map的详细信息页面,再查看某一个Map或者Reduce的详细日志是看不到的,是因为没有开启日志聚集服务。

    二十四、开启日志聚集

    4、 日志聚集介绍

    MapReduce是在各个机器上运行的,在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在HDFS上,这个过程就是日志聚集。

    5、 开启日志聚集

    配置日志聚集功能:

    Hadoop默认是不启用日志聚集的。在yarn-site.xml文件里配置启用日志聚集。

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
     </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    yarn.log-aggregation-enable:是否启用日志聚集功能。

    yarn.log-aggregation.retain-seconds:设置日志保留时间,单位是秒。

    将配置文件分发到其他节点:

    [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
    [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
    • 1
    • 2

    重启Yarn进程:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
    • 1
    • 2

    重启HistoryServer进程:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
    • 1
    • 2

    6、 测试日志聚集

    运行一个demo MapReduce,使之产生日志:

    bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
    • 1

    查看日志:

    运行Job后,就可以在历史服务器Web页面查看各个Map和Reduce的日志了。 

    第四部分:完全分布式安装

    第八步、完全布式环境部署Hadoop

    完全分部式是真正利用多台Linux主机来进行部署Hadoop,对Linux机器集群进行规划,使得Hadoop各个模块分别部署在不同的多台机器上。

    二十五、环境准备

    1、 克隆虚拟机

    • Vmware左侧选中要克隆的机器,这里对原有的BigData01机器进行克隆,虚拟机菜单中,选中管理菜单下的克隆命令。

    • 选择“创建完整克隆”,虚拟机名称为BigData02,选择虚拟机文件保存路径,进行克隆。

    • 再次克隆一个名为BigData03的虚拟机。

    2、 配置网络

    修改网卡名称:

    在BigData02和BigData03机器上编辑网卡信息。执行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因为是从BigData01机器克隆来的,所以会保留BigData01的网卡eth0,并且再添加一个网卡eth1。并且eth0的Mac地址和BigData01的地址是一样的,Mac地址不允许相同,所以要删除eth0,只保留eth1网卡,并且要将eth1改名为eth0。将修改后的eth0的mac地址复制下来,修改network-scripts文件中的HWADDR属性。

    sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
    • 1

    enter image description here

    修改网络参数:

    BigData02机器IP改为192.168.100.12

    BigData03机器IP改为192.168.100.13

    3、 配置Hostname

    BigData02配置hostname为 bigdata-senior02.chybinmy.com

    BigData03配置hostname为 bigdata-senior03.chybinmy.com

    4、 配置hosts

    BigData01、BigData02、BigData03三台机器hosts都配置为:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts
    192.168.100.10 bigdata-senior01.chybinmy.com
    192.168.100.12 bigdata-senior02.chybinmy.com
    192.168.100.13 bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3
    • 4

    5、 配置Windows上的SSH客户端

    在本地Windows中的SSH客户端上添加对BigData02、BigData03机器的SSH链接。

    二十六、服务器功能规划

    bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com
    NameNodeResourceManage 
    DataNodeDataNodeDataNode
    NodeManagerNodeManagerNodeManager
    HistoryServer SecondaryNameNode

    二十七、在第一台机器上安装新的Hadoop

    为了和之前BigData01机器上安装伪分布式Hadoop区分开来,我们将BigData01上的Hadoop服务都停止掉,然后在一个新的目录/opt/modules/app下安装另外一个Hadoop。 
    我们采用先在第一台机器上解压、配置Hadoop,然后再分发到其他两台机器上的方式来安装集群。

    6、 解压Hadoop目录:

    [hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/
    • 1

    7、 配置Hadoop JDK路径修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径:

    export JAVA_HOME="/opt/modules/jdk1.7.0_67"
    • 1

    8、 配置core-site.xml

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml
    • 1
    <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
     </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    fs.defaultFS为NameNode的地址。

    hadoop.tmp.dir为hadoop临时目录的地址,默认情况下,NameNode和DataNode的数据文件都会存在这个目录下的对应子目录下。应该保证此目录是存在的,如果不存在,先创建。

    9、 配置hdfs-site.xml

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml
    • 1
    <configuration>
     <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>bigdata-senior03.chybinmy.com:50090</value>
     </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    dfs.namenode.secondary.http-address是指定secondaryNameNode的http访问地址和端口号,因为在规划中,我们将BigData03规划为SecondaryNameNode服务器。

    所以这里设置为:bigdata-senior03.chybinmy.com:50090

    10、 配置slaves

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
    bigdata-senior01.chybinmy.com
    bigdata-senior02.chybinmy.com
    bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3
    • 4

    slaves文件是指定HDFS上有哪些DataNode节点。

    11、 配置yarn-site.xml

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml
    • 1
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>bigdata-senior02.chybinmy.com</value>
        </property>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>106800</value>
        </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    根据规划yarn.resourcemanager.hostname这个指定resourcemanager服务器指向bigdata-senior02.chybinmy.com

    yarn.log-aggregation-enable是配置是否启用日志聚集功能。

    yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多长时间。

    12、 配置mapred-site.xml

    从mapred-site.xml.template复制一个mapred-site.xml文件。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
    • 1
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.address</name>
            <value>bigdata-senior01.chybinmy.com:10020</value>
        </property>
        <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>bigdata-senior01.chybinmy.com:19888</value>
        </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    mapreduce.framework.name设置mapreduce任务运行在yarn上。

    mapreduce.jobhistory.address是设置mapreduce的历史服务器安装在BigData01机器上。

    mapreduce.jobhistory.webapp.address是设置历史服务器的web页面地址和端口号。

    二十八、设置SSH无密码登录

    Hadoop集群中的各个机器间会相互地通过SSH访问,每次访问都输入密码是不现实的,所以要配置各个机器间的

    SSH是无密码登录的。

    1、 在BigData01上生成公钥

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa
    • 1

    一路回车,都设置为默认值,然后再当前用户的Home目录下的.ssh目录中会生成公钥文件(id_rsa.pub)和私钥文件(id_rsa)

    2、 分发公钥

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3

    3、 设置BigData02、BigData03到其他机器的无密钥登录

    同样的在BigData02、BigData03上生成公钥和私钥后,将公钥分发到三台机器上。

    二十九、分发Hadoop文件

    1、 首先在其他两台机器上创建存放Hadoop的目录

    [hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
    [hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app
    • 1
    • 2

    2、 通过Scp分发

    Hadoop根目录下的share/doc目录是存放的hadoop的文档,文件相当大,建议在分发之前将这个目录删除掉,可以节省硬盘空间并能提高分发的速度。

    doc目录大小有1.6G。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
    1.6G    /opt/modules/app/hadoop-2.5.0/share/doc
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app
    • 1
    • 2
    • 3
    • 4

    三十、格式NameNode

    在NameNode机器上执行格式化:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format
    • 1

    注意:

    如果需要重新格式化NameNode,需要先将原来NameNode和DataNode下的文件全部删除,不然会报错,NameNode和DataNode所在目录是在core-site.xmlhadoop.tmp.dirdfs.namenode.name.dirdfs.datanode.data.dir属性配置的。

    <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/data/tmp</value>
      </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file://${hadoop.tmp.dir}/dfs/name</value>
      </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file://${hadoop.tmp.dir}/dfs/data</value>
      </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    因为每次格式化,默认是创建一个集群ID,并写入NameNode和DataNode的VERSION文件中(VERSION文件所在目录为dfs/name/current 和 dfs/data/current),重新格式化时,默认会生成一个新的集群ID,如果不删除原来的目录,会导致namenode中的VERSION文件中是新的集群ID,而DataNode中是旧的集群ID,不一致时会报错。

    另一种方法是格式化时指定集群ID参数,指定为旧的集群ID。

    三十一、启动集群

    1、 启动HDFS

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh
    • 1

    enter image description here

    2、 启动YARN

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh
    • 1

    在BigData02上启动ResourceManager:

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
    • 1

    enter image description here

    3、 启动日志服务器

    因为我们规划的是在BigData03服务器上运行MapReduce日志服务,所以要在BigData03上启动。

    [hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver
    starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03.chybinmy.com.out
    • 1
    • 2
    [hadoop@bigdata-senior03 ~]$ jps
    3570 Jps
    3537 JobHistoryServer
    3310 SecondaryNameNode
    3213 DataNode
    3392 NodeManager
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    4、 查看HDFS Web页面

    http://bigdata-senior01.chybinmy.com:50070/

    5、 查看YARN Web 页面

    http://bigdata-senior02.chybinmy.com:8088/cluster

    三十二、测试Job

    我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。

    1、 准备mapreduce输入文件wc.input

    [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
    hadoop mapreduce hive
    hbase spark storm
    sqoop hadoop hive
    spark hadoop
    • 1
    • 2
    • 3
    • 4
    • 5

    2、 在HDFS创建输入目录input

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input
    • 1

    3、 将wc.input上传到HDFS

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input
    • 1

    4、 运行hadoop自带的mapreduce Demo

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output
    • 1

    enter image description here

    5、 查看输出文件

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output
    Found 2 items
    -rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
    -rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-00000
    • 1
    • 2
    • 3
    • 4

    第五部分:Hadoop HA安装

    HA的意思是High Availability高可用,指当当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上去,以来保证服务的高可用。

    HA方式安装部署才是最常见的生产环境上的安装部署方式。Hadoop HA是Hadoop 2.x中新添加的特性,包括NameNode HA 和 ResourceManager HA。因为DataNode和NodeManager本身就是被设计为高可用的,所以不用对他们进行特殊的高可用处理。

    第九步、时间服务器搭建

    Hadoop对集群中各个机器的时间同步要求比较高,要求各个机器的系统时间不能相差太多,不然会造成很多问题。可以配置集群中各个机器和互联网的时间服务器进行时间同步,但是在实际生产环境中,集群中大部分服务器是不能连接外网的,这时候可以在内网搭建一个自己的时间服务器(NTP服务器),集群的各个机器与这个时间服务器进行时间同步。

    三十三、配置NTP服务器

    我们选择第三台机器(bigdata-senior03.chybinmy.com)为NTF服务器,其他机器和这台机器进行同步。

    1、 检查ntp服务是否已经安装

    [hadoop@bigdata-senior03 data]$ sudo rpm -qa | grep ntp
    ntpdate-4.2.6p5-1.el6.centos.x86_64
    ntp-4.2.6p5-1.el6.centos.x86_64
    • 1
    • 2
    • 3

    显示已经安装过了ntp程序,其中ntpdate-4.2.6p5-1.el6.centos.x86_64 是用来和某台服务器进行同步的,ntp-4.2.6p5-1.el6.centos.x86_64是用来提供时间同步服务的。

    2、 修改配置文件ntp.conf

    [hadoop@bigdata-senior03 data]$ vim /etc/ntp.conf
    • 1

    启用restrice,修改网段

    restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap 
    将这行的注释去掉,并且将网段改为集群的网段,我们这里是100网段。

    注释掉server域名配置

    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    • 1
    • 2
    • 3
    • 4

    是时间服务器的域名,这里不需要连接互联网,所以将他们注释掉。

    修改

    server 127.127.1.0

    fudge 127.127.1.0 stratum 10

    3、 修改配置文件ntpd

    [hadoop@bigdata-senior03 ~]$ sudo vim /etc/sysconfig/ntpd
    • 1

    添加一行配置:SYNC_CLOCK=yes

    enter image description here

    4、 启动ntp服务

    [hadoop@bigdata-senior03 ~]$ sudo chkconfig ntpd on
    • 1

    这样每次机器启动时,ntp服务都会自动启动。

    三十四、配置其他机器的同步

    切换到root用户进行配置通过contab进行定时同步:

    [root@bigdata-senior02 hadoop]# crontab -e 
    */10 * * * * /usr/sbin/ntpdate bigdata-senior03.chybinmy.com
    [root@bigdata-senior02 hadoop]# crontab -e 
    */10 * * * * /usr/sbin/ntpdate bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3
    • 4

    三十五、 测试同步是否有效

    1、 查看目前三台机器的时间

    [hadoop@bigdata-senior03 ~]$ date "+%Y-%m-%d %H:%M:%S"
    2016-09-23 16:43:56
    [hadoop@bigdata-senior02 ~]$ date "+%Y-%m-%d %H:%M:%S"
    2016-09-23 16:44:08
    [hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
    2016-09-23 16:44:18
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    2、 修改bigdata-senior01上的时间

    将时间改为一个以前的时间:

    [hadoop@bigdata-senior01 data]$ sudo date -s '2016-01-01 00:00:00'
    Fri Jan  1 00:00:00 CST 2016
    [hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
    2016-01-01 00:00:05
    • 1
    • 2
    • 3
    • 4

    等10分钟,看是否可以实现自动同步,将bigdata-senior01上的时间修改为和bigdata-senior03上的一致。

    3、 查看是否自动同步时间

    [hadoop@bigdata-senior01 data]$ date "+%Y-%m-%d %H:%M:%S"
    2016-09-23 16:54:36
    • 1
    • 2

    可以看到bigdata-senior01上的时间已经实现自动同步了。

    第十步、Zookeeper分布式机器部署

    三十六、zookeeper说明

    Zookeeper在Hadoop集群中的作用。

    Zookeeper是分布式管理协作框架,Zookeeper集群用来保证Hadoop集群的高可用,(高可用的含义是:集群中就算有一部分服务器宕机,也能保证正常地对外提供服务。)

    Zookeeper保证高可用的原理。

    Zookeeper集群能够保证NamaNode服务高可用的原理是:Hadoop集群中有两个NameNode服务,两个NaameNode都定时地给Zookeeper发送心跳,告诉Zookeeper我还活着,可以提供服务,单某一个时间只有一个是Action状态,另外一个是Standby状态,一旦Zookeeper检测不到Action NameNode发送来的心跳后,就切换到Standby状态的NameNode上,将它设置为Action状态,所以集群中总有一个可用的NameNode,达到了NameNode的高可用目的。

    Zookeeper的选举机制。

    Zookeeper集群也能保证自身的高可用,保证自身高可用的原理是,Zookeeper集群中的各个机器分为Leader和Follower两个角色,写入数据时,要先写入Leader,Leader同意写入后,再通知Follower写入。客户端读取数时,因为数据都是一样的,可以从任意一台机器上读取数据。

    这里Leader角色就存在单点故障的隐患,高可用就是解决单点故障隐患的。Zookeeper从机制上解决了Leader的单点故障问题,Leader是哪一台机器是不固定的,Leader是选举出来的。选举流程是,集群中任何一台机器发现集群中没有Leader时,就推荐自己为Leader,其他机器来同意,当超过一半数的机器同意它为Leader时,选举结束,所以Zookeeper集群中的机器数据必须是奇数。这样就算当Leader机器宕机后,会很快选举出新的Leader,保证了Zookeeper集群本身的高可用。

    写入高可用。

    集群中的写入操作都是先通知Leader,Leader再通知Follower写入,实际上当超过一半的机器写入成功后,就认为写入成功了,所以就算有些机器宕机,写入也是成功的。

    读取高可用。

    zookeeperk客户端读取数据时,可以读取集群中的任何一个机器。所以部分机器的宕机并不影响读取。

    zookeeper服务器必须是奇数台,因为zookeeper有选举制度,角色有:领导者、跟随者、观察者,选举的目的是保证集群中数据的一致性。

    三十七、安装zookeeper

    我们这里在BigData01、BigData02、BigData03三台机器上安装zookeeper集群。

    1、 解压安装包

    在BigData01上安装解压zookeeper安装包。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/
    • 1

    2、 修改配置

    拷贝conf下的zoo_sample.cfg副本,改名为zoo.cfg。zoo.cfg是zookeeper的配置文件:

    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ cp conf/zoo_sample.cfg conf/zoo.cfg
    • 1

    dataDir属性设置zookeeper的数据文件存放的目录:

    dataDir=/opt/modules/zookeeper-3.4.8/data/zData

    指定zookeeper集群中各个机器的信息:

    server.1=bigdata-senior01.chybinmy.com:2888:3888
    server.2=bigdata-senior02.chybinmy.com:2888:3888
    server.3=bigdata-senior03.chybinmy.com:2888:3888
    • 1
    • 2
    • 3

    server后面的数字范围是1到255,所以一个zookeeper集群最多可以有255个机器。

    enter image description here

    3、 创建myid文件

    在dataDir所指定的目录下创一个名为myid的文件,文件内容为server点后面的数字。

    enter image description here

    4、 分发到其他机器

    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.chybinmy.com:/opt/modules
    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.chybinmy.com:/opt/modules
    • 1
    • 2

    5、 修改其他机器上的myid文件

    [hadoop@bigdata-senior02 zookeeper-3.4.8]$ echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid
    [hadoop@bigdata-senior02 zookeeper-3.4.8]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid 
    2
    • 1
    • 2
    • 3
    [hadoop@bigdata-senior03 ~]$ echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid
    [hadoop@bigdata-senior03 ~]$ cat /opt/modules/zookeeper-3.4.8/data/zData/myid
    3
    • 1
    • 2
    • 3

    6、 启动zookeeper

    需要在各个机器上分别启动zookeeper。

    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
    [hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
    [hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start
    • 1
    • 2
    • 3

    enter image description here

    三十八、zookeeper命令

    进入zookeeper Shell

    在zookeeper根目录下执行 bin/zkCli.sh进入zk shell模式。

    zookeeper很像一个小型的文件系统,/是根目录,下面的所有节点都叫zNode。

    进入zk shell 后输入任意字符,可以列出所有的zookeeper命令

    enter image description here

    查询zNode上的数据:get /zookeeper

    创建一个zNode : create /znode1 “demodata “

    列出所有子zNode:ls /

    enter image description here

    删除znode : rmr /znode1

    退出shell模式:quit

    第十一步、Hadoop 2.x HDFS HA 部署

    三十九、HDFS HA原理

    单NameNode的缺陷存在单点故障的问题,如果NameNode不可用,则会导致整个HDFS文件系统不可用。所以需要设计高可用的HDFS(Hadoop HA)来解决NameNode单点故障的问题。解决的方法是在HDFS集群中设置多个NameNode节点。但是一旦引入多个NameNode,就有一些问题需要解决。

    • HDFS HA需要保证的四个问题:

      • 保证NameNode内存中元数据数据一致,并保证编辑日志文件的安全性。

      • 多个NameNode如何协作

      • 客户端如何能正确地访问到可用的那个NameNode。

      • 怎么保证任意时刻只能有一个NameNode处于对外服务状态。

    • 解决方法

      • 对于保证NameNode元数据的一致性和编辑日志的安全性,采用Zookeeper来存储编辑日志文件。

      • 两个NameNode一个是Active状态的,一个是Standby状态的,一个时间点只能有一个Active状态的 
        NameNode提供服务,两个NameNode上存储的元数据是实时同步的,当Active的NameNode出现问题时,通过Zookeeper实时切换到Standby的NameNode上,并将Standby改为Active状态。

      • 客户端通过连接一个Zookeeper的代理来确定当时哪个NameNode处于服务状态。

    四十、HDFS HA架构图

    enter image description here

    • HDFS HA架构中有两台NameNode节点,一台是处于活动状态(Active)为客户端提供服务,另外一台处于热备份状态(Standby)。

    • 元数据文件有两个文件:fsimage和edits,备份元数据就是备份这两个文件。JournalNode用来实时从Active NameNode上拷贝edits文件,JournalNode有三台也是为了实现高可用。

    • Standby NameNode不对外提供元数据的访问,它从Active NameNode上拷贝fsimage文件,从JournalNode上拷贝edits文件,然后负责合并fsimage和edits文件,相当于SecondaryNameNode的作用。最终目的是保证Standby NameNode上的元数据信息和Active NameNode上的元数据信息一致,以实现热备份。

    • Zookeeper来保证在Active NameNode失效时及时将Standby NameNode修改为Active状态。

    • ZKFC(失效检测控制)是Hadoop里的一个Zookeeper客户端,在每一个NameNode节点上都启动一个ZKFC进程,来监控NameNode的状态,并把NameNode的状态信息汇报给Zookeeper集群,其实就是在Zookeeper上创建了一个Znode节点,节点里保存了NameNode状态信息。当NameNode失效后,ZKFC检测到报告给Zookeeper,Zookeeper把对应的Znode删除掉,Standby ZKFC发现没有Active状态的NameNode时,就会用shell命令将自己监控的NameNode改为Active状态,并修改Znode上的数据。 
      Znode是个临时的节点,临时节点特征是客户端的连接断了后就会把znode删除,所以当ZKFC失效时,也会导致切换NameNode。

    • DataNode会将心跳信息和Block汇报信息同时发给两台NameNode,DataNode只接受Active NameNode发来的文件读写操作指令。

    四十一、搭建HDFS HA 环境

    1、 服务器角色规划

    bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.com
    NameNodeNameNode 
    ZookeeperZookeeperZookeeper
    DataNodeDataNodeDataNode
     ResourceManageResourceManage
    NodeManagerNodeManagerNodeManager

    2、 创建HDFS HA 版本Hadoop程序目录

    在bigdata01、bigdata02、bigdata03三台机器上分别创建目录/opt/modules/hadoopha/用来存放Hadoop HA环境。

    [hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopha
    • 1

    3、 新解压Hadoop 2.5.0

    [hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/
    • 1

    4、 配置Hadoop JDK路径

    修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径
    export JAVA_HOME="/opt/modules/jdk1.7.0_67"
    • 1
    • 2

    5、 配置hdfs-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <configuration>
      <property>
        <!-- 为namenode集群定义一个services name -->
        <name>dfs.nameservices</name>
        <value>ns1</value>
      </property>
      <property>
        <!-- nameservice 包含哪些namenode,为各个namenode起名 -->
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
      </property>
      <property>
        <!--  名为nn1的namenode 的rpc地址和端口号,rpc用来和datanode通讯 -->
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>bigdata-senior01.chybinmy.com:8020</value>
      </property>
      <property>
        <!-- 名为nn2的namenode 的rpc地址和端口号,rpc用来和datanode通讯  -->
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>bigdata-senior02.chybinmy.com:8020</value>
      </property>
      <property>
        <!--名为nn1的namenode 的http地址和端口号,web客户端 -->
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>bigdata-senior01.chybinmy.com:50070</value>
      </property>
      <property>
        <!--名为nn2的namenode 的http地址和端口号,web客户端 -->
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>bigdata-senior02.chybinmy.com:50070</value>
      </property>
      <property>
        <!--  namenode间用于共享编辑日志的journal节点列表 -->
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://bigdata-senior01.chybinmy.com:8485;bigdata-senior02.chybinmy.com:8485;bigdata-senior03.chybinmy.com:8485/ns1</value>
      </property>
      <property>
        <!--  journalnode 上用于存放edits日志的目录 -->
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/modules/hadoopha/hadoop-2.5.0/tmp/data/dfs/jn</value>
      </property>
      <property>
        <!--  客户端连接可用状态的NameNode所用的代理类 -->
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>
      <property>
        <!--   -->
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
      </property>
      <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
      </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58

    6、 配置core-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <configuration>
      <property>
        <!--  hdfs 地址,ha中是连接到nameservice -->
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
      </property>
      <property>
        <!--  -->
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value>
      </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    hadoop.tmp.dir设置hadoop临时目录地址,默认时,NameNode和DataNode的数据存在这个路径下。

    7、 配置slaves文件

    bigdata-senior01.chybinmy.com
    bigdata-senior02.chybinmy.com
    bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3

    8、 分发到其他节点

    分发之前先将share/doc目录删除,这个目录中是帮助文件,并且很大,可以删除。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior02.chybinmy.com:/opt/modules
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopha bigdata-senior03.chybinmy.com:/opt/modules
    • 1
    • 2

    9、 启动HDFS HA集群

    三台机器分别启动Journalnode。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start journalnode
    • 1
    • 2
    • 3

    jps命令查看是否启动。

    10、 启动Zookeeper

    在三台节点上启动Zookeeper:

    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh start
    [hadoop@bigdata-senior02 zookeeper-3.4.8]$ bin/zkServer.sh start
    [hadoop@bigdata-senior03 zookeeper-3.4.8]$ bin/zkServer.sh start
    • 1
    • 2
    • 3

    11、 格式化NameNode

    在第一台上进行NameNode格式化:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format
    • 1

    在第二台NameNode上:

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -bootstrapStandby
    • 1

    12、 启动NameNode

    在第一台、第二台上启动NameNode:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    • 1
    • 2

    查看HDFS Web页面,此时两个NameNode都是standby状态。

    切换第一台为active状态:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin -transitionToActive nn1
    • 1

    可以添加上forcemanual参数,强制将一个NameNode转换为Active状态。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs haadmin –transitionToActive -forcemanual nn1
    • 1

    此时从web 页面就看到第一台已经是active状态了。

    enter image description here

    13、 配置故障自动转移

    利用zookeeper集群实现故障自动转移,在配置故障自动转移之前,要先关闭集群,不能在HDFS运行期间进行配置。

    关闭NameNode、DataNode、JournalNode、zookeeper

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
    [hadoop@bigdata-senior01 zookeeper-3.4.8]$ bin/zkServer.sh stop
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
    [hadoop@bigdata- senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
    [hadoop@bigdata- senior02 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
    [hadoop@bigdata- senior02 zookeeper-3.4.8]$ bin/zkServer.sh stop
    [hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
    [hadoop@bigdata- senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop journalnode
    [hadoop@bigdata- senior03 hadoop-2.5.0]$ cd ../../zookeeper-3.4.8/
    [hadoop@bigdata- senior03 zookeeper-3.4.8]$ bin/zkServer.sh stop
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    修改hdfs-site.xml

    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    • 1
    • 2
    • 3
    • 4

    修改core-site.xml

    <property>
       <name>ha.zookeeper.quorum</name>
       <value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value>
    </property>
    • 1
    • 2
    • 3
    • 4

    将hdfs-site.xml和core-site.xml分发到其他机器

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/hdfs-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/core-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
    • 1
    • 2
    • 3
    • 4

    启动zookeeper

    三台机器启动zookeeper

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/zookeeper-3.4.8/bin/zkServer.sh start
    • 1

    创建一个zNode

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ cd /opt/modules/hadoopha/hadoop-2.5.0/
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs zkfc -formatZK
    • 1
    • 2

    enter image description here

    在Zookeeper上创建一个存储namenode相关的节点。

    14、 启动HDFS、JournalNode、zkfc

    启动NameNode、DataNode、JournalNode、zkfc

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-dfs.sh
    • 1

    zkfc只针对NameNode监听。

    四十二、测试HDFS HA

    1、 测试故障自动转移和数据是否共享

    在nn1上上传文件

    目前bigdata-senior01节点上的NameNode是Active状态的。

    enter image description here

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /
    • 1

    enter image description here

    将nn1上的NodeNode进程杀掉

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ kill -9 3364
    • 1

    nn1上的namenode已经无法访问了。

    查看nn2是否是Active状态

    enter image description here

    在nn2上查看是否看见文件

    enter image description here

    经以上验证,已经实现了nn1和nn2之间的文件同步和故障自动转移。

    第十二步、Hadoop 2.x YARN HA 部署

    四十三、YARN HA原理

    Hadoop2.4版本之前,ResourceManager也存在单点故障的问题,也需要实现HA来保证ResourceManger的高可也用性。

    ResouceManager从记录着当前集群的资源分配情况和JOB的运行状态,YRAN HA 利用Zookeeper等共享存储介质来存储这些信息来达到高可用。另外利用Zookeeper来实现ResourceManager自动故障转移。

    enter image description here

    • MasterHADaemon:控制RM的 Master的启动和停止,和RM运行在一个进程中,可以接收外部RPC命令。

    • 共享存储:Active Master将信息写入共享存储,Standby Master读取共享存储信息以保持和Active Master同步。

    • ZKFailoverController:基于Zookeeper实现的切换控制器,由ActiveStandbyElector和HealthMonitor组成,ActiveStandbyElector负责与Zookeeper交互,判断所管理的Master是进入Active还是Standby;HealthMonitor负责监控Master的活动健康情况,是个监视器。

    • Zookeeper:核心功能是维护一把全局锁控制整个集群上只有一个Active的ResourceManager。

    四十四、搭建YARN HA环境

    1、 服务器角色规划

    bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.com
    NameNodeNameNode 
    ZookeeperZookeeperZookeeper
    DataNodeDataNodeDataNode
     ResourceManageResourceManage
    NodeManagerNodeManagerNodeManager

    2、 修改配置文件yarn-site.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
      </property>
      <property>
        <!--  启用resourcemanager的ha功能 -->
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
      </property>
      <property>
        <!--  为resourcemanage ha 集群起个id -->
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
      </property>
      <property>
        <!--  指定resourcemanger ha 有哪些节点名 -->
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm12,rm13</value>
      </property>
      <property>
        <!--  指定第一个节点的所在机器 -->
        <name>yarn.resourcemanager.hostname.rm12</name>
        <value>bigdata-senior02.chybinmy.com</value>
      </property>
      <property>
        <!--  指定第二个节点所在机器 -->
        <name>yarn.resourcemanager.hostname.rm13</name>
        <value>bigdata-senior03.chybinmy.com</value>
      </property>
      <property>
        <!--  指定resourcemanger ha 所用的zookeeper 节点 -->
        <name>yarn.resourcemanager.zk-address</name>
        <value>bigdata-senior01.chybinmy.com:2181,bigdata-senior02.chybinmy.com:2181,bigdata-senior03.chybinmy.com:2181</value>
      </property>
      <property>
        <!--  -->
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
      </property>
      <property>
        <!--  -->
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
      </property>
    </configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56

    3、 分发到其他机器

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp /opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoopha/hadoop-2.5.0/etc/hadoop/\
    • 1
    • 2

    4、 启动

    在bigdata-senior01上启动yarn:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
    • 1

    在bigdata-senior02、bigdata-senior03上启动resourcemanager:

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager
    • 1
    • 2

    启动后各个节点的进程。

    enter image description here

    enter image description here

    enter image description here

    Web客户端访问bigdata02机器上的resourcemanager正常,它是active状态的。

    http://bigdata-senior02.chybinmy.com:8088/cluster

    访问另外一个resourcemanager,因为他是standby,会自动跳转到active的resourcemanager。

    http://bigdata-senior03.chybinmy.com:8088/cluster

    四十五、测试YARN HA

    5、 运行一个mapreduce job

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wc.input /input
    • 1

    6、 在job运行过程中,将Active状态的resourcemanager进程杀掉。

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ kill -9 4475
    • 1

    7、 观察另外一个resourcemanager是否可以自动接替。

    bigdata02的resourcemanage Web客户端已经不能访问,bigdata03的resourcemanage已经自动变为active状态。

    8、 观察job是否可以顺利完成。

    而mapreduce job 也能顺利完成,没有因为resourcemanager的意外故障而影响运行。

    经过以上测试,已经验证YARN HA 已经搭建成功。

    第十三步、HDFS Federation 架构部署

    四十六、HDFS Federation 的使用原因

    1、 单个NameNode节点的局限性

    命名空间的限制。

    NameNode上存储着整个HDFS上的文件的元数据,NameNode是部署在一台机器上的,因为单个机器硬件的限制,必然会限制NameNode所能管理的文件个数,制约了数据量的增长。

    数据隔离问题。

    整个HDFS上的文件都由一个NameNode管理,所以一个程序很有可能会影响到整个HDFS上的程序,并且权限控制比较复杂。

    性能瓶颈。

    单个NameNode时HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。因为NameNode是个JVM进程,JVM进程所占用的内存很大时,性能会下降很多。

    2、 HDFS Federation介绍

    HDFS Federation是可以在Hadoop集群中设置多个NameNode,不同于HA中多个NameNode是完全一样的,是多个备份,Federation中的多个NameNode是不同的,可以理解为将一个NameNode切分为了多个NameNode,每一个NameNode只负责管理一部分数据。 
    HDFS Federation中的多个NameNode共用DataNode。

    四十七、HDFS Federation的架构图

    enter image description here

    四十八、HDFS Federation搭建

    1、 服务器角色规划

    bigdata-senior01.chybinmy.combigdata-senior01.chybinmy.combigdata-senior01.chybinmy.com
    NameNode1NameNode2NameNode3
     ResourceManage 
    DataNodeDataNodeDataNode
    NodeManagerNodeManagerNodeManager

    2、 创建HDFS Federation 版本Hadoop程序目录

    在bigdata01上创建目录/opt/modules/hadoopfederation /用来存放Hadoop Federation环境。

    [hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopfederation
    • 1

    3、 新解压Hadoop 2.5.0

    [hadoop@bigdata-senior01 ~]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopfederation/
    • 1

    4、 配置Hadoop JDK路径

    修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径。

    export JAVA_HOME=”/opt/modules/jdk1.7.0_67”

    5、 配置hdfs-site.xml

    <configuration>
    <property>
    <!—配置三台NameNode -->
        <name>dfs.nameservices</name>
        <value>ns1,ns2,ns3</value>
      </property>
      <property>
    <!—第一台NameNode的机器名和rpc端口,指定了NameNode和DataNode通讯用的端口号 -->
        <name>dfs.namenode.rpc-address.ns1</name>
        <value>bigdata-senior01.chybinmy.com:8020</value>
      </property>
       <property>
    <!—第一台NameNode的机器名和rpc端口,备用端口号 -->
        <name>dfs.namenode.serviceerpc-address.ns1</name>
        <value>bigdata-senior01.chybinmy.com:8022</value>
      </property>
      <property>
    <!—第一台NameNode的http页面地址和端口号 -->
        <name>dfs.namenode.http-address.ns1</name>
        <value>bigdata-senior01.chybinmy.com:50070</value>
      </property>
    <property>
    <!—第一台NameNode的https页面地址和端口号 -->
        <name>dfs.namenode.https-address.ns1</name>
        <value>bigdata-senior01.chybinmy.com:50470</value>
      </property>
    
      <property>
        <name>dfs.namenode.rpc-address.ns2</name>
        <value>bigdata-senior02.chybinmy.com:8020</value>
      </property>
       <property>
        <name>dfs.namenode.serviceerpc-address.ns2</name>
        <value>bigdata-senior02.chybinmy.com:8022</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.ns2</name>
        <value>bigdata-senior02.chybinmy.com:50070</value>
      </property>
        <property>
        <name>dfs.namenode.https-address.ns2</name>
        <value>bigdata-senior02.chybinmy.com:50470</value>
      </property>
    
    
      <property>
        <name>dfs.namenode.rpc-address.ns3</name>
        <value>bigdata-senior03.chybinmy.com:8020</value>
      </property>
       <property>
        <name>dfs.namenode.serviceerpc-address.ns3</name>
        <value>bigdata-senior03.chybinmy.com:8022</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.ns3</name>
        <value>bigdata-senior03.chybinmy.com:50070</value>
      </property>
        <property>
        <name>dfs.namenode.https-address.ns3</name>
        <value>bigdata-senior03.chybinmy.com:50470</value>
      </property>
    
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63

    6、 配置core-site.xml

    <configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoopha/hadoop-2.5.0/data/tmp</value>
    </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    hadoop.tmp.dir设置hadoop临时目录地址,默认时,NameNode和DataNode的数据存在这个路径下。

    7、 配置slaves文件

    bigdata-senior01.chybinmy.com
    bigdata-senior02.chybinmy.com
    bigdata-senior03.chybinmy.com
    • 1
    • 2
    • 3

    8、 配置yarn-site.xml

    <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>     
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02.chybinmy.com</value>
     </property>     
     <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>     
     <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
     </property>     
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

    9、 分发到其他节点

    分发之前先将share/doc目录删除,这个目录中是帮助文件,并且很大,可以删除。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/ /opt/modules/hadoopfederation bigdata-senior02.chybinmy.com:/opt/modules
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/hadoopfederation bigdata-senior03.chybinmy.com:/opt/modules
    • 1
    • 2

    10、 格式化NameNode

    在第一台上进行NameNode格式化。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
    • 1

    这里一定要指定一个集群ID,使得多个NameNode的集群ID是一样的,因为这三个NameNode在同一个集群中,这里集群ID为hadoop-federation-clusterId。

    在第二台NameNode上。

    [hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
    • 1

    在第二台NameNode上。

    [hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
    • 1

    11、 启动NameNode

    在第一台、第二台、第三台机器上启动NameNode:

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
    • 1
    • 2
    • 3

    启动后,用jps命令查看是否已经启动成功。

    查看HDFS Web页面,此时三个NameNode都是standby状态。

    enter image description here

    enter image description here

    enter image description here

    12、 启动DataNode

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    [hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start datanode
    • 1
    • 2
    • 3

    启动后,用jps命令确认DataNode进程已经启动成功。

    四十九、测试HDFS Federation

    1、 修改core-site.xml

    在bigdata-senior01机器上,修改core-site.xml文件,指定连接的NameNode是第一台NameNode。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

    <configuration>
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
      </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoopfederation/hadoop-2.5.0/data/tmp</value>
    </property>
    </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    2、 在bigdate-senior01上传一个文件到HDFS

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put ~/shuffle_daily.sh /tmp/shuffle_daily.sh
    • 1
    • 2

    3、 查看HDFS文件

    enter image description here

    可以看到,刚才的文件只上传到了bigdate-senior01机器上的NameNode上了,并没有上传到其他的NameNode上去。

    这样,在HDFS的客户端,可以指定要上传到哪个NameNode上,从而来达到了划分NameNode的目的。

    后记

    这篇文章的操作步骤并不是工作中标准的操作流程,如果在成百上千的机器全部这样安装会被累死,希望读者可以通过文章中一步步地安装,从而初步了解到Hadoop的组成部分,协助过程等,这对于Hadoop的深入使用有很大的帮助。

    展开全文
  • hadoop 各种概念整理

    2019-07-30 19:50:39
    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的...

    http://hadoop.apache.org/


    Hadoop

    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。

    HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

    Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

    Hadoop解决哪些问题?

    • 海量数据需要及时分析和处理

    • 海量数据需要深入分析和挖掘

    • 数据需要长期保存

    海量数据存储的问题:

    • 磁盘IO称为一种瓶颈,而非CPU资源

    • 网络带宽是一种稀缺资源

    • 硬件故障成为影响稳定的一大因素

    Hadoop 相关技术

    Hbase

    • Nosql数据库,Key-Value存储
    • 最大化利用内存

    HDFS

    • hadoop distribute file system(分布式文件系统)
    • 最大化利用磁盘

    MapReduce

    • 编程模型,主要用来做数据分析
    • 最大化利用CPU

    集中式系统

    集中式系统用一句话概括就是:一个主机带多个终端。终端没有数据处理能力,仅负责数据的录入和输出。而运算、存储等全部在主机上进行。现在的银行系统,大部分都是这种集中式的系统,此外,在大型企业、科研单位、军队、政府等也有分布。集中式系统,主要流行于上个世纪。

    集中式系统的最大的特点就是部署结构非常简单,底层一般采用从IBM、HP等厂商购买到的昂贵的大型主机。因此无需考虑如何对服务进行多节点的部署,也就不用考虑各节点之间的分布式协作问题。但是,由于采用单机部署。很可能带来系统大而复杂、难于维护、发生单点故障(单个点发生故障的时候会波及到整个系统或者网络,从而导致整个系统或者网络的瘫痪)、扩展性差等问题。

    分布式系统(distributed system)

    一群独立计算机集合共同对外提供服务,但是对于系统的用户来说,就像是一台计算机在提供服务一样。分布式意味着可以采用更多的普通计算机(相对于昂贵的大型机)组成分布式集群对外提供服务。计算机越多,CPU、内存、存储资源等也就越多,能够处理的并发访问量也就越大。

    一个标准的分布式系统应该具有以下几个主要特征:

    • 分布性

    分布式系统中的多台计算机之间在空间位置上可以随意分布,系统中的多台计算机之间没有主、从之分,即没有控制整个系统的主机,也没有受控的从机。

    • 透明性

    系统资源被所有计算机共享。每台计算机的用户不仅可以使用本机的资源,还可以使用本分布式系统中其他计算机的资源(包括CPU、文件、打印机等)。

    • 同一性

    系统中的若干台计算机可以互相协作来完成一个共同的任务,或者说一个程序可以分布在几台计算机上并行地运行。

    • 通信性

    系统中任意两台计算机都可以通过通信来交换信息。

    分布式数据和存储

    大型网站常常需要处理海量数据,单台计算机往往无法提供足够的内存空间,可以对这些数据进行分布式存储。

    分布式计算

    随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。

    关系型数据库, MapReduce (大规模数据批量分析)

    数据访问效率

    磁盘寻址时间提高速度远远小于数据传输速率提高速度(寻址是将磁头移动到特定硬盘位置进行读写操作,这是导致硬盘操作延迟的主要原因,而传输速率取决于硬盘的带宽)。对于超大规模数据(以PB为单位)必须考虑使用其他方式。关系型数据库使用B树结构进行数据的更新查询操作,对于最大到GB的数据量,一般相对数据量较小,效果很好。但是大数据量时,B树使用排序/合并方式重建数据库以更新数据的效率远远低于MapReduce。

    数据结构不同

    • 结构化数据

    (structured data):是具体既定格式的实体化数据,如XML文档或满足特定预定义格式的数据库表。这是RDBMS包括的内容。
    半结构化数据

    • 半结构化数据

    (semi-structured data):比较松散,虽然可能有格式,但是经常被忽略,所以他只能作为对的一般指导。如:一张电子表格,其结构是由单元格组成的网格,但是每个单元格自身可保存任何形式的数据。
    非结构化数据

    • 非结构化数据
      (unstructured data):没有什么特别的内部结构,如纯文本或图像数据。

    关系型数据使用的是结构化数据,在数据库阶段按具体类型处理数据。关系型数据的规范性非常重要,保持数据的完整性,一致性。

    MapReduce 线性,可伸缩性编程

    程序员需要编写 map函数 和 reduce函数。每个函数定义从一个键值对集合到另一个键值对集合的映射。

    MapReduce 工作原理

    这里写图片描述
    [外链图片转存失败(img-LIpqU6Ps-1564487419476)(./MapReduce.jpg)]

    这里写图片描述
    [外链图片转存失败(img-RCTGs46k-1564487419481)(./MapReduce2.png)]

    map函数:接受一个键值对(key-value pair),产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。

    reduce函数:接受一个键,以及相关的一组值,将这组值进行合并产生一组规模更小的值(通常只有一个或零个值)。

    HDFS

    HDFS采用master/slave架构
    这里写图片描述
    [外链图片转存失败(img-v0uO2EzA-1564487419485)(./hdfs.png)]

    rack

    放服务器的支架。

    一个Block的副本会保存到两个或两个以上的机架上的服务器中,这样能防灾容错,因为一个机架出现掉电,交换机挂了的概率还是很高的。

    数据块

    linux中每个磁盘有默认的数据块大小,这是对磁盘操作的最小单位,通常512字节。HDFS同样也有块(Block)的概念,默认64MB/128MB,比磁盘块大得多。与单一的文件系统类似,HDFS上的文件系统也被划分成多个分块(Chunk)作为独立的存储单元。

    一个hadoop文件就是由一系列分散在不同的DataNode上的block组成。

    HDFS默认的Block为64MB/128MB?

    块相对较大,主要是把寻道时间最小化。如果一个块足够大,从硬盘传输数据的时间将远远大于寻找块起始位置的时间。这样使得HDFS的数据块速度和硬盘的传输速度更加接近。

    NameNode 元数据节点

    NameNode的作用是管理文件目录结构,接受用户的操作请求,是管理数据节点的,是一个jetty服务器。名字节点维护两套数据, 一套是文件目录与数据块之间的关系 , 另一套是数据块与节点之间的关系 。 前一套 数据是 静态的 ,是存放在磁盘上的, 通过fsimage和edits文件来维护 ; 后一套 数据是 动态的 ,不持久放到到磁盘的,每当集群启动的时候,会自动建立这些信息,所以一般都放在内存中。

    NameNode保存文件metadata信息,包括:

    • 文件owership和permissions

    • 文件包含哪些块

    • Block保存在哪个DateNode(由DataNode启动时上报给)

    例如一个Metadata

    file.txt
    Blk A:
    DN1,DN5,DN6
    
    Blk B:
    DN7,DN1,DN2
    
    Blk C:
    DN5,DN8,DN9
    

    NameNode的metadata信息在启动后会加载到内存中

    文件包括:

    ① fsimage (文件系统镜像):元数据镜像文件。存储某一时段NameNode内存元数据信息。

    ② edits: 操作日志文件。

    ③ fstime: 保存最近一次checkpoint的时间

    NameNode决定是否将文件映射到DataNode的复制块上:多副本,默认三个,第一个复制块存储在同一机架的不同节点上,最后一个复制块存储到不同机架的某个节点上。

    这里写图片描述
    [外链图片转存失败(img-7UAhO4is-1564487419489)(./bak.jpg)]

    这里写图片描述
    [外链图片转存失败(img-qlwTTVZH-1564487419492)(./bak2.jpg)]

    转自:http://www.cnblogs.com/gisorange/p/4328859.html

    DataNode

    DataNode的作用是HDFS中真正存储数据的。

    DataNode的作用:

    • 保存Block,每个块对应一个元数据信息文件。这个文件主要描述这个块属于哪个文件,第几个块等信息。

    • 启动DataNode线程的时候会向NameNode汇报Block信息

    • 通过向NameNode发送心跳保持与其联系(3秒一次),如果NameNode 10分钟没有收到DataNode的心跳,认为其已经lost,并将其上的Block复制到其它的DataNode.

    假设文件大小是100GB,从字节位置0开始,每64MB字节划分为一个block,依此类推,可以划分出很多的block。每个block就是64MB大小。block是hdfs读写数据的基本单位。

    Secondary NameNode(辅助元数据信息)

    Secondary NameNode是一个用来监控HDFS状态的辅助后台程序。定期的将Namespace镜像与操作日志文件(edit log)合并,以防止操作日志文件(edit log)变得过大;能减少NameNode启动时间。

    它不是NameNode的热备份,可以作为一个冷备份

    • 将本地保存的fsimage导入
    • 修改cluster的所有DataNode的NameNode地址
    • 修改所有client端的NameNode地址
    • 或者修改Secondary NameNode IP为 NameNode IP

    这里写图片描述
    [外链图片转存失败(img-Vjn8qp6L-1564487419495)(./snn.jpg)]

    hadoop读取文件

    这里写图片描述
    [外链图片转存失败(img-s8dgxJfj-1564487419499)(./hdfs_read.png)]

    hadoop写文件

    这里写图片描述
    [外链图片转存失败(img-6wD4pEqU-1564487419501)(./hdfs_write.png)]

    Hadoop在创建新文件时是如何选择block的位置的呢,综合来说,要考虑以下因素:带宽(包括写带宽和读带宽)和数据安全性。如果我们把三个备份全部放在一个datanode上,虽然可以避免了写带宽的消耗,但几乎没有提供数据冗余带来的安全性,因为如果这个datanode当机,那么这个文件的所有数据就全部丢失了。另一个极端情况是,如果把三个冗余备份全部放在不同的机架,甚至数据中心里面,虽然这样数据会安全,但写数据会消耗很多的带宽。Hadoop 0.17.0给我们提供了一个默认replica分配策略(Hadoop 1.X以后允许replica策略是可插拔的,也就是你可以自己制定自己需要的replica分配策略)。replica的默认分配策略是把第一个备份放在与客户端相同的datanode上(如果客户端在集群外运行,就随机选取一个datanode来存放第一个replica),第二个replica放在与第一个replica不同机架的一个随机datanode上,第三个replica放在与第二个replica相同机架的随机datanode上。如果replica数大于三,则随后的replica在集群中随机存放,Hadoop会尽量避免过多的replica存放在同一个机架上。

    转自:http://www.cnblogs.com/beanmoon/archive/2012/12/17/2821548.html

    NameNode 安全模式

    在分布式文件系统自动的时候,开始时会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中不允许有上传,修改,删除等写操作,只能读,直到安全模式结束。

    1) namenode启动的时候,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作

    2) 一旦在内存中成功建立文件系统元数据的映射,则创建一个新的fsimage文件(这个操作不要SecondaryNameNode)和一个空的日志edits文件

    3) NameNode开始监听RPC和HTTP请求

    4) 此刻namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。(可以显示目录,显示文件内容等;写,删除,重命名等操作都会失败)

    5) 系统中的数据块的位置不是有namenode维护的,而是以块列表的形式存储在datanode中(datanode启动汇报的)

    6) 在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息

    7)在安全模式下,各个datanode会向namenode发送块列表的最新情况

    8) 进入和离开安全模式

    查看namenode处于哪个状态
    hadoop dfsadmin -sagemode get

    进入安全模式(hadoop启动的时候是在安全模式)
    hadoop dfsadmin -sagemode enter

    离开安全模式
    hadoop dfsadmin -sagemode leave

    Hadoop中的RPC机制

    同其他RPC框架一样,Hadoop RPC分为四个部分:

    (1)序列化层:Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型;

    (2)函数调用层:Hadoop RPC通过动态代理以及java反射实现函数调用;

    (3)网络传输层:Hadoop RPC采用了基于TCP/IP的socket机制;

    (4)服务器端框架层:RPC Server利用java NIO以及采用了事件驱动的I/O模型,提高RPC Server的并发处理能力;

    展开全文
  • Hadoop完整解析

    2019-01-14 11:33:02
    1:首先了解一下Hadoop是什么以及能为我们做些什么 https://blog.csdn.net/zhang123456456/article/details/77657807 2:Hadoop的安装方式 !!!注意点: 为了保证远程云主机的内网地址本地可见 需要配置VPN访问 ...
  • 一、Hadoop简介: 1.大数据略知一二: 1)大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、...
  • Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、...
  • Hadoop详解

    2018-07-26 20:20:10
    大数据的5V特点(IBM提出): Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性) 大数据的应用: 预测犯罪的发生;预测禽流感的散布;...Hadoop ...
  • 最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。 首先要了解一下Hadoop的运行模式: 单机模式(standalone)  单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件...
  • 给力的blog,怕丢失,故转载当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装...
  • 尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装
  • 1、hadoop是什么? (1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据...
  • Hive 是建立在 Hadoop 基础上的数据仓库处理工具,使用类SQL 的HiveQL 语言实现数据查询,所有Hive 的数据都存储在Hadoop 兼容的文件系统(例如,Amazon S3、HDFS)中。Hive 在加载数据过程中不会对数据进行任何的...
  • 需要的安装包: 1.jdk压缩包 2.hadoop压缩包请前往我的github上下载相关安装包开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.04版本的因为默认的虚拟机主机名都是ubuntu,所以为了便于...
  • Hadoop框架中最核心设计就是:HDFS和MapReduce,HDFS实现存储,而MapReduce实现原理分析处理,这两部分是hadoop的 核心。数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果,...
  • 使用docker搭建部署hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,只能自己写一个了。 一:环境准备: 1:首先要有一个Centos7操作系统,可以在虚拟机中安装...
1 2 3 4 5 ... 20
收藏数 409,205
精华内容 163,682
关键字:

hadoop