HDFS
主要作用
组成部分
HDFS存储数据方式
数据副本机制
数据副本存放机制
Namenode的作用
DataNode的作用


HDFS全称    Hadoop Distribute File System 即 Hadoop分布式文件系统

主要作用

即存储海量数据

为什么能存储海量数据？？

因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展

组成部分

管理者-Master     NameNode  集群中有1~2个，用于管理集群中的工作者

工作者-Slave       DateNode    集群中有多个，正真存储和计算数据组件

辅助管理              SecondaryNameNode   辅助管理者工作

HDFS存储数据方式

以数据块的方式存储数据。默认一个数据块128M，该数值可以修改

注意：这里的128仅仅是切分数据的阈值。

一个大的数据被切分成多个小的128的数据块，分别存储在集群多个节点的不同位置。

数据副本机制

数据副本默认是3份。

一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）

数据副本存放机制

第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外，那么根据一定的计算规则选一个节点

第二份副本，在与第一份相同机柜，且不在同一个服务器的节点上。

第三份与第一份第二份不在同一个机柜，且逻辑距离（网络拓扑）最近的机柜选择一个节点存储

Namenode的作用

1.维护目录树，维护命名空间。

2.负责确定指定的文件块到具体的Datanode节点的映射关系。（在客户端与Datanode之间共享数据）

3、管理Datanode结点的状态报告

DataNode的作用

1、	负责管理它所在结点上存储的数据的读写，及存储数据。.

2、	向Namenode结点报告DataNode节点的状态。

3、	通过流水线复制实现三份数据副本。

1，hdfs下的相对路径是相对于：/bin/root

大数据_05 【hadoop HDFS-基本介绍】
01 Hadoop组成
02 Hadoop的文件系统介绍
03 HDFS分块存储
05 HDFS副本机制
06 名字空间（NameSpace）
07 Namenode 功能
08 DataNode的作用
09 机架感知

01 Hadoop组成
Hadoop  HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。
Hadoop  MapReduce：一个分布式的资源调度和离线并行计算框架。	
adoop  	Yarn：基于HDFS,用于作业调度和集群资源管理的框架。
Hadoop  Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）

02 Hadoop的文件系统介绍

HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop

核心组件之一，作为最底层的分布式存储服务而存在。

分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。



HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的Datanode

组成。Namenode 是 HDFS 集群主节点，Datanode 是 HDFS

集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。



NameNode（Master）管理者 - 只负责管理，管理集群内各个节点。
SecondaryNameNode 辅助管理 – 只负责辅助NameNode管理工作。
DataNode(Slave) 工作者，是负责工作，周期向NameNode汇报，进行读写数据。


1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。

2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

3）DataNode负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

4）SecondaryNameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。最主要作用是辅助namenode管理元数据信息


03 HDFS分块存储

hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理


所有的文件都是以block块的方式存放在HDFS文件系统当中，在Hadoop1当中，文件的block块默认大小是64M，Hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定

<property>
    <name>dfs.block.size</name>
    <value>块大小 以字节为单位</value>//只写数值就可以
</property>



一个文件100M，上传到HDFS占用几个快？ 	一个块128M，剩余的28M怎么办？


事实上，128只是个数字，数据超过128M，便进行切分，如果没有超过128M，就不用切分，有多少算多少，不足128M的也是一个快。这个快的大小就是100M，没有剩余28M这个概念。


抽象成数据块的好处

一个文件有可能大于集群中任意一个磁盘   20T/128 = xxx块，这些block块属于一个文件
使用块抽象而不是文件,可以简化存储子系统。
块非常适合用于数据备份进而提供数据容错能力和可用性



块缓存

通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。

05 HDFS副本机制

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。 为了容错，文件的所有 block 都会有副本。每个文件的 block


大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。


数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性 在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数

在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数

<property>
      <name>dfs.replication</name>
      <value>3</value>
</property>


低版本Hadoop副本节点选择

第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于不相同机架的随机节点上。

第三个副本和第二个副本位于相同机架，节点随机。



Hadoop2.7.2副本节点选择 	

第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。

第二个副本和第一个副本位于相同机架，随机节点。 	

第三个副本位于不同机架，随机节点。


06 名字空间（NameSpace）

HDFS

支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。


Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被Namenode 记录下来。


HDFS会给客户端提供一个统一的目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。

07 Namenode 功能

1、	维护目录树，维护命名空间。

2、	负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据）

3、管理Datanode结点的状态报告

08 DataNode的作用

1、	负责管理它所在结点上存储的数据的读写，及存储数据。

2、	向Namenode结点报告DataNode节点的状态。

3、	通过流水线复制实现三份数据副本

09 机架感知
机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）
#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

        "12.12.3.1":"SW6300-1",  
        "12.12.3.2":"SW6300-1",  
        "12.12.3.3":"SW6300-1",  
        "12.12.3.4":"SW6300-1",  
        "12.12.3.5":"SW6300-1",  
        "12.12.3.6":"SW6300-1",  

        "12.12.3.25":"SW6300-2",  
        "12.12.3.26":"SW6300-2",  
        "12.12.3.27":"SW6300-2",  
 
        "12.12.3.49":"SW6300-3",  
        "12.12.3.50":"SW6300-3",  
        "12.12.3.51":"SW6300-3",  
     
        "12.12.3.73":"SW6300-4",  
        "12.12.3.74":"SW6300-4",  
        "12.12.3.75":"SW6300-4",  
		}  
if __name__=="__main__":  
    print "/" + rack.get(sys.argv[1],"SW6300-1-2") 

使用以下命令验证
[root@node01 sbin]# python RackAware.py 12.12.3.1/SW6300-1 

编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值
<property>
<name>topology.script.file.name</name>
<value>/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py </value>
</property>

大数据_07 【hadoop HDFS的shell命令操作】
01 基本语法
02 常用普通命令实操
03 HDFS常用高级命令
04 HDFS适用场景
05 HDFS不适用场景
06 hdfs的安全模式

01 基本语法

基本语法		bin/hdfs dfs 具体命令

02 常用普通命令实操
HDFS文件夹的增删改查
		上传	hadoop  fs  -mkdir   /aa
		修改	hadoop  fs  -mv  /aa   /bb
		删除	hdfs  dfs  -rmr  /bb
		查询	hdfs  dfs  -ls   /
		
HDFS文件的增删改查
		上传	hadoop  fs  -put   abc.txt  /
		修改	hadoop  fs  -mv  /abc.txt    /abcdef.txt
		删除	hdfs  dfs  -rmr  /abcdef.txt
		查询	hdfs  dfs  -cat    /abcdef.txt

03 HDFS常用高级命令
1、	文件夹内文件数量限制
	a)	设置数量：hdfs   dfsadmin   -setQuota   2   /aa
	b)	取消设置：hdfs   dfsadmin   -clrQuota    /aa
2、	文件夹内存储空间大小限制
	a)	设置大小：hdfs 	dfsadmin 	-setSpaceQuota 	100M 	/aa
	b)	取消设置：hdfs 	dfsadmin 	-clrSpaceQuota	 /aa
3、	进入退出安全模式
	a)	查看状态：hdfs  dfsadmin 	-safemode  get
	b)	进入安全模式：	hdfs  dfsadmin 	-safemode  enter
c)	退出安全模式：	hdfs  dfsadmin 	-safemode  leave

04 HDFS适用场景
1、	海量数据存储
2、	高容错
3、	商用廉价的硬件
4、	存储大文件
5、	一次写入多次读取

05 HDFS不适用场景
1、	查询时效性要求低延迟的场景
2、	大量小文件。
3、	需要频繁修改数据的场景
4、	多个用户同时操作一个文件

06 hdfs的安全模式

安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。


如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hdfs集群刚启动的时候，默认30S钟的时间是处于安全期的，只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作


hdfs  dfsadmin  -safemode


进入退出安全模式
	a)	查看状态：hdfs  dfsadmin 	-safemode  get
	b)	进入安全模式：	hdfs  dfsadmin 	-safemode  enter
	c)	退出安全模式：	hdfs  dfsadmin 	-safemode  leave