数据管理技术经历了三个阶段：人工管理阶段＼文件系统阶段　和　数据库阶段 
书上说，文件系统和数据库阶段最本质的区别是：数据的结构化　

近期由中关村大数据产业联盟举办的“大数据100分”线上研讨会中，南大通用的CTO、资深业界专家武新博士同众多网友分享了底层数据处理技术的发展趋势和正在经历的巨大变革。以下为分享实录：


　　大数据这个领域过去5年发展很快、热度很高，但是总的来说目前还在起步阶段。本次研讨会我会先谈谈数据，以及大数据对数据处理技术的压力，然后为大家分享一下为什么这几年数据处理技术上的创新很多。


　　1. 数据价值的发现与使用


　　在大数据的4个V中，最显著的特征应该是Value(价值)。不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据。


　　我跟数据打了20多年的交道，从来没感觉到搞数据的地位有今天这么高。整个社会对数据的认知变了，大数据最大的贡献至少是让社会各个层面开始认识到数据的重要性，包括最高领导和底层的老百姓。


　　目前大家基本达成共识：数据像石油、煤一样是宝贵的资产，其内在的价值非常巨大。另外一个显著的贡献无疑是互联网企业对于数据的巧妙使用和价值体现。


　　2. 数据处理技术的回顾


　　互联网的数据“大”是不争的事实，现在分析一下数据处理技术面临的挑战。目前除了互联网企业外，数据处理领域还是传统关系型数据库(RDBMS)的天下。传统RDBMS的核心设计思想基本上是30年前形成的。过去30年脱颖而出的无疑是Oracle公司。全世界数据库市场基本上被 Oracle，IBM/DB2，Microsoft/SQL Server
 垄断，其他几家市场份额都比较小。SAP去年收购了Sybase，也想成为数据库厂商。有份量的独立数据库厂商现在就剩下Oracle和 Teradata。开源数据库主要是MySQL，PostgreSQL，除了互联网领域外，其他行业用的很少。这些数据库当年主要是面向OLTP交易型需求设计、开发的，是用来开发人机会话应用为主的。这些传统数据库底层的物理存储格式都是行存储，比较适合数据频繁的增删改操作，但对于统计分析类的查询，行存储其实效率很低。在这些成熟的数据库产品中，有2个典型特例：一个是Teradata，一个是Sybase
 IQ。


　　Teradata一开始就使用MPP(Massive Parallel Processing)架构，以软硬一体机的产品方式提供给客户，其定位是高端客户的数据仓库和决策分析系统，Teradata在全世界的客户只有几千个。在这个数据分析高端市场上，Teradata一直是老大，在数据分析技术上Oracle和IBM打不过Teradata。Sybase
 IQ是一款最早基于列存储的关系型数据库产品，其定位跟Teradata类似，不过是以软件方式销售的。Teradata和Sybase IQ在数据分析应用上的性能其实都比Oracle，DB2等要普遍好。


　　3. 数据增长加速，数据多样化，大数据时代来临


　　如果说现在是大数据时代了，其实是数据来源发生了质的变化。在互联网出现之前，数据主要是人机会话方式产生的，以结构化数据为主。所以大家都需要传统的RDBMS来管理这些数据和应用系统。那时候的数据增长缓慢、系统都比较孤立，用传统数据库基本可以满足各类应用开发。


　　互联网的出现和快速发展，尤其是移动互联网的发展，加上数码设备的大规模使用，今天数据的主要来源已经不是人机会话了，而是通过设备、服务器、应用自动产生的。传统行业的数据同时也多起来了，这些数据以非结构、半结构化为主，而真正的交易数据量并不大，增长并不快。机器产生的数据正在几何级增长，比如基因数据、各种用户行为数据、定位数据、图片、视频、气象、地震、医疗等等。


　　所谓的“大数据应用”主要是对各类数据进行整理、交叉分析、比对，对数据进行深度挖掘，对用户提供自助的即席、迭代分析能力。还有一类就是对非结构化数据的特征提取，以及半结构化数据的内容检索、理解等。


　　传统数据库对这类需求和应用无论在技术上还是功能上都几乎束手无策。这样其实就给类似Hadoop的技术和平台提供了很好的发展机会和空间。互联网公司自然就选择能支撑自己业务的开源技术了，反过来又推动了开源技术的快速发展。


　　4. 新的数据处理技术、产品和创新


　　为了应对数据处理的压力，过去十年间在数据处理技术领域有了很多的创新和发展。除了面向高并发、短事务的OLTP内存数据库外(Altibase， Timesten)，其他的技术创新和产品都是面向数据分析的，而且是大规模数据分析的，也可以说是大数据分析的。


　　在这些面向数据分析的创新和产品中，除了基于Hadoop环境下的各种NoSQL外，还有一类是基于Shared Nothing架构的面向结构化数据分析的新型数据库产品(可以叫做NewSQL)，如：Greenplum(EMC收购)，Vertica(HP 收购)，Asterdata(TD 收购)，以及南大通用在国内开发的GBase 8a
 MPP Cluster等。目前可以看到的类似开源和商用产品达到几十个，而且还有新的产品不断涌出。一个有趣的现象是这些新的数据库厂商多数都还没有10年历史，而且发展好的基本都被收购了。收购这些新型数据库厂商的公司，比如EMC、HP，都希望通过收购新技术和产品进入大数据处理市场，是新的玩家。SAP 除了收购Sybase外，自己开发了一款叫HANA的新产品，这是一款基于内存、面向数据分析的内存数据库产品。


　　这类新的分析型数据库产品的共性主要是：


　　架构基于大规模分布式计算(MPP);硬件基于X86 PC 服务器;存储基于服务器自带的本地硬盘;操作系统主要是Linux;拥有极高的横向扩展能力(scale out)和内在的故障容错能力和数据高可用保障机制;能大大降低每TB数据的处理成本，为“大数据”处理提供技术和性价比支撑。


　　总的来看，数据处理技术进入了一个新的创新和发展高潮，机会很多。这里的主要原因是一直沿用了30年的传统数据库技术遇到了技术瓶颈，而市场和用户的需求在推动着技术的创新，并为此创造了很多机会。在大数据面前，越来越多的用户愿意尝试新技术和新产品，不那么保守了，因为大家开始清晰地看到传统技术的瓶颈，选择新的技术才有可能解决他们面临的新问题。


　　现在的总体趋势是在数据量快速增长、多类数据分析并存的需求压力下，数据处理技术朝着细分方向发展，过去30年一种平台满足所有应用需求的时代已经过去。我们必须开始根据应用需求和数据量选择最适合的产品和技术来支撑应用。世界数据处理市场格局正在发生革命性的变化，传统数据库(OldSQL)一统天下变成了OldSQL+NewSQL+NoSQL+其他新技术(流、实时、内存等)共同支撑多类应用的局面。在大数据时代，需要的是数据驱动最优平台和产品的选择。


　　5. MPP关系型数据库与Hadoop的非关系型数据库


　　大数据存储技术路线最典型的共有三种：


　　第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本 PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。


　　这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。








　　图1 MPP架构图


　　第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。


　　第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。


　　6. 数据仓库的重要性


　　在互联网高速发展之前，无论是电信运营商，还是大银行，保险公司等都花费了巨额资金建立了自己的企业级数据仓库。这些仓库主要是为企业决策者生成企业的一些关键指标(KPI)，有的企业有几千张、甚至上万张KPI报表，有日表，周表，月表等等。这些系统有几个主要特征：


　　技术架构主要基于传统RDBMS + 小型机 + 高端阵列 (就是大家说的IOE)，当然数据库有部分DB2，Teradata等。


　　报表基本都是固定的静态报表，产生的方式是T+1 (无法即时产生)。


　　数据量增长相对缓慢，DW的环境变化很少。


　　最终用户只能看汇总的报表，很少能够基于汇总数据做动态drilldown (钻取)。


　　多数领导基本上认为花了很多钱，但看不出是否值得做，有鸡肋的感觉。最后大家对大量的报表都视而不见了。


　　这类系统属于“高富帅”，是有钱的企业给领导用的。


　　最后，目前多数企业和部门根本就没有数据仓库。其实大家对传统数据的分析还没做得太好、还没有普及，现在又遇上了大数据。


　　数据仓库对企业是真正有用的，其关键还是如何把数据用好。


　　7. 数据处理技术的核心问题到底是什么?


　　其实我们一直面临着数据处理中最核心、最大的问题，那就是性能问题。性能不好的技术和产品是没有生命力的。数据处理性能问题不是因为大数据才出现，也不会有了大数据技术而消失。处理性能的提升将促进对数据价值的挖掘和使用，而数据价值挖掘的越多、越深入，对处理技术要求就越高。


　　目前的数据仓库只能满足一些静态统计需求，而且是T+1模式;也是因为性能问题，运营商无法有效构造超过PB级别的大数据仓库，无法提供即席查询、自助分析、复杂模型迭代分析的能力，更无法让大量一线人员使用数据分析手段。


　　今天如果做“大数据”数据仓库，运营商面临的挑战比上个10年要大的多。目前没有单一技术和平台能够满足类似运营商的数据分析需求。可选的方案只能是混搭架构，用不同的分布式技术来支撑一个超越PB级的数据仓库系统。这个混搭架构主要的核心是新一代的MPP并行数据库集群+ Hadoop集群，再加上一些内存计算、甚至流计算技术等。


　　大数据需要多元化的技术来支撑。当前数据处理对企业的挑战越来越大，主要是下面几个原因：


　　第一个原因是数据量已经是上一代的一个数量级了，1个省份级运营商1年就可超越1PB结构化数据。


　　第二个原因是“大数据”关注的更多是用户行为、群体趋势、事件之间的相关性等，而不仅仅是过去的KPI，。这就对数据分析平台对数据的分析能力和性能提出了新的要求和挑战。








　　图2未来大数据处理的核心技术


　　8. 总结——新型MPP数据库的价值


　　技术：基于列存储+MPP架构的新型数据库在核心技术上跟传统数据库有巨大差别，是为面向结构化数据分析设计开发的，能够有效处理PB级别的数据量。在技术上为很多行业用户解决了数据处理性能问题。


　　用户价值：新型数据库是运行在x-86 PC服务器之上的，可以大大降低数据处理的成本(1个数量级)。


　　未来趋势：新型数据库将逐步与Hadoop生态系统结合混搭使用，用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL和事务支持能力;用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求。


　　下图是南大通用正在做的大数据处理平台架构图，将逐步把MPP与Hadoop技术融合在一起，为用户提供透明的数据管理平台。








　　图3 MPP与Hadoop技术融合的产品架构图

三种最典型的大数据存储技术路线





发布时间： 2014-4-22 15:14:49  


　　近期由中关村大数据产业联盟举办的“大数据100分”线上研讨会中，南大通用的CTO、资深业界专家武新博士同众多网友分享了底层数据处理技术的发展趋势和正在经历的巨大变革。以下为分享实录：


　　大数据这个领域过去5年发展很快、热度很高，但是总的来说目前还在起步阶段。本次研讨会我会先谈谈数据，以及大数据对数据处理技术的压力，然后为大家分享一下为什么这几年数据处理技术上的创新很多。


　　1. 数据价值的发现与使用


　　在大数据的4个V中，最显著的特征应该是Value(价值)。不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据。


　　我跟数据打了20多年的交道，从来没感觉到搞数据的地位有今天这么高。整个社会对数据的认知变了，大数据最大的贡献至少是让社会各个层面开始认识到数据的重要性，包括最高领导和底层的老百姓。


　　目前大家基本达成共识：数据像石油、煤一样是宝贵的资产，其内在的价值非常巨大。另外一个显著的贡献无疑是互联网企业对于数据的巧妙使用和价值体现。


　　2. 数据处理技术的回顾


　　互联网的数据“大”是不争的事实，现在分析一下数据处理技术面临的挑战。目前除了互联网企业外，数据处理领域还是传统关系型数据库(RDBMS)的天下。传统RDBMS的核心设计思想基本上是30年前形成的。过去30年脱颖而出的无疑是Oracle公司。全世界数据库市场基本上被 Oracle，IBM/DB2，Microsoft/SQL Server
 垄断，其他几家市场份额都比较小。SAP去年收购了Sybase，也想成为数据库厂商。有份量的独立数据库厂商现在就剩下Oracle和 Teradata。开源数据库主要是MySQL，PostgreSQL，除了互联网领域外，其他行业用的很少。这些数据库当年主要是面向OLTP交易型需求设计、开发的，是用来开发人机会话应用为主的。这些传统数据库底层的物理存储格式都是行存储，比较适合数据频繁的增删改操作，但对于统计分析类的查询，行存储其实效率很低。在这些成熟的数据库产品中，有2个典型特例：一个是Teradata，一个是Sybase
 IQ。


　　Teradata一开始就使用MPP(Massive Parallel Processing)架构，以软硬一体机的产品方式提供给客户，其定位是高端客户的数据仓库和决策分析系统，Teradata在全世界的客户只有几千个。在这个数据分析高端市场上，Teradata一直是老大，在数据分析技术上Oracle和IBM打不过Teradata。Sybase
 IQ是一款最早基于列存储的关系型数据库产品，其定位跟Teradata类似，不过是以软件方式销售的。Teradata和Sybase IQ在数据分析应用上的性能其实都比Oracle，DB2等要普遍好。


　　3. 数据增长加速，数据多样化，大数据时代来临


　　如果说现在是大数据时代了，其实是数据来源发生了质的变化。在互联网出现之前，数据主要是人机会话方式产生的，以结构化数据为主。所以大家都需要传统的RDBMS来管理这些数据和应用系统。那时候的数据增长缓慢、系统都比较孤立，用传统数据库基本可以满足各类应用开发。


　　互联网的出现和快速发展，尤其是移动互联网的发展，加上数码设备的大规模使用，今天数据的主要来源已经不是人机会话了，而是通过设备、服务器、应用自动产生的。传统行业的数据同时也多起来了，这些数据以非结构、半结构化为主，而真正的交易数据量并不大，增长并不快。机器产生的数据正在几何级增长，比如基因数据、各种用户行为数据、定位数据、图片、视频、气象、地震、医疗等等。


　　所谓的“大数据应用”主要是对各类数据进行整理、交叉分析、比对，对数据进行深度挖掘，对用户提供自助的即席、迭代分析能力。还有一类就是对非结构化数据的特征提取，以及半结构化数据的内容检索、理解等。


　　传统数据库对这类需求和应用无论在技术上还是功能上都几乎束手无策。这样其实就给类似Hadoop的技术和平台提供了很好的发展机会和空间。互联网公司自然就选择能支撑自己业务的开源技术了，反过来又推动了开源技术的快速发展。


　　4. 新的数据处理技术、产品和创新


　　为了应对数据处理的压力，过去十年间在数据处理技术领域有了很多的创新和发展。除了面向高并发、短事务的OLTP内存数据库外(Altibase， Timesten)，其他的技术创新和产品都是面向数据分析的，而且是大规模数据分析的，也可以说是大数据分析的。


　　在这些面向数据分析的创新和产品中，除了基于Hadoop环境下的各种NoSQL外，还有一类是基于Shared Nothing架构的面向结构化数据分析的新型数据库产品(可以叫做NewSQL)，如：Greenplum(EMC收购)，Vertica(HP 收购)，Asterdata(TD 收购)，以及南大通用在国内开发的GBase 8a
 MPP Cluster等。目前可以看到的类似开源和商用产品达到几十个，而且还有新的产品不断涌出。一个有趣的现象是这些新的数据库厂商多数都还没有10年历史，而且发展好的基本都被收购了。收购这些新型数据库厂商的公司，比如EMC、HP，都希望通过收购新技术和产品进入大数据处理市场，是新的玩家。SAP 除了收购Sybase外，自己开发了一款叫HANA的新产品，这是一款基于内存、面向数据分析的内存数据库产品。


　　这类新的分析型数据库产品的共性主要是：


　　架构基于大规模分布式计算(MPP);硬件基于X86 PC 服务器;存储基于服务器自带的本地硬盘;操作系统主要是Linux;拥有极高的横向扩展能力(scale out)和内在的故障容错能力和数据高可用保障机制;能大大降低每TB数据的处理成本，为“大数据”处理提供技术和性价比支撑。


　　总的来看，数据处理技术进入了一个新的创新和发展高潮，机会很多。这里的主要原因是一直沿用了30年的传统数据库技术遇到了技术瓶颈，而市场和用户的需求在推动着技术的创新，并为此创造了很多机会。在大数据面前，越来越多的用户愿意尝试新技术和新产品，不那么保守了，因为大家开始清晰地看到传统技术的瓶颈，选择新的技术才有可能解决他们面临的新问题。


　　现在的总体趋势是在数据量快速增长、多类数据分析并存的需求压力下，数据处理技术朝着细分方向发展，过去30年一种平台满足所有应用需求的时代已经过去。我们必须开始根据应用需求和数据量选择最适合的产品和技术来支撑应用。世界数据处理市场格局正在发生革命性的变化，传统数据库(OldSQL)一统天下变成了OldSQL+NewSQL+NoSQL+其他新技术(流、实时、内存等)共同支撑多类应用的局面。在大数据时代，需要的是数据驱动最优平台和产品的选择。


　　5. MPP关系型数据库与Hadoop的非关系型数据库


　　大数据存储技术路线最典型的共有三种：


　　第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本 PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。


　　这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。







　　图1 MPP架构图


　　第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。


　　第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。


　　6. 数据仓库的重要性


　　在互联网高速发展之前，无论是电信运营商，还是大银行，保险公司等都花费了巨额资金建立了自己的企业级数据仓库。这些仓库主要是为企业决策者生成企业的一些关键指标(KPI)，有的企业有几千张、甚至上万张KPI报表，有日表，周表，月表等等。这些系统有几个主要特征：


　　技术架构主要基于传统RDBMS + 小型机 + 高端阵列 (就是大家说的IOE)，当然数据库有部分DB2，Teradata等。


　　报表基本都是固定的静态报表，产生的方式是T+1 (无法即时产生)。


　　数据量增长相对缓慢，DW的环境变化很少。


　　最终用户只能看汇总的报表，很少能够基于汇总数据做动态drilldown (钻取)。


　　多数领导基本上认为花了很多钱，但看不出是否值得做，有鸡肋的感觉。最后大家对大量的报表都视而不见了。


　　这类系统属于“高富帅”，是有钱的企业给领导用的。


　　最后，目前多数企业和部门根本就没有数据仓库。其实大家对传统数据的分析还没做得太好、还没有普及，现在又遇上了大数据。


　　数据仓库对企业是真正有用的，其关键还是如何把数据用好。


　　7. 数据处理技术的核心问题到底是什么?


　　其实我们一直面临着数据处理中最核心、最大的问题，那就是性能问题。性能不好的技术和产品是没有生命力的。数据处理性能问题不是因为大数据才出现，也不会有了大数据技术而消失。处理性能的提升将促进对数据价值的挖掘和使用，而数据价值挖掘的越多、越深入，对处理技术要求就越高。


　　目前的数据仓库只能满足一些静态统计需求，而且是T+1模式;也是因为性能问题，运营商无法有效构造超过PB级别的大数据仓库，无法提供即席查询、自助分析、复杂模型迭代分析的能力，更无法让大量一线人员使用数据分析手段。


　　今天如果做“大数据”数据仓库，运营商面临的挑战比上个10年要大的多。目前没有单一技术和平台能够满足类似运营商的数据分析需求。可选的方案只能是混搭架构，用不同的分布式技术来支撑一个超越PB级的数据仓库系统。这个混搭架构主要的核心是新一代的MPP并行数据库集群+ Hadoop集群，再加上一些内存计算、甚至流计算技术等。


　　大数据需要多元化的技术来支撑。当前数据处理对企业的挑战越来越大，主要是下面几个原因：


　　第一个原因是数据量已经是上一代的一个数量级了，1个省份级运营商1年就可超越1PB结构化数据。


　　第二个原因是“大数据”关注的更多是用户行为、群体趋势、事件之间的相关性等，而不仅仅是过去的KPI，。这就对数据分析平台对数据的分析能力和性能提出了新的要求和挑战。







　　图2未来大数据处理的核心技术


　　8. 总结——新型MPP数据库的价值


　　技术：基于列存储+MPP架构的新型数据库在核心技术上跟传统数据库有巨大差别，是为面向结构化数据分析设计开发的，能够有效处理PB级别的数据量。在技术上为很多行业用户解决了数据处理性能问题。


　　用户价值：新型数据库是运行在x-86 PC服务器之上的，可以大大降低数据处理的成本(1个数量级)。


　　未来趋势：新型数据库将逐步与Hadoop生态系统结合混搭使用，用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL和事务支持能力;用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求。


　　下图是南大通用正在做的大数据处理平台架构图，将逐步把MPP与Hadoop技术融合在一起，为用户提供透明的数据管理平台。







　　图3 MPP与Hadoop技术融合的产品架构图

大数据存储技术HDFS
一、概述
1.1 分布式文件系统（DFS）的概念和作用
1.2 HDFS概述
二、HDFS的相关概念
2.1 块
2.2 NameNode
2.3 Secondary NameNode
2.4 DataNode
三、HDFS体系架构与原理
3.1 HDFS体系结构
3.2 HDFS高可用机制

一、概述
1.1 分布式文件系统（DFS）的概念和作用

一台计算机的存储容量有限，分布式文件系统将文件分布存储在网络中的多个计算机节点上的文件系统，设计多台计算机。

1.2 HDFS概述

是Hadoop的核心组件。
运行于通用x86服务器之上

设计理念：

硬件失效：HDFS被设计成在某个节点发生故障时，可以及时由其他正常的节点继续向用户提供服务。
流式数据访问：HDFS的上层应用更多用于批量处理，而不是用户的交互式使用，采用流式数据访问提高数据吞吐率。
超大文件：运行在HDFS的应用程序通常需要处理较大的数据集，典型从GB到TB级别。
简化的数据一致性模型:HDFS采用一次写入多次读取的数据读写模型，文件一旦写入完成，只支持尾部追加，不允许在他位置上修改。
多硬件平台支持：HDFS可方便的运行在不用的平台上。
移动的计算能力比移动的数据更加划算：计算和存储采用就近原则，应用程序在其运行的数据附近执行，不将数据移动到其他节点进行计算。

HDFS不适合的场景：

低延迟的访问需求：适合用HBase
大量的小文件
多用户写入，任意修改文件。

二、HDFS的相关概念
2.1 块

每个磁盘都有固定的数据块大小，数据块是对磁盘进行读写操作的最小单位，一般为512个字节。
在单个磁盘上构建的文件系统也有自己的数据块大小，一般为几千字节为磁盘数据块的整数倍
HDFS默认块大小128MB，HDFS上的文件会被分为若干个块进行存储，小于一个块的数据不会占整个块的存储空间。
每个块以冗余副本的形式存储在多个节点上，发生故障时可以防止丢失。

2.2 NameNode

是HDFS集群的管理节点。
namenode上有两个重要文件：EditLog和FSImage.  EditLog用于记录对文件的操作，FSImage用于维护整个系统的命名空间包括数据块到文件的映射和文件的属性。
启动时不对外提供写服务。

2.3 Secondary NameNode

当运行namenode的服务器发生故障，文件系统上所有文件将会丢失，无法仅根据datanode的块来重建文件Hadoop提供两种机制：


备份文件系统元数据。
运行Secondary NameNode,Secondary NameNode不是NameNode的备份，它的作用是定期将EditLog合并到FSImage，以防止EditLog过大。


Hadoop2.x开始，HDFS推出了两个新的节点，CheckpointNode和BackupNode。CheckpointNode和Secondary NameNode作用一致，BackupNode是NameNode的完全备份。

2.4 DataNode

是HDFS的数据节点。
根据系统的需要存储并检索数据块。
定期向NameNode发送他们所存储的块列表和心跳信息。

三、HDFS体系架构与原理
3.1 HDFS体系结构

Master/Slave架构（NameNode/DataNode）
一个HDFS集群包括一个NameNode和多个DataNode
NameNode对DataNode进行调度和响应客户端的请求。
DataNode在NameNode的调度下进行数据块的创建、删除和复制，处理客户端的读写请求。

3.2 HDFS高可用机制

NameNode的高可用:当NameNode发生故障无法提供服务时，备用NameNode可以及时地接管他的任务并对客户端提供服务。备用NameNode同时也会合并EditLog到FSImage，创建Checkpoint，不需要运行Secondary NameNode或CheckpointNode和BackupNode。
故障切换与规避：


共享存储的规避:同一时刻只允许一个NameNode编辑EditLog
DataNode的规避：每个NameNode改变状态是会向DataNode发送自己的状态和一个序列号。
客户端的规避：客户端通过配置文件实现故障切换的控制。

什么是大数据？
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

通常我们将PB级别以上的通常为大数据
如何计算数据？
比如银行交易只要记下帐号、日期、金额；电信的通话记录也只是通话号码、时刻、时长等。就按100字节算，也就是0.1K，那么1T空间就可以放下10G行记录，100亿条！

1KB=1024B

1MB=1024KB

1GB=1024MB

1TB=1024GB

1PB=1024TB

1EB=1024PB

1ZB=1024EB

1YB=1024ZB
如何存储如何选型？
一般来说，大数据存储技术有三种:

第一种：近年来最火的一个词Hadoop。其实简单的理解：Hadoop是一个生态，里面包含了各种产品，比如：有做数据存储的HBase,有做消息队列的Kafka等等。就像我们的微信小程序一样，也是一个生态，里面包含各种各种的小程序。通过官网文档以及其他伙伴实际得知，Hadoop在半结构化、非机构化大数据方面的优势非常明显。（本人未实践过）

第二种：采用MPP架构的新型数据库集群，以Greenplum数据库为例。是为面向结构化数据分析设计开发的，能够有效处理PB级别的数据量。我们一般采用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL和事务支持能力；用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求

第三种：大数据存储技术选型第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。（本人未实践过）