xl_echo编辑整理，欢迎转载，转载请声明文章来源。更多IT、编程案例、资料请联系QQ：1280023003  

百战不败，依不自称常胜，百败不颓，依能奋力前行。——这才是真正的堪称强大！！




Spring 是一个开放源代码的设计层面框架，他解决的是业务逻辑层和其他各层的松耦合问题，因此它将面向接口的编程思想贯穿整个系统应用。
Spring MVC 属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面。Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。
Spring Task 是一个定时任务框架。应用：定时执行刷新Redis数据。定时执行删除过期数据
Spring Security 是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean，充分利用了Spring IoC，DI（控制反转Inversion of Control ,DI:Dependency Injection 依赖注入）和AOP（面向切面编程）功能，为应用系统提供声明式的安全访问控制功能，减少了为企业系统安全控制编写大量重复代码的工作。
Spring Data 是Spring 的一个子项目， 旨在统一和简化对各类型持久化存储， 而不拘泥于是关系型数据库还是NoSQL 数据存储。
SpringDataSolr 是一个搜索解决方案，基于Lucene的搜索服务器。应用：站内产品搜索
Spring Boot 是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。
Spring Cloud 是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。

转载请注明出处：

http://blog.fens.me/hadoop-family-roadmap/







 Hadoop家族产品


截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/



一句话产品介绍:

Apache Hadoop:
 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。

Apache Hive:
 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Apache Pig:
 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。

Apache
 HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Apache
 Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Apache
 Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务

Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。

Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google
 BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身

Apache Avro:
 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制

Apache Ambari:
 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。

Apache Chukwa:
 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。

Apache Hama:
 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。

Apache
 Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。

Apache Giraph:
 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。

Apache Oozie:
 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。

Apache Crunch:
 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库

Apache Whirr:
 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。

Apache Bigtop:
 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。

Apache HCatalog:
 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。

Cloudera Hue:
 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

一、hadoop生态图：



二、hadoop家族子项目：



三、hadoop框架：



1、Namenode： 

1）HDFS的守护程序 

2） 纪录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上 

3）对内存和I/O进行集中管理 

4）namenode 是个单点，发生故障将使集群崩溃

2、Secondary Namenode: 

1）监控HDFS状态的辅助后台程序 

2） 每个集群都有一个Secondary Namenode 

3） 与NameNode进行通讯，定期保存HDFS元数据快照 

4） 当NameNode故障可以作为备用NameNode使用

3、DataNode： 

1）每台从服务器都运行一个 

2） 负责把HDFS数据块读写到本地文件系统

4、JobTracker： 

1）用于处理作业（用户提交代码）的后台程序 

2） 决定有哪些文件参与处理，然后切割task并分配节点 

3） 监控task，重启失败的task（在不同的节点） 

4）每个集群只有唯一一个JobTracker，位于Master节点

5、TaskTracker： 

1）位于slave节点上，与datanode结合（代码与数据一起的原则） 

2）管理各自节点上的task（由jobtracker分配） 

3）每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务 

4） 与jobtracker交互

6、注：Master与Slave 

1）Master：Namenode、Secondary Namenode、Jobtracker。浏览器（用于观看 管理界面），其它Hadoop工具 

2）Slave：Tasktracker、Datanode 

3）Master不是唯一的

四、HDFS体系结构



1)客户端对HDFS读取数据流程：



2)客户端对HDFS写入数据流程：



3)HDFS的可靠性有 : 冗余副本策略、机架策略、 心跳机制、 安全模式、 校验和 、回收站、 元数据保护、 快照机制

五、Map-Reduce：



六、Pig



1）Hadoop客户端 

2） 使用类似于SQL的面向数据流的语言Pig Latin 

3） Pig Latin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数 

4） Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行，减少用户编写Java程序的苦恼 

5）三种运行方式：Grunt shell，脚本方式，嵌入式

七、Hbase



Hbase物理模型：



1）Google Bigtable的开源实现 

2）列式数据库 

3） 可集群化 

4）可以使用shell、web、api等多种方式访问 

5）适合高读写（insert）的场景 

6） HQL查询语言 

7） NoSQL的典型代表产品

八、Hive



1）数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表 

2） 支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务，几乎SQL的其它特征都能支持 

3） 可以看成是从SQL到Map-Reduce的映射器 

4） 提供shell、JDBC/ODBC、Thrift、Web等接口

九、Zookeeper



1）Google Chubby的开源实现 

2）用于协调分布式系统上的各种服务。例如确认消息是否准确到达，防止单点失效，处理负载均衡等 

3） 应用场景：Hbase，实现Namenode自动切换 

4） 工作原理：领导者，跟随者以及选举过程

十、Sqoop



1）用于在Hadoop和关系型数据库之间交换数据 

2）通过JDBC接口连入关系型数据库

十一、Avro 

1）数据序列化工具，由Hadoop的创始人Doug Cutting主持开发 

2）用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据 

3）动态语言友好，Avro提供的机制使动态语言可以方便地处理 Avro数据。 

4） Thrift接口

十二、Chukwa 

1）架构在Hadoop之上的数据采集与分析框架 

2） 主要进行日志采集和分析 

3） 通过安装在收集节点的“代理”采集最原始的日志数据 

4） 代理将数据发给收集器 

5） 收集器定时将数据写入Hadoop集群 

6） 指定定时启动的Map-Reduce作业队数据进行加工处理和分析 

7） Hadoop基础管理中心（HICC）最终展示数据

十三、Cassandra

1）NoSQL，分布式的Key-Value型数据库，由Facebook贡献 

2） 与Hbase类似，也是借鉴Google Bigtable的思想体系 

3）只有顺序写，没有随机写的设计，满足高负荷情形的性能需求




转载至:http://blog.csdn.net/marvel_cheng/article/details/45480521

java的常用集合框架主要有两大家族，分别为Collection和Map。
Collection家族下包括List，queue和Set，其中List跟queue是有序而且能够重复的。而Set是无序的而且不能够重复。List有一个常用的实现类：ArrayList。queue常用实现类：LinkedList。Set常用实现类：HashSet（哈希集）。
  Map家族是另一大家族。最为重要的实现类为HashMap（哈希表），在map内部提供一个映射的关系。