大数据技术
2010年前后（第三次信息化浪潮），物联网、云计算、大数据相关技术的产生，以解决信息爆炸问题。

一、基本概念
(1) 定义
大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
(2) 技术支撑

存储
计算
网络

(3) 4V特性

Volume  大量化
Variety 多样化
Velocity 快速化

1秒定律：数据的价值通常只在产生后的1秒内有效
Value 价值密度低

(4) 大数据影响

追求全样而非抽样
追求效率而非精确
追求相关而非因果

(5) 大数据技术的层次

数据采集与引接
数据存储与管理
数据处理与分析
数据隐私与安全

(6) 大数据两大核心技术

分布式存储

解决海量数据的存储问题
分布式处理

解决海量数据的处理问题

(7) Apache开源大数据技术

分布式数据库：HBase（BigTable的开源实现）
分布式文件系统：HDFS（GFS的开源实现）
分布式并行处理技术：MapReduce

(8) 谷歌大数据技术

分布式数据库：BigTable
分布式文件系统：GFS
分布式并行处理技术：MapReduce

(9) 大数据计算模式

批处理

针对大规模数据的批处理

MapReduce、Spark
流计算

针对流数据需要实时处理，给出实时响应，否则分析结果就失去了商业价值

Storm、Flume、S4
图计算

针对大规模图结构数据的处理

Google Pregel
查询分析计算

针对大规模数据的存储管理和查询分析

Google Dremel、Hive、Cassandra

(10) 大数据关键技术
Hadoop生态

Spark生态

Flink的生态

Hadoop的缺点

延迟高
磁盘IO开销大
表达能力有限

Spark的优点

spark的计算模式也属于MapReduce，但是不限于Map和Reduce操作，还提供多种数据集操作类型
spark提供内存计算，迭代效率高
spark基于DAG的任务调度执行机制

     上期我们说到大数据的概念，其实，大数据比我们想象中的还要复杂，本期，我们主要从技术的角度介绍一下大数据的知识。

      大数据技术是一系列技术的总称，它是集合了数据采集与传输、数据存储、数据处理与分析、数据挖掘、数据可视化等技术，是一个庞大而复杂的技术体系。

       根据大数据从来源到应用，实现传输的流程，可以将大数据技术架构分为数据收集层、数据存储层、数据处理层、数据治理与建模层、数据应用层。

​                                       

                                                            大数据技术架构图

一、数据收集层

        大数据收集层主要采用了大数据采集技术，实现对数据的ETL操作，ETL，是英文Extract-Transform-Load的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端。用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。数据采集位于数据分析生命周期的重要一环，它通过传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。由于采集的数据种类错综复杂，对于这种不同种类的数据。

在现实生活中，数据产生的种类很多，并且不同种类的数据产生的方式不同。对于大数据采集的数据类型，主要有以下三类：

（1）互联网数据：主要包括互联网平台上的公开信息，主要通过网络爬虫和一些网站平台提供的公共API(如Twitter和新浪微博API)等方式从网站上获取数据。这样就可以将非结构化数据和半结构化数据的网页数据从网页中提取出来。并将其提取、清洗、转换成结构化的数据，将其存储为统一的本地文件数据。目前常用的网页爬虫系统有Apache Nutch、Crawler4j、Scrapy等框架；

（2）系统日志数据：许多公司的业务平台每天都会产生大量的日志数据。对于这些日志信息，我们可以得到出很多有价值的数据。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。为公司决策和公司后台服务器平台性能评估提高可靠的数据保证。系统日志采集系统做的事情就是收集日志数据提供离线和在线的实时分析使用。目前常用的开源日志收集系统有Flume、Scribe等；

（3）数据库数据：些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。企业每时每刻产生的业务数据，以数据库一行记录形式被直接写入到数据库中。

                                  

 

                                                                                 数据采集技术

二、数据存储层

当大量的数据收集完后，我们需要对大数据进行存储。数据的存储分为持久化存储和非持久化存储。持久化存储表示把数据存储在磁盘中，关机或断电后，数据依然不会丢失。非持久化存储表示把数据存储在内存中，读写速度快，但是关机或断电后，数据丢失。

对于持久化存储而言，最关键的概念就是文件系统和数据库系统。常见的分布式文件系统HDFS、对应的分布式非关系型数据库系统Hbase，以及另一个非关系型数据库MongoDB。

而支持非持久化的系统，包括Redis、Berkeley DB和Memcached，则为前述的存储数据库提供了缓存机制，可以大幅地提升系统的响应速度，降低持久化存储的压力。

三、数据处理层

当我们把数据收集好了、数据存储以及读写也都没有问题，我们手握着这一堆数据干嘛？除了保存原始数据，做好数据备份之外，我们还需要考虑到利用他们产生更大的价值。那么首先我们需要对这些数据进行处理。大数据处理分为两类，批量处理（离线处理）和实时处理（在线处理）。

在线处理就是指对实时响应要求非常高的处理，如数据库的一次查询。而离线处理就是对实时响应没有要求的处理，如批量地压缩文档。通过消息机制可以提升处理的及时性。

Hadoop的MapReduce计算是一种非常适合的离线批处理框架。为了提升效率，下一代的管理框架YARN和更迅速的计算框架Spark最近几年也在逐步的成型之中。在此基础上，人们又提出了hive、pig、impala和spark SQL等工具，进一步简化了某些常见的查询。

Spark Streaming和Storm则在映射和归约的思想基础上，提供了流式计算框架，进一步提升处理的实时性。

同时可以利用ActiveMQ和Kafka这样的消息机制，将数据的变化及时推送到各个数据处理系统进行增量的更新。由于消息机制的实时性更强，通常还会与spark streaming、storm这样的流式计算结合起来使用。

四、数据治理与建模层

数据收集、数据存储和数据处理是大数据架构的基础设置。一般情况下，完成以上三个层次的数据工作，已经将数据转化为基础数据，为上层的业务应用提供支撑。但是大数据时代，数据类型多样，单位价值稀疏的特点，要求对数据进行治理和融合建模。通过利用R语言、Python等对数据进行ETL预处理，然后再根据算法模型、业务模型进行融合建模，从而更好地为业务应用提供优质底层数据。

在对数据进行ETL处理和建模后，需要对获取的数据进行进一步管理，可以采用相关的数据管理工具，包括元数据管理工具、数据质量管理工具、数据标准管理工具等，实现数据的全方位管理。

五、数据应用层

数据应用层是大数据技术和应用的目标。通常包括信息检索、关联分析等功能。Lucene、Solr和Elasticsearch这样的开源项目为信息检索的实现提供了可能。

大数据架构为大数据的业务应用提供了一种通用的架构，还需要根据行业领域、公司技术积累以及业务场景，从业务需求、产品设计、技术选型到实现方案流程上具体问题具体分析，利用大数据可视化技术，进一步深入，形成更为明确的应用，包括基于大数据交易与共享、基于开发平台的大数据应用、基于大数据的工具应用等。



 

大数据技术


Hive 调用的常用方式 



Hive -e ‘sql’
Hive -f  'file.name'
Java jdbc 





Hive 是目前hadoop 系统中最重要的工具 ，请参考stuq 的IT 图谱 ：
https://github.com/TeamStuQ/skill-map/blob/master/data/designbyStuQ/png-Hadoop-by-StuQ.png

大数据技术