当我们谈到大数据分析，首先需要确定数据分析的方向和拟解决的问题，然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题，而是方向和组织领导的问题，要确定方向，提出问题，需要对行业做深入的了解。当然，大数据分析最核心的，关于数据的来源更是至关重要的。

在数据量非常大的今天，如何以更高的效率获取到分析所需要的数据，如何利用这些数据反应最真实的情况，是业内不断探讨的议题。接下来，小编就带大家来了解下大数据分析及其数据来源。

大数据分析：顾名思义，就是对规模巨大的数据进行分析，是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

大数据分析的第一步是数据的“抽取—转换—加载”(the Extract-Transform-Load，ETL)，这就是所谓的数据处理三部曲。该环节需要将来源不同、类型不同的数据如关系数据、平面数据文件等抽取出来，然后进行清洁、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。需要指出的是，尽管大数据分析有它的优势，但是也有很大的局限性。很多时候，大数据产生的相关关系可能是虚假的，在完全随机的数据中显示了某些规律，因为数据的量非常大，可能产生向各个方向辐射的各种联系，有可能会得到与事实完全相反的结论。但是只要数据足够大，数据挖掘总能发现一些相关关系，可以帮助我们发现趋势和异常情况。

在此我向大家推荐一个大数据开发交流圈：658558542    （☛点击即可加入群聊）里面整理了一大份学习资料，全都是些干货，包括大数据技术入门，大数据离线处理、数据实时处理、Hadoop 、Spark、Flink、推荐系统算法以及源码解析等，送给每一位大数据小伙伴，让自学更轻松。这里不止是小白聚集地，还有大牛在线解答！欢迎初学和进阶中的小伙伴一起进群学习交流，共同进步！

数据来源

大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源。分为以下几类：

1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。

2)移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)等。

3)人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据，需要用文本分析功能进行分析。

4)机器和传感器数据。来自感应器、量表和其他设施的数据、定位/GPS系统数据等。这包括功能设备会创建或生成的数据，例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网(Io T)的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)等。

5)互联网上的“开放数据”来源，如政府机构，非营利组织和企业免费提供的数据。

感谢您的观看，如有不足之处，欢迎批评指正。最后祝福所有遇到瓶颈的大数据程序员们突破自己，祝福大家在往后的工作与面试中一切顺利。

导读：数据中台选型主要包括数据仓库选型、调度平台选型、BI工具选型3个方面，好的工具可以大幅提升开发效率，降低运维工作量。

点我跳转文末 领书，新出版的 《高效使用Greenplum》！

本篇文章 点赞 + 收藏 + 评论！皆可参与送书活动！

01 数据仓库选型

数据仓库选型是整个数据中台项目的重中之重，是一切开发和应用的基础。而数据仓库的选型，其实就是Hive数仓和非Hive数仓的较量。Hive数仓以Hive为核心，搭建数据ETL流程，配合Kylin、Presto、HAWQ、Spark、ClickHouse等查询引擎完成数据的最终展现。而非Hive数仓则以Greenplum、Doris、GaussDB、HANA（基于SAP BW构建的数据仓库一般以HANA作为底层数据库）等支持分布式扩展的OLAP数据库为主，支持数据ETL加工和OLAP查询。

自从Facebook开源Hive以来，Hive逐渐占领了市场。Hive背靠Hadoop体系，基于HDFS的数据存储，安全稳定、读取高效，同时借助Yarn资源管理器和Spark计算引擎，可以很方便地扩展集群规模，实现稳定地批处理。Hive数据仓库的优势在于可扩展性强，有大规模集群的应用案例，受到广大架构师的推崇。

虽然Hive应用广泛，但是其缺点也是不容忽视的。

Hive的开源生态已经完全分化，各大互联网公司和云厂商都是基于早期的开源版本进行个性化修改以后投入生产使用的，很难再回到开源体系。Hive现在的3个版本方向1.2.x、2.1.x、3.1.x都有非常广泛的应用，无法形成合力。

开源社区发布的Hive版本过于粗糙，漏洞太多。最典型的就是Hive 3.1.0版本里面的Timestamp类型自动存储为格林尼治时间的问题，无论怎么调整参数和系统变量都不能解决。据HDP官方说明，需要升级到3.1.2版才能解决。根据笔者实际应用的情况，Hive 3.1.2版在大表关联时又偶尔出现inert overwrite数据丢失的情况。

Hive最影响查询性能的计算引擎也不能让人省心。Hive支持的查询引擎主要有MR、Spark、Tez。MR是一如既往的性能慢，升级到3.0版也没有任何提升。基于内存的Spark引擎性能有了大幅提升，3.x版本的稳定性虽然也有所加强，但是对JDBC的支持还是比较弱。基于MR优化的Tez引擎虽然是集成最好的，但是需要根据Hadoop和Hive版本自行编译，部署和升级都十分复杂。

Hive对更新和删除操作的支持并不友好，导致在数据湖时代和实时数仓时代被迅速抛弃。

Hive的查询引擎也很难让用户满意，最典型的就是以下查询引擎。

1）Spark支持SQL查询，需要启动Thrift Server，表现不稳定，查询速度一般为几秒到几分钟。

2）Impala是CDH公司推出的产品，一般用在CDH平台中，查询速度比Spark快，由于是C++开发的，因此非CDH平台安装Impala比较困难。

3）Presto和Hive一样，也是Facebook开源的，语法不兼容Hive，查询速度一般为几秒到几分钟。

4）Kylin是国人开源的MOLAP软件，基于Spark引擎对Hive数据做预算并保存在Hbase或其他存储中，查询速度非常快并且稳定，一般在10s以下。但是模型构建复杂，使用和运维都不太方便。

5）ClickHouse是目前最火的OLAP查询软件，特点是查询速度快，集成了各大数据库的精华引擎，独立于Hadoop平台，需要把Hive数据同步迁移过去，提供有限的SQL支持，几乎不支持关联操作。

以Hadoop为核心的Hive数据仓库的颓势已经是无法扭转的了，MapReduce早已被市场抛弃，HDFS在各大云平台也已经逐步被对象存储替代，Yarn被Kubernetes替代也是早晚的事。

我们把视野扩展到Hive体系以外，就会发现MPP架构的分布式数据库正在蓬勃发展，大有取代Hive数仓的趋势。

其中技术最成熟、生态最完善的当属Greenplum体系。Greenplum自2015年开源以来，经历了4.x、5.x、6.x三个大版本的升级，功能已经非常全面和稳定了，也受到市场的广泛推崇。基于Greenplum提供商业版本的，除了研发Greenplum的母公司Pivotal，还有中国本地团队的创业公司四维纵横。此外，还有阿里云提供的云数据库AnalyticDB for PostgreSQL、百度云FusionDB和京东云提供的JDW，都是基于Greenplum进行云化的产品。华为的GaussDB在设计中也参考了Greenplum数据库。

OLAP查询性能最强悍的当属SAP商业数据库HANA，这是数据库领域当之无愧的王者。HANA是一个软硬件结合体，提供高性能的数据查询功能，用户可以直接对大量实时业务数据进行查询和分析。

HANA唯一的缺点就是太贵，软件和硬件成本高昂。HANA是一个基于列式存储的内存数据库，主要具有以下优势。

把数据保存在内存中，通过对比我们发现，内存的访问速度比磁盘快1000000倍，比SSD和闪存快1000倍。传统磁盘读取时间是5ms，内存读取时间是5ns。

服务器采用多核架构（每个刀片8×8核心CPU），多刀片大规模并行扩展，刀片服务器价格低廉，采用64位地址空间—单台服务器容量为2TB，100GB/s的数据吞吐量，价格迅速下降，性能迅速提升。

数据存储可以选择行存储或者列存储，同时对数据进行压缩。SAP HANA采用数据字典的方法对数据进行压缩，用整数代表相应的文本，数据库可以进一步压缩数据和减少数据传输。

百度开源的Doris也在迎头赶上，并且在百度云中提供云原生部署。Apache Doris是一款架构领先的MPP分析型数据库产品，仅须亚秒级响应时间即可获得查询结果，高效支持实时数据和批处理数据。Apache Doris的分布式架构非常简洁，易于运维，并且支持10PB以上的超大数据集，可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。Apache Doris支持AGGREGATE、UNIQUE、DUPLICATE三种表模型，同时支持ROLLUP和MATERIALIZED VIEW两种向上聚合方式，可以更好地支撑OLAP查询请求。另外，Doris也支持快速插入和删除数据，是未来实时数仓或者数据湖产品的有力竞争者。

尝试在OLTP的基础上融合OLAP的数据库TiDB、腾讯TBase（云平台上已改名为TDSQL PostgreSQL版）、阿里的OceanBase都在架构上做了大胆的突破。TiDB采用行存储、列存储两种数据格式各保存一份数据的方式，分别支持快速OLTP交易和OLAP查询。TBase则是分别针对OLAP业务和OLTP业务设置不同的计算引擎和数据服务接口，满足HTAP场景应用需求。OceanBase数据库使用基于LSM-Tree的存储引擎，能够有效地对数据进行压缩，并且不影响性能，可以降低用户的存储成本。

02 ETL工具选型

目前，业界比较领先的开源ETL数据抽取工具主要有Kettle、DataX和Waterdrop。商业版本的DataStage、Informatica和Data Services三款软件不仅配置复杂、开发效率低，执行大数据加载也非常慢。

Kettle（正式名为Pentaho Data Integration）是一款基于Java开发的开源ETL工具，具有图形化界面，可以以工作流的形式流转，有效减少研发工作量，提高工作效率。Kettle支持不同来源的数据，包括不同数据库、Excel/CSV等文件、邮件、网站爬虫等。除了数据的抽取与转换，还支持文件操作、收发邮件等，通过图形化界面来创建、设计转换和工作流任务。

DataX是阿里巴巴集团内部广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SQL Server、Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute （ODPS）、DRDS等各种异构数据源之间高效的数据同步功能。

Waterdrop是一款易用、高性能、支持实时流式和离线批处理的海量数据处理工具，程序运行在Apache Spark和Apache Flink之上。Waterdrop简单易用、灵活配置、无需开发，可运行在单机、Spark Standalone集群、Yarn集群、Mesos集群之上。Waterdrop支持实时流式处理，拥有高性能、海量数据处理能力，支持模块化和插件化，易于扩展。用户可根据需要来扩展插件，支持Java/Scala实现的Input、Filter、Output插件。

总的来说，Kettle适合中小企业ETL任务比较少并且单表数据量在百万以下的项目，开发速度快，支持的数据来源丰富，方便快速达成项目目标。DataX支持需要批处理抽取数据的项目，支持千万级、亿级数据的快速同步，性能高效、运维稳定。Waterdrop是后起之秀，在DataX的基础上还支持流式数据处理，是DataX的有力竞争者和潜在替代产品。

03 调度平台选型

调度平台可以串联ETL任务并按照指定的依赖和顺序自动执行。调度平台一般用Java语言开发，平台实现难度小，大多数数据仓库实时厂商都有自研的调度平台。

在早期银行业的数据仓库项目中，大多数据ETL过程都是通过DataStage、Informatica或者存储过程实现的。笔者接触过最好用的产品就是先进数通公司的Moia Control。Moia Control定位于企业统一调度管理平台，致力于为企业的批处理作业制定统一的开发规范、运维方法，对各系统的批量作业进行统一管理、调度和监控。Moia Control的系统架构如

图1所示，系统分为管理节点和Agent节点，管理节点负责调度任务的配置和分发作业，Agent节点负责任务的执行和监控。Moia Control在金融领域具有非常广泛的应用。

在开源领域，伴随着大数据平台的崛起，虽然先后涌现了Oozie、Azkaban、AirFlow等深度融合Hadoop生态的产品，但都是昙花一现，目前已经逐步被DolphinScheduler取代。DolphinScheduler于2019年8月29日由易观科技捐赠给Apache启动孵化。DolphinScheduler的产品架构如图2所示。

DolphinScheduler是全球顶尖架构师与社区认可的数据调度平台，把复杂性留给自己，易用性留给用户，具有如下特征。

1）云原生设计：支持多云、多数据中心的跨端调度，同时也支持Kubernetes Docker的部署与扩展，性能上可以线性增长，在用户测试情况下最高可支持10万级的并行任务控制。

2）高可用：去中心化的多主从节点工作模式，可以自动平衡任务负载，自动高可用，确保任务在任何节点死机的情况下都可以完成整体调度。

3）用户友好的界面：可视化DAG图，包括子任务、条件调度、脚本管理、多租户等功能，可以让运行任务实例与任务模板分开，提供给平台维护人员和数据科学家一个方便易用的开发和管理平台。

4）支持多种数据场景：支持流数据处理，批数据处理，暂停、恢复、多租户等，对于Spark、Hive、MR、Flink、ClickHouse等平台都可以直接调用。

此外，Kettle本身包含调度平台的功能，我们可以直接在KJB文件中定义定时调度任务，也可以通过操作系统定时任务来启动Kettle，还可以去Kettle中文网申请KettleOnline在线调度管理系统。

Kettle通过KJB任务里面的START组件可以设置定时调度器，操作界面如图3所示。

此外，在Kettle中文网还提供了功能更为强大的KettleOnline工具，非常适合较大型Kettle项目使用，具体功能这里就不展开介绍了。

除了上述调度工具之外，还有一些小众的Web调度工具，例如Taskctl、XXL-JOB等。总的来说，都能满足基本的需求。有研发实力的公司可以在开源版本的基础上进一步完善功能，打造属于自己的调度平台。

04 BI工具选型

BI是一套完整的商业解决方案，用于将企业现有的数据进行有效的整合，快速、准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。BI工具是指可以快速完成报表创建的集成开发平台。

和调度平台不一样，BI领域商业化产品百花齐放，而开源做成功的产品却基本没有。这也和产品的定位有关，调度平台重点关注功能实现，整体逻辑简单通用，便于快速研发出满足基本功能的产品。而BI则需要精心打磨，不断完善和优化，才能获得市场的认可。

在早期Oracle称霸数据库市场的年代，BI领域有3个巨头，分别是IBM Cognos、Oracle BIEE和SAP BO。在早期BI领域，IBM 50亿美元收购Cognos、SAP 68亿美元收购BO都曾创造了软件行业的收购纪录。这两起收购发生分别发生在2007年和2008年。此后是传统BI的黄金十年，这三大软件占领了国内BI市场超过80%的份额。笔者参加工作的第一个岗位就是BIEE开发工程师，而后又兼职做过两年的Cognos报表开发，对二者都有比较深刻的认识。

在传统BI时代，主要按照星形模型和雪花模型构建BI应用，在开发BI报表之前，必须先定义各种维度表和事实表，然后通过各BI软件配套的客户端工具完成数据建模，即事实表和维度表的关联，以及部分指标逻辑的计算（例如环比、同比、年累计等）。最后在Web页面上定制报表样式，开发出基于不同筛选条件下，相同样式展现不同数据的固定报表。整个开发过程逻辑清晰，模块划分明确，系统运行也比较稳定，作为整个数据分析项目的“脸面”，赢得了较高的客户满意度。

传统BI以固定表格展现为主，辅以少量的图形。虽然模型和页面的分离让开发变得简单，目前广泛应用于金融行业和大型国企管理系统中，但是也有不少缺点，例如，星形模型的结构在大数据场景下查询速度非常慢、模型与页面的分离造成版本难以管控、模型中内嵌函数导致查找数据问题变得困难等。

2017年前后，Tableau强势崛起，以“敏捷BI”的概念搅动了整个BI市场，引领BI进入一个全新的时代。

Tableau最大的特点是以可视化为核心，强调BI应用构建的敏捷性。Tableau抛弃了传统BI的模型层，可以直接基于数据库的表或者查询来构建报表模块，大大降低了开发难度，提升了报表的开发效率和查询性能。曾经需要一天才能完成的报表开发，现在可能一个小时不到就可以完成，极大提升了产出效率。

在传统BI时代，国产BI软件虽然也在发展，但是不够强大。在敏捷BI时代，FineBI、永洪BI、SmartBI、观远BI等商业化产品顺势崛起，开始抢占国内BI市场。帆软公司的Fine Report和FineBI更是其中的佼佼者，稳坐国产BI软件的头把交椅，将产品铺向了广大中小企业。国产BI在培训体系上做得更为完善，以至于笔者发现在最近半年的面试中，差不多有一半的应聘者使用过帆软公司的产品。

在国产化BI之外，跨国软件公司也在敏捷BI方向上做出了调整，其中笔者接触过的就有微软的Power BI和微策略的新一代MSTR Desktop。同时，云厂商也加入BI市场的争夺，其中百度云Sugar、阿里云QuickBI都是内部产品对外提供服务的案例。

总的来说，在敏捷BI领域，国外厂商的软件成熟度高，版本兼容性好。国内厂商的软件迭代比较快，也容易出现Bug。从实现效果上看，以上软件的差异并不大，BI战场已经变成了UI的较量了，只要UI能设计出好的样式，绝大多数BI软件都可以实现近似的效果。

原文地址：https://mp.weixin.qq.com/s/3FG1KXzkiPEfbNWrBW5Lxg
原文作者：王春波
本文摘编于《高效使用Greenplum：入门、进阶与数据中台》，经出版方授权发布。（书号：9787111696490）转载请保留文章来源。

🥇 评论区抽粉丝送书啦

📚 本书介绍

这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作，而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。

有不想靠抽，想自己买的同学可以参考下面的链接！

《高效使用Greenplum》- 京东图书

📢 注意：

🏆 想要跟着我一起打卡的朋友，可以 添加微信：Lucifer-4622 一起打卡，我保证能让你学习之余收获奖品🏅！

新的一周，活动奖励升级，增加抽奖池，绝对丰厚！详情戳：https://bbs.csdn.net/topics/603632186

社区每日打卡地址（日更）：https://docs.qq.com/doc/DRWJIV2VGdktPS3NE

一、数据集市简介

在数据仓库环境中用于检索客户端数据的模式称为数据集市。它是数据仓库特有的结构，供团队中的业务领域使用。每个组织都有一个位于数据仓库存储库中的数据集市。不同类型的数据集市是从属的、独立的和混合的数据集市。从属数据集市获取已经创建的数据，而独立数据集市从外部源和数据仓库获取数据。我们可以将数据集市称为数据仓库的逻辑子集。

1.1、数据集市与数据仓库

数据仓库是一个包含来自多个主题流的数据集合的仓库。维护和控制部分，如原始数据的收集和处理，主要由企业信息技术 IT 小组处理，该小组为上级组织提供各种服务。

数据仓库也称为中央或企业数据仓库。因此，在某些情况下，数据仓库的来源将是多个，而数据集市是数据仓库的一个子集。

二、数据集市的类型

2.1. 依赖数据仓库

依赖数据集市纯粹来自数据仓库，所有分组的依赖将形成企业数据仓库。它纯粹是数据仓库的一个子集，因为它是从中央 DW 创建的。

由于中央数据仓库 ETT 流程或提取转换和传输中已经存在干净和汇总的数据，因此简化了。我们只需要在这里识别特定的子集并在其上执行 ETT。

这些数据集市通常旨在通过更好的控制和效率实现更好的可用性和大量改进的性能

2.2. 独立数据集市

这不是从中央数据仓库创建的，其来源可能不同。由于数据来自中央 DW 之外的其他 ETT 过程有点不同。

大多数独立数据集市被较小的组织使用，其来源也有限。当我们需要在相对较短的时间内获得解决方案时，通常会创建独立数据集市。

2.3. 混合数据集市

混合数据集市将允许您将来自中央数据仓库 DW 以外的所有其他来源的数据分组。当我们处理临时集成时，这将大大有利于外部添加到组织的所有产品的顶级工作。

三、数据集市的特点

以下是一些功能：

• 由于数据源集中于主体，因此通过使用它可以提高用户响应时间。
• 对于经常需要的数据，使用数据集市将是有益的，因为它是中央 DW 的子集，因此数据大小会更小。
• 此外，由于数据量有限，与中央 Dws 相比，处理时间将大大减少。
• 这些基本上是敏捷的，与数据仓库相比，可以非常快速有效地适应模型中的变化。
• 与仓库数据相比，Datamart 需要单个主题专家来处理我们在多个主题仓库中所需的专业知识。正因为如此，我们说数据集市更敏捷。
• 我们可以使用分区数据和数据集市将访问类别隔离到较低级别，这很容易。
• 基础设施依赖性非常有限，数据可以在分段后存储在不同的硬件平台上。

四、数据集市的优点

• 对于您只需要处理一小部分数据的数据仓库，它是最具成本效益的替代方案之一。
• 从源中分离数据将使数据集市高效，因为特定的一组人可以处理来自特定源的数据，而不是所有人都使用数据仓库。
• 如果我们知道需要访问哪个子集，则可以使用数据集市更快地访问数据。
• 数据集市更易于使用，因此最终用户可以轻松地对其进行查询。
• 由于数据是按组隔离的，因此与数据仓库相比，进入实施时间数据集市所需的时间更少。
• 来自特定主题的历史数据可用于轻松的趋势分析。

因为它集中在一个单一的功能领域，所以对流程实施者和最终用户都有许多好处。因此，需要高效的集市实施以及组织中的数据仓库。

五、实施数据集市的步骤

1. 设计
   这将是实施的第一步，其中确定了收集技术和业务信息所需的所有任务和来源。稍后实施逻辑计划，经过审查，这将转换为物理计划。此外，这里决定了数据的逻辑和物理结构，例如如何分区数据和分区字段，如日期或任何其他文件。

2. 施工
   这是实施的第二个阶段，在 RDBMS 的帮助下生成物理数据库，被确定为设计过程和逻辑结构的一部分。创建所有对象，如schema、索引、表、视图等。

3. 填充
   这是第三阶段，这里在获取数据时将数据填充到其中。所有必需的转换都在填充数据之前实现。

4. 访问
   这是实施的下一步，我们将使用填充的数据进行查询以创建报告。最终用户使用此步骤来了解使用查询的数据。

5. 管理
   这是数据集市实施的最后阶段，这里处理各种任务，例如访问管理、系统优化以及调整、管理和向数据集市添加新数据以及规划恢复场景以处理任何故障情况。

关注我的公众号【宝哥大数据】，更多干货