「干货」深入浅出，一文搞懂多维数据库、数据库和数据仓库的关系 

2018-09-26 14:22

提到数据库，各位首先想到的应该是Oracle、DB2、MySQL、SQL Server这种关系型数据库（Relational Database），所以下文所称数据库如不加说明均指关系型数据库。

大多数企业机构的IT系统中，基本都使用数据库表结构来设计数据物理模型，这是从应用系统的业务角度来看。实际上，从数据库自身角度出发，它所提供的表、字段、数据行是为了实现外界访问而提供的逻辑模型，真正的数据物理模型是操作系统文件。

不同的数据库虽然都提供标准SQL访问能力，但底层实现并不相同

多维数据库与数据库类似，都属于对数据进行存储与管理的基础软件。它为访问者提供的数据模型是维度与数据立方体（或称数据集市），同样，维度与数据立方体也是一种对外提供访问能力的逻辑模型，数据的真正物理结构还是存在于操作系统文件中。

Dimension与Cube经典图

三维空间中的立方体结构可以很形象的表现出多维数据库的逻辑模型，而真正多维数据库能够处理的维度数量应该是不限的。在头脑中想象出更高维度空间中的超立方体形状是很难的，好在虽然多维数据库的实现原理相当之复杂，但使用起来却相当简单。

多维数据库产品数量不像关系数据库那么多，主要应用领域与关系数据库（主要应用于业务级别的增删改查操作 ）也不尽相同，多维数据库主要用于数据分析。

关系数据库使用SQL作为查询语言，多维数据库则利用MDX作为查询语言，MDX与SQL看上去非常类似，这会造成一些混淆，文章后部会讲解。

MDX与SQL

在讲数据仓库之前，先来说说仓库。

仓库是什么？这个问题估计任何人都可以回答，而且答案也很一致。无论是物流仓库、制造车间零部件仓库或是商场存货仓库，无论仓库是大是小，其最基本且最主要功能都是有序、妥善的保管仓库中的物品。

数据仓库顾名思义，就是数据的仓库。

与前文所述的关系数据库和多维数据库不同，数据仓库并不是一种基础软件，也并没有一种称之为数据仓库的软件产品。数据仓库本身是一个概念，当一个可以对数据进行有序管理、快速查询的数据存储体系被建立起来，就可以说这是一个数据仓库。

绝大多数数据仓库的建设目的都是为了进行数据分析与挖掘，基本都是基于关系数据库与多维数据库建立，由于目前数据存储方式的多样化，也有其他的方案，如分布式数据存储或微服务数据管理系统。

数据的仓库

下文以一个数据分析体系的演变过程来说明数据库、多维数据库、数据仓库的关系。

第一阶段。

企业信息化达到一定程度之后，一定会有报表的需求，此时直接从业务系统的数据库进行查询。

第二阶段。

直接查询业务系统数据库，很容易对业务系统造成影响，这时可能会将数据抽取出来，放在一个镜像数据库里进行查询。

第三阶段。

当数据规模越来越大，报表与数据分析的需求也随之增多。开始对数据进行系统化的规划与管理时，数据仓库的雏形也已建立起来。

关系型数据库的星形（或雪花型）结构是数据仓库的常见形式之一，但不是唯一的形式，只要能做到将数据有序管理，基本上就可以称之为数据仓库。

当建立起心形或雪花型的数据仓库的时候，已经可以做一些基本的数据分析了。但是会有一些弊端。星形或水上行结构虽然模拟了多维数据模型，但是其本质上还是关系型数据库的表字段以及数据行的模型。无法做到真正意义上的面对业务时的数据分析。而且这种直接建立在关系型数据库之上的模型，很难让业务人员自主进行数据分析。

第四阶段。

基于关系数据库星型或雪花型结构所建立的数据仓库，虽然可以进行数据分析，但分析能力不强。

星型或雪花型结构虽然模拟了多维数据模型，但其本质上还是关系型数据库的表及字段模型，无法做到真正意义上面向业务的数据分析，而且这种直接建立在关系型数据库之上的模型，很难让业务人员独立进行数据分析。

第五阶段。

由于多维数据库维度既业务的特性，所以基于多维数据库所建立的数据体系的分析能力要强很多，而且也能将让业务人员自主分析这一目标落地实现。

多维数据库向外提供维度与数据集市模型，数据的实际物理存储则对外屏蔽。关系型数据库可以作为多维数据库的一种底层实现，当然还有其他的方式，比如数据块文件、分布式存储等。

前文我们提到过关系型数据库的星型（或雪花型）结构容易与多维数据库的维度与数据立方体结构产生一些混淆，主要是由于以下两点原因：

• 多维数据库可以使用关系数据库作为数据实际存储方案；
• 多维数据库的MDX与关系数据库的SQL在语法结构上的类似。

以上两点原因使得在关系数据库的星型（或雪花型）模型上使用SQL进行查询被误认为是可以进行多维分析的，实际上这是非常错误的认识，原因在于表及字段模型和维度及数据立方体模型本质上的区别。

正是由于以上混淆的地方，使得很多的数据仓库和商业智能系统的实际效果不如预期。

关于多维数据库，传统的划分方式有ROLAP、MOLAP、HOLAP，现在随着大数据概念的兴起，分布式数据存储与微服务架构已经成为了多维数据库的新的实现方式，相关内容会在后续文章中发布。

目录

1. 多维数据是什么？

2. 多维数据库用来做什么？

3. 为什么要多维分析？

4. 多维数据分析领域中的概念

5. OLAP（Online Analyze Process 在线分析处理）

6. Mondrain

7. Kylin

1. 多维数据是什么？

        多维数据库（Multi Dimensional Database,MDD）可以简单理解为把数据存放在一个n维数组中，而不是像关系数据库那样以记录形式存放，因此它存在大量稀疏矩阵（因为很多维度可能没有数据）。它的优势在于可以提高数据处理速度，加快反应时间，相当于是以空间换时间的做法。

稀疏矩阵：

        在矩阵中，如果数值为0的元素数目远远多于非0元素，则为稀疏矩阵；反之，则为稠密矩阵。

（关系型）数据库、数仓、多维数据库：

1. 数据库中一般存放的是业务属性的表
2. 为了进行数据分析和挖掘，建设数仓
3. 为了更强、更快，且面向业务的数据分析，就会建立多维数据库

2. 多维数据库用来做什么？

        多维数据库主要用于OLAP（Online Analyze Process 在线分析处理）。它们可用于向用户显示多维数据。

3. 为什么要多维分析？

• 为什么要分析：(1) 看清业务现状；(2) 预测业务走势；(3) 数字驱动业务，发现问题并调整
• 为什么要多维：(1) 不同角色关注不同维度；(2) 人岗匹配，不同岗位的关键指标不同

不同角色关注不同维度：

• 销售经理关心各个地区的销售情况，希望找出销售增长率在平均水平之下的地区
• 产品总监则希望了解近期内各种产品的销量对比，以作为后期产品研发方向的参考
• CEO想要知道近六个月内整体销售环比信息，用以评估是否达到公司运营目标

• 同比：与去年同时期相比的变化比
• 环比：与上个统计周期相比的变化比

4. 多维数据分析领域中的概念

• 数据立方体（Cube）
• 维度（Dimension）
• 维度成员（Member）
• 度量（Measure）
• 级别（Level）

数据立方体(Cube)：                                                       

维度(Dimension)：                                维度成员(Member)：维度是坐标轴，维度成员是坐标值

度量(Measure)：多维数组的取值                       级别(Level)：维度成员观察数据的粒度

5. OLAP（Online Analyze Process 在线分析处理）

        OLAP是一项在线数据分析技术。它能够基于数仓看清业务现状，预测业务走势，为业务决策提供数据支撑。

 OLAP如何工作？

• 从多个数据源（如mysql、excel、xml）收集数据并存储到数仓
• 然后清理并组织成数据立方体

OLAP可以对 多维数据库 执行的5种操作：

• 汇总：汇总数据和维度
• 下钻：在数据维度中更深入分析，省下钻市，年下钻月
• 切片：执行分析显示一级信息，如“2022年销售额”
• 切块：多个维度进行分析，如“陕西省2022年手机销售额”
• 旋转：通过旋转多维数据集的数据轴来获得新数据视图

OLAP（在线分析处理）分为三种类型：

• MOLAP（多维OLAP）：MOLAP是一种基于多维数据库索引的OLAP
• ROLAP（Relational OLAP）：ROLAP是基于关系型数据库的动态多维OLAP
• HOLAP（混合OLAP）：HOLAP是MOLAP和ROLAP的集成

6. Mondrain

        mondrain是基于java语言的OLAP引擎，它接收MDX查询语句，从关系型数据库中读取数据，然后通过java API以多维度的形式展示查询结果。

mondrain架构：

        mondrain机构可以分为四个层次，表现层、计算层、聚合层、存储层

• 表现层：用多种方法展现多维数据，包括饼、柱、线状图、数据透视表。特殊点在于，它是基于taglib而不是SpringMVC
• 计算层：分析、验证、执行MDX语句，先计算坐标轴，再计算单元格。计算层从聚合层批量获取单元格数据集合
• 聚合层：聚合层中缓存了多维查询结果，即单元格数据集合。如果计算层所需的数据不在缓存中，就从存储层查询数据并缓存。
• 存储层：采用关系数据库实现，一般采用星型模型，提供维表、事实表和聚合表 

7. Kylin

        Kylin是一个OLAP系统，主要用于大数据分析。它对Hive中的数据预计算，充分利用Hadoop中的MapReduce框架的并行处理能力实现，将计算好的结果保存成Cube并存储到HBase中，供查询时直接访问。是一种用空间换时间的解决方案。

        Mondrain是一个ROLAP系统，所有的查询可以通过实时的数据库查询完成，而不会有任何预计算，但是会将查询结果缓存在程序内存中。

        Kylin是一个MOLAP系统，对多维分析可能用到的度量进行预计算，将计算好的结果保存成Cube并存储到HBase中，供查询时直接访问。

Kylin架构：

        Kylin默认的数据源是Hive，构建技术主要是MapReduce，将构建好的Cube保存在存储引擎(默认HBase)中。

核心组件：

• REST Server：让用户能通过Restful接口实现SQL查询、构建Cube等
• 查询引擎：当Cube准备就休后，通过查询引擎获取并解析用户查询
• 元数据管理工具：对Cube元数据进行管理
• 任务引擎：处理所有的离线任务，包括Java API、MapReduce任务等