一篇文章搞懂数据仓库：四种常见数据模型（维度模型、范式模型等）

不吃西红柿丶 2020-12-04 14:05:00  10860  收藏 60
分类专栏： 数据仓库 文章标签： 数据模型 范式模型 雪花模型
版权

数据仓库
专栏收录该内容
16 篇文章127 订阅
订阅专栏
目录

写在前面

一、为什么要进行数据仓库建模？

二、四种常见模型

2.1 维度模型

2.1.1 星型模型

2.1.2 雪花模型

2.1.3 星座模型

2.2 范式模型

2.3 Data Vault模型

2.4 Anchor模型

三 数据模型的评价标准

小编有话

写在前面
大数据时代，维度建模已成为各大厂的主流方式。

维度建模从分析决策的需求出发构建模型，为分析需求服务。重点关注用户如何快速的完成数据分析，可以直观的反应业务模型中的业务问题，需要大量的数据预处理、数据冗余，有较好的大规模复杂查询的响应性能。

系列文章详见「数仓系列文章- 传送门」

一、为什么要进行数据仓库建模？
性能：良好的模型能帮我们快速查询需要的数据，减少数据的IO吞吐
成本：减少数据冗余、计算结果复用、从而降低存储和计算成本
效率：改善用户使用数据的体验，提高使用数据的效率
改善统计口径的不一致性，减少数据计算错误的可能性
二、四种常见模型
2.1 维度模型
维度建模按数据组织类型划分可分为星型模型、雪花模型、星座模型。

Kimball老爷爷维度建模四个步骤：

选择业务处理过程 > 定义粒度 > 选择维度 > 确定事实

2.1.1 星型模型
星型模型主要是维表和事实表，以事实表为中心，所有维度直接关联在事实表上，呈星型分布。

2.1.2 雪花模型
雪花模型，在星型模型的基础上，维度表上又关联了其他维度表。这种模型维护成本高，性能方面也较差，所以一般不建议使用。尤其是基于hadoop体系构建数仓，减少join就是减少shuffle，性能差距会很大。

星型模型可以理解为，一个事实表关联多个维度表，雪花模型可以理解为一个事实表关联多个维度表，维度表再关联维度表。

2.1.3 星座模型
星座模型，是对星型模型的扩展延伸，多张事实表共享维度表。

星座模型是很多数据仓库的常态，因为很多数据仓库都是多个事实表的。所以星座模型只反映是否有多个事实表，他们之间是否共享一些维度表。

2.2 范式模型
即实体关系（ER）模型，数据仓库之父Immon提出的，从全企业的高度设计一个3NF模型，用实体加关系描述的数据模型描述企业业务架构，在范式理论上符合3NF。此建模方法，对建模人员的能力要求非常高。

特点：设计思路自上而下，适合上游基础数据存储，同一份数据只存储一份，没有数据冗余，方便解耦，易维护，缺点是开发周期一般比较长，维护成本高。

详见：https://blog.csdn.net/weixin_39032019/article/details/89379482

2.3 Data Vault模型
DataVault由Hub（关键核心业务实体）、Link（关系）、Satellite（实体属性） 三部分组成 ，是Dan Linstedt发起创建的一种模型方法论，它是在ER关系模型上的衍生，同时设计的出发点也是为了实现数据的整合，并非为数据决策分析直接使用。

2.4 Anchor模型
高度可扩展的模型，所有的扩展只是添加而不是修改，因此它将模型规范到6NF，基本变成了K-V结构模型。企业很少使用。

三 数据模型的评价标准
数据模型建设的怎么样，极度依赖规范设计，如果代码风格是“千人千面”，那么恐怕半年下来，业务系统就没法看了。没有什么比“数据系统”更看重“法制”了，规范体系不仅能保障数据建设的一致性，也能够应对业务交接的情况，更能够为自动化奠定基础。

业务过程清晰：ODS就是原始信息，不修改；DWD面向基础业务过程；DIM描述维度信息；DWS针对最小场景做指标计算；ADS也要分层，面向跨域的建设，和面向应用的建设；
指标可理解：按照一定业务事务过程进行业务划分，明细层粒度明确、历史数据可获取，汇总层维度和指标同名同义，能客观反映业务不同角度下的量化程度；
核心模型相对稳定：如果业务过程运行的比较久，过程相对固定，就要尽快下沉到公共层，形成可复用的核心模型；
高内聚低耦合：各主题内数据模型要业务高内聚，避免在一个模型耦合其他业务的指标，造成该模型主题不清晰和性价比低。
小编有话
在传统企业数仓中，业务相对稳定，以范式建模为主。 如电信、金融行业等
在互联网公司，业务变化快，需求来来回回的改，计算和存储也不是问题，我们更关心快速便捷的响应业务需求，所以以维度建模为主流。
 

数仓系列传送门：https://blog.csdn.net/weixin_39032019/category_8871528.html
————————————————
版权声明：本文为CSDN博主「不吃西红柿丶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_39032019/article/details/110635349

数据模型（Data Model）是;
数据特征的抽象，是数据库管理的教学形式框架。数据库系统中用以提供信息表示和操作手段的形式构架。数据模型包括数据库数据的结构部分、数据库数据的操作部分和数据库数据的约束条件。
1）数据结构:数据模型中的数据结构主要描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和约束都建立在数据结构上。不同的数据结构具有不同的操作和约束。
2）数据操作:数据模型中数据操作主要描述在相应的数据结构上的操作类型和操作方式。
3）数据约束：数据模型中的数据约束主要描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。

优点： 存取方便且速度快 结构清晰，容易理解 数据修改和数据库扩展容易实现 检索关键属性十分方便

缺陷： 结构呆板，缺乏灵活性 同一属性数据要存储多次，数据冗余大（如公共边） 不适合于拓扑空间数据的组织

网状模型用连接指令或指针来确定数据间的显式连接关系，是具有多对多类型的数据组织方式

优点： 能明确而方便地表示数据间的复杂关系 数据冗余小 缺陷： 网状结构的复杂，增加了用户查询和定位的困难。 需要存储数据间联系的指针，使得数据量增大 数据的修改不方便（指针必须修改）

关系数据库模型 是以记录组或数据表的形式组织数据，以便于利用各种地理实体与属性之间的关系进行存储和变换，不分层也无指针，是建立空间数据和属性数据之间关系的一种非常有效的数据组织方法
优点： 结构特别灵活，满足所有布尔逻辑运算和数学运算规则形成的查询要求 能搜索、组合和比较不同类型的数据 增加和删除数据非常方便
缺陷： 数据库大时，查找满足特定关系的数据费时 对空间关系无法满足

目前最常用的三种数据模型为层次模型、网状模型和关系模型。

一、层次模型

层次模型将数据组织成一对多关系的结构，层次结构采用关键字来访问其中每一层次的每一部分。

层次模型发展最早，它以树结构为基本结构，典型代表是IMS模型。

优点是存取方便且速度快；结构清晰，容易理解；数据修改和数据库扩展容易实现；检索关键属性十分方便。

二、网状模型

网状模型用连接指令或指针来确定数据间的显式连接关系，是具有多对多类型的数据组织方式。

网状数据模型通过网状结构表示数据间联系，开发较早且有一定优点，目前使用仍较多，典型代表是 DBTG模型。

优点是能明确而方便地表示数据间的复杂关系。

三、关系模型

关系模型以记录组或数据表的形式组织数据，以便于利用各种地理实体与属性之间的关系进行存储和变换，不分层也无指针，是建立空间数据和属性数据之间关系的一种非常有效的数据组织方法。

优点在于结构特别灵活，概念单一，满足所有布尔逻辑运算和数学运算规则形成的查询要求；能搜索、组合和比较不同类型的数据；增加和删除数据非常方便。

扩展资料：

数据模型按不同的应用层次分成三种类型：分别是概念数据模型、逻辑数据模型、物理数据模型。

1、概念模型（Conceptual Data Model），是一种面向用户、面向客观世界的模型，主要用来描述世界的概念化结构，它是数据库的设计人员在设计的初始阶段。

2、逻辑模型（Logical Data Model），是一种面向数据库系统的模型，是具体的DBMS所支持的数据模型。

3、物理模型（Physical Data Model），是一种面向计算机物理表示的模型，描述了数据在储存介质上的组织结构，它不但与具体的DBMS有关，而且还与操作系统和硬件有关。