精华内容
下载资源
问答
  • 数据仓库DMDW和ODS等概念区分

    千次阅读 2020-09-06 17:36:55
    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的...

    一、数据中心整体架构

    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

    DM(Data Mart) 数据集市,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据。面向应用。

    DW (Data Warehouse)数据仓库,是数据的归宿,这里保持这所有的从ODS到来的数据,并长期保存,而且这些数据不会被修改。

    ODS(Operational Data Store) 操作性数据,是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短。ODS的数据最终流入DW

    STAGE,数据接口,临时存储从数据源抽取的数据。

    ETL就是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:

    • Extract,数据抽取,也就是把数据从数据源读出来。
    • Transform,数据转换,把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。
    • Load 数据加载,把处理后的数据加载到目标处,比如数据仓库。

    DB(DataBase) 是现有的数据来源(也称各个系统的元数据),可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。

    举例: 

    二、数据仓库的ODS、DW和DM概念详解

                                                                               ods、dw、dm区分

    三、ODS、DW、DM协作层次图

    四、通过一个简单例子看这几层的协作关系

    五、ODS到DW的集成示例

    小结:数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。

    展开全文
  • DW建模

    2020-03-20 16:19:11
    DW的数据模型 范式建模 RDB建模方法的三大范式设计 1NF:属性的原子性,不可再分(json字段可有下属数组的形式) 2NF:每个非主属性由整个主键函数决定,不能由主键的部分决定(基本信息–主键决定 与 衍生信息 ...

    DW的数据模型

    • 范式建模
      • RDB建模方法的三大范式设计
        • 1NF:属性的原子性,不可再分(json字段可有下属数组的形式)
        • 2NF:每个非主属性由整个主键函数决定,不能由主键的部分决定(基本信息–主键决定 与 衍生信息 主键不能决定)
        • 3NF:每列都和主键列直接相关,而不是间接相关,其它字段间无依赖(业务表拆分为多维度关系表)
      • EDW中3NF建模,基于一些其它的原因,并非完全3NF建模,甚至是反范式设计
    • 雪花建模
      • 维度建模中的一种
      • 维度表可以拥有其他维度表的,虽然这种模型相比星型模型更规范一些
      • 性能方面需要关联多层维度表,性能比星型要低
    • 星型建模
      • 以事实表为中心,所有的维度表直接连接在事实表上,像星星一样
      • 数据集市维度建模中推荐的建模方法
      • 特点
        • 数据组织直观
        • 执行效率高
    • 事实星座模型
      • 星型模型延伸
      • 星座模型是基于多张事实表的,而且共享维度信息

    DW分层

    • SCR/ODS接口层
      • 数据接入层:通过工具实现统一采集、统一加载和统一调度
      • 建模方法:无,与对方模型完全一致
    • DWD细节数据层
      • 数据模型与ODS层一致,不做清晰转换处理、为支持数据重跑可额外增加数据业务日期字段、可按年月日进行分表、用增量ODS层数据和前一天DWD相关表进行merge处理
      • 建模方法:无,仅在原模型上增加日期字段
      • 服务领域: 为EDW提供各主题业务明细数据
    • DWB基础数据层
      • 这一层主要解决一些数据质量问题和数据的完整度问题
      • 建模方法:原则上为范式建模,但存在因为一些其他因素特意设计为非范式甚至反范式建模
    • DWS服务数据层
      • 基于DWB层数据按各个维度ID进行粗粒度汇总聚合
      • 建模方法:星型或雪花模型
      • 服务领域:为EDW提供各种统计汇总数据
    • DM数据集市层
      • 服务领域:数据挖掘,自定义查询,应用集市
      • 原则
        • 尽量减少数据访问时计算,优化检索
        • 维度建模,星型模型;事实拉宽,度量预先计算
      • 建模方法:星型或雪花模型
    • ST数据应用层
      • 服务领域:报表呈现。面向最终结果用户的业务指标、KPI,仪表盘、专题等。
      • 原则
        • 保持数据量小
        • 维度建模,星形模型
        • 增加数据业务日期字段,支持数据重跑
      • 维度建模
    • DIM维表层

    维度建模

    • 维度建模以分析决策的需求为出发点构建模型,一般有较好的大规模复杂查询的响应性能,更直接面向业务,典型的代表是我们比较熟知的星形模型,以及在一些特殊场景下适用的雪花模型
    • 对比
      • 关系建模
        • 一定程度的范式建模,模型规范,数据冗余小
        • 需要对业务、数据及关系很熟悉,且业务不会出现很大很频繁的变动
      • 维度建模
        • 数据冗余
        • 专注于分析,快速交付
        • 适用于业务快速变化的情况(此时用ER建模风险较大,难度较高–模型变更等)
    展开全文
  • ods dw dm 说明

    2021-03-09 13:53:10
    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 数据仓库的ODS...

    ods dw dm 说明

    • ODS——操作性数据

    • DW——数据仓库

    • DM——数据集市

    1. 数据中心整体架构

    在这里插入图片描述

    数据中心整体架构
    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

    1. 数据仓库的ODS、DW和DM概念在这里插入图片描述

    ods、dw、dm区分
    3.ODS、DW、DM协作层次图
    在这里插入图片描述

    协作层次
    4.通过一个简单例子看这几层的协作关系

    在这里插入图片描述

    例子
    5.ODS到DW的集成示例
    在这里插入图片描述

    集成例子
    小结

    数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇

    作者:悟成
    链接:https://www.jianshu.com/p/72e395d8cb33
    来源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

    展开全文
  • 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。2.数据仓库的ODS...

    ODS——操作性数据

    DW——数据仓库

    DM——数据集市

    1.数据中心整体架构


    数据中心整体架构

    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

    2.数据仓库的ODS、DW和DM概念

    ods、dw、dm区分

    3.ODS、DW、DM协作层次图


    协作层次

    4.通过一个简单例子看这几层的协作关系


    例子

    5.ODS到DW的集成示例


    集成例子

    小结

    数据中心是一个全新的领域,要进这个门还需要正确理解数据中心领域所设计的专业词汇。

    展开全文
  • 数据仓库知识之ODS/DW/DM

    万次阅读 2018-07-19 23:07:25
    数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 数据中心整体...
  • ODS DW DM

    2019-10-21 20:18:16
    这两天接触到ODS,开始很纳闷,有了DW(Data Warehouse)干嘛还要ODS(Operational Data Store),于是不查不知道,一查吓一跳,这里面还有这么多道道,这里总结一下,当作学习了。 简单说: DW 数据仓库存储是一个面向...
  • 【转】数据仓库ODS、DWDM概念区分

    万次阅读 多人点赞 2018-06-27 15:02:00
    今天看了一些专业的解释,还是对ODS、DWDM...数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用...
  • 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的...
  • 项目数据分层 ODS DW DM

    2021-08-06 22:16:25
    项目数据分层 ODS DW DM ODS ODS 全称是 Operational Data Store,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL ...
  • --dm层: 需要将操作记录写进dw层日志, 并且调用dw层的sp_log_ec_etl存储实现 --dw层, 授权sp_log_ec_etl给dm层 grant execute on sp_log_ec_etl to dm; --dm层, 调用以及查看数据 dw.sp_log_ec_etl; --调用 select...
  • 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的...
  • 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。 2.数据仓库的...
  • 对数据仓库ODS DW DM的理解

    千次阅读 2019-07-16 08:23:30
    今天看了一些专业的解释,还是对ODS、DWDM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构...
  • 数据仓库(DW)概念的创始人W. H.Inmon对数据仓库下了这样的定义:“数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持管理人员的决策。”数据仓库将大量用于事物处理的传统数据库数据进行...
  • DW,DM,ODS的区别

    2019-09-26 07:19:06
    假设所有有用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了SOA设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要有下钻操作,需要从DW层下钻到ODS层,多个库不...
  • 1. 数据仓库分层 ODS——操作性数据 ...DW——数据仓库 DM——数据集市 ods接口层采集数据的 dw 数据仓库将接口采集的数据沉淀下来的 dm 数据集市将数据仓库中的数据经过加工而来 2. 整体架构...
  • DW,DM,ODS的区别

    2017-03-09 15:14:40
    假设所有有用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了 SOA 设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要有下钻操作,需要从DW层下钻到ODS层,多个库...
  • 数据仓库DW、ODS、DM及其区别

    千次阅读 2019-08-08 13:53:36
    DW 数据仓库(Data Warehouse):是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support...
  • 数据仓库DW、ODS、DM及其区别总结

    千次阅读 2019-12-18 22:26:36
    DW 数据仓库(Data Warehouse):是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,076
精华内容 430
关键字:

dm建模dw