精华内容
下载资源
问答
  • 数据仓库一般分为哪几层

    千次阅读 2020-03-09 20:03:49
    数据仓库一般分为ODS层、DWD和DWS层、应用层。 ODS层:数据仓库源头系统的数据表通常会原封不动地存储一份,这成为ODS(Operation Data Store)层。它们是后续数据仓库层加工数据的来源,同时也存储着历史的增量数据...

    数据仓库一般分为ODS层DWD和DWS层应用层

    • ODS层:数据仓库源头系统的数据表通常会原封不动地存储一份,这成为ODS(Operation Data Store)层。它们是后续数据仓库层加工数据的来源,同时也存储着历史的增量数据或全量数据。
    • DWD和DWS层:数据仓库明细层(Data Warehouse Detail, DWD)和数据仓库汇总层(Data Warehouse Summery, DWS)是数据平台的主体内容,这两个层的数据是ODS层数据经过ETL清洗、转换、加载生成的。
    • 应用层(ADS):应用层主要是各个业务方或者部门基于DWD和DWS建立的数据集市(Data Market, DM),一般来说应用层的数据来源于DW层,而且相对于DW层,应用层只包含部门或者业务方面自己关心的明细层和汇总层的数据。

    数据仓库逻辑分层架构如下图所示:

    图片来源于《离线和实时大数据开发实战》

    展开全文
  • 数据仓库为什么要分层1.把复杂问题简单化。2.减少重复开发。3.隔离原始数据。1.ODS层:原始数据层2.DWD层:明细...数据仓库具体如何分层取决于设计者对数据仓库的整体规划,不过大部分的思路是相似的,一般分为以下5层

    1.数据仓库为什么要分层

    1.把复杂问题简单化。

    可以将一个复杂的任务分解成多个步骤来完成,每层只处理单一的一个步骤。

    2.减少重复开发。

    规范数据分层,通过使用中间层数据,可以大大减少重复计算量,增加计算结果的复用性。

    3.隔离原始数据。

    数据仓库具体如何分层取决于设计者对数据仓库的整体规划,不过大部分的思路是相似的,一般分为以下5层:

    1.ODS层:原始数据层

    存放原始数据,直接加载原始日志,数据,数据保持原貌不做处理。

    2.DWD层:明细数据层

    对ODS层数据进行清洗(取出空值,脏数据,超过极限范围的数据)、维度退化,脱敏等。

    3.DWS层:服务数据层

    以DWD层数据为基础,按天进行轻度汇总。

    4.DWT层:主题数据层

    以DWS层数据为基础,按主题进行汇总,获得每个主题的全量数据表。

    5.ADS层:数据应用层

    面向实际的数据需求,为各种统计报表提供数据。

    2.数据仓库的特点:

    1.面向主题
    2.集成
    3.相对稳定(不是事务)
    4.反映历史变化

    展开全文
  • 数据仓库分层

    2019-11-24 00:26:22
    在这种简单的应用场景,这种设计没有问题且简单明了,但是如果业务场景复杂,数据种类多,维度多,那么数据仓库的设计就尤为重要,结构清晰明了的数据仓库设计将方便对问题数据进行排查,数据仓库分为:ODS(原始...

      在做像pv、cv类型的分析,往往借助于一张大宽表和几张维度表,所有的统计分析都基于这张大宽表与维度表。在这种简单的应用场景,这种设计没有问题且简单明了,但是如果业务场景复杂,数据种类多,维度多,那么数据仓库的设计就尤为重要,结构清晰明了的数据仓库设计将方便对问题数据进行排查。数据分层的好处:
     清晰数据结构、减少重复开发、数据血缘追踪、把复杂问题简单化、屏蔽原始数据的异常、屏蔽业务的影响,不必改一次业务就需要重新接入数据

    数据仓库可分为三层:ODS层、DW层、APP层。
    在这里插入图片描述

    数据运营层:ODS(Operational Data Store)

      “面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,即 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。
      一般来讲,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。

    数据仓库层:DW(Data Warehouse)

      数据仓库层从 ODS 层中获得的数据按照主题建立各种数据模型。DW层又细分为 DWD(Data Warehouse Detail)层、DWM(Data WareHouse Middle)层和DWS(Data WareHouse Servce)层。

    1. 数据明细层:DWD(Data Warehouse Detail)
        该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。另外,在该层也会做一部分的数据聚合,将相同主题的数据汇集到一张表中,提高数据的可用性。

    2. 数据中间层:DWM(Data WareHouse Middle)
        该层会在DWD层的数据基础上,对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。直观来讲,就是对通用的核心维度进行聚合操作,算出相应的统计指标。

    3. 数据服务层:DWS(Data WareHouse Servce)
        又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。一般来讲,该层的数据表会相对比较少,一张表会涵盖比较多的业务内容,由于其字段较多,因此一般也会称该层的表为宽表。
        在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

    数据集市层:DM

      为数据集市层,这层数据是面向主题来组织数据的,通常是星形或雪花结构的数据。经常说的报表数据,一般就放在这里。以某个业务应用为出发点而建设的局部DW,DM只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用。每个应用有自己的DM。也就是说,面向实际的数据需求,以DWD或者DWS层的数据为基础,组成的各种统计报表。

    数据应用层:APP(ADS)

      为应用层,这层数据是完全为了满足具体的分析需求而构建的数据,也是星形或雪花结构的数据。从数据粒度来说是高度汇总的数据。
    在这里插入图片描述

    事实表与维度表

    DW维度表
      维度建模,数据拆分成事实表和维度表。
      维度表(dimension)表示对分析主题所属类型的描述,信息比较固定,且数据量小,可以看作是用户来分析数据的窗口。每个维度表都包含单一的主键。维度表的主键可以作为与之关联的任何事实表的外键。维度表通常比较宽,是扁平型非规范表,包含大量的低粒度的文本属性。维度表示要对数据进行分析时所用的一个量,例如分析产品销售情况,可以按类别或按区域来分析. 这样的按…分析就构成一个维度。例如,包含产品信息的维度表通常包含将产品分为食品、饮料、非消费品等若干类的层次结构,这些产品中的每一类进一步多次细分,直到各产品达到最低级别。在维度表中,每个表都包含独立于其他维度表的事实特性,例如,客户维度表包含有关客户的数据。维度表中的列字段可以将信息分为不同层次的结构级。
      事实表(fact table)是数据聚合后依据某个维度生成的结果表
      每个数据仓库都包含一个或者多个事实数据表。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位作为历史的数据,每个事实数据表包含一个由多个部分组成的索引,该索引包含作为外键的相关性纬度表的主键,而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息,也不应该包含除数字度量字段及使事实与纬度表中对应项的相关索引字段之外的任何数据。事实表的记录数会不断增加,表规模迅速增长。从最低的粒度级别来看,事实表行对应一个度量事件。
      包含在事实数据表中的“度量值”有两种:一种是可以累计的度量值,另一种是非累计的度量值。用户可以通过累计度量值获得汇总信息,例如,可以汇总具体时间段内一组商店的特定商品的销售情况。非累计的度量值也可以用于事实数据表,例如,在一座大厦的不同位置测量温度时,如果将大厦中所有不同位置的温度累加是没有意义的,但是求平均值是有意义的。
      一般来说,一个事实数据表都要和一个或多个维度表相关联,用户在利用事实数据表创建多维数据集时,可以使用一个或多个维度表。
    结论: 1、事实表就是你要关注的内容
        2、维度表就是你观察该事务的角度,是从哪个角度去观察这个内容的
    例如,某地区商品的销量,是从地区这个角度观察商品销量的。事实表就是销量表,维度表就是地区表。

    维度表的作用:
    1.缩小了事实表的大小
    2.便于维度的管理和维护,增加,删除和修改维度的属性,不必对事实表的大量记录进行改动
    3.维度表可以为多个事实表重用,以减少重复工作

    ODS与DW的区别

    【1】数据的当前性
      ODS包括的是当前或接近当前的数据,ODS反映的是当前业务条件的状态,ODS的设计与用户或业务的需要是有关联的,而DW则是更多的反映业务条件的历史数据。
    【2】数据的更新或加载
      ODS中的数据是可以进行修改的,而DW中的数据一般是不进行更新的。ODS的更新是根据业务的需要进行操作的,而没有必要立即更新,因此它需要一种实时或近实时的更新机制。另外,DW中的数据是按照正常的或预先指定的时间进行数据的收集和加载的。
    【3】数据的汇总性
      ODS主要是包括一些细节数据,但是由于性能的需要,可能还包括一些汇总数据,如果包括汇总数据,可能很难保证数据的当前性和准确性。ODS中的汇总数据生命周期比较短,所以可称作为动态汇总数据,如果细节数据经过了修改,则汇总数据同样需要修改。而DW中的数据可称为静态的汇总数据。
    【4】数据建模
      ODS是站在记录层面访问的角度而设计的,DW或DM则是站在结果集层面访问的角度而设计的。ODS支持快速的数据更新,DW作为一个整体是面向查询的。
    【5】查询的事务
      ODS中的事务操作比较多,可能一天中会不断的执行相同的事务,而DW中事务的到达是可以预测的。
    【6】用途
      ODS用于每一天的操作型决策,是一种短期的;DW可以获取一种长期的合作广泛的决策。ODS是策略型的,DW是战略型的。
    【7】用户
      ODS主要用于策略型的用户,比如保险公司每天与客户交流的客服;而DW主要用于战略型的用户,比如公司的高层管理人员。
    【8】数据量(主要区别之一)
      ODS只是包括当前数据,而DW存储的是每一个主题的历史快照;

      数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。ODS层的数据不能作为报表,因为部门只关心自己业务的数据而不关心全盘的数据,而ODS层中存放的是业务系统的明细数据,因此报表应该用DM层数据而非ODS层数据。
    在这里插入图片描述

    展开全文
  • 仓库管理系统

    万次阅读 多人点赞 2019-07-26 20:24:10
    文章目录一、仓库管理概述二,仓库管理模块设计1 出库2 入库3 仓库内部管理库位库区管理统计查询 一、仓库管理概述 仓库管理系统(WMS)通过出库,入库、库位调拨、库存调拨等功能,综合批次管理,物料对应、库存...

    一、仓库管理概述

    仓库管理系统(WMS)通过出库,入库、库位调拨、库存调拨等功能,综合批次管理,物料对应、库存盘点、质检管理和即时库存管理等功能综合运用的管理系统,有效控制和跟踪仓库业务的物流和成本管理的全过程,实现完善的企业仓储信息管理。
    从业务上讲,仓库管理系统主要是出库,入库以及仓库内部管理,而WMS系统作为进销存体系的重要一环,需要与采购系统,财务系统,订单调度中心,库存中心等系统发生信息交互。
    在这里插入图片描述

    二,仓库管理模块设计

    1 出库

    当发货单推送至仓库,就进入仓库的任务处理队列中,经历调度,打单,拣货 ,复核,包装,交接发货等过程,最后交给物流公司。
    a,调度:锁定拣货库位,生成拣货波次,(拣货波次的原则是选择几个锁定库位相邻,不超出拣货车存放量的仓库订单合并,可按照预设规则自动生成,也可人工筛选)
    b,打单:将波次对应的物流单和发货单打印出来
    c,拣货:关联拣货车,按波次拣货
    d,复核:对拣货完成的订单进行核对,保证发货单、实物商品、物流单的统一。
    e,包装:复核后对订单进行打包,称重,体积录入。
    f,交接发货:打包后,根据物流单对应的快递公司,推至相应的交接区,扫描物流单号完成交接并发货。
    在这里插入图片描述

    在这里插入图片描述

    2 入库

    商品入库主要是根据采购单,退/换货入库单,调拨入库单等,入库单推送至仓库时,经历到货确认,验货打码,商品上架等环节最终完成入库。
    到货确认:当仓库收到入库单时,相应的货物不会立马到仓库,而是会先进行到货确认,同时生成相应的验货任务,打印相应的入库验货单
    验货打码:到货确认之后进入验货打码环节,验货员根据验货单上的任务验货,并反馈给系统合格和不良品的到货数量,(不良品退给供应商),到货数量小应到数量时,将剩余未到货任务再次返回到到货确认,等待下次到货,退货单将合格品和不合格品都录入到系统中,不良品会上架至不良品库区
    验货完成后,通过系统打印相应数量的商品条码,由仓库人员进行贴码。
    商品上架:不仅包括商品入库上架,还包括补货上架,移库上架,返库上架等情形,上架后更新库位库存信息
    在这里插入图片描述
    在这里插入图片描述

    3 仓库内部管理

    盘点:定期或临时对库存商品的实际数量进行清查,清点,对仓库现有商品的实际数量与保管账上记录的数量相核对,以便准确的掌握库存数量
    在这里插入图片描述
    a,根据业务需求选择相应的库位和商品创建盘点任务,盘点员根据盘点任务进行盘点
    b,盘点后录入盘点数据
    c,当盘点单中所有任务完成后,判断是否有盘盈或者盘亏。
    d,无盘盈或盘亏,盘点结束,如果有,提交给主管审核,审核不通过,对库存不一致的库位商品重新生成盘点单,进行复盘;审核通过,提交给财务审核
    e,财务审核通过后,生成盘盈,盘亏单,去更新仓库库存。

    在这里插入图片描述

    库位库区管理

    仓库的库区主要分为分拣区,储存区,不良品存储区,发货暂存区,收货暂存区几块,需要给每个库区进行编码,在仓库中使用条形码对货品信息,批次,库位进行管理,提高各个环节的作业效率和信息化程度。

    统计查询

    统计查询模块主要是关于仓库的流水、库存、工作量等方面的统计并提供库存预警功能。包括出库明细,入库明细、库存变动明细、总库存查询、库位库存查询等。

    展开全文
  • 数据仓库层级划分

    千次阅读 2020-10-14 21:57:57
    3.CIF 层次架构 CIF 层次架构(信息工厂)通过分层将不同的建模方案引入到不同的层次中,CIF 将数据仓库分为四层,如图所示: ODS(Operational Data Store):操作数据存储层,往往是业务数据库表格的一对一映 射,将...
  • 数据仓库架构分层

    2019-01-15 11:50:23
    数据仓库标准上可以分为四层:ODS(临时存储层)、PDW(数据仓库层)、DM(数 据集市层)、APP(应用层)。 1)ODS 层: 为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。一般来说 ODS 层的...
  • 数据仓库简介-ODS、DW和DM概念区分

    千次阅读 2020-03-28 10:56:43
    一、什么是数据仓库 数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。 数仓的数据来源一般有:日志采集系统、业务系统数据库、爬虫系统等。通过对数据仓库中的数据进行分析,可以帮助企业...
  • Docker 配置私有仓库

    千次阅读 2019-06-18 13:51:56
    Docker 配置私有仓库 安装 我们采用Docker镜像的形式 获取镜像 docker pull registry 启动私有仓库容器 docker run ‐di ‐‐name=registry ‐p 5000:5000 registry 打开浏览器 输入地址 ...
  • Docker 包括三个基本概念镜像(Image)容器(Container)仓库(Repository)理解了这三个概念,就理解了 Docker 的整个生命周期。Docker 镜像Docker 镜像就是一个只读的模板。例如:一个镜像可以包含一个完整的 ...
  • 数据仓库为何分层,各层作用?

    千次阅读 2020-09-29 11:31:44
    明细数据层(DWD):是业务层与数据仓库的隔离层,此层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)、转换等操作后的数据。该层一般保持和ODS层一样的数据粒度,并且提供一定...
  • 一种通用的数据仓库分层方法

    千次阅读 多人点赞 2018-12-27 17:31:21
    数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施...
  • 库存品按存在形式分为:托盘、箱体和散装三种形式,限于目前RFID还不适合管理到每一个细小的单件物品,因此使用RFID管理物品的单位是整箱和整个托盘(含大件单品); (2)库位:仓库中用来摆放库存物品的、在空间...
  • Docker三大核心之仓库

    千次阅读 2016-11-23 13:19:50
    仓库分为公共仓库和私有仓库。1、Docker HubDocker官方维护了一个公共的仓库https://hub.docker.com,其中包含了15000多个镜像,大部分需求都可以通过DockerHub中直接下载镜像来实现。我们可以通过docker login命令来...
  • Git 实用技巧

    千人学习 2019-11-24 18:20:42
    本期教程学习方法分为“掌握基础——稳步进阶——熟悉协作”三个层次。从掌握基础的 Git的推送和拉取开始,以案例进行演示,分析每一个步骤的操作方式和原理,从理解Git 工具的操作到学会代码存储结构、演示不同...
  • 仓库风格 黑板风格

    2017-11-17 21:54:21
    软件体系结构 仓库风格和黑板风格
  • 仓库风格

    千次阅读 2019-05-14 17:17:37
    仓库风格包含一个数据仓库和若干其他构建 数据仓库位于改体系结构的中心 其他构建访问改数据仓库并对其中的数据进行增删改等操作 数据库系统 超文本系统 黑板系统 构成: 知识源:包含独立的、与应用程序相关的...
  • 如何搭建数据仓库

    千次阅读 2020-12-10 10:31:30
    其实很多企业做数据仓库的时候,都忽略了数仓与BI、数据库的差异,只去搞底层数据,不去做数据服务和应用,其实就是把数据仓库给狭义化了。其实数据仓库可以看成是BI的基础版本、数据库的升级版本,我们可以把公司里...
  • ETL (数据仓库技术)

    千次阅读 2018-07-16 20:32:48
    参考:ETL (数据仓库技术)_百度百科 ETL讲解(很详细!!!) 常见的几种ETL工具 ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load...
  • 数据仓库

    2021-03-02 03:43:35
    数据仓库的开发,是完全独立于OLTP系统的,也就是独立于当前各种应用的业务系统而作的分析项目,因此要包含从数据的迁移(提取)、变换、清洗、加载等ETL操作,其中可以分为这么几个数据层。客户的各种业务系统中的...
  • 数据仓库的模型设计

    2019-03-15 18:16:39
    数据仓库的模型设计 ...模型设计分为三个阶段: 1,概念模型 对业务的范围和使用,从高度上进行抽象概括,也就是划分主题域。 一般划分为8个主题域: 客户、服务、服务使用、账务、结算、资源、客服、营销
  • Maven仓库分类

    2018-09-23 23:22:00
    远程仓库分为三大类,分别是:中央仓库、私服和其他仓库。 本地仓库:位于自己计算机中的仓库 远程仓库:需要联网才可以使用的仓库,私服一般在内网中便可以使用,但是中央仓库则需要外网的支持。 在这个最...
  • 数据仓库使用手册

    2018-10-08 23:26:45
     宏观上的数据仓库设计分为以下三个大阶段:规划分析阶段、设计实施阶段、使用维护阶段。这三个阶段是循环运动过程。规划分析阶段包括:规划与确定需求、开发概念模型、开发逻辑模型;设计实施阶段包括:设计体系...
  • 主要介绍数据仓库和数据挖掘技术的基本原理和应用方法,全书共分为12章,主要内容包括数据仓库的概念和体系结构、数据仓库的数据存储和处理、数据仓库系统的设计与开发、关联规则、数据分类、数据聚类、贝叶斯网络、...
  • 数据仓库建模

    2018-09-05 13:58:24
    问题导读:
1、如何理解IBM 的 TDWM 概念模型是什么?
2、什么是数据模型和数据仓库模型?
3、为什么需要数据模型,如何建设数据模型...
4、数据仓库建模阶段划分分为多少阶段?
5、数据仓库建模方法都有哪些?
  • Maven 仓库

    千次阅读 2021-08-04 00:36:42
    # 如 log4j:log4j:1.2.16 这一依赖对应的仓库路径为:log4j/log4j/1.2.16/log4j-1.2.16.jar Maven 仓库的分类 # 仓库分为两类:本地仓库、远程仓库 # 当根据坐标寻找构件时首先会查看本地仓库,若本地存在则直接...
  • 数据仓库的基本架构

    2018-10-10 11:59:45
    数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。...因 此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据 仓库、数据应用:
  • 数据仓库与数据挖掘 第一章 课后习题 一填空题 1数据库中存储的都是 数据 而数据仓库中的数据都是一些历史的存档的归纳的计 算的数据 2 数据仓库中的数据分为四个级别 早起细节级 当前细节级 轻度综合级 高度综合级 ...
  • 数据仓库系列--维度

    2018-04-22 18:00:25
     在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。    当所有维表...
  • 在具体学习数据仓库之前先看一下数据中心的整体构架以及数据流向。 DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL 是 Extract-...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 104,711
精华内容 41,884
关键字:

仓库分为