精华内容
下载资源
问答
  • 2020-08-27 16:10:14

    数据仓库中元数据的定义、用途及元数据的分类

    (1)元数据的定义:
    元数据是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。
    元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
    元数据可以帮助数据仓库管理员和开发人员快速找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。
    (2)元数据的用途:
    通过元数据可以看到某个数据计算作业的重要程度如何,是否还有下游在使用,是否可以下线。通过元数据的血缘链路可以清楚地统计到某个产品所用到的数据在计算、存储、质量上存在哪些问题。
    [1]对于数据使用者,可以快速找到所需要的数据;
    [2]对于ETL工程师,可以通过元数据指导其进行模型设计、任务优化等各种ETL工作;
    [3]对于运维工程师。可以通过元数据指导其进行整个集群的存储,计算和系统优化等运维工作。
    (3)元数据的分类:
    元数据按用途的不同分为两类:技术元数据、业务元数据。
    技术元数据:存储关于数据仓库系统技术细节的数据,用于开发和管理数据仓库使用的数据。
    业务元数据:从业务角度描述了数据仓库中的数据,提供介于使用者和实际系统之间的语义层,使业务人员也能“读懂“数据仓库中的数据。
    常见的业务元数据:onedata元数据。

    更多相关内容
  • 数据仓库元数据分类

    2021-08-03 11:25:33
    这样,业务元数据就可能具有多个用于简化用户视图的类别层次,它可以将表按照面向业务过程分组的方法分为多个子集,也可以将相关联的列划分到同一个维度当中。主流BI工具所使用的元数据模型都提供了这些分组方法。当...

    定义和描述DW/BI系统的结构、操作和内容的所有信息都是元数据。DW/BI行业常常提到两类主要的元数据:技术元数据和业务元数据。我们又提出了第三类元数据:过程元数据。下面我们会对这三类元数据进行阐述,技术元数据一般是定义性的,而业务元数据和过程元数据一般都是描述性的。
    在这里插入图片描述
    技术元数据。技术元数据从技术角度定义了构建DW/BI系统的对象和过程。主要包括定义数据结构的元数据,如表、字段、数据类型、索引和关系引擎中的分区,以及数据库、维度、度量和数据挖掘模型。在ETL过程中,技术元数据为特定的任务定义了来源和目标、转换过程(包括业务规则和数据质量筛选)以及频率。技术元数据在前台也有类似的用法,它定义了数据模型和将模型展现给用户的方法,也定义了有关报表、时间表、分配表和用户安全权限等方面的信息。有些技术元数据元素对业务用户来说是非常有用的,如表和字段名;而对于
    另一些技术元数据如表分区函数等,用户一般就没有兴趣了。
    • 包括版本号在内的系统清单描述了构成完整的ETL系统所需的所有软件。
    • 所有数据源的源描述,包括记录版面设计、列定义和业务规则。
    • 源系统访问方法包括正确性、权限和合法性方面的限制。
    • 所有ETL 表的ETL数据存储描述和DDL脚本,包括规范化的模式、维度模式、聚集、独立的关系表、持久性XML文件和平面文件。
    • ETL数据存储策略和步骤包括保留、备份、存档、恢复、所有权和安全设置。
    • ETL工作逻辑、抽取和转换包括嵌入ETL工具的所有数据流程逻辑,以及支持所有脚本和代码模块的源系统。这些数据流程定义了沿袭和依赖关系。
    • 异常处理逻辑确定了当数据质量筛选发生错误时应当如何处理。
    • 处理调度控制ETL作业的顺序和依赖关系。
    • 所有维度的当前最大代理键值。
    • 批参数为所有的ETL工作确定了当前活动的源表和目标表。
    业务元数据。业务元数据使用多种用户可访问的形式描述了数据仓库的内容。它告诉您有什么样的数据、数据的来源、数据的含义,以及该数据在数据仓库中和其他数据的关系。列出名称和内容描述字段就是一个基本业务元数据的例子。业务元数据通常以DW/BI系统文档的形式存在。这样,业务元数据就可能具有多个用于简化用户视图的类别层次,它可以将表按照面向业务过程分组的方法分为多个子集,也可以将相关联的列划分到同一个维度当中。主流BI工具所使用的元数据模型都提供了这些分组方法。当用户通过浏览元数据来获知数据仓库中含有什么信息的时候,他们一般都是在使用业务元数据。
    • 数据筛选说明包括进行数据质量测试的代码、潜在错误的严重程度评价,以及当错误发生时采取的措施。
    • 数据字典描述了数据仓库中所有列和表的业务内容。
    • 逻辑数据地图指明了从源系统表和字段出发,经过ETL系统到达目标表和列这一过程的数据流程。
    • 业务规则逻辑描述了所有选中的业务规则和已经在数据仓库中实施的业务规则,包括缓慢变化维度策略和空值处理。
    过程元数据。过程元数据描述了数据仓库中各种操作的结果。在ETL过程中,每个任务都会记录有关任务执行情况的关键数据,如开始时间、结束时间、占用的CPU秒数、读盘、写盘和处理的行数。在用户查询数据仓库的时候,也会有类似的过程元数据产生。这一类数据最初主要用于发现和解决ETL过程或查询过程中的问题,当人们开始使用系统以后,这些数据就是进行系统性能监控和改进的重要输入参数。这类元数据还可以用于监视用户的访问情况,这样既可以显示数据仓库的普及程度,也可以解决系统安全性和合规性方面的问题。
    过程元数据是在建立和使用DW/BI系统的过程中用于事件度量的数据。如果机构的核心业务是信息提供者负责收集某个行业的销售数据,随后将这些数据的访问权卖给多个客户,那么我们一般称作过程元数据的那些信息就会成为数据仓库中事实表和维度表的业务过程数据。信息提供者那里的业务人员会对分析这些过程数据比较感兴趣,因为这些数据可以反映出哪些客户在使用他们的产品,以及这些客户使用的是哪种产品,获得的是哪一级别的服务。
    • ETL操作统计包括开始时间、结束时间、占用CPU秒数、磁盘读、磁盘写和行计数。
    • 审计结果包括校验和以及其他度量质量和完整性的方法。
    • 质量筛选结果描述了错误条件、发生频率和ETL系统对所有质量筛选结果施加的行为。

    图片来自
    https://zhuanlan.zhihu.com/p/59708767
    文中内容来自
    《数据仓库工具箱:维度建模权威指南(第2版)》

    展开全文
  • 世界人工智能系统智商测试与智能等级划分理论和方法.docx世界人工智能系统智商测试与智能等级划分理论和方法.docx世界人工智能系统智商测试与智能等级划分理论和方法.docx世界人工智能系统智商测试与智能等级划分...
  • 《建筑du设计防火规范》(GB 50016-2014)中关于厂房和zhi仓库的防火分区的要求如下dao:1 仓库内的防火分区之间必须采用防火墙分隔,甲、乙类仓库内防火分区之间的防火墙不应开设门、窗、洞口;地下或半地下仓库(包括...

    在符合规范的条件下可以bai。

    《建筑du设计防火规范》(GB 50016-2014)中关于厂房和zhi仓库的防火分区的要求如下dao:

    1 仓库内的防火分区之间必须采用防火墙分隔,甲、乙类仓库内防火分区之间的防火墙不应开设门、窗、洞口;地下或半地下仓库(包括地下或半地下室)的最大允许占地面积,不应大于相应类别地上仓库的最大允许占地面积。

    2 室友库区内的桶装油品仓库应符合现行国家标准《石油库设计规范》GB 50074的规定。

    3 一、二级耐火等级的煤均化库,每个防火分区的最大允许建筑面积不应大于12000㎡。

    4 独立建造的硝酸铵仓库、电石仓库、聚乙烯等高分子制品仓库、尿素仓库、配煤仓库、造纸厂的独立成品仓库,当建筑的耐火等级不低于二级时,每座仓库的最大允许占地面积和每个防火分区的最大允许建筑面积可按本表的规定增加1.0倍。

    5 一、二级耐火等级粮食平房仓的最大允许占地面积不应大于12000㎡,每个防火分区的最大允许建筑面积不应大于3000㎡;三级耐火等级粮食平房仓的最大允许占地面积不应大于3000㎡,每个防火分区的最大允许建筑面积不应大于1000㎡

    6 一、二级耐火等级且占地面积不大于2000㎡的单层棉花库房,其防火分区的最大允许建筑面积不应大于2000㎡。

    7 一、二级耐火等级冷库的最大允许占地面积和防火分区的最大允许建筑面积,应符合现行国家标准《冷库设计规范》GB 50072的规定。

    厂房内设置中间仓库时,应符合下列规定  :

    1 甲、乙类中间仓库应靠外墙布置,其储量不宜超过1昼夜的需要量;

    2 甲、乙、丙类中间仓库应采用防火墙和耐火极限不低于1.5h的不燃性楼板与其他部位分隔;

    3 丁、戊类中间仓库应采用耐火极限不低于2.00h的防火隔墙和1.00h的楼板与其他部位分隔;

    4 仓库的耐火等级和面积应符合本规范第3.3.2条和第3.3.3条的规定;

    扩展资料:

    防火分区是指用防火墙、楼板、防火门或防火卷帘分隔的区域,可以将火灾限制在一定的局部区域内(在一定时间内),不使火势蔓延,当然防火分区的隔断同样也对烟气起了隔断作用。

    在建筑物内采用划分防火分区这一措施,可以在建筑物一旦发生火灾时,有效地把火势控制在一定的范围内,减少火灾损失,同时可以为人员安全疏散、消防扑救提供有利条件。

    厂房内设置自动灭火系统时,每个防火分区的最大允许建筑面积可按本规范第3.3.1条的规定增加1.0倍。当丁、戊类的场地上厂房内设置自动灭火系统时,每个防火分区的最大允许建筑面积不限。厂房内局部设置自动灭火系统时,其防火分区的增加面积可按该局部面积的1.0倍计算。

    仓库内设置自动灭火系统时,除冷库的防火分区外,每座仓库的最大允许占地面积和每个防火分区的最大允许建筑面积可按本规范第3.3.2条的规定增加1.0倍。

    甲、乙类生产场所(仓库)不应设置在地下或半地下。

    员工宿舍严禁设置在厂房内。

    办公室、休息室等不应设置在甲、乙类厂房内,确需贴临本厂房时,其耐火等级不应低于二级,并应采用耐火极限不低于3.00h的防爆墙与厂房分隔,且应设置独立的安全出口。

    办公室、休息室设置在丙类厂房内时,应采用耐火极限不低于2.5h的防火隔墙和1.00h的楼板与其他部位分隔,并应至少设置1个独立的安全出口。如隔墙上需开设相互连通的门时,应采用乙级防火门。

    参考资料来源:百度百科-防火分区

    8    评论 分享 举报

    wang婆婆

    推荐于2017-10-09

    不能,因为车间是生产单位,建筑材料大部分不需要防火,如电器材料、建筑材料等,而且会经常出现明火,但仓库必须这么办,而且更不能出现明火。

    展开全文
  • 具体做法大家也都比较熟悉,就是将物料按品种和占用资金的多少分为重要的A类,一般重要的B类和不重要的C类三个等级,针对不同等级分别进行管理和控制的一种方法,将管理重点集中在重要的库存品种上,会使库存管理...
  • 划分数据安全等级,公开、机密、秘密、绝密 制定访问控制方案,那些用户访问哪些数据 设计授予、回收、变更用户范文权限方法 添加对数据访问的审计功能。 可访问性 指的是用户访问和检索数据的能力 数据仓库最终...

    基本需求

    数据仓库的目的就是能够让用户方便地访问大量数据。
    允许用户查询和分析其中的业务信息。
    要求数据仓库是安全的、可访问的、自动化的。

    安全性

    适当的授权机制

    • 对于用户数据是只读的
    • 划分数据安全等级,公开、机密、秘密、绝密
    • 制定访问控制方案,那些用户访问哪些数据
    • 设计授予、回收、变更用户范文权限方法
    • 添加对数据访问的审计功能。

    可访问性

    指的是用户访问和检索数据的能力
    数据仓库最终用户通常是业务人员、管理人员、数据分析师
    他们对组织内的相关业务非常熟悉,对数据理解也很透彻,但不是IT专家。
    尽量友好和简单,使得没有技术背景的用户可以轻易查询到他们需要的数据。

    自动化

    狭义和广义
    狭义指的是数据仓库相关作业自动执行。
    广义指的是保证数据质量和一致性的前提下,加速数据仓库系统的开发周期的过程。

    整个数据仓库生命周期自动化,从对源系统分析到ETL到数据仓库建立、测试、文档化、可以帮助加快产品化进程。降低开发和管理成本。

    数据需求

    满足数据仓库的数据,确保数据准确性、时效性、和历史可追溯性的需求。

    准确性

    要想数据仓库实施成功,业务用户必须信任其中数据。
    ETL过程总之数据仓库的某个地方保留一份原始数据的复制。

    时效性

    数据仓库作为分析系统,一般以一天作为时间粒度比较常见。

    历史可追溯性

    能够辅助随时间变化的趋势分析。帮助理解业务事件与经营绩效之间的关系。

    展开全文
  • 历史数据等级划分 主要将历史数据划分 P0、Pl、P2、P3 四个等级,其具体定义如下: P0 :非常重要的主题域数据和非常重要的应用数据,具有不可恢复性, 如交易、日志、集团 KPI 数据、 IPO 关联表。 Pl :重要...
  • 1) 历史数据等级划分 主要将历史数据划分P0、Pl、P2、P3 四个等级,其具体定义如下: P0 :非常重要的主题域数据和非常重要的应用数据,具有不可恢复性,如交易、日志、集团 KPI 数据、 IPO 关联表。 Pl :重要的业务...
  • 数据仓库

    2020-12-28 21:06:50
    数据仓库概念创始人在《建立数据仓库》一书中对数据仓库的定义是:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、数据集成的(Integrated)、相对稳定(非易失)的(Non-Volatile)、反映历史变化...
  • 技术人员的等级划分和资质要求

    千次阅读 2020-03-18 22:32:44
    针对招投标公司对实际业务开发需求中的人才配备,做出如下技术人员资质等级要求描述,如果不知道自己目前处于哪个等级,或者想成为哪个等级的人才,就往下看吧!收藏是点赞的3倍,整理不易,给个免费的小爱心吧 以下...
  • 一篇文章搞懂数据仓库:元数据分类、元数据管理

    万次阅读 多人点赞 2020-12-31 15:41:39
    数据仓库元数据 数据仓库结构的描述,包括仓库模式、视图、维、层次结构及数据集市的位置和内容;业务系统、数据仓库和数据集市的体系结构和模式等。 BI 元数据 汇总用的算法、包括各类度量和维度定义算法。数据...
  • 1.数据仓库简介 1.1什么是数据仓库 本质上,数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。 1.1.1 数据仓库的定义 面向主题、集成(面向主题相关,多个数据源)、非易失(一般并不进行数据更新...
  • 数据仓库建设及数据治理总结
  • 数据仓库与数据挖掘知识点梳理

    千次阅读 2021-10-20 18:55:18
    序数型:数值来自于有序集合,如奖学金的等级;职称分布等。 连续型:实数值,如温度、体重等。 2.2.3.1离散化方法 1)分箱:属性的值可以通过将其分配到各分箱中而将其离散化。 利用每个分箱的均值或中数替换每个...
  • 数仓建设真正的难点不在于数仓...所以如何保障数据质量,确保数据可用性是数据仓库建设中不容忽视的环节。 数据质量涉及的范围也很广,贯穿数仓的整个生命周期,从数据产生->数据接入->数据存储->数据处.
  • 数据仓库设计规范(更新中)

    多人点赞 热门讨论 2021-10-06 12:55:59
    文章目录设计规范逻辑架构技术架构分层设计主题划分分级管理命名规范层级任务表字段模型规范建模方法建模工具血缘关系维度退化元数据管理开发规范脚本注释字段别名脚本格式流程规范 设计规范 逻辑架构 数据采集 ...
  • 逻辑架构、技术架构、分层设计、主题划分、方法论 命名规范 各层级命名、任务命名、表命名、字段命名、指标命名等 模型规范 建模方法、建模工具、血缘关系、维度退化、一致性维度、元数据管理 开发规范 脚本...
  • 数据仓库规范定义

    2020-09-02 22:04:23
    规范定义指以维度建模为理论基础,构建总线矩阵,划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、派生指标 经验总结:1,数据字典 2,统一字段,性别、时间戳 3,字段池 4,简写...
  • 数据仓库架构和建设方法论

    千次阅读 2020-11-05 09:36:29
    1.数据仓库概要 1.1.数据仓库起因 在建设数据仓库之前,数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通八达。在企业级数据应用...
  • 拥有本篇文章,意味着你拥有一本完善的书籍,本篇文章整理了数据仓库领域,几乎所有的知识点。
  • 文章目录设计规范逻辑架构技术架构分层设计主题划分分级管理命名规范层级任务表字段模型规范建模方法建模工具血缘关系维度退化元数据管理开发规范脚本注释字段别名脚本格式流程规范 设计规范 逻辑架构 数据采集 ...
  • 数据仓库的构建

    2021-07-26 09:54:35
    数据仓库的定义 关于数据仓库,在维基百科中将它定义为用于报表和数据分析的系统,是商务智能 Business Intelligence 的核心部分。在数据仓库诞生之初,它只被设计成面向管理层所需要的决策支持系统,并不对业务方...
  • 数据仓库研发规范

    2021-01-28 14:01:35
    数据仓库研发规范数据仓库研发规范概述阶段规划角色职责数据仓库研发规范整体流程需求阶段首次需求流程迭代需求流程设计阶段开发阶段测试阶段发布阶段运维阶段背景信息操作步骤 数据仓库研发规范概述 将为您介绍数据...
  • 构建私有镜像仓库

    2022-03-10 11:20:43
    网上有很多的Registry服务器都支持第三方用户注册,而后基于用户名去做自己的仓库,但是使用互联网上的Registry有一个缺陷,那就是我们去推送和下载镜像时都不会很快,而在生产环境中很可能并行启动的容器将达到几十...
  • 第二章 生产(厂房)和储存物品(仓库)的火灾危险性分类、 为了评价厂房,仓库,先明确里面的东西的危险性 第一节 生产的火灾危险性分类 一、评定物质火灾危险性的主要指标 气体,评定指标:爆炸极限范围、...
  • Dragon's Life 坚持,完成每一个目标! 目录视图 摘要视图 订阅 征文 | 从高考,到程序员 深度学习与TensorFlow入门一课搞定!...Maven详解之仓库------本地仓库、远程仓库
  • 数据仓库常见建模方法与建模实例演示

    万次阅读 多人点赞 2020-04-14 15:52:09
    1.数据仓库建模的目的? 为什么要进行数据仓库建模?大数据的数仓建模是通过建模的方法更好的组织、存储数据,以便在 性能、成本、效率和数据质量之间找到最佳平衡点。一般主要从下面四点考虑 访问性能:能够快速...
  • 7.3 Hadoop 数据仓库规范设计 对于一个公司或者组织来说,使用数据的用户可能成百上千,如何降低大家对于数据使用的沟通成本、如何通过规范大家的行为来降低使用数据的风险,这些问题是必须加以考虑的。 实际...
  • 通过对物流仓库建筑进行防火类别划分,具体分析了物流仓库的火灾危险性,提出了物流仓库在消防安全布局、建筑耐火等级及防火分区划分、安全疏散出口设置、消火检系统、自动喷水灭火系统、火灾自动报警系统、排烟排热...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,604
精华内容 3,841
关键字:

仓库等级分类