精华内容
参与话题
问答
  • 数据仓库元数据管理

    千次阅读 2018-09-21 16:11:56
    数据仓库元数据管理元数据元数据分类技术元数据业务元数据系统管理功能 元数据 元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元...

    元数据

    元数据(Meta Date),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。
    元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿数据仓库构建的整个过程,直接影响着数据仓库的构建、使用和维护。
    构建数据仓库的过程中,主要步骤之一是ETL。这时元数据发挥重要的作用:它定义了源数据系统到数据仓库的映射、数据转换的规则、数据仓库的逻辑结构、数据更新的规则、数据导入历史记录以及装载周期等相关内容。数据抽取和转换的专家以及数据仓库管理员正是通过元数据高效地构建数据仓库。
    用户在使用数据仓库时,通过元数据访问数据,明确数据项的含义以及定制报表。
    数据仓库的规模及其复杂性离不开正确的元数据管理,包括增加或移除外部数据源,改变数据清洗方法,控制出错的查询以及安排备份等。
    在这里插入图片描述

    元数据分类

    元数据可分为技术元数据和业务元数据。

    技术元数据

    技术元数据为开发和管理数据仓库的IT 人员使用。
    它描述了与数据仓库开发、管理和维护相关的数据,包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等。

    业务元数据

    业务元数据为管理层和业务分析人员使用。
    它从业务角度描述数据,包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等,以帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。

    系统管理功能

    元数据机制主要支持以下五类系统管理功能:
    (1)描述哪些数据在数据仓库中;
    (2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;
    (3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;
    (4)记录并检测系统数据一致性的要求和执行情况;
    (5)衡量数据质量。

    展开全文
  • 数据管理

    千次阅读 2019-05-06 09:56:32
    数据管理 1、什么是元数据管理? 企业用户在创建了众多数据库信息时,需要一个查询功能可以及时高效地为用户查询数据库信息,如数据源、表以及视图等信息。DataPipeline(www.datapipeline.com)元数据管理功能...

    元数据管理
    1、什么是元数据管理?
    企业用户在创建了众多数据库信息时,需要一个查询功能可以及时高效地为用户查询数据库信息,如数据源、表以及视图等信息。DataPipeline(www.datapipeline.com)元数据管理功能可以为用户降低时间成本,提高查询效率。
    2、元数据管理能做到什么?
    元数据管理能带给用户的核心功能有:
    1、支持筛选查询已创建的数据源/表/视图信息。
    2、支持查看总览查询所有已创建的数据库信息。
    3、支持用户输入数据源名称/类型/负责人/创建人查询数据源信息。
    4、支持用户输入表名称、负责人、Comment查询表信息。
    5、支持用户输入视图名称、负责人、Comment查询视图信息。
    6、支持用户在搜索结果中对数据源和创建人进行筛选。
    7、支持查询数据源类型为MySQL、Oracle、SQL Server、PostgreSQL、FTP、S3数据源。
    8、支持用户在总览列表页进行搜索。
    3、如何使用元数据管理?
    元数据管理首页
    顶部显示搜索入口
    提示文案:请输入搜索关键词(如数据源、表、视图、字段、标签名称)
    搜索范围:
    数据源搜索范围:数据源名称、数据源类型、创建人、负责人、标签
    表搜索范围:表名称、负责人、Comment、标签
    视图搜索范围:视图名称、负责人、Comment、标签
    字段搜索范围:字段名称、标签、别名、描述

    展开全文
  • 数据治理系列2:元数据管理—企业数据治理的基础

    千次阅读 多人点赞 2019-05-13 20:11:04
    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统...

     

    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。元数据管理是企业数据治理的基础。

    认识元数据

    元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。这么说对于没有技术背景的人来说还是比较抽象的,我给大家举几个例子。

     

     

    在我之前写的一篇文章《关于“数据”的一些概念的整理和总结》中,有一个关于元数据的例子,歌曲《小芳》中有一段台词:“村里有个姑娘叫小芳,长得好看又善良” 这首耳熟能详的歌,我们分析一下,姓名:小芳、性别:姑娘(女)、长相:好看、性格:善良,住址:村里。这里面,小芳是被描述的对象也就是我们所谓的实体数据,而姓名、性别、长相、性格、住址就是描述“小芳”的元数据。

    再举个栗子:元数据就像“户口本”,户口本中除了有姓名、出生日期、住址、民族等信息外,还有家庭的血缘关系,父子关系、兄弟关系等。这些信息就构成了对这个人的详细描述,那这些信息就是描述这个人的元数据。

    再举个栗子:元数据好比“字典”,针对每个字都注音、含义、组词、举例等信息,同时也有关于字体结构、相关引用、出处等。另外,我们可以通过拼音、偏旁部首都能查到这个字。所有的这些信息都是对这个字的详细描述,那这些信息就是描述这个字的元数据。

    再举个栗子:元数据就如“地图”,通过这张“地图”能够找到你所处的地点,以及你从哪来来,到哪里去,途中都需要路过哪些地方……

    这下大家理解了吧,元数据是对数据的结构化描述,使得数据更容易理解、查找、管理和使用。

    元数据的分类

    根据数据的性质特点,业内一般将元数据划分为三类:业务元数据、技术元数据和管理元数据。

     

     

    业务元数据是描述数据的业务含义、业务规则等。通过明确业务元数据让人们更容易理解和使用业务元数据,元数据消除了数据二义性,让人们对数据有一致的认证,避免“各说自话”,进而为数据分析和应用提供支撑。常见的业务元数据包括:业务定义、业务术语、业务规则、业务指标等。

    技术元数据是对数据的结构化,方便计算机或数据库之间对数据进行识别、存储、传输和交换。技术元数据可以服务于开发人员,让开发人员对数据的存储、结构更明确,从而为应用的开发和系统的集成奠定基础。技术元数据也可服务于业务人员,通过元数据理清数据关系,让业务人员能够更快速的找到想要的数据,进而对数据的来源去向进行分析,支持数据血缘追溯和影响分析。常见的技术元数据包括:存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系等。

    管理元数据描述了数据的管理属性,包括管理部门、管理责任人等,通过明确管理属性,有利于数据管理责任到部门和个人,是数据安全管理的基础。常见的管理元数据包括:数据所有者、数据质量定责、数据安全等级等。

     

    表:元数据分类实例

    元数据类型

    元数据描述

    元数据实例

     业务定义

     数据的含义

     客户的完整名称,并具有法律效力

     业务规则

    数据录入规则

     企业的营业执照、组织机构代码证书,统一社会信用代码证书等具有法律效力的证明文件中的中文名称全称

     

     识别规则

    企业的组织机构代码或者统一社会信用代码或者统一纳税号必须完全匹配,则认为是同一客户。

     

     质量规则

     客户名称为非空,并且与营业执照的中文名称一致

    存储位置

    数据的存储什么地方

    ERP系统

    数据库表

    存储数据的库表名称和路径

    ERP/Customers

    字段类型

    数据的技术类型

    字符型

    字段长度

    数据存储的最大长度

    [200]

    更新频率

    数据的更新频率

    每年更新一次

    管理部门

    数据责任部门

    客户管理部

    管理责任人

    数据责任部门

    客户管理部业务员

     

    元数据管理成熟度

    在实施元数据管理的过程中,可以参照元数据管理的成熟度模型确定企业当前元数据管理所在层次,并根据业务需要制定路线图实现元数据管理水平的提升。下图是元数据管理成熟度模型:

     

     

    元数据管理成熟度评估模型

    • L0: 初始状态

    元数据分散于日常的业务和职能管理中,由某个人或某一组人员在局部产生或获取,并在局部使用。在局部环境工作数月或数年后,人们使这些元数据以及对它的理解内在化,使对这种信息有习惯性的理解。这些元数据会永远保存在某个人那儿,一旦这个人调离,这些元数据将永远消失。

    • L1: 从属于业务系统

    在这个阶段,随着各个业务系统自动化构建完成,相应的元数据也随着需求整理、设计、开发、实施和维护等过程被各个业务系统孤立的全部或部分管理起来。业务元数据可能分散在各种业务规章、流程规定、需求、需求分析和概要设计等文档以及业务系统中,技术元数据可能分散在详细设计、模型设计和部署方案等各种文档和各种中间件以及业务系统中。由于各个业务系统处于一个个竖井之中,元数据之间互通互联困难,如果需要获取其他系统的元数据,除了调阅各种文档外,对分散在各种中间件和业务系统中的技术元数据需要一定的集成方式实现互通互联。

    • L2:元数据统一存储

    元数据依然在局部产生和获取,但会集中到中央存储库进行存储,业务元数据会手工录入到中央存储库中,技术元数据分散在文档中的部分也通过手工录入到中央存储库中,而散落在各个中间件和业务系统中的技术元数据则通过数据集成的方式被读取到中央存储库中。业务元数据和技术元数据之间全部或部分通过手工方式做了关联。中央存储库的构建,使得元数据在整个企业层面可被感知和搜索,极大地方便了企业获取和查找元数据。缺点是,元数据仍然在各业务系统上维护,然后更新到中央存储库,各业务竖井之间仍然使用不同的命名法,经常会造成相同的名字代表不同意义的事情,而同一件事情则使用了多个不同的名字,有些没有纳入业务系统管理的元数据则容易缺失。元数据没有有效的权限管理,局部元数据更改后也不自动通知其他人。

    • L3: 元数据集中管理

    在 L2 的基础上做了改进,增强了元数据的集中控制,局部业务单元或开发小组如不事先通知其他人,将无法对元数据进行修改。局部元数据的修改完成后将被广播给其他人。和其他中间件和应用系统的交互,仍然通过桥集成的方式进行,中央存储库中的业务元数据和技术元数据之间还是通过手工方式进行映射。

    • L4:元模型驱动管理

    在 L3 的基础上,通过构建元模型以及元元模型,优化各业务单元之间的各种冲突和各种副本,创建、管理和共享业务词汇表和分类系统(基于主题领域的层次结构)。业务词汇表(业务元数据)包含与企业相关的词汇、词汇业务含义以及词汇与信息资产(技术元数据)的关系,可以有效帮助企业用户了解其业务元数据和技术元数据对应的业务含义。分类是基于主题领域的层次结构,用以对业务术语归类。和其他中间件和应用系统的交换,通过基于 CWM 的适配器方式进行连接。

    • L5: 元数据管理自动化

    在 L5 元数据管理是高度自动化的,当逻辑层次元数据变更时,会被传播到物理层次,同样物理层次变更时逻辑层次将被更新。元数据中的任何变化将触发业务工作流,以便其他业务系统进行相应的修改。由于各个业务系统遵照相同的业务词汇表和分类系统(元模型),他们之间的关系可以通过知识本体进行推断,因此各个应用系统之间的数据格式的映射自动产生。

     

    元数据管理平台架构

    元数据管理平台从应用层面,可以分类:元数据采集服务,应用开发支持服务,元数据访问服务、元数据管理服务和元数据分析服务。

     

     

    元数据采集服务

    在数据治理项目中,通常涉及到的元数据还包括:数据源的元数据,数据加工处理过程的元数据,数据仓库或数据主题库的元数据,数据应用层的元数据,数据接口服务的元数据等等。元数据采集服务提供各类适配器满足以上各类元数据的采集,并将元数据整合处理后统一存储于中央元数据仓库,实现元数据的统一管理。这个过程中,数据采集适配器十分重要,元数据采集要能够适配各种DB、各类ETL、各类DW和Report产品,同时还需要适配各类结构化或半结构化数据源。目前市场上的主流元数据产品还没有哪一家能做到“万能适配”,都需要在实际应用过程中做或多或少的定制化开发。

    元模型驱动的设计与开发

    通过元数据管理平台实现对应用的逻辑模型、物理模型、UI模型等各类元模型管理,支撑应用的设计和开发。应用开发的元模型有三个状态,分别是:设计态的元数据模型,通常由ERWin、PowerDesigner的等设计工具产生。测试态的元数据模型,通常是关系型数据:Oracle、DB2、Mysql、Teradata等,或非关系型数据库:MongDB、HBase、Hive、Hadoop等。生产态的元模型,本质上与测试态元数据差异不大。通过元数据平台对应用开发三种状态的统一管理和对比分析,能够有效降低元数据变更带来的风险,为下游ODS、DW的数据应用提供支撑。另外,基于元数据的MDD(代码生成服务),可以通过模型(元数据)完成业务对象元数据到UI元数据的关联和转换,自动生成相关代码,表单界面,减少了开发人员的设计和编码量,提升应用和服务的开发效率。

     

    元数据管理服务

    市场上主流的元数据管理产品,基本都包括:元数据查询、元模型管理、元数据维护、元数据版本管理、元数据对比分析、元数据适配器、元数据同步管理、元数据生命周期管理等功能。此类功能,各家产品大同小异,此处不再赘述。

    元数据访问服务

    元数据访问服务是元数据管理软件提供的元数据访问的接口服务,一般支持REST或Webservice等接口协议。通过元数据访问服务支持企业元数据的共享,是企业数据治理的基础。

     

    元数据分析服务

     

    血缘分析:是告诉你数据来自哪里,都经过了哪些加工。其价值在于当发现数据问题时可以通过数据的血缘关系,追根溯源,快速地定位到问题数据的来源和加工过程,减少数据问题排查分析的时间和难度。这个功能常用于数据分析发现数据问题时,快速定位和找到数据问题的原因。

     

    影响分析:是告诉你数据都去了哪里,经过了哪些加工。其价值在于当发现数据问题时可以通过数据的关联关系,向下追踪,快速找到都哪些应用或数据库使用了这个数据,从而避免或降低数据问题带来的更大的影响。这个功能常用于数据源的元数据变更对下游ETL、ODS、DW等应用应用的影响分析。

     

    冷热度分析:是告诉你哪些数据是企业常用数据,哪些数据属于“僵死数据”。其价值在于让数据活跃程度可视化,让企业中的业务人员、管理人员都能够清晰的看到数据的活跃程度,以便更好的驾驭数据,激活或处置“僵死数据”,从而为实现数据的自助式分析提供支撑。

     

    关联度分析:是告诉你数据和其他数据的关系以及它们的关系是怎样建立的。关联度分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,从而进一步了解该实体的重要程度,如:表与ETL 程序、表与分析应用、表与其他表的关联情况等。本功能可以用来支撑需求变更的影响评估。

     

    数据资产地图:是告诉你有哪些数据,在哪里可以找到这些数据,能用这些数据干什么。通过元数据可以对企业数据进行完整的梳理、采集和整合,从而形成企业完整的数据资产地图。数据资产地图支持以拓扑图的形式进行可视化展示各类元数据和数据处理过程,通过不同层次的图形展现粒度控制,满足业务上不同应用场景的数据查询和辅助分析需要。

     

    元数据管理价值

     

    一图在手,天下我有

    通过元数据以企业全局视角对企业各业务域的数据资产进行盘点,实现企业数据资源的统一梳理和盘查,有助于发现分布在不同系统、位置或个人电脑的数据,让隐匿的数据显性化。数据地图包括了数据资源的基本信息,存储位置信息、数据结构信息、各数据之间关系信息,数据和人之间的关系信息,数据使用情况信息等,使数据资源信息详细、统一、透明,降低“找数据”的沟通成本,为数据的使用和大数据挖掘提供支撑。

     

    追根溯源,发现数据问题本质

    企业在做数据分析的时候,数据分析结果不正确,原因可能是数据分析过程出现数据问题,也可能是数据源本身就有问题,还可能是数据在加工处理过程中出现了数据问题……。通过元数据血缘分析,能够快速定位数据来源和加工处理过程,能够帮助数据分析人员快速定位数据问题。另外,通过元数据血缘关系分析,可以理解不同数据指标间的关系,分析产生指标的数据源头波动情况带来的影响。

     

    模型驱动,敏捷开发

    基于元数据模型的数据应用规划、设计和开发是企业数据应用的一个高级阶段。当企业元数据管理达到一定水平(实现自动化管理的时候),企业中各类数据实体模型、数据关系模型、数据服务模型、数据应用模型的元数据统一在元数据平台进行管理,并自动更新数据间的关联关系。基于元数据、可扩展的MDA,才是快速满足企业数据应用个性化定制需求的最好解决方案。通过将大量的业务进行模型抽象,使用元数据进行业务描述,并通过相应的模型驱动引擎在运行时驱动,使用高度抽象的领域业务模型作为构件,完成代码转换,动态生成相关代码,降低开发成本,应对复杂需求变更。

     

     

    总结:

    元数据是企业数据资源的应用字典和操作指南,元数据管理有利于统一数据口径、标明数据方位、分析数据关系、管理数据变更,为企业级的数据战略规划、数据模型设计、数据标准管理、主数据管理、数据质量管理、数据安全管理以及数据的全生命周期管理提供支持,是企业实现数据自服务、推动企业数据化运营的可行路线。企业以元数据为抓手进行数据治理,帮助企业更好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策。

    注:本文的首发平台为微信公众号:learning-bigdata(谈数据),如需要了解第一手数据治理相关内容,请关注微信公众号,CSDN微博不定期更新。

    欢迎转载,转载请注明,作者:石秀峰,公众号:learning-bigdata(谈数据)

     

    展开全文
  • 数据管理 Data Management 是规划、控制和提供数据及信息资产的一组业务职能,包括开发执行监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK ...

    数据管理 Data Management

    是规划、控制和提供数据及信息资产的一组业务职能,包括开发执行监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK 1.0

    数据治理 Data Governance

    作为数据管理的其中一个核心职能,是对数据资产管理行驶权力和控制的活动集合(规划、执行和监控),指导和其它数据管理职能如何执行,在高层次上执行数据管理制度。——DMBOK 1.0

    数据资源 Data Resource

    广义上是指对一个企业而言所有可能产生价值的数据,包括自动化数据和非自动化数据。 ——Wikipedia

    数据资产 Data Asset

    是指由企业拥有或企业控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料,电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。——DMBOK 1.0

    参考数据

    参考数据是用于将其他数据进行分类或目录整编的数据,通常来说参考数据值是几个允许值之一(允许值的数据集是一个值域)。在所有的组织中,参考数据几乎都虚拟存在于整个组织的每一个数据库中。——DMBOK 1.0

    数据字典 Data Dictionary

    是一种用户可以访问的记录数据库和应用程序源数据的目录,用规范化的,无二义性的语言表达数据流程图的各组成部分,是对数据流程图各个组成部分的详细数据说明,也是表达新系统逻辑模型的主要工具之一。包括主动数据字典(active data dictionary)和被动数据字典(passive data dictionary),前者是指指在对数据库或应用程序结构进行时,其内容可以由DBMS自动更新的数据字典,后者是指修改时必须手工更新其内容的数据字典。 ——DMBOK 1.0

    数据目录 Data Catalog

    作为一种主动数据字典,用以帮助用户找到满足自身需求的数据来源并且帮助他们理解利用数据源进行挖掘的过程,同时也帮助企业在现有的数据源下实现更多的收益。多数关系型DBMS铲平将数据目录设置为关系型表格的形式。——Wikipedia

    数据血缘 Data Lineage

    通常是数据生命周期的一种,包括数据的起源以及到当前位置的完整路径描述,帮助用户分析信息的使用过程并且追溯在每一个节点上有特定用途的信息。——DMBOK 1.0

    血缘分析 Linage Analysis

    也即血统分析,是通过对数据处理过程的全面追踪,从而找到以某个数据对象为起点的所有相关数据对象以及这些元数据对象之间的关系。它是对数据对象内在关系的一种映射,同时,还结合了时间顺序、递次关系,也能够反映出一定的相关性和因果关系。——Wikipedia

    影响分析 Influence Analysis

    不同于血缘分析(血统分析)通过回溯的方式找到所有元数据对象以及这些元数据对象之间的关系,影响分析是基于某个数据对象,寻找依赖于该对象的处理过程或其它数据对象,并在某些数据对象发生变化或者需要修改时,评估其影响范围。 ——Wikipedia

    非结构化数据 Unstructured Data

    用来描述具有高度可变数据类型和格式的任何数据(尚未标记或记录于行和列的数据),如文件、图形、图像、文字、报表、表格、视频、或录音,具有数据格式多样、数据冗余度高、数据规模大等特点。——DMBOK 1.0

    数据仓库 Data Warehouse

    是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合用于支持管理决策。其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月累积的大量资料,透过数据仓库理论所特有的资料存储架构,作一有系统的分析整理,以利各种分析方法如练级分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效地自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助构建商业智能(BI)。——《Building the data warehouse》W.H.Inmon

    数据集市 Data Mart

    是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。——Wikipedia

    数据地图 Data Mapping

    数据地图作为数据融合的第一步,指在数据仓库中使用一系列严格定义的数据连接不同的数据模型。数据定义可以为任意的原子单位,比如一个单位的元数据,而数据的连接遵从一系列依赖于该模型阈值的标准。——Wikipedia

    数据湖

    数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(图像,音频,视频)。——Wikipedia

    展开全文
  • 数据管理与数据治理的区别

    千次阅读 2019-05-12 16:25:41
    数据管理与数据治理的区别 (来源:DAMS,原作者:Jelani Harper,翻译:新炬网络-梁铭图, 整理:DAMS) 数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据 这个领域展开,因此这两个术语经常被混为一谈。...
  • Apache Atlas元数据管理从入门到实战

    千人学习 2019-04-13 10:48:48
    本课程是大数据全栈工程师实战课程之一,有具有十几年一线技术研发经验的资深数据专家讲师录制,通过一个完整开源框架Apache Atlas元数据管理平台的系统介绍,带领大家体验元数据管理的系统架构、功能设计、模型...
  • 前言随着信息技术的不断涌现和普及,业务发展加快了数据膨胀的速度,行业内衍生了较多的新名词,如数据治理、数据管理、数据资源管理、数据资产管理等名词的定义很多,概念容易混淆,...
  • 数据管理 做它的出发点 它是一个简单工具类微信小程序 用于企业数据管理能力成熟度的初步评估 做它的理论依据 通过收集企业数据管理能力相关现状数据 结合业界现有评估模型, 给出结果模型展示图 评估模型, ...
  • 数据管理系统设计

    千次阅读 2019-08-15 10:55:43
    文章目录元数据管理系统设计1. 数据表管理模块2. 模型管理模块2.1 数据表模型管理2.2 SQL模型3. 维度管理模块4. 指标管理模块 元数据管理系统设计 1. 数据表管理模块 数据表信息维护需要如下信息: 表的元数据...
  • 韩亚飞_yue31313_韩梦飞沙 QQ:313134555 目录 数据治理概念: ...对业务的数据管理和利用,为用户创造价值。 Data Governance 数据治理架构: 大数据架构: 大数据基础设施硬件 基于普通商用服...
  • 经过这些年的发展,国内外厂商在元数据管理能力的建设上有了一定的经验积累,此篇文章分析了国内外市场现状,指出企业级元数据管理正吸引着越来越多的厂商关注,有望成为未来元数据管理的主流方向,提出了企业级元...
  • Atlas-元数据管理

    千次阅读 2019-05-18 18:55:42
    0. 当我们谈论数据治理/元数据管理的时候,我们究竟在讨论什么?谈到数据治理,自然离不开元数据。元数据(Metadata),用一句话定义就是:描述数据的数据。元数据打通了...
  • 数据管理(MDM)与元数据管理

    万次阅读 2010-11-24 13:31:00
    数据管理和传统数据仓库解决方案不是一个概念,数据仓库会将各个业务系统的数据集中在一起在进行业务的分析,而主数据管理系统不会把所有数据都管理起来,只是把需要在各个系统间共享的主数据进行采集和发布
  • SAP主数据管理

    千次阅读 2015-07-14 10:10:31
    强化用户主数据管理,提升系统维护保障能力 客户供应商主数据 物料主数据 项目主数据(项目、WBS、网络)--作业、采购申请 财务主数据一般会分FI主数据、CO主数据 FI主数据主要有:会计科目、固定资产主数据、...
  • 数据治理之元数据管理实践

    万次阅读 2019-03-02 16:04:44
    近年来,大家都在谈论数据逐步或已经成为企业的核心资产,数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用,那么作为企业的核心资产数据,如何进行管理是不同企业在进行全面数字化转型需要考虑的一个...
  • 个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段,而每个阶段都是必经阶段,每个阶段均可独立成章,所以这里是四部曲,不是四步曲。 主数据项目建设从方法上,分为以下四部,简单归结为12...
  • HDFS元数据管理机制

    千次阅读 2018-02-20 23:43:09
    一、元数据管理概述 HDFS 元数据,按类型分,主要包括以下几个部分: 1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。 2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等...
  • 今天技术小伙伴占卫同学分享了Apache Atlas元数据管理实践,被atlas的强大的血缘关系管理能力震撼,以下为本次分享内容: •Apache Atlas简介 •Apache Atlas架构 •Titan图数据库介绍 •ApachAtlas配置 •Apache ...
  • 数据仓库与元数据管理

    万次阅读 2011-01-06 17:54:00
    数据仓库与元数据管理 1. 前言 在事务处理系统中的数据,主要用于记录和查询业务情况。随着数据仓库(DW)技术的不断成熟,企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理...
  •   数据库技术是应数据管理任务的需求而产生的,在应用需求的驱动下,在计算机硬件,软件发展的基础上,数据管理技术经历了人工管理,文件系统,数据库系统三个阶段。  接下来我们一起来看看这三个阶段     一....
  • 二、要打仗,你手里先得有张地图:数据治理之元数据管理 这一篇讲讲元数据的概念和具体应用场景。 三、不忘初心方得始终:数据治理之数据质量管理 提升数据质量,始终是数据治理工作中最重要的目标之一。本篇讲述...
  • 目前,很多企业已经意识到,由于业务人员看不懂系统中存储的数据,所以难以通过大数据来提升业务创新能力,本文就来谈谈解决这个问题的方法——业务元数据管理。(同系列文章请点击王轩的文章《面向业务的企业元数据...
  • 数据分析与数据管理系统实践 一、数据介绍 公司员工信息 ,Excel文件 提供 44 名员工 姓名、所在部门工作职务车的编号 公司员工的信用卡刷记录(两周) ,Excel 文件 约 1400 行信用卡刷记录,内容包括:员工...
  •     数据库技术是应数据管理任务的需要而产生的。数据管理是指对数据进行分类、组织、编码、存储、检索和维护,它是数据处理的中心问题。而数据的处理是指对各种数据进行收集、存储、加工和传播的一系列活动的...
  • 数据管理是数据治理非常重要的一个方向,元数据的一致性,可追溯性,是实现数据治理非常重要的一个环节。传统数据情况下,有过多种相对成熟的元数据管理工具,而大数据时代,基于hadoop,最为成熟的,与Hadoop...
  • DAMA数据管理知识体系指南pdf

    千次阅读 2018-07-06 23:15:00
    下载地址:网盘下载第1章 引论 1.1 数据:企业资产 ...1.4 数据管理职能 1.5 共同的责任 1.6 广阔的范围 1.7 一个新兴行业 1.8 逐步完善的知识体系 1.9 DAMA--数据管理协会 1.10 本指南的目的 1.11 本指南...
  • 本篇文章将详细解读JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现时序数据管理和挖掘的。 一、时序数据简介 时序数据全称是时间序列(TimeSeries)数据,是按照时间顺序索引的一系列数据点。...
  • 浅谈元数据管理之Atlas和Metacat

    千次阅读 2020-05-27 15:51:30
    数据管理、血统采集、血统生命周期、数据地图、图数据库
  • Hadoop的数据管理

    千次阅读 2012-12-04 14:14:22
    本文主要介绍Hadoop的数据管理,主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive。 1 HDFS的数据管理 HDFS是分布式计算的存储基石,Hadoop分布式文件系统和其他分布式文件系统有很多...
  • Hive--数据管理方式

    千次阅读 2019-03-04 17:37:41
    Hive有三种数据管理方式 CLI(命令行)方式 Web界面方式 远程服务启动方式 一、CLI(命令行)方式 1. 两种进入CLI的方式: 在Linux终端输入:hive 在Linux终端输入:hive --service cli 2. ...

空空如也

1 2 3 4 5 ... 20
收藏数 322,655
精华内容 129,062
关键字:

数据管理