精华内容
下载资源
问答
  • 数据治理简介

    2021-03-10 15:02:36
    广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命...

    参考文章:数据治理到底能治什么,怎么治

    浅谈数据治理

    数据治理的定义,挑战和最佳实践

    1. 数据治理的背景

    狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理

    数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。

    数据治理包含的主题:

    图片

    数据治理级别

    图片

    2. 数据治理工具功能架构

    数据治理实现数据管理自动化,提高数据管理效率,确保数据质量、实现安全数据共享。主要包括元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理9大功能模块。

    2.1 元数据管理 

     数据标准建设提供全面完整的数据标准管理流程及办法,用于决定和建立单一、准确、权威的事实来源,实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,并为数据质量检查、数据安全管理提供标准依据。

    2.2 数据标准管理

    数据标准建设提供全面完整的数据标准管理流程及办法,用于决定和建立单一、准确、权威的事实来源,实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理,并为数据质量检查、数据安全管理提供标准依据。

     2.3 数据质量管理

    数据质量管理以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

    2.4 数据集成管理

    数据集成管理可实现跨部门数据的传输、加载、清洗、转换和整合,支持自定义调度和图形化监控,实现统一调度、统一监控,满足运维可视化需求,提高运维管理工作效率。

    2.5 主数据管理

     主数据管理对需要共享的数据建立统一视图和集中管理,为各业务系统数据调用提供黄金数据。

    2.6 数据交换管理 

    数据交换服务将若干个业务子系统之间进行数据或者文字的传输和共享,提高信息资源的利用率,集数据采集、处理分发、交换传输于一体,轻松玩转企业级数据交换作业。

    2.7 数据资产管理

    数据资产服务可以帮助我们更好的支撑各种数据的应用,丰富的服务接口拓展,支撑数据资产的多渠道应用,如数据共享、决策支持等,最终实现数据资产价值最大化。

     2.8 数据安全管理

    数据安全管理贯穿于数据治理全过程,提供对隐私数据的加密、脱敏、模糊化处理、数据库授权监控等多种数据安全管理措施,全方位保障数据的安全运作。

    2.9 数据生命周期管理 

    数据生命周期记录数据从创建和初始存储,到它过时被删除的整个流动过程,对数据进行近线归档、离线归档、销毁和全生命周期监控。

    3. 数据治理的目标

    数据治理的目标是提高数据的质量(准确性、及时性、完整性、唯一性、一致性,有效性),确保数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享,推进数据资源的整合、服务和共享,从而提升企事业单位信息化水平,充分发挥数据资产作用。

    通过实施数据治理工具,可以让数据质量变得更好,发掘数据资产的商业价值,实现如下目标:对业务的支撑;降低经营风险、安全保障;对决策进行支持;满足风险控制和外部监管要求;可企业持续发展。比如利用亿信华辰睿治数据治理平台可打通数据治理各个环节,九大产品模块可独立或任意组合使用,快速满足政府、企业各类不同的数据治理场景。

    结语:

    2019年“数据中台”的概念在全国范围内被推上了一个高潮,也有人将2019年称之为数据中台的元年。相信未来的数据治理会形成基于小数据治理体系和大数据治理技术,在数据中台落地的数据治理新模式。而睿治数据治理平台将发挥越来越重要的作用。

    展开全文
  • 有效的数据治理可以确保企业数据全面、一致、可信,从而全面释放数据的价值,提高业务流程效率、提升业务增长的机会,驱动企业数字化转型。 这听起来很简单,但事实上数据治理对每个企业都是一项很大的挑战。据...

    0、前言

    数字化时代,数据作为新的生产要素受到了各界前所未有的重视。随着数据越来越多,怎么管好、用好数据,让数据发挥价值,成为了很多企业的一个难题,而且还是一个必选题!

    这就引出了数据治理。

    有效的数据治理可以确保企业数据全面、一致、可信,从而全面释放数据的价值,提高业务流程效率、提升业务增长的机会,驱动企业数字化转型。

    这听起来很简单,但事实上数据治理对每个企业都是一项很大的挑战。据Gartner 的一项调查显示,超过90%的数据治理项目都失败了!

    为什么会有这么多数据治理项目失败?看到这个数字,对于刚入行数据治理的人可能觉得有些夸张?甚至不少人会打退堂鼓。

    但这就是现实!对于混迹数字化江湖多年的我来说,已经是习以为常、见怪不怪了!下面我们来盘点一下搞垮数据治理项目的那些骚操作!

    一、缺乏明确的目标

    1、没有明确目标。不能说没有目标,而是目标定的很大、很泛、不聚焦,不考虑目标可实现性和可衡量性,例如:目标就是解决企业的所有数据质量问题。

    2、数据治理的目标太过短视,导致数据治理的返工。例如:相关人员对数据质量目标的定义和理解没有达成共识,存在分歧的情况下就开始实施治理。

    3、数据治理目标不与业务目标挂钩,只从技术角度考虑怎么治,不考虑为什么治?为了治理而治理!

    小贴士:没有明确的目标或者专注于短视的治理目标,没有形成一套持续治理的机制,导致资源浪费,进而导致数据治理在产生效果之前被搁置一旁。有效的数据治理首先要有明确的治理目标,而这一目标一定要与业务价值绑定。

    二、分工混乱、权责不明 

    4、谁有数据的拥有权,谁有数据的使用权,谁有数据的管理权等职责没有清晰的定义,号称人人都对数据质量负责,但实际上数据管理十分混乱、大量重复,真正出现问题后相互推诿,没有人愿意负责。

    5、没有建立明确的数据确权和问责机制,出现数据问题不知道该找谁,多方协调,导致项目实施速度变慢,并导致许多质量问题没有得到解决。

    6、让IT人员去关注数据质量的定义和趋势,分析并确定数据质量问题的根本原因。不懂业务?没关系,赶紧去学啊!

    7、让业务人员去剖析数据结构,搞数据血缘和数据使用。不懂技术?没关系,赶紧去学啊!

    小贴士:有效的数据治理必须做好数据的确权认责,处理好IT部门和业务部门的协作关系。IT部门应专注于技术交付,业务部门需要关注数据质量规则的定义和数据质量的持续改进。两个团队必须共同努力并保持开放的沟通渠道,以便监控和改进数据质量。

    三、高层管理者关注不足

    8、高层管理者对数据治理认知程度不高,将数据治理和数据管理混为一谈,认为数据治理就是IT部门或者是DBA的事,IT团队就能搞定了,不需要高层领导过多的参与和关注。

    9、高层管理者天天高喊“数据是资产、治理很重要,要大力支持”等口号,雷声大,雨点小,口号喊的响,没有实质的行动。数据部门不能被完全赋权,或者安排一个毫无影响力的小部门去负责,这都不太可行。

    10、高层管理者权威和影响力不足,不能推动数据治理目标与业务绩效进行绑定,遇到跨部门协调,各部门嘴上答应一定好好配合,实际执行中还是我行我素,什么数据标准、数据规则,遇到强势的业务就得给业务让路、开绿灯,导致数据治理策略形同虚设。

    小贴士:有效的数据治理项目需要高级领导层承担责任,牵头的高级管理者不仅需要对数据治理有一定的认知,还需要具备相当的权威和影响力,能够做到跨部门的协调,并在项目中能够给予数据部门充分的授权和大力的支持。

     四、缺乏数据治理专家

    11、将数据治理和系统管理混为一谈,让IT系统管理员对数据的质量负责。这就好比让修自来水管道的对自来水的水质负责一样不靠谱。

    12、认为数据质量管理都是IT人员的事,懂算法、懂模型、懂编程就够了。殊不知,数据质量团队必须具有业务分析思维、对业务流程足够了解才能做出正确决策,如果不能理解业务也可能无法理解错误数据的影响。

    13、认为数据质量都是业务人员的事,由业务人员负责就够了。殊不知,数据质量不仅仅与识别业务规则和纠正错误有关,它还涉及持续监控数据并设计将错误风险降至最低的流程。更何况在很多企业业务人员能够把业务规则说清楚的其实也并不多。

    小贴士:数据治理是跨职能的,不是某一个部门的事情或者某一个人的事情,单纯的业务人员和孤立的技术人员都不具备交付数据治理的完整能力。企业需要培养一批既懂数据治理技术,也懂企业业务的数据治理专家。

    五、不透明规则和系统 

    14、制定的数据管理制度、数据管理流程不进行发布和公开,定义的数据标准也不进行宣贯,相关干系人清不清楚这些规则也不知道,反正我们工作做完了。

    15、数据治理的进度、成果不及时汇报,不让相关领导和部门看到成果。我们可是实实在在的“数据工匠”,天天都忙着处理数据,调试程序呢,哪有时间搞那些虚的。啥,领导看不见价值?难道没看见我们天天加班吗?

    16、 “财不能外漏”,数据就是资产,可得好好把它“藏”起来,别的部门想用不能给,有“信息孤岛”才能保持与其他部门的“信息差”,确保我们的“神秘感”!

    小贴士:有效的数据治理需要保持充分的透明度。项目的进展、工作成果、存在问题都需要及时让老板看见,让业务部门看见,以增强他们对数据治理的信心。有问题不能藏着掖着,应及时暴露出来,及时解决。在数据层面,也需要更加透明,主数据和参考数据要做到公司范围内共享,数据资产、数据血缘要尽量可视化,要让数据看得见、找得到、用得好。

    六、被动式数据治理 

    17、只关注业务流程、不关注数据质量,数据质量只有在导致决策失误、老板发飙时,才会成为问题。

    18、不考虑主动建立数据治理的策略,没有统一的数据标准,各系统数据各自维护,数据质量只有在系统无法有效集成时,才会成为问题。

    19、平时不关注数据治理,不重视数据质量问题的及时处理,数据质量只有在监管部门开出罚单时,才会成为问题。

    小贴士:有效的数据治理需要从事前、事中、事后三个层面构建数据治理策略。

    事前:定义和建立数据标准,进行数据标准的宣贯和培训,培养企业数据文化。

    事中:基于数据标准的数据校验、基于既定流程和制度的数据维护和使用。

    事后:连续的数据质量测量,持续的数据问题和业务流程改进等。

    七、项目型数据治理 

    20、将数据治理视为一次性项目,一开始期望很高,认为通过一个项目的实施,数据质量会在一夜之间得到改善。

    21、数据治理就是将当前的发现的数据问题处理了就可以了,还定义啥规则、写啥文档,那多费事,有那时间处理几个数据问题它不香吗?

    22、数据质量和数据治理流程都是单一的一次性活动,做完就完事了,哪儿还需要建立持续的机制?

    23、数据治理策略和数据质量处理措施不需要和相关部门达成一致,考虑那么多干嘛,加快速度赶紧干,先完成项目任务再说。 

    小贴士:数据治理的最终目标是提升数据价值,是一个持续漫长的运营过程,需要逐步完善、分步迭代,指望一步到位完成数据治理是不现实的。项目型的数据治理,是不全面的,无延续性,能够解决一时的数据问题,但很难获得持续的数据价值,效果也注定是差强人意。

     八、孤立式数据治理

    24、建立了数据标准但不进行数据贯标,遗留系统不做数据改造和映射,新建系统也不参考数据标准,数据标准被束之高阁,成为一纸空文。

    25、将数据治理视为一项单独的、额外的任务,不与业务流程挂钩。业务部门只配合进行数据质量问题的清理,但不接受将数据规则内置到业务流程里。

    26、业务部门认为数据治理只会增加他们额外的工作量,并对业务造成了一定的约束,对其业务绩效没有产生帮助和价值。

    小贴士:有效的数据治理应被视为帮助业务人员实现业务目标的工具,它不是一项额外的任务,应嵌入到企业的业务流程中,在业务的日常中规范数据的维护和使用。

     九、唯工具论

    27、还要建数据标准?我们不是已经购买了数据治理平台了吗,怎么这个平台没有数据标准?

    28、采集并修正元数据?我记得咱们的数据治理平台能适配几十种数据库类型,不是想采啥数据就采啥数据吗?

    29、数据质量还有问题?是不是我们这个数据治理平台功能不行呀,要不要重新采购一个?

     小贴士:唯工具论,过于重视工具和技术,忽视了数据治理组织、文化、制度、流程、标准等体系的建设。本来数据治理的本质是管理数据,走入误区变成管理程序、脚本、任务,造成了管理失焦。

    十、总结

    数据治理关注的是“如何管好数据”的问题,他涉及一系列的策略,例如:战略、文化、制度、流程、标准等,是数据管理最核心的内容。每个数据治理策略的制定和执行过程,都有很多影响的因素,会导致数据治理的失败。

    这篇文章,我们分享了数据治理项目失败的各种原因,虽然有的条目有些夸张的成分,但在实际项目中确实有过相似的、甚至真实的案例,单个的因素或许不能分分钟将数据治理项目搞垮,但某些因素一旦组合就会注定项目的失败。

    展开全文
  • 数据湖数据治理

    千次阅读 2021-11-16 14:47:45
    《基于数据湖架构下的数据治理体系》 数据湖数据治理 数据湖的数据治理包括元数据的管控、数据资产目录、主数据管控、数据服务、数据全生命周期管理、数据质量提升及隐私与安全管理。 (1)元数据的管控 传统的...

    摘自《基于数据湖架构下的数据治理体系》基于数据湖架构下的数据治理体系.pdf-其它文档类资源-CSDN下载

    数据湖数据治理

    数据湖的数据治理包括元数据的管控、数据资产目录、主数据管控、数据服务、数据全生命周期管理、数据质量提升及隐私与安全管理。

    (1)元数据的管控

           传统的数据仓库将数据存储在关系表中,而数据湖则使用平面结构。每个数据元素被分配唯一标识符,并用一组元数据标签进行标记。这就是说,数据湖没有数据仓库那么结构化。
           设计元数据标准及采集方案、元数据应用、管理流程等,形成企业级数据资源目录与全链式数据流通追踪,实现对企业数据资源的清晰堂握和数据流通全流程的监控,满足分布式部署模式下数据资源完整性管理及应用的需求。
           数据湖解决方案为企业中海量的数据集提供了一套集中的元数据管理系统,提供全局的数据资源目录、完整的数据元数据描述、数据血缘关系,方便员工快速查找了解数据,更好的支撑数据分析。

    (2)数据资产目录

           数据资源目录包含业务术语表关联、标签管理、数据分类、数据来源和全文检索。通过最大限度的自动化和有限的人工操作,可以从构建的数据资产目录中获得更多价值。例如利用机器学习可以实现数据自动分类和打标签。再如,有监督学习技术是基于已经打上标签的样本数据上训练一个模型,然后将该模型应用于所有未打标的数据,在这些数据中,实例根据预测中的信任度进行排序。最自信的预测然后被添加到标记的例子中。这个过程不断重复,直到所有未标记的例子都被标记。

    (3)主数据管控

           面向数据湖内全量数据,基于数据关系,实现自动化的主数据识别映射、主数据一致性维护主数据关系发布等功能,搭建企业核心业务对象数据的管理体系,支撑跨业务的数据联动以及基于数据驱动的业务协同。

    (4)数据质量提升

    针对企业缺乏对全部数据资源进行系统质量控制的现状,设计企业级数据质量规则定义、控制管理流程和手段,提高和确保数据质量,为业务应用提供规范、准确的数据支撑。有效的数据湖部署需要数据质量分析师、工程师与数据治理团队、数据管理员密切合作,以部署数据质量策略、分析数据并采取必要的措施来提高其质量。

    (5)数据生命周期管理

    数据的生命周期,包括数据的起源以及数据是如何随时间移动的。它描述了数据在各种处理过程中发生了哪些变化,有助于提供数据分析流水线的可见性,并简化了错误溯源。通过对元数据的关系解析和血缘分析,构建全维关系图谱,实现关系融合。通过对数据的血缘分析、数据标签等方法,实现数据多版本共存条件下的统一身份和可控的数据归一化,最终实现的数据全生命周期管理和追踪。

    (6)数据服务

    1. 主题数据服务
    2. AI数据服务
    3. 微服务数据服务

    (7)数据质量提升

          有效的数据治理使企业能够提高数据湖中的数据质量,并利用数据进行业务决策,从而可以改善业务规划和财务绩效,因此定义数据源以及管理和使用数据至关重要。企业还可以考虑在消费方而不是采购方应用数据质量检查。因为,单个数据质量体系结构可能不适用于所有类型的数据。必须注意的是,如果数据被“清理”,用于分析的结果可能会产生影响。修复数据集中值的字段级数据质量规则可以影响预测模型结果,因为这些修复可以影响异常值。

    (8)隐私与安全

    数据安全标准和策略未被正确纳入治理流程中,可能会导致无法访问受隐私法规和其他类型的敏感数据保护的个人数据。健康数据湖的关键组成部分是隐私和安全性,包括基于角色的访问控制、身份验证、授权以及静态和动态数据加密等。从纯数据湖和数据管理的角度来看,最重要的往往是数据混淆,包括标记化和数据屏蔽。应该使用这两个概念来帮助数据遵守最小特权的安全概念。限制数据访问也对许多希望遵守法规的企业具有意义。尽管数据湖旨在成为相当开放的数据源,但仍需要安全性和访问控制措施,数据治理和数据安全团队应携手完成数据湖设计和加载过程,以及持续的数据治理工作。

    展开全文
  • 数据治理小总结

    2021-04-08 10:55:36
      元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和...

    一、引言

    1.1、企业数据管理遇到的挑战

    1.1.1、数据质量参差不齐

      现在,企业越来越重视管理数据资产,但其实并不是所有数据都是数据资产,数据中也有垃圾数据。由于企业各个业务系统或模块都是按照各自的需要录入数据,业务系统不需要的信息就不录,没有统一的录入工具和数据出口,造成同样的数据在不同的系统有不同的属性信息,数据完整性无法得到保障。

    1.1.2、IT系统孤岛化,数据流通受阻

      目前,大多数企业的信息化建设初期缺乏整体规划,大多都是以业务部门驱动的单体架构系统或套装软件,数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中,导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道,数据不能互联互通,不能按照用户的指令进行有意义的交流,于是数据的价值不能充分发挥。

    1.1.3、缺乏有效管理机制

      许多企业尝试通过生产系统的业务流来控制数据流,但由于缺乏有效的管理机制和某些人为的因素,比如平台间数据标准不一,缺少全局规范文档,信息无法对接应用等,在数据流转过程中,导致了大量的垃圾数据。以外,数据产权不明确,管理职责混乱,管理和使用流程不清晰,也是造成数据质量问题的重要因素。

    1.1.4、存在数据安全隐患

      近年来,随着大数据的发展,诸如此类的数据安全事件多不胜数。数据资产管理上,正在由传统分散式的人工管理向计算机集中化管理方向发展,数据的安全问题愈来愈受到人们的关注。

    综上所述,看似表面的数据问题其实会对业务带来严重的影响。数据不真实、不准确、数据不透明、不共享都将增加企业经营风险、管理难度和复杂度。最终导致跨组织信息共享程度低、资源难于整合。如何更好地管理和控制数据,做好数据标准化和服务体系建设,成为当前各企业迫在眉睫的任务,而数据治理是关键。

    1.2、什么是数据治理?

      所有为提高数据质量而开展的业务、技术和管理活动都属于数据治理范畴。数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统

      具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。

    1.3、数据治理的目标

      数据治理本身不是目标,它只是实现组织战略目标的一个手段,即通过有效的数据资源控制手段,进行数据的监督管理,以提升数据质量进而提升数据变现的能力和管理的效率

    基于需求的智能制造、智慧市场监督管理、融合市民服务、一网通办等。从组织职能和体量大小方面来看,不同类型组织的数据治理目标大不相同
    例如:

    • 集团企业总部和政府大数据管理局的目标是:制定数据政策、保障数据安全、促进数据在组织内无障碍共享,其重点目标是推进和保障数据战略的顺利实施。
    • 企业和政府业务部门的目标是:通过提升信息管理能力,提升组织精细化管理水平,提高业务运营效率,增强组织决策能力和核心竞争力,从而为实现组织战略目标提供能力支撑,其重点目标是数据价值获取、业务模式创新和经营风险控制。

    1.4、数据治理,具体做什么?

      数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,目前总结的数据治理领域包括但不限于以下内容:数据标准、数据模型、元数据、主数据、数据分布与存储、数据生命周期管理、数据质量、数据安全等。同时各领域之间需要有机结合,如数据标准、元数据、数据质量等几个领域相互协同和依赖;

    • 通过数据标准的管理,可以提升数据合法性、合规性,进一步提升数据质量,减少数据生产问题;
    • 在元数据管理的基础上,可进行数据生命周期管理,有效控制在线数据规模,提高生产数据访问效率,减少系统资源浪费;
    • 通过元数据和数据模型管理,将表、文件等数据资源按主题进行分类,可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况,有效实施数据分布的规划和治理。

    二、主数据管理

      通过运用相关的流程、技术和解决方案,对企业核心数据的有效管理过程。要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的管理,并且以服务的方式统一的、完整的、准确的、具有权威性的主数据传送给企业内需要使用这些数据的操作型应用系统和分析型应用系统。

      主数据管理涉及主数据的所有参与方,如用户、应用程序、业务流程等,创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据,被誉为是企业数据资产中的“黄金数据”,主数据管理是撬动企业数字化转型的支点,是企业数据治理最核心的部分

    三、元数据管理

      元数据管理是对企业涉及的业务元数据技术元数据管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。借助变更报告、影响分析等应用,控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道,进一步提高各种数据的可信性、可维护性、适应性和可集成性。

    3.1、元数据

      元数据分为业务元数据、技术元数据和操作元数据,三者之间关系紧密。业务元数据指导技术元数据,技术元数据以业务元数据为参考进行设计,操作元数据为两者的管理提供支撑。

    3.1.1、业务元数据

      业务元数据是定义和业务相关数据的信息,用于辅助定位、理解及访问义务信息。业务元数据的范围主要包括:业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。

    3.1.2、技术元数据

      它可以分成结构性技术元数据关联性技术元数据

    技术元数据的范围主要包括:

    • 技术规则(计算/统计/转换/汇总)
    • 数据质量规则技术描述、字段、衍生字段
    • 事实/维度
    • 统计指标
    • 表/视图/文件/接口
    • 报表/多维分析
    • 数据库/视图组/文件组/接口组
    • 源代码/程序
    • 系统
    • 软件
    • 硬件等

    技术元数据一般以已有的业务元数据作为参考设计的。

    3.1.2.1、结构性技术元数据

      提供了在信息技术的基础架构中对数据的说明,如数据的存放位置、数据的存储类型、数据的血缘关系等。

    3.1.2.2、关联性技术元数据

      描述了数据之间的关联和数据在信息技术环境之中的流转情况。

    3.1.3、操作元数据

    主要指与元数据管理相关的组织、岗位、职责、流程,以及系统日常运行产生的操作数据。

    操作元数据管理的内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本,以及系统生产运行中的操作记录,如运行记录、应用程序、运行作业。

    3.2、元数据的管理通常包含:血缘分析、数据生命周期。

    3.2.1、血缘分析

    对元数据的上下游进行分析,按照数据存储的数据库将血缘分析分为了两类:

    • 存在Hadoop平台的血缘分析,可用通过脚本解析出到字段级的上下游关系;
    • 建表有主外键的,可通过主外键建立血缘关系。

    3.2.2、数据生命周期

    数据都存在生命周期,当元数据访问量变低,数据价值不存在的时候,可将它下线清除,释放存储空间。

    从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法,将极少或者不再使用的数据从系统中剥离出来,并通过核实的存储设备进行保留,不仅能够提高系统的运行效率,更好的服务客户,还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段归档阶段(有时还会进一步划分为在线归档阶段和离线归档阶段)、销毁阶段三大阶段,管理内容包括建立合理的数据类别,针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。
    在这里插入图片描述

    从上图数据生命周期中各参数间的关系中我们可以了解到,数据生命周期管理可以使得高价值数据的查询效率大幅提升,而且高价格的存储介质的采购量也可以减少很多;但是随着数据的使用程度的下降,数据被逐渐归档,查询时间也慢慢的变长;最后随着数据的使用频率价值基本没有了之后,就可以逐渐销毁了。

    参考

    https://www.zhihu.com/question/23572197
    https://blog.csdn.net/aeaiesb/article/details/92829952
    https://blog.csdn.net/cqacry2798/article/details/83445593
    https://blog.csdn.net/aeaiesb/article/details/92829952

    展开全文
  • 绝大多数互联网公司没时间建模、治理,直接拖宽表。业务变更频繁、建模缺位、指标爆炸,是导致...所以今天先跟大家分享一下部委、集团类数据治理遇到的困境,以及各种问题的具体解决方案,还有如何进行经验复制...
  • 数据治理问题

    2021-08-23 10:17:49
    笔者认为,数据产品可以分为工具类数据产品、业务分析类数据产品和管控治理数据产品三类,而工具类数据产品和业务分析数据产品市面上也开始趋近饱和,但管控治理数据产品其实是更高能力要求的一个细分工种,既...
  • 企业的数据治理流程

    2021-11-17 13:56:16
    为什么说数据治理难? 1、存在数据孤岛 在大多数企业中,不同的部门和业务部门使用不同的应用程序并将信息存储在单独的数据库中,这些单独的数据库可能包含类似的信息,但数据从一个数据库到另一个数据库并不总是一致...
  • 这篇文章,浅谈数据治理与ETL流程关系。 我认为可以从这几个方面去讨论数据治理(Data Governance):一致性、准确性、关联性、完整性、及时性。他们都和ETL实施起来流程密切相关。 1、一致性:随数据传输文件一起传输...
  • 风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同...
  • 数据治理项目前期调研

    千次阅读 2021-01-13 11:20:08
    随着企业的不断发展进步,业务部门的需求...近期在进行某制造业的主数据治理项目工作,现以该企业为例,总结梳理在调研阶段对该企业的应用系统整体架构、核心业务流程以及主数据治理范围进行的整理调研。 1前期准备
  • 数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容,主要包含:元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。 元数据管理 元数据管理主要涉及元数据分类、...
  • 从数据处理到数据治理 早期,数据处理(data processing)解决的是利用计算机技术对数据进行采集、存储、加工、转换和传输等的技术问题,目的在于将原始的、看似无序的和非结构化的数据,通过格式化的方法,使其...
  • 为什么想开这个话题,一是因为目前业内数据产品也基本完成了从0-1的建设工作,但主要集中在数据生产加工和数据应用分析两侧,对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节,缺乏统一...
  • 点击上方 蓝字 关注我们数据是企业的核心资产,数据治理也是企业的核心工作之一,运用好数据能够为企业赋能。而在为企业赋能的过程中,数据分析师起到了至关重要的作用。作为初学者,理解数据治理流...
  • 数据治理的内涵逐步泛化是业界共识 企业数据治理,涵盖数据发现可用、数据及时稳定产出、数据质量保障、...数据管理管理中,要保证一个组织已经将数据转换成有用的信息,这项工作所需要的流程和工具就是数据治理工作
  • 数据治理系列(总)

    千次阅读 2021-01-13 14:05:07
    一、什么是数据治理? 维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加...
  • 企业数据治理十步法

    2021-03-03 09:14:28
    任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。 由于这些...
  • 详解数据治理九大核心领域

    千次阅读 2021-07-27 00:30:49
    01 前言股份制改革对银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外...
  • 数据治理开启篇(总结)

    千次阅读 2021-11-20 14:30:14
    多业态的企业级的数据治理之路,如果准备启动或正在参与治理工作,可以参考
  • 来源/CIO之家,整理/Mars全文共1865个字,阅读需6分钟当前很多传统企业的数据中台还处于初步建设阶段,但伴随着移动互联网的逐步发展、线上和线下的融合,数据服务的形式、场景越来越多,...
  • 数据治理流程、角色、政策、标准和指标的集合,可确保有效和高效地使用信息,使组织能够实现其目标。它建立了流程和职责,以确保整个企业或组织中使用的数据的质量和安全性。数据治理定义了谁可以对什么数据、在...
  • 当一个数据系统越来越复杂,参与方越来越多,其需要管理的数据量越来越庞大时,数据治理尤其是针对数据质量的治理就变得越来越重要且紧迫了。 本篇文章主要是对我过去一段时间针对O2所做的数据质量治理工作做一总结...
  • 终于有人把数据治理讲明白了

    千次阅读 2021-06-27 00:15:10
    导读:数据治理:说起来容易,做起来难。作者:石秀峰来源:谈数据(ID:learning-bigdata)“数据治理”这个10多年前就已经出现的名称,在最近这几年时间一下子火了起来。不知何时...
  • 数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文将向您介绍数据治理工具的基础知识、数据治理工具的主要功能以及 2021 ...
  • DGI数据治理框架 全面解读

    千次阅读 2021-03-18 21:20:14
    在上一篇《DGI数据治理框架介绍 全文翻译》中有朋友反应说这个治理框架的确很实用,但是英文翻译过来的内容读起来有点费劲,希望谈数据能通俗的解读一下,于是就有了这篇。 01 DGI组织介绍 数据治理研究所...
  • 数据与参考数据是在企业数据管理中重要的两类数据,本文将简要说明主数据与参考数据的定义与治理要点。
  • 点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源 节选自《华为数据之道》 作为一家巨型跨国企业,华为在 170 多个国家同时开展各种业态的业务,华为的数据底座...
  • 数据治理模块

    2021-02-21 10:50:23
    数据治理目的: 提高数据质量,缩减成本,降低风险,提高安全合规 数据治理的对象: 数据资产 数据资产虽不具备实物形态,但是它必定是实物在网络世界映射的一种虚拟形态。 对于企业而言,人、设备、产品、物料...
  • 管理和运营是一个全流程的事情,首先我们需要知道有哪些数据(盘点),转化为能够发挥价值的数据资产(治理),再实现数据应用层面的价值(价值实现),也就是最终要能指导业务产出价值。
  • 数据治理平台

    2021-01-14 08:58:13
    一、数据治理功能模块 1、功能模块 元数据管理:包括元数据采集、血缘分析、影响分析等功能 数据标准管理:包括标准定义、标准查询、标准发布等功能 数据质量管理:包括质量规则定义、质量检查、质量报告等功能 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 59,105
精华内容 23,642
关键字:

数据治理工作流程