数据治理 订阅
数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会(DAMA)给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。数据治理的最终目标是提升数据的价值,数据治理非常必要,是企业实现数字战略的基础,它是一个管理体系,包括组织、制度、流程、工具。 展开全文
数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会(DAMA)给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。数据治理的最终目标是提升数据的价值,数据治理非常必要,是企业实现数字战略的基础,它是一个管理体系,包括组织、制度、流程、工具。
信息
外文名
Data governance
技术要求
大数据分析、大数据处理、大数据管理
中文名
数据治理
应用范围
企业、政府
数据治理数据治理内容
以企业财务管理为例,会计负责管理企业的金融资产,遵守相关制度和规定,同时接受审计员的监督;审计员负责监管金融资产的管理活动。数据治理扮演的角色与审计员类似,其作用就是确保企业的数据资产得到正确有效的管理。由于切入视角和侧重点不同,业界给出的数据治理定义已经不下几十种,到目前为止还未形成一个统一标准的定义。 [1]  ITSS WG1认为数据治理包含以下几方面内容(1)确保信息利益相关者的需要评估,以达成一致的企业目标,这些企业目标需要通过对信息资源的获取和管理实现;(2)确保有效助力业务的决策机制和方向;(3)确保绩效和合规进行监督。数据治理过程 [2]  从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合。
收起全文
精华内容
下载资源
问答
  • 数据治理

    2019-03-06 11:00:41
    数据治理怎么做?这篇万字长文终于讲清楚了! https://blog.csdn.net/cqacry2798/article/details/83445593 数据治理成功的六大要素,你做到了几个? https://baijiahao.baidu.com/s?id=1609664852125580100&...

    https://baike.baidu.com/item/数据治理/3819997

    数据治理怎么做?这篇万字长文终于讲清楚了!

    https://blog.csdn.net/cqacry2798/article/details/83445593

    数据治理成功的六大要素,你做到了几个?

    https://baijiahao.baidu.com/s?id=1609664852125580100&wfr=spider&for=pc

    如何有效的进行数据治理和数据管控(HDG)

    https://www.jianshu.com/p/e737b8c9646f?from=timeline&isappinstalled=0

    建设大数据平台,从“治理”数据谈起

    https://blog.csdn.net/xmjulong/article/details/79378481

    展开全文
  • 数据治理系列1:数据治理框架【解读分析】

    万次阅读 多人点赞 2019-05-08 14:58:56
    作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。 一、什么是数据治理? 维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会...

    作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。

     

    一、什么是数据治理?

     

    维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。

     

    笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。

     

    二、为什么需要数据治理?

     

    在我国,各行业的信息化发展和建设水平并不均衡,甚至有的行业是刚刚起步。但是,不论是金融行业、通讯行业、地产行业、传统制造业以及农业,其信息化的发展基本都遵循了“诺兰模型”。笔者认为企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段,可以说是一个先建设后治理的过程。

     

     

    1、数据质量层次不齐

    当今时代,“数据资产化”的概念已经被大多数人理解和接受。不论是企业、政府还是其他组织机构,对于的数据资产的管理越来越重视。然而,数据并不等于资产,也就是说不是所有数据都是数据资产,数据中也有垃圾数据。我们需要治理的是能够为企业创造价值的数据资产,而不是全部数据。

     

    2、数据交换和共享困难

    企业信息化建设初期缺乏整体的信息化规划,系统建设大多都是以业务部门驱动的单体架构系统或套装软件,数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中,甚至还有大量的数据存放在员工的个人电脑中,导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道,数据不能互联互通,不能按照用户的指令进行有意义的交流,数据的价值不能充分发挥。只有联通数据,消除这些“信息孤岛”,才能实现数据驱动业务、数据驱动管理,才能真正释放数据价值。

     

    3、缺乏有效的管理机制

    目前,许多企业都认识到了数据的重要性,并尝试通过生产系统的业务流来控制数据流,但由于缺乏有效的管理机制和某些人为的因素,在数据流转过程中,存在数据维护错误、数据重复、数据不一致、数据不完整的情况,导致了产生了大量的垃圾数据。数据产权不明确,管理职责混乱,管理和使用流程不清晰,是造成数据质量问题的重要因素。

     

    4、存在数据安全隐患

    2018年3月份的Facebook 5000万用户信息被泄露和滥用的事件,受该事件影响,Facebook股价当日大跌7%,市值缩水360多亿美元,而盗用数据的剑桥分析这家公司也于同年5月停止运营,并申请破产。这种数据安全事件,在我国发生频率更多,我还清楚的记得:2011年,黑客在网上公开了CSDN的用户数据库,高达600多万个明文的注册邮箱账号和密码遭到曝光和外泄;2016年,顺丰员工应盗取大量客户信息被送上法庭;2017年,京东员工盗取用户个人信息50亿条,并通过各种方式在网络黑市贩卖。近年来,随着大数据的发展,诸如此类的数据安全事件多不胜数。数据资产管理上,正在由传统分散式的人工管理向计算机集中化管理方向发展,数据的安全问题愈来愈受到人们的关注。

     

    三、DMBOK的数据治理框架

     

    DMBOK是由数据管理协会(DAMA)编撰的关于数据管理的专业书籍,一本DAMA 数据管理辞典。对于企业数据治理体系的建设有一定的指导性。注:DAMA 是数据管理协会的简称,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,致力于数据管理的研究和实践。

     

    DMBOK将数据管理分为以下10个职能域:

     

    • 数据控制:在数据管理和使用层面之上进行规划、监督和控制。

    • 数据架构管理:定义数据资产管理蓝图。

    • 数据开发:数据的分析、设计、实施、测试、部署、维护等工作。

    • 数据操作管理:提供从数据获取到清除的技术支持。

    • 数据安全管理:确保隐私、保密性和适当的访问权限等。

    • 数据质量管理:定义、监测和提高数据质量。

    • 参考数据和主数据管理:管理数据的黄金版本和副本。

    • 数据仓库和商务智能管理:实现报告和分析。

    • 文件和内容管理:管理数据库以外的数据

    • 元数据管理:元数据的整合、控制以及提供元数据。

     

    四、数据治理框架的理解和解读

     

    DMBOK对企业级数据治理给出了框架性建议,但是任何指导性的框架文件都不是万能的。不同的行业、不同性质的企业、不同的信息化程度、不同的企业文化,其数据治理方案必须因地制宜,量身定制。我们常说:没有最好的解决方案只有更合适的解决方案。企业在实施数据治理的时候,应做好充分的分析和评估,切勿盲目跟风,避免出现数据治理收效甚微,还浪费了投资的窘境。

     

    笔者认为企业数据治理应考虑以下要素:

     

    1、数据治理的对象

    大家都在谈数据治理,但是到底哪些数据需要被治理?我们说数据治理不是治理全部数据,而是针对企业数据资产的治理。那么,问题来了,到底什么是数据资产?又如何识别数据资产?

     

    维基百科定义:数据资产属于普通个人和企业的数字财产,数据资产是无形资产的延伸,不具有实物形态。其本质是数据作为一种经济资源参与企业的经济活动,减少和消除了企业经济活动中的风险,为企业的管理控制和科学决策提供合理依据,并预期给企业带来经济利益。

     

    笔者认为,数据资产虽不具备实物形态,但是它必定是实物在网络世界映射的一种虚拟形态。对于企业而言,人、设备、产品、物料、软件系统、数据库、以及任何涉及到使用文件作为载体的各类数据,都属于企业的数据资产。

     

    我们虽然定义了数据资产,但是不同行业的数据治理侧重点也不同。数据治理要理解行业需求、企业诉求,在不同行业、不同企业应具有不同的差异化方案。企业在实施数据治理的时候,首先要进行数据资产的识别和定义,明确数据治理的对象和范围,做好数据治理的顶层设计!

     

    2、数据治理的时机

    这些年由于工作原因走访了一些企业,其经济情况不同、行业特点不同、信息化程度不同、数据治理情况也不尽相同。

     

    第一类企业:经济实力雄厚,信息化起步较早,信息化程度比较高,如:XX银行、国家电网,他们已形成了系统性的数据治理体系。

     

    第二类企业:有一定的经济实力、信息化程度相对较好,但是早期的信息化盲目建议,买了一堆的套装软件,建了一堆的系统,虽然系统或多或少都有使用,但效果不佳,谈起数据治理,客户自己都觉得头痛:企业到底都有哪些数据?这些数据都是分布在哪里?数据治理该如何入手?

     

    第三类企业:经济实力相对薄弱,也有信息化刚刚起步的企业,这些企业多数的业务还是靠纸质或线下模式,部分企业使用了财务软件或ERP系统,数据存放个人电脑或生产系统中,基本没有数据治理。我国的一些中小民型营制造企业多数处于这个水平。

     

    企业数据治理的时机该如何选择?是先有了数据再进行治理,还是先建设好数据治理体系再进行应用系统建设?针对上述不同类型的企业,其数据治理选择的时机和体系建设的设计绝对不能一概而论。

     

    对于第一类企业,已经有了相对完善的数据治理体系,更需要的是加强数据安全、数据应用、数据创新,稳固提升数据管理、数据应用和数据变现的能力;

     

    对于第二类企业单体架构的系统多,信息孤岛严重,一定存在数据多源、重复、不一致等问题,其数据治理已是迫在眉睫;

     

    对于第三类企业,在数字化的浪潮下,信息化虽然薄弱,但如果打好数据基础,未免不是企业改革创新,实现“弯道超车”的最佳时机。

     

    3、谁来实施、谁来主导

    企业常常有这样一个误区,很多人认为数据治理就是信息化部门的事情和业务部门无关。前边我们说过数据治理是对企业数据资产的治理,既然是资产,就一定要确权。企业数据资产的生产、使用应该有明确的责任部门,显然数据资产的生产及归属部门应该是业务部门,信息化部门最多也就是一个数据资产的托管部门而已。笔者也多次强调企业的数据问题,80%是业务和管理的问题,20%是技术问题。

     

    所以,企业数据治理是应有高层领导牵头,业务部门负责,信息部门执行,企业全员的参与。企业全员应培养起数据思维和数据意识,当然这是一个长期的过程,也是一件很不容易的事情,需要一点一滴的积累沉淀,并不断融入企业文化中。

     

    4、数据治理的内容

    数据治理是长期、复杂的工程,涉及到组织体系、标准体系、流程体系、技术体系和评价体系五方面的工作领域,包含了数据标准、数据质量、主数据、元数据、数据安全等多个方面内容。由于企业性质、业务特点、管理模式的不同,有必要建立符合企业现状和企业需求的数据治理框架,指导企业数据治理工作的开展。

     

    以下是笔者个人理解的数据治理框架内容,不足之处希望业内专家指正,期待与您的交流:

     

     

    组织体系:数据治理项目的实施绝非是一个部门的事情,不能在企业的单一部门得到解决。需要从整个组织考虑,建立专业的数据治理组织体系,进行数据资产的确权,明确相应的治理制度和标准,培养整个组织的数据治理意识。这需要 IT 与业务部门进行协作,而且必须始终如一地进行协作,以改善数据的可靠性和质量,从而为关键业务和管理决策提供支持,并确保遵守法规。

     

    标准体系:数据治理的标准体系是多个层面的,包括:国际标准、国家标准、行业标准、企业标准等。企业数据标准体系内容应涵盖:元数据标准、主数据标准、参照数据标准、数据指标标准等。数据治理的成效,很大程度上取决与数据标准的合理性和统一实施的程度。企业数据标准体系的建设应既满足当前的实际需求,又能着眼未来与国家及国际的标准接轨。

     

    流程体系:数据治理流程体系,为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度、流程等。建立数据的生产、流转、使用、归档、消除的整个生命周期管理的过程。企业应围绕数据治理的对象:数据质量、数据标准、主数据、元数据、数据安全等内容建立相应的制度和流程。

     

    评价体系:建立数据评价与考核体系是企业实施和贯彻数据治理相关标准、制度和流程的根本。建立明确的考核制度,实际操作中可根据不同企业的具体情况和企业未来发展要求建立数据的认责体系,设置考核指标和考核办法,并与个人绩效挂钩。考核指标包括两个方面内容,一方面是对数据的生产、管理和应用等过程的评估和考核指标,另一方面是数据质量的评测指标。

     

    技术体系:数据治理包括数据治理的工具和技术,总体应包括元数据管理、主数据管理、数据标准管理、数据质量管理和数据安全管理。

     

     

    元数据管理:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。借助变更报告、影响分析等应用,控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道,进一步提高各种数据的可信性、可维护性、适应性和可集成性。

     

    数据标准管理:数据标准适用于业务数据描述、信息管理及应用系统开发,可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准,在定义元数据实体或元素时进行关联。数据标准需要不断的补充完善、更新优化和积累,以便更好的支撑业务的开发和系统的集成。

     

    主数据管理:主数据管理是通过运用相关的流程、技术和解决方案,对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方,如用户、应用程序、业务流程等,创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据,被誉为是企业数据资产中的“黄金数据”,主数据管理是撬动企业数字化转型的支点,是企业数据治理最核心的部分。

     

    数据质量管理:建立数据质量管理体系,明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核,生产数据质量报告。通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理,从而促进数据质量的不断提升。

     

    数据安全管理:目前多数人都知道数据安全问题十分重要,但在现实中,数据安全却常常被忽视,只有出现了数据安全问题甚至事故时,人们才认识到要为数据安全做点什么了。数据安全应贯穿数据治理全过程,应保证管理和技术两条腿走路。从管理上,建立数据安全管理制度、设定数据安全标准、培养起全员的数据安全意识。从技术上,数据安全包括:数据的存储安全、传输安全和接口安全等。当然,安全与效率始终是一个矛盾体,数据安全管控越严格,数据的应用就可能越受限。企业需要在安全、效率之间找到平衡点。

     

    五、数据治理框架总结

     

    再次强调,企业实施数据治理需因地制宜,不论建立什么样的数据治理体系、采用什么样的数据治理技术,其目的都是实现数据治理目标,即:通过有效的数据资源控制手段,对进行数据的管理和控制,以提升数据质量进而提升数据变现的能力。数据治理体系和框架,只是企业数据治理的一个参考,不能照搬和套用,更不能为了治理而治理。

    (文:石秀峰 2019年4月)

    阅读原文

    更多精彩请微信扫描上图二维码,关注谈数据!

    展开全文
  • 数据治理相关ziliao

    2021-06-09 17:30:52
    数据治理
  • 大数据平台数据治理整体解决方案 大数据分析平台数据治理建设方案
  • 想要通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势吗?那么这篇文章你一定得看!...要想要平衡数据治理和数据管理,首先我们就要先弄清楚什么是数据治理,什么又是数据管理?
  • 大数据数据治理建设方案 基于大数据的数据治理方案
  • 数据治理:数据安全治理整体解决方案
  • 美团数据治理参考

    2021-02-24 16:51:55
    数据治理项目目标:通过建设一个专业数据治理平台,实现指标维度及数据的统一管理,也探索一套高效的数据治理流程。在建设起源数据治理平台的过程中,主要面临的挑战如下:起源数据治理平台应该在架构中的哪个位置...
  • 数据治理与数据安全.pdf
  • 最新华为数据湖治理中心-数据治理方法论,供大家学习参考。
  • 大数据可视化平台数据治理整体解决方案 大数据平台数据治理方案
  • 大数据平台数据治理整体解决方案 大数据可视化平台数据治理方案
  • 大数据数据治理

    2018-07-31 09:22:17
    我国最早意识到数据治理重要性的行业银行是金融行业。由于对数据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台的验证,发现数据治理是平台建设的主要限制因素,而且随着投资和建设的投入增加,对...
  • 我主要想和大家分享一些数据治理的经验和数据模型管控的方法。其实数据治理的难度很大,因为牵扯的东西太多、外围的环境太复杂。尤其是IT系统建设到一定程度的时候,你才开始做数据治理,难度真的会非常大。数据治理...
  • 数据治理简介

    2018-03-07 09:46:20
    关于数据治理的简介内容,让你对于数据治理的概念和内容有个大致的理解。
  • 为实现大数据平台数据治理子系统的建设和管理,为大数据平台上的各类基础技术和应用提供支撑,加强大数据平台上数据的管控力度,增强数据治理子系统自身管理能力。主要包括以下几方面的内容:总体说明、数据治理体系...
  • 数据治理里面最关键的元数据管理,元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义...


    数据治理里面较关键的元数据管理,元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义、数据生命周期;以及ETL任务调度信息、输入输出等。

    元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱;构建任务DAG依赖关系,编排任务执行序列;构建任务画像,进行任务质量治理;数据分析时,使用数据图谱进行字典检索;根据表名查看表详情,以及每张表的来源、去向,每个字段的加工逻辑;提供个人或BU的资产管理、计算资源消耗概览等。

    数据治理解决方案:

    WhereHows/Datahub

    WhereHows是LinkedIn开源的元数据治理方案。Azkaban调度器抓取job执行日志,也就是Hadoop的JobHistory,Log Parser后保存DB,并提供REST查询。WhereHows太重,需要部署Azkaban等调度器,以及只支持表血缘,功能局限。

    • Wherehows是独立于源系统的,即在部署上wherehows与hive、Azkaban等源系统是无关的,wherehows仅仅是从源系统抓取元数据,这些元数据可以分为数据集类和作业类,其中作业类就是指调度任务信息(从调度系统的数据库中抓取以及从日志服务器抓取),如Azkaban、Oozie的调度信息以及相关执行日志
      • 数据集类源系统:以Hive为例,wherehows从Hive的元数据库如MySQL中抽取元数据并存储在自身的元数据仓库中,从而最终可以从wherehows中查看Hive中的元数据信息,如Hive中有哪些Database、Database下有哪些表等。Wherehows不能直接得到数据集的血缘,wherehows中数据集的血缘是从相关作业的分析中得到的。
      • 作业类源系统:以Azkaban为例,假设运行hive或pig任务,则wherehows可以从Azkaban的元数据库中获取作业信息、并从JobHistory获取实际运行的Hive或pig的日志,并对这些元数据以及日志数据解析形成血缘。

    之后Linkedin根据了痛点和新的需求,重构了wherehows,目前datahub包括了四块,metadata, gms, etl, datahub。其中medata定义模型,gms基于模型生成服务,etl进行模型数据加工,datahub提供基于gms的元数据应用展现。
    linkedin datahub:
    https://github.com/linkedin/datahub

    Atlas

    Atlas是Apache开源的元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并提供数据资产的协作功能。
    altas
    架构包括5大部分:

    1. 存储部分:
      • Metadata Hbase:采用Hbase来存储元数据
      • Index store:采用Solr来建索引
    2. 提取元数据:metadata Sources,目前,Atlas支持以下来源提取和管理元数据:Hbase,Hive,Sqoop, Storm,Kafka。
    3. 应用层:
      • Admin UI:该组件是一个基于Web的应用程序,允许使用者发现和注释元数据,这里最重要的是搜索界面和类似SQl的查询语言,可用于查询Atlas管理的元数据类型和对象。
      • Ranger Tag Policies:权限管理模块
      • Business Taxonomy:业务分类
    4. 核心层:
      • (Ingest/Export)采集/导出:采集组件允许将元数据添加到Atlas。同样,导出组件将Atlas检测到的元数据更改公开为事件。
      • Type System:用户为他们想要管理的元数据对象定义模型。Type System称为“实体”的“类型”实例,表示受管理的实际元数据对象。
      • Graph Engine图形引擎:Atlas再内部使用Graph模型持久保存它管理的元数据对象。
    5. 融合层:
      • API:Atlas的所有功能都通过REST API向最终用户暴露,该API允许创建,更新和删除类型的实体。它也是查询和发现Atlas管理的类型和实体的主要机制。
      • Messaging:除了API之外,用户还可以选择使用基于Kafka的消息传递接口与Atlas集成。

    apache atlas:
    https://github.com/apache/atlas
    http://atlas.apache.org/

    Amundsen

    Amundsen是一个元数据管理的程序,可以将数据资产(物理表,元数据,用户资源代表,仪表板)可视化,同时建立索引并根据表的使用热度来支持页面上的元数据搜索,它包括三个微服务,一个图数据库,是一个公共库:
    Amundsen1
    1. amundsen frontendlibrary:前端服务,它是带有React前端的Flask应用程序,用于服务请求并充当元数据或搜索服务请求的中介。
    2. amundsen searchlibrary:利用Elasticsearch(默认情况下,搜索服务与ElasticSearch 6.x集成在一起,但也可以与Apache Atlas集成,后者与Solr提供类似的搜索功能。)的搜索功能的搜索服务用于增强前端元数据搜索。
    - 常规搜索:返回与给定搜索词和特定资源类型最相关的结果。
    - 类别搜索:筛选主要搜索词与给定元数据类别匹配的资源(例如,搜索database:hive),然后根据相关性返回与次要搜索词匹配的结果。
    - 通配符搜索:允许用户对不同资源执行通配符搜索。
    3. amundsen metadatalibrary:元数据服务,利用Neo4j或Apache Atlas作为持久层,默认持久层是Neo4j,以提供各种元数据。
    Amundsen2
    4. amundsen databuilder:用于构建元数据图和搜索索引的数据提取框架。使用Apache Airflow作为Databuilder的编排引擎。每个数据构建器作业都是DAG(有向无环图)中的一个单独任务。每种类型的数据资源都将具有单独的DAG,因为它可能必须以不同的时间表运行。
    amundsen3
    5. amundsen common:在Amundsen的所有微服务中保存着通用代码。

    Lyft Amundsen https://github.com/lyft/amundsen

    展开全文
  • 基于大数据的数据治理整体解决方案 大数据平台数据治理整体解决方案
  • 华为数据湖治理中心数据治理方法论
  • 数据治理_工业数据治理是企业实现数据资产价值变现的唯一途径
  • 数据治理_工业数据治理是企业实现数据资产价值变现的唯一途径.zip
  • 数据治理_元数据治理在企业中的实践V2
  • 数据治理体系建设方案,包含数据治理战略、组织架构、解决方案等内容。
  • 数据治理_元数据治理在企业中的实践V2.zip
  • 同时,监管机构对于商业银行数据治理的要求也在不断加码,银保监会于2018年5月21日正式发布的《银行业金融机构数据治理指引》就明确要求:商业银行应将数据治理工作纳入公司治理的范畴,并将数据治理情况与公司治理...
  • 数据治理概念 数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合,以保障数据及其应用过程中的运营合规、风险可控和价值实现。 从使用零散数据变为使用统一数据...

    数据治理概念

    数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合,以保障数据及其应用过程中的运营合规、风险可控和价值实现。

    从使用零散数据变为使用统一数据、从具有很少或没有组织和流程到企业范围内的综合数据治理、从尝试处理数据混乱状况到数据井井有条的一个过程。

    数据安全治理

    数据安全治理的思路,将数据安全技术与数据安全管理融合在一起,综合业务、安全、网络等多部门多角色的诉求,总结归纳为系统化的思路和方法。

    Gartner认为数据安全治理不仅仅是一套用工具组合的产品级解决方案,而是从决策层到技术层,从管理制度到工具支撑,自上而下贯穿整个组织架构的完整链条。

    数据治理与数据安全治理的关系

    数据治理简单来讲是通过对数据的梳理整合,利用数据驱动业务,实现企业增值。 数据安全治理是安全领域的框架集合,该集合包括数据、业务、安全、技术、管理等多个方面。数据安全治理属于数据治理体系中的一部分,从业务层到安全层,从管理层到技术层,从左到右,自上而下全方位与体系融合,贯穿始终。安全治理即可在数据治理框架下进行,也可独立实施。

    数据治理与数据安全治理的差异

    1. 从发起部门看:数据治理主要是由IT部门在驱动;数据安全治理主要是由安全合规部门在驱动。当然两者的成功都要涉及到业务、运维和管理部门甚至公司最高管理决策层。
    2. 从目标上看:数据治理的目标是数据驱动商业发展,提升企业数据资产价值。而数据安全治理的目标让数据使用中更安全,保障数据的安全使用和共享,实质也是保障数据资产价值。
    3. 从工作内容产出看:数据治理工作产出上,一个核心成果就是数据质量提升,通过数据的清洗和规范的过程,获得有质量的数据。而数据安全治理的重要产出,就是完成对企业数据访问的安全策略的分级分类,完成企业对数据的合规安全访问政策和措施。
    4. 从数据资产梳理看:数据治理的资产梳理的主要产出物,就是元数据。元数据管理,即赋予数据上下文和含义的参考框架。而数据安全治理中的资产梳理,要明确数据分级分类的标准,敏感数据资产的分布,敏感数据资产的访问状况和授权报告。

    只有建立了一定的数据治理体系,才能真正的将商业智能用起来,真正进入商业智能时代,数据治理体系建设势在必行。而数据安全治理则是其中基础而又关键的一环。

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 90,113
精华内容 36,045
关键字:

数据治理