精华内容
下载资源
问答
  • 数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容,主要包含:元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。 元数据管理 元数据管理主要涉及元数据分类、...

    数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容,主要包含:元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。


    元数据管理

    元数据管理主要涉及元数据分类、元数据管理成熟度评估、元数据管理系统架构、元数据管理价值四部分内容。其中:

    元数据分类主要分为技术元数据、业务元数据、管理元数据;

    元数据管理成熟度评估主要将元数据管理分为初始状态、从属于业务系统、元数据统一存储、元数据集中管理、元数据驱动管理、元数据管理自动化五个阶段;

    元数据管理系统架构主要涉及元数据采集服务、元模型驱动的设计与开发、元数据管理服务、元数据访问服务、元数据分析服务四部分内容;


    数据标准管理

    数据标准管理主要涉及数据标准的理解、数据标准管理的内容、数据标准的梳理、数据标准管理组织、数据标准涉及流程、数据标准管理价值总结等几方面内容。其中:

    数据标准管理的内容包括:数据模型标准、主数据标准、参考数据标准、指标数据标准。

    数据标准的梳理过程主要分为:(1)业务域梳理 (2)业务域包含的业务活动梳理 (3)业务活动包含的对象实体抽取 (4)对象实体包含的数据项梳理 (5)数据项包含的数据实体和数据指标梳理 (6)数据实体和数据指标之间关联关系梳理;

    数据标准管理组织主要包括:数据标准管理委员会、数据标准管理办公室、数据标准执行层或业务操作层;

    数据标准设计流程分为:(1)数据标准管理办公室编制数据标准 (2)数据标准委员会审查数据标准 (3)数据标准办公室发布数据标准 (4)数据标准执行层贯彻数据标准。


    主数据管理

    主数据管理和数据治理流程整体相似,是数据治理的子集,主要包含:摸家底、建体系、接数据、抓运营。

    摸家底主要包括:数据普查、主数据识别、数据管理能力评估

    建体系主要包括:组织体系、标准体系、制度与流程体系、技术体系、安全体系

    接数据主要包括:主数据接入、主数据接出两部分

    抓运营主要包括:主数据管理、主数据推广、主数据质量、主数据表现


    数据质量管理

    主要包含数据质量问题盘点、数据质量问题根因分析、数据质量管理方法论三部分内容。

    数据质量问题盘点主要考察数据的完整性、一致性、准确性、及时性、唯一性、真实性、关联性;

    数据质量我呢提根因分析主要从技术、业务、管理三个维度进行分析;


    数据安全管理

    主要包含数据安全治理流程、数据安全治理手段两部分内容。

    数据安全治理流程主要包括:数据资产梳理与敏感数据识别、数据安全认责、数据分级分类、数据安全授权、数据安全的全生命周期管理等内容;

    数据安全治理手段主要包括:身份认证与访问控制、数据申请及审核、数据的分级与授权、数据脱敏技术、数据加密技术、数据安全审计;


    相关资料下载链接如下:https://download.csdn.net/download/u010022051/9413942

    展开全文
  • 数据治理涉及组织体系、标准体系、流程体系、评价体系、技术体系几方面的内容,主要包含:元数据管理、主数据管理、数据标准管理、数据质量管理、数据安全管理等内容。
  • [结果/结论]国外数据治理模型各具特色,结合对比分析的结果,遵循由明确治理模型的原则与目的到理论回归实践的逻辑思路,从数据治理原则与目的、数据治理利益相关者、数据治理技术与系统、数据治理要素关系四个视角...
  • 行业在数据管控方面存在的主要问题,华傲数据质量治理体系架构(核心理念、组织体系、管理体系、技术体系、执行体系)方案,技术架构,方案优势与价值,成功案例等
  • 数据治理解决方案.pdf

    2020-09-17 09:54:28
    为实现大数据平台数据治理子系统的建设和管理,为大数据平台上的各类基础技术和应用提供支撑,加强大数据平台上数据的管控力度,增强数据治理子系统自身管理能力。主要包括以下几方面的内容:总体说明、数据治理体系...
  • 数据安全治理方法需求分析、治理流程、治理策略 、治理工具梳理,系统的介绍了治理安全的体系建设及治理方案
  • 数据治理全球态势; 数据合规法规标准及热点案例汇编; 数据安全标准与产业实践; DT时代的数据流动风险防治;...数据安全治理技术支撑框架; 金融数据安全治理模型与实践; 包括但不限于以上资料,共127份之多。
  • 全球数据治理态势与中国应对方案 国际研究机构数据安全治理框架权威解读 【业内权威】数据安全治理建设指南 XX省大数据局数据安全治理解决...数据治理体系建设方案 以数据为中心的安全治理实践 华为数据安全管理实践
  • 数据治理体系 5 数据治理核心领域 5 1.3 数据模型 6 1.4 数据生命周期 6 1.5 数据标准 8 1.6 主数据 9 1.7 数据质量 10 1.8 数据服务 12 1.9 数据安全 12 2. 数据治理保障机制 13 2.1 制度章程 13 2.1.1 规章制度 13...
  • 针对数据安全国家相继出台了一系列相关法律法规,明确了大数据安全工作的要求,电力大数据资产具有数据量大、分布面广、利用价值高、敏感度高等特点,急需开展大数据安全治理技术研究。在分析电力大数据安全面临的...
  • 2021数据治理与安全论坛(DataFunSummit 2021)PPT汇总,共30份。 一、数据治理论坛 业务数据治理在中台侧的实践分享 小米数据管理与应用实践 有赞数据地图实践 二、数据安全论坛 腾讯大数据安全体系介绍 企业数据...
  • 本报告从国家治理视角出发,以释放数据价值作为数据治理的核心目标,针对当前技术产业和法律政策背景下影响数据价值释放的各方因素,构建完善数据要素市场制度基础设施。提出以数据开放共享、数据质量管理、数据交易...
  • 关于数据治理的不过时观点 中银证券后疫情时代券商数据安全体系的实践与展望 绿盟 - 数据安全与隐私数据安全前沿技术研究报告 美创 - 多云环境下的数据安全协同保护方案 美创公司与数据安全方案 美创数据安全解决...
  • 数据治理体系建设方案(PPT)

    千次阅读 2021-05-02 00:26:25
    数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企...

    数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企业高层的授权和业务部门与IT部门的密切协作。目标是保证数据的有效性、可访问性、高质量、一致性、 可审计和安全性。

     

    【资料领取方式】

    转发朋友圈并截图,识别下方二维码,回复” 1012 ”

    即可获取下载方式

    数据治理体系的建立是促进企业数据管理体系建设和执行体系落地的有力支撑平台,将分散、多样化的核心数据等通过标准化、质量探查、清洗、集成及监控等技术手段进行优化,形成企业内的数据治理体系,并结合企业组织结构,形成数据管控执行体系,在企业内部持续运行,提升、挖掘主数据的应用价值。

    解决企业内部如下的数据管控问题:

    • 数据分散且多样化问题

    • 隐蔽性的数据质量问题

    • 遇到问题,数据生产者和管理者互相推脱责任的问题

    • 数据质量低下,利用率低的问题

    • 数据管理落实不利的问题

    • 数据使用者决策依据不准确的问题

    数据治理背景需求主要体现在3个方面:大数据角度、数据质量角度、数据分析角度。

    在构建数据治理体系时,由数据造成的业务问题多种多样,制定数据治理战略显得尤为重要:

    搭建立体式的数据治理组织机构,明确不同组织体系的职责与分工,是维持数据治理体系高效运转的保障。

    参照行业最佳实践,结合企业IT应用实际情况,设计数据治理体系架构,其中数据治理平台主要包含数据集成管理、数据探索稽查、数据清洗融合、数据质量提升、数据质量监控等几个部分。

    数据集成管理:

    数据探索稽查:

    数据清洗融合:

    数据质量提升:

    数据质量监控:

    数据安全监控:

    构建企业数据治理体系,可以提高企业数据的一致性以及准确性,从而提高企业数据的质量,增强企业业务决策的信心。同时,数据治理体系可以提供更有效的信息访问和可见性,对企业来说,可以实现更好的数据分析,帮助企业打造数据驱动业务的能力,助力企业构建以用户为中心的数据运营体系。

    推荐阅读:

    世界的真实格局分析,地球人类社会底层运行原理

    企业IT技术架构规划方案

    论数字化转型——转什么,如何转?

    企业10大管理流程图,数字化转型从业者必备!

    【中台实践】华为大数据中台架构分享.pdf

    数字化转型的本质(10个关键词)

    小米用户画像实战,48页PPT下载

    华为大数据解决方案(PPT)

    展开全文
  • 数据安全面临的挑战以及要达成的目标,数据安全治理方法(数据安全架构、数据安全技术体系建设),数据安全技术体系建设实践(数据感知管控能力建设、自动化审计能力建设、数字水印能力建设),数据安全未来发展方向...
  • 1.数据安全治理背景 随着各行各业信息化不断演变发展,数据已成为基础设施,成为业务发展重要原动力,内部业务与互联网深度融合,利用新媒体,让数据产生更大价值,是近近几年发展的主要趋势。如何提升数据资产价值...

     

    1.数据安全治理背景

    随着各行各业信息化不断演变发展,数据已成为基础设施,成为业务发展重要原动力,内部业务与互联网深度融合,利用新媒体,让数据产生更大价值,是近近几年发展的主要趋势。如何提升数据资产价值同时让数据使用更安全,已成为各个行业探讨的方向。

    近几年网络安全事件频发,具有商业特性的攻击事件越来越多,地下黑产对个人信息需求异常旺盛。2017-2018年度551起数据泄露事件中,出自各行各业,数据高质量、易获取,已成为不法份子获取利益的最佳途径。

    随着横向网络安全法、等保2.0的合规性要求及纵向垂直行业安全要求的需要,对数据存储、使用、运营提出了明确要求,如何更好的对数据进行有效防护,保障数据全生命周期的安全性,如何以事前发现、事中阻止、事后审计、持续加固的方式,提供更好的服务是每个从事安全的行业人员应该深度思考的问题。

    2.数据安全治理概述

    数据治理包括数据、业务、安全、技术、管理等多个方面,而数据安全治理属于数据治理体系中的一个过程,从业务层到安全层,从管理层到技术层,从左到右,自上而下全方位与体系融合,贯穿始终。

    3.数据安全治理目标

    数据安全治理长期目标思短期目标需要从治理体系、安全合规、技术支撑三要素进行考虑建设。

    治理体系:数据安全体系化建设,使数据安全管理更加合理规范,良好的可视性运维机制和动态协同能力。

    安全合规:充分了解合规及行业要求,建设满足合规性要求同时,需要考虑灵活性、可扩展性及各阶段衔接性。

    技术支持:提升事前发现、事中防护、事后审计能力。

    4.数据安全治理体系

    对行业数据特性及数据管理现存问题,从数据视角出发,系统化、规范化、科学性的建立数据安全治理体系。完整的数据安全治理体系应包含5个方面:原则、上层建筑、资产梳理、管理体系、防护体系。

    数据安全治理体系建设(内有干货)

    安全治理体系

    原则是数据安全治理的基本思想与方针,包括:战略一致、风险可控、运营合规、绩效提升。上层建筑包括内外部策略、部门职责、动态协同等,起到安全治理过程中依据、指引等作用。资产梳理是以安全治理角度,充分摸清家底,有针对性、有计划性的进行治理实施,主要包括:管理梳理、技术梳理、场景梳理。管理体系具有可落地执行特性,包含组织体系、执行体系及运维体系。技术体系通过发现、运维、防护,实现各阶段进行快速响应。

    数据安全治理体系建设(内有干货)

    数据安全治理框架

    5.数据安全治理实施

    5.1 组织建设。设计健全的组织架构是数据安全治理工作的基础。组织建设包括部门职责与人员角色确定及动态协同机制,

    (1)部门职责与人员角色

    部门包括:业务部门、运维部门及安全管理部门。业务部门。按单位业务职能划分;运维部门。根据运维体系进行有效执行;安全管理部门。制度指定、技术迭代、安全检查与事件处理、安全审计等。其它:包括第方厂家或者外包的职责制度。

    人员角色可分为:业务人员、审计人员、运维人员、安全人员、管理人员等。

    (2)动态协同机制

    建设完善的动态协同机制,充分利用部门资源,解决部门运转孤岛问题。

    资产梳理。明确数据访问人员、数据生产人员、数据维护人员等目标对象,以数据流转为基础,对相关人员进行串联,形成动态协同。

    5.2资产梳理。 内部资产梳理是数据安全治理的核心所在,只有详细、真实的数据梳理才能让数据安全治理真正落地执行。梳理主要从现有管理、技术、治理场景三方面进行。数据资产主要为,机构化数据及非结构化数据,针对数据需要梳理威胁性、脆弱性及使用权限确定(包括:访问控制、权限授权情况等)。针对结构化数据还需明确数据类型及基础信息,如:主机信息、网络信息、数据库品牌、数据库版本信息等;对数据进行分类分级,通过合规性要求、自身主观判断、意外事故影响和第三方使用价值进行数据划分。

    5.3流程管控。完善的管控体系是保障数据安全治理可持续性的关键所在,流程管控主要从组织体系、执行体系、运维体系等三个方面进行考量。组织体系:建立决策层、管理层、执行层多方面、跨部门有效协同机制与制度;执行体系:包括治理方针、规章制度、治理标准、治理规范、治理流程等;运维体系包括维护、监控、评估、加固、审计与应急、治理评估等。

    5.4安全防护完善。数据安全治理离不开安全技术及安全产品,安全防护体系能力主要从发现能力、运维能力、防护能力三个方面进行建设。发现能力:数据泄密、数据审计、数据安全基线管理、UEBA、数据态势感知等;运维能力:综合性审计、基于数据的漏扫、监控与预警及统一认证与授权等;防护能力:数据加密、数据脱敏、数据库防火墙、数据防泄漏、统一策略管理、容灾备份等。

    6.数据安全治理实施过程中注意事项。

    6.1合规性要求。行业合规性要求较多,会随着时间推移发生变动,合规性文件对数据安全治理过程中有着依据、指引等作用,如不能深入了解,会使数据安全治理建设过程反复。

    6.2管理体系。完善可持续性的管理体系是保障安全治理的先决条件,规划好,落地难的管理体系如空中楼阁,使数据安全治理效果大大折扣。

    6.3资产梳理。资产梳理对数据安全治理尤为重要,需要清除哪些数据要防护、数据如何流转、端到端对象都有谁、数据跑的有什么内容、现今数据载体有什么安全隐患等等问题,资产梳理不到位,难以进行后期的体系建设。

    6.4缺乏过程持续性。数据安全治理是一个持续性过程,上到管理体系,下至技术工具,都需进行持续性完善,如治理过程缺乏持续性,则无法形成运维监控、定向审计、问题处置与体系加固等一套有效的运转机制。

    数据安全治理体系建设(内有干货)

    数据安全治理流程

    7.小结

    大数据、云计算、物联网、人工智能的到来,让各个行业发生巨大的改变,各行业对数据数据整合及利用,以互联网进为载体行服务模式转变同时,应充分考虑对数据的安全治理。通过对人、管理、防护产品多个方面进行数据安全治理意识、制度、技术的持续性完善,实现安全、业务与数据有效融合,达到数据安全治理的预期效果。

    展开全文
  • 经过20在中国石化数据标准及治理项目的开发、实施的经验,形成一套科学、完整的数据治理实施方法论,同时结合丰富的案例库,为国内超大型集团企业建立一套适应客户的数据业务需求,并且操作性强的数据治理管理体系。...
  • 数据质量治理体系架构 组织体系 管理体系 技术体系 执行体系
  • 数据治理系列2:元数据管理—企业数据治理的基础

    万次阅读 多人点赞 2019-05-13 20:11:04
    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元...元数据管理是企业数据治理的基础。 认识元数据 元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据...

     

    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。元数据管理是企业数据治理的基础。

    认识元数据

    元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。这么说对于没有技术背景的人来说还是比较抽象的,我给大家举几个例子。

     

     

    在我之前写的一篇文章《关于“数据”的一些概念的整理和总结》中,有一个关于元数据的例子,歌曲《小芳》中有一段台词:“村里有个姑娘叫小芳,长得好看又善良” 这首耳熟能详的歌,我们分析一下,姓名:小芳、性别:姑娘(女)、长相:好看、性格:善良,住址:村里。这里面,小芳是被描述的对象也就是我们所谓的实体数据,而姓名、性别、长相、性格、住址就是描述“小芳”的元数据。

    再举个栗子:元数据就像“户口本”,户口本中除了有姓名、出生日期、住址、民族等信息外,还有家庭的血缘关系,父子关系、兄弟关系等。这些信息就构成了对这个人的详细描述,那这些信息就是描述这个人的元数据。

    再举个栗子:元数据好比“字典”,针对每个字都注音、含义、组词、举例等信息,同时也有关于字体结构、相关引用、出处等。另外,我们可以通过拼音、偏旁部首都能查到这个字。所有的这些信息都是对这个字的详细描述,那这些信息就是描述这个字的元数据。

    再举个栗子:元数据就如“地图”,通过这张“地图”能够找到你所处的地点,以及你从哪来来,到哪里去,途中都需要路过哪些地方……

    这下大家理解了吧,元数据是对数据的结构化描述,使得数据更容易理解、查找、管理和使用。

    元数据的分类

    根据数据的性质特点,业内一般将元数据划分为三类:业务元数据、技术元数据和管理元数据。

     

     

    业务元数据是描述数据的业务含义、业务规则等。通过明确业务元数据让人们更容易理解和使用业务元数据,元数据消除了数据二义性,让人们对数据有一致的认证,避免“各说自话”,进而为数据分析和应用提供支撑。常见的业务元数据包括:业务定义、业务术语、业务规则、业务指标等。

    技术元数据是对数据的结构化,方便计算机或数据库之间对数据进行识别、存储、传输和交换。技术元数据可以服务于开发人员,让开发人员对数据的存储、结构更明确,从而为应用的开发和系统的集成奠定基础。技术元数据也可服务于业务人员,通过元数据理清数据关系,让业务人员能够更快速的找到想要的数据,进而对数据的来源去向进行分析,支持数据血缘追溯和影响分析。常见的技术元数据包括:存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系等。

    管理元数据描述了数据的管理属性,包括管理部门、管理责任人等,通过明确管理属性,有利于数据管理责任到部门和个人,是数据安全管理的基础。常见的管理元数据包括:数据所有者、数据质量定责、数据安全等级等。

     

    表:元数据分类实例

    元数据类型

    元数据描述

    元数据实例

     业务定义

     数据的含义

     客户的完整名称,并具有法律效力

     业务规则

    数据录入规则

     企业的营业执照、组织机构代码证书,统一社会信用代码证书等具有法律效力的证明文件中的中文名称全称

     

     识别规则

    企业的组织机构代码或者统一社会信用代码或者统一纳税号必须完全匹配,则认为是同一客户。

     

     质量规则

     客户名称为非空,并且与营业执照的中文名称一致

    存储位置

    数据的存储什么地方

    ERP系统

    数据库表

    存储数据的库表名称和路径

    ERP/Customers

    字段类型

    数据的技术类型

    字符型

    字段长度

    数据存储的最大长度

    [200]

    更新频率

    数据的更新频率

    每年更新一次

    管理部门

    数据责任部门

    客户管理部

    管理责任人

    数据责任部门

    客户管理部业务员

     

    元数据管理成熟度

    在实施元数据管理的过程中,可以参照元数据管理的成熟度模型确定企业当前元数据管理所在层次,并根据业务需要制定路线图实现元数据管理水平的提升。下图是元数据管理成熟度模型:

     

     

    元数据管理成熟度评估模型

    • L0: 初始状态

    元数据分散于日常的业务和职能管理中,由某个人或某一组人员在局部产生或获取,并在局部使用。在局部环境工作数月或数年后,人们使这些元数据以及对它的理解内在化,使对这种信息有习惯性的理解。这些元数据会永远保存在某个人那儿,一旦这个人调离,这些元数据将永远消失。

    • L1: 从属于业务系统

    在这个阶段,随着各个业务系统自动化构建完成,相应的元数据也随着需求整理、设计、开发、实施和维护等过程被各个业务系统孤立的全部或部分管理起来。业务元数据可能分散在各种业务规章、流程规定、需求、需求分析和概要设计等文档以及业务系统中,技术元数据可能分散在详细设计、模型设计和部署方案等各种文档和各种中间件以及业务系统中。由于各个业务系统处于一个个竖井之中,元数据之间互通互联困难,如果需要获取其他系统的元数据,除了调阅各种文档外,对分散在各种中间件和业务系统中的技术元数据需要一定的集成方式实现互通互联。

    • L2:元数据统一存储

    元数据依然在局部产生和获取,但会集中到中央存储库进行存储,业务元数据会手工录入到中央存储库中,技术元数据分散在文档中的部分也通过手工录入到中央存储库中,而散落在各个中间件和业务系统中的技术元数据则通过数据集成的方式被读取到中央存储库中。业务元数据和技术元数据之间全部或部分通过手工方式做了关联。中央存储库的构建,使得元数据在整个企业层面可被感知和搜索,极大地方便了企业获取和查找元数据。缺点是,元数据仍然在各业务系统上维护,然后更新到中央存储库,各业务竖井之间仍然使用不同的命名法,经常会造成相同的名字代表不同意义的事情,而同一件事情则使用了多个不同的名字,有些没有纳入业务系统管理的元数据则容易缺失。元数据没有有效的权限管理,局部元数据更改后也不自动通知其他人。

    • L3: 元数据集中管理

    在 L2 的基础上做了改进,增强了元数据的集中控制,局部业务单元或开发小组如不事先通知其他人,将无法对元数据进行修改。局部元数据的修改完成后将被广播给其他人。和其他中间件和应用系统的交互,仍然通过桥集成的方式进行,中央存储库中的业务元数据和技术元数据之间还是通过手工方式进行映射。

    • L4:元模型驱动管理

    在 L3 的基础上,通过构建元模型以及元元模型,优化各业务单元之间的各种冲突和各种副本,创建、管理和共享业务词汇表和分类系统(基于主题领域的层次结构)。业务词汇表(业务元数据)包含与企业相关的词汇、词汇业务含义以及词汇与信息资产(技术元数据)的关系,可以有效帮助企业用户了解其业务元数据和技术元数据对应的业务含义。分类是基于主题领域的层次结构,用以对业务术语归类。和其他中间件和应用系统的交换,通过基于 CWM 的适配器方式进行连接。

    • L5: 元数据管理自动化

    在 L5 元数据管理是高度自动化的,当逻辑层次元数据变更时,会被传播到物理层次,同样物理层次变更时逻辑层次将被更新。元数据中的任何变化将触发业务工作流,以便其他业务系统进行相应的修改。由于各个业务系统遵照相同的业务词汇表和分类系统(元模型),他们之间的关系可以通过知识本体进行推断,因此各个应用系统之间的数据格式的映射自动产生。

     

    元数据管理平台架构

    元数据管理平台从应用层面,可以分类:元数据采集服务,应用开发支持服务,元数据访问服务、元数据管理服务和元数据分析服务。

     

     

    元数据采集服务

    在数据治理项目中,通常涉及到的元数据还包括:数据源的元数据,数据加工处理过程的元数据,数据仓库或数据主题库的元数据,数据应用层的元数据,数据接口服务的元数据等等。元数据采集服务提供各类适配器满足以上各类元数据的采集,并将元数据整合处理后统一存储于中央元数据仓库,实现元数据的统一管理。这个过程中,数据采集适配器十分重要,元数据采集要能够适配各种DB、各类ETL、各类DW和Report产品,同时还需要适配各类结构化或半结构化数据源。目前市场上的主流元数据产品还没有哪一家能做到“万能适配”,都需要在实际应用过程中做或多或少的定制化开发。

    元模型驱动的设计与开发

    通过元数据管理平台实现对应用的逻辑模型、物理模型、UI模型等各类元模型管理,支撑应用的设计和开发。应用开发的元模型有三个状态,分别是:设计态的元数据模型,通常由ERWin、PowerDesigner的等设计工具产生。测试态的元数据模型,通常是关系型数据:Oracle、DB2、Mysql、Teradata等,或非关系型数据库:MongDB、HBase、Hive、Hadoop等。生产态的元模型,本质上与测试态元数据差异不大。通过元数据平台对应用开发三种状态的统一管理和对比分析,能够有效降低元数据变更带来的风险,为下游ODS、DW的数据应用提供支撑。另外,基于元数据的MDD(代码生成服务),可以通过模型(元数据)完成业务对象元数据到UI元数据的关联和转换,自动生成相关代码,表单界面,减少了开发人员的设计和编码量,提升应用和服务的开发效率。

     

    元数据管理服务

    市场上主流的元数据管理产品,基本都包括:元数据查询、元模型管理、元数据维护、元数据版本管理、元数据对比分析、元数据适配器、元数据同步管理、元数据生命周期管理等功能。此类功能,各家产品大同小异,此处不再赘述。

    元数据访问服务

    元数据访问服务是元数据管理软件提供的元数据访问的接口服务,一般支持REST或Webservice等接口协议。通过元数据访问服务支持企业元数据的共享,是企业数据治理的基础。

     

    元数据分析服务

     

    血缘分析:是告诉你数据来自哪里,都经过了哪些加工。其价值在于当发现数据问题时可以通过数据的血缘关系,追根溯源,快速地定位到问题数据的来源和加工过程,减少数据问题排查分析的时间和难度。这个功能常用于数据分析发现数据问题时,快速定位和找到数据问题的原因。

     

    影响分析:是告诉你数据都去了哪里,经过了哪些加工。其价值在于当发现数据问题时可以通过数据的关联关系,向下追踪,快速找到都哪些应用或数据库使用了这个数据,从而避免或降低数据问题带来的更大的影响。这个功能常用于数据源的元数据变更对下游ETL、ODS、DW等应用应用的影响分析。

     

    冷热度分析:是告诉你哪些数据是企业常用数据,哪些数据属于“僵死数据”。其价值在于让数据活跃程度可视化,让企业中的业务人员、管理人员都能够清晰的看到数据的活跃程度,以便更好的驾驭数据,激活或处置“僵死数据”,从而为实现数据的自助式分析提供支撑。

     

    关联度分析:是告诉你数据和其他数据的关系以及它们的关系是怎样建立的。关联度分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,从而进一步了解该实体的重要程度,如:表与ETL 程序、表与分析应用、表与其他表的关联情况等。本功能可以用来支撑需求变更的影响评估。

     

    数据资产地图:是告诉你有哪些数据,在哪里可以找到这些数据,能用这些数据干什么。通过元数据可以对企业数据进行完整的梳理、采集和整合,从而形成企业完整的数据资产地图。数据资产地图支持以拓扑图的形式进行可视化展示各类元数据和数据处理过程,通过不同层次的图形展现粒度控制,满足业务上不同应用场景的数据查询和辅助分析需要。

     

    元数据管理价值

     

    一图在手,天下我有

    通过元数据以企业全局视角对企业各业务域的数据资产进行盘点,实现企业数据资源的统一梳理和盘查,有助于发现分布在不同系统、位置或个人电脑的数据,让隐匿的数据显性化。数据地图包括了数据资源的基本信息,存储位置信息、数据结构信息、各数据之间关系信息,数据和人之间的关系信息,数据使用情况信息等,使数据资源信息详细、统一、透明,降低“找数据”的沟通成本,为数据的使用和大数据挖掘提供支撑。

     

    追根溯源,发现数据问题本质

    企业在做数据分析的时候,数据分析结果不正确,原因可能是数据分析过程出现数据问题,也可能是数据源本身就有问题,还可能是数据在加工处理过程中出现了数据问题……。通过元数据血缘分析,能够快速定位数据来源和加工处理过程,能够帮助数据分析人员快速定位数据问题。另外,通过元数据血缘关系分析,可以理解不同数据指标间的关系,分析产生指标的数据源头波动情况带来的影响。

     

    模型驱动,敏捷开发

    基于元数据模型的数据应用规划、设计和开发是企业数据应用的一个高级阶段。当企业元数据管理达到一定水平(实现自动化管理的时候),企业中各类数据实体模型、数据关系模型、数据服务模型、数据应用模型的元数据统一在元数据平台进行管理,并自动更新数据间的关联关系。基于元数据、可扩展的MDA,才是快速满足企业数据应用个性化定制需求的最好解决方案。通过将大量的业务进行模型抽象,使用元数据进行业务描述,并通过相应的模型驱动引擎在运行时驱动,使用高度抽象的领域业务模型作为构件,完成代码转换,动态生成相关代码,降低开发成本,应对复杂需求变更。

     

     

    总结:

    元数据是企业数据资源的应用字典和操作指南,元数据管理有利于统一数据口径、标明数据方位、分析数据关系、管理数据变更,为企业级的数据战略规划、数据模型设计、数据标准管理、主数据管理、数据质量管理、数据安全管理以及数据的全生命周期管理提供支持,是企业实现数据自服务、推动企业数据化运营的可行路线。企业以元数据为抓手进行数据治理,帮助企业更好地对数据资产进行管理,理清数据之间的关系,实现精准高效的分析和决策。

    注:本文的首发平台为微信公众号:learning-bigdata(谈数据),如需要了解第一手数据治理相关内容,请关注微信公众号,CSDN微博不定期更新。

    欢迎转载,转载请注明,作者:石秀峰,公众号:learning-bigdata(谈数据)

     

    展开全文
  • 数据治理之——数据标准体系建设示例

    万次阅读 多人点赞 2019-04-29 14:11:31
    1.1.1 数据标准体系建设 数据标准是企业级的业务规范,用于指导各业务系统及数据仓库的建设依据,元数据是系统级的描述手段,更多的反映系统建设情况;数据标准指导系统建设的成果可以通过元数据来反映,系统的建设...
  • 针对当前社会信用治理工作中存在的问题与不足,根据“诚信社会”的建设愿景与需求,提出基于全景涉信大数据的智慧信用治理体系架构,并对其核心理论和关键技术进行了深入剖析,最后通过 3 个典型应用场景进一步...
  • 明确了与大数据治理相关的概念和定义,提出了大数据治理标准体系框架,并给出了下一步标准化工作建议,从而帮助业界构建涵盖大数据治理的新大数据标准体系,为我国新一阶段的大数据技术、产业发展提供标准化支撑。
  • 本指南旨在指导企业和政府单位开展数据安全治理体系建设工作,包括能力维度、执行 维度、场景维度三个维度建设说明,帮助大家以实际经验为基础,将制度规范与技术工具有 效融合,以整体提升数据安全能力为最终目的,...
  • 数据治理资料合集.zip

    2021-06-30 09:17:26
    论银行数据治理体系建设 面向数据与数据治理:商业银行信息化建设的转型方向 企业数据系列培训:数据治理那些事 全局数据治理 商业银行数据仓库系统V2.0x 数据仓库技术架构及方案 数据仓库建模与ETL的实践技巧 数据...
  • 随着云计算、物联网、移动互联网等新一代信息技术的快速发展,人类产生的数据量呈指数级增长。据资料显示,2012年,全球数据量达到2.8ZB,预计到2020年,全球数据量将达到40ZB。大数据蕴含着巨大的价值,如今众多...
  • 数据治理系列1:数据治理框架【解读分析】

    万次阅读 多人点赞 2019-05-08 14:58:56
    作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。 一、什么是数据治理?...笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。...
  • 小进阶:数据指标体系数据治理的管理关于作者:小姬,某知名互联网公司产品专家,对数据采集、生产、加工有所了解,期望多和大家交流数据知识,以数据作为提出好问题的基础,发掘商...
  • 1.Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点,其核心...HDFS是Hadoop体系数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的...
  • 数据治理系列(总)

    千次阅读 2021-01-13 14:05:07
    笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。 二、为什么需要数据...
  • 作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。一、什么是数据治理?维基百科:数据治理对于确保数据的准确、适度分享和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 31,358
精华内容 12,543
关键字:

数据治理技术体系