精华内容
下载资源
问答
  • IBM 创造了一种完善的信息治理方法为行业提供了最强大的产品、服务和最佳实践组合来解决每个组织的需要。本书提供了一组实用的详细步骤和子步骤来实现信息治理计划以及 IBM 软件所提供的相关信息。
  • 数据治理之数据规范

    千次阅读 2019-10-31 09:50:17
    数据域:对于业务过程和维度的抽象。如:交易域、用户域 业务过程:不可拆分的行为事件。如:下单、支付 时间周期:如最近30天、截至当前 修饰类型:对修饰词的抽象。如支付方式、访问终端类型 修饰词:访问终端类型...

    系统架构体系:
    在这里插入图片描述
    数据域:对于业务过程和维度的抽象。如:交易域、用户域

    业务过程:不可拆分的行为事件。如:下单、支付

    时间周期:如最近30天、截至当前

    修饰类型:对修饰词的抽象。如支付方式、访问终端类型

    修饰词:访问终端类型下的pc、安卓、苹果

    度量/原子指标:具有明确含义的业务名词。如:支付金额

    维度:如:地理维度、时间维度

    维度属性:对维度的描述。如:地理纬度下国家、省份

    派生指标:原子指标+修饰词+时间周期

    指标体系:
    1)基本原则:

    ① 修饰词继承修饰类型的数据域

    ② 派生指标可以有多个修饰词,继承原子指标的数据域

    2)指标分类“

    ① 新增事务型指标:支付金额、新增商品数等非动态指标

    ② 存量型指标:商品总数、用户总数等截至当前的增量数据

    ③ 复合型指标:衍生指标

    ④ 统计类标签:在这里插入图片描述

    展开全文
  • 今天与政府一个部门开会讨论数据治理的需求及问题,感觉到他们对于系统功能的期望比较高,认为通过一些配置就能完成数据质量检查以及数据清洗等工作,从而提出了很多功能需求。但这一方面超出了系统的能力,而且也与...

    今天与政府一个部门开会讨论数据治理的需求及问题,感觉到他们对于系统功能的期望比较高,认为通过一些配置就能完成数据质量检查以及数据清洗等工作,从而提出了很多功能需求。但这一方面超出了系统的能力,而且也与实际的实施过程不符。实际过程中,大量的数据质量分析及清洗工作都是人工完成的,系统一般是固化重要的检查规则、问题工单流转、ETL任务管理等方面起作用。为了将这个问题解释清楚,帮助客户理清思路,画了如下的数据治理流程图:
    在这里插入图片描述
    上述流程,共分为三个重要阶段,即:

    • 数据治理需求分析,在数据接入前,需要根据委办局提供的资料(数据字典、样本数据等),分析可能存在的数据质量问题,分析并制定出数据质量检查规则、数据清洗的内容。在这个过程中,需要业务人员与技术人员共同讨论,反复沟通后确定。
    • 数据治理实施,根据上一阶段制定的需求,技术人员完成质量检查规则设计及清洗脚本编写,并在系统中配置部署;
    • 数据治理执行,这个阶段就是数据接入后,日常对接入数据进行质量检查及清洗管理,通过自动的数据质量检查,将问题数据反馈给委办局处理;通过清洗任务,解决可纠正的问题,标记不可纠正的问题。数据治理的业务人员和技术人员通过相关报表了解数据中存在的质量问题。
    展开全文
  • 数据治理流程

    千次阅读 2019-10-10 10:09:28
    现在大家都很关注数据治理这个话题,本人在行业内也每天接触和实施的一些项目,下面把我的一些理解分享给大家。 数据源,一般都是OLTP业务系统生产累计下来的数据经过ETL工具进入到现在比较流行的分布式存储系统中...

    现在大家都很关注数据治理这个话题,本人在行业内也每天接触和实施的一些项目,下面把我的一些理解分享给大家。
    数据源,一般都是OLTP业务系统生产累计下来的数据经过ETL工具进入到布式存储系统中(HDFS),然后通过现有的一些机制如MapReduce或者Spark*(基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Mapreduce的算法)*进行运算。这中间又涉及到了一些工具或者说叫引擎,如HIVE 底层支持多种不同的执行引擎(Hive on MapReduce、Hive on Tez、Hive on Spark),通过HIVE 清洗、处理、和计算原始数据。处理完的结果如果是面向海量数据随机查询的场景的就存到HBase中,如果是其他场景的可分存到不同类型的数据库中提供给相应的业务。特定数据应用从HBase中查询分析。其他业务则可回到对应数据库中增删改查。

    展开全文
  • DGI数据治理框架解读

    2019-05-02 10:39:17
    提出企业在操作层面进行数据治理的框架体系,包括数据治理的概念、内容、流程和方法等,促进数据管理活动更加规范有序、高效权威。DGI认为数据治理主要涉及政策、标准、策略”、数据质量、“隐私、遵从性、安全”、...
  • 我们目前所积累的数据治理经验,大多数是在互联网场景下的,且与自己工作高度相关。如果想更进一步的搞好数据治理,就应该看一下业界相关的一些权威机构的理论。以国际数据管理协会,也就是DAMA,协会提供了一种...

    治理理论概述

    我们目前所积累的数据治理经验,大多数是在互联网场景下的,且与自己工作高度相关。如果想更进一步的搞好数据治理,就应该看一下业界相关的一些权威机构的理论。以国际数据管理协会,也就是DAMA,协会提供了一种DMBOK方式,覆盖了企业数据管理领域的十个方面,十分适合阿里腾讯这种大型企业。可以说,这是一个很不错的参考框架,用来对比我们目前的数据管理工作,寻找不足之处。

    下图为数据管理十方面理论:
    在这里插入图片描述

    下图为十方面理论每个方面的内容详情:
    在这里插入图片描述

    这里对10个职能翻译一下,内容如下:

    • 数据治理
    • 数据架构管理
    • 数据开发
    • 数据操作管理
    • 数据安全管理
    • 数据质量管理
    • 参考数据和主数据管理
    • 数据仓库和商务智能管理
    • 文档和内容管理
    • 元数据管理

    治理思路概述

    我们将上一章节的内容作总结,数据治理大概可以从两条路来进行考量,一种是全局出发制定完善的流程,一种是从局部出发先解决闭环问题。

    • 全局出发:要遵循完整的10个治理内容,就需要领导者有推进的能力,将数据治理放在数据职能之上,通过完整的规范来落地执行措施。这种方式实行成本较大,执行周期很长,但落地效果一般都很不错,适合中层管理者来推动执行。

    • 局部出发:假如数据职能的要求非常高,数据治理优先级要低一些,也可以通过启动治理事项的方式,先解决局部的小问题,例如文档撰写,通过项目的形式来实现目标。

    治理流程实践

    在笔者的实际工作场景中,数据质量与数据职能的要求同样高,因而不能简单的只进行局部优化,也没有足够的精力进行全局优化。因此,笔者将数据治理的流程进行简化,挑选最终的部分予以保障,舍弃掉一些提升不大的项目。在实际的工作中,有四点是最重要的:质量、资产、操作和文档。

    • 日常操作:明确数据开发的规范,例如表名、分层、代码规范、注释、上线流程等。
    • 数据质量:重点关注四个方面,第一个是基线延迟,也就是监控我们的任务是否能按时产出;第二个是数据量波动,如果波动较大,意味着业务过程多少出现了问题;第三个是业务指标异常,例如PV、UV等出现了大范围波动,通常意味着业务出现了问题;第四个是相同指标统计结果不一致,这个问题需要有完善的OneData体系建设,能够避免因为口径问题被业务方质疑。
    • 文档撰写:文档要及时补充三点内容,第一个是数据模型,要及时更新业务系统的相关逻辑,可沉淀指标加入到公共库中,并且建设好对应的中间层,避免后续重复开发工作;第二个是开发规范,及时做好CodeReview,加好代码注释,对脚本参数进行相应的规范;第三个是及时更新需求模块,该补充评审的内容加上,可以简化的部分去掉。
    • 资产管理:从实际消耗的计算和存储资源出发,当集群资源达到一定的限制,例如存储达到80%,就开始启动治理专项。

    我们组成一个环形:
    日常操作 -> 数据质量 -> 文档撰写 ->资产管理。
    也就是,日常操作遵循一定的规范,任务上线后遵循一定的数据质量配置流程,项目结束后及时撰写文档,定时对资产进行盘点。有了这个环路治理,基本上绝大多数的问题都能被覆盖掉。

    展开全文
  • 睿治数据治理平台提供了一套完整的数据标准管理流程及办法,通过一系列的活动,统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性...
  • 数据治理流程

    千次阅读 2013-01-14 14:40:37
    那么,要把数据治理当作业务功能来管理,数据治理的核心业务流程有哪些呢? 我用以下图表说明数据治理和管理工作的主要业务流程,当然包括预期的数据清洗、修复、屏蔽、保护、协调、升级以及审定数据差异、政策和...
  • 数据治理的概述 4 1.1 数据治理概念 4 1.2 数据治理目标 4 数据治理体系 5 数据治理核心领域 5 1.3 数据模型 6 1.4 数据生命周期 6 1.5 数据标准 8 1.6 主数据 9 1.7 数据质量 10 1.8 数据服务 12 1.9 数据安全 12 2...
  • 点击上方 蓝字 关注我们数据是企业的核心资产,数据治理也是企业的核心工作之一,运用好数据能够为企业赋能。而在为企业赋能的过程中,数据分析师起到了至关重要的作用。作为初学者,理解数据治理流...
  • 关于数据治理的不过时观点 中银证券后疫情时代券商数据安全体系的实践与展望 绿盟 - 数据安全与隐私数据安全前沿技术研究报告 美创 - 多云环境下的数据安全协同保护方案 美创公司与数据安全方案 美创数据安全解决...
  • 数据治理系列3:数据标准管理

    万次阅读 多人点赞 2019-05-30 16:39:48
    转载请注明,作者:石秀峰,公众号:learning-bigdata(谈数据) 导读:提到“标准”二字,我们...而我们所说的数据标准却不单单是指与数据相关的标准文件,数据标准是一个从业务、技术、管理三方面达成一致的规范...
  • 发现数据质量问题 > 定义数据质量规则 > 质量控制 > 质量评估 > 质量优化。...数据治理包含“理”“采”“存”“管”“用”这五个步骤,即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。
  • 美团数据治理参考

    2021-02-24 16:51:55
    数据治理项目目标:通过建设一个专业数据治理平台,实现指标维度及数据的统一管理,也探索一套高效的数据治理流程。在建设起源数据治理平台的过程中,主要面临的挑战如下:起源数据治理平台应该在架构中的哪个位置...
  • 为了促进组织有效、高效、合理地利用数据,有必要在数据获取、存储、整合、分析、应用呈现、归档和销毁过程中,提出数据治理的相关规范,从而实现运营合规、风险可控和价值实现的目标。 一、术语 1.数据治理:数据...
  • 数据治理资料合集.zip

    2021-06-30 09:17:26
    IBM 数据治理统一流程 IT架构规划方法(规划培训精选) 中国银行核心系统总体介绍 大数据治理(高清PDF) 商业银行IT系统(原版) 万振龙:数据治理与大数据平台设计 银行ODS整体架构及实施案例-mdc 元数据管理(中国电信...
  • 数据治理怎么做?这篇万字长文终于讲清楚了!

    万次阅读 多人点赞 2018-10-27 13:53:01
    风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同...
  • 从技术到管理,从商业项目到公益项目,从风险管理到数据治理标准专家,在BSI带领团队高绩效增长,连续获得BSI创新奖,也曾获得2004年国内首届“十大IT女性”奖(工信部与妇女联合会、中国计算机杂志)。 早在...
  • 数据治理是一个对数据进行管控的过程,是对数据生命周期管理,包括数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据质量、数据安全以及数据共享服务等。数据治理的目标是打造一个全生命周期的数据...
  • 风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同...
  • 数据治理简介

    2021-03-10 15:02:36
    参考文章:数据治理到底能治什么,怎么治 1. 数据治理的背景 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据...
  • 数据治理问题

    2021-08-23 10:17:49
    笔者认为,数据产品可以分为工具类数据产品、业务分析类数据产品和管控治理数据产品三类,而工具类数据产品和业务分析数据产品市面上也开始趋近饱和,但管控治理数据产品其实是更高能力要求的一个细分工种,既...
  • 数据治理的内涵逐步泛化是业界共识 企业数据治理,涵盖数据发现可用、数据及时稳定产出、数据质量保障、...数据管理管理中,要保证一个组织已经将数据转换成有用的信息,这项工作所需要的流程和工具就是数据治理的工作
  • 作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。 导读:我们知道主数据项目的建设是一个循序渐进、持续优化的过程,不可一蹴而就。个人认为主数据管理项目从咨询规划到落地...
  • 数据治理小总结

    2021-04-08 10:55:36
      元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和...
  • 数据治理系列6:数据安全治理之道

    千次阅读 2019-08-17 10:37:07
    本文原创地址:https://mp.weixin.qq.com/s/5Ci4K2JvT9QGeJpCF93lTw,请手机扫描文章末尾的二维码,关注我们。...说到数据安全,不由得想起那些年做军工企业项目时的一些人和一些事。那是10年前——20...
  • 数据治理——主数据项目实施

    千次阅读 2020-04-10 09:18:38
    数据涵盖了元数据、引用数据、企业结构数据、业务结构数据二.传统的软件项目实施三.主数据项目四.主数据项目详细规划第一阶段(体系规划阶段)第二阶段:平台实施阶段五.核心步骤1.主数据的准备2.系统集成架构 一....
  • 这是一个系列文章,沉淀了我在数据治理领域的一些实践和思考。共分为5篇。分别是: 一、大数据治理:那些年,我们一起踩过的坑 主要讲讲数据治理工作中常见的一些误区。 二、要打仗,你手里先得有张地图:数据...
  • 数据治理平台

    2021-01-14 08:58:13
    一、数据治理功能模块 1、功能模块 元数据管理:包括元数据采集、血缘分析、影响分析等功能 数据标准管理:包括标准定义、标准查询、标准发布等功能 数据质量管理:包括质量规则定义、质量检查、质量报告等功能 ...
  • 最近接触到数据管理、数据治理、数据管控,三个数据相关的专业词汇,对于他们的理解,也是不断加深中。查资料的时候,碰巧看到一篇国家网信办的文章《试论加强数据治理能力的重要性》,从国家层面理解一...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,256
精华内容 5,702
关键字:

数据治理流程规范