精华内容
下载资源
问答
  • 数据治理工具

    千次阅读 2019-01-02 10:43:39
    Data Governance Tools - Evaluation Criteria, Big Data Governance, 内容: 前言 第一部分:导论: 1:数据治量简介 定义 案例分析 数据治理的支柱 摘要 ...数据治理工具 摘要 第...

    Data Governance Tools - Evaluation Criteria, Big Data Governance,

    内容:

           前言

           第一部分:导论:

           1:数据治量简介

                  定义

    案例分析

    数据治理的支柱

    摘要

           2:企业数据管理参考架构

    EDM类别

    大数据

    数据治理工具

    摘要

    第二部分:数据管理工具的数据

    3:商业词汇表

           Excel,CSV或XML格式的批量加载业务术语

           创建业务术语类别

           促进社会协作

           自动超链接嵌入式商业条款

           将自定义属性添加到业务术语和其他数据工件

           将自定义关系添加到业务术语和其他数据工件

           将自定义角色添加到业务术语和其他数据工件

           将业务术语和列名称链接到关联的参考数据

           将业务术语链接到技术元数据

           支持创建自定义资产类型

           标记关键数据元素

           提供OOTB和自定义工作流来管理业务条款和其他数据工件

           查看业务术语和其他数据工件的更改历史记录

           允许业务用户直接从报告工具链接到词汇表

           搜索商业条款

           将业务术语与关联的非结构化数据集成

           摘要

    4:元数据管理

           从数据建模工具中提取逻辑模型

           从数据建模工具中提取物理模型

           从关系数据库中提取元数据

           从数据仓库设备中提取元数据

           集成传统数据源中的元数据

           从ETL工具中提取元数据

           从报告工具中提取元数据

           在元数据工具中反映自定义代码

           从分析工具中提取元数据

                  将业务术语与列名相关联

                  从数据质量工具中提取元数据

                  从大数据源中提取元数据

                  提供有关数据沿袭的详细视图

                  自定义数据沿袭报告

                  管理元数据存储库中的权限

                  支持在元数据存储库中搜索资产

                  摘要

    5:数据分析

           进行柱分析

           发现列的值分布

           发现列的模式分布

           发现列的长度频率

           发现隐藏的敏感数据

           发现列中具有相似声音的值

           同意数据治理计划的数据质量维度

           制定与数据质量维度相关的业务规则

           与数据质量完整性维度相关的配置文件数据

           与数据质量一致性维度相关的配置文件数据

           与数据质量一致性维度相关的概况数据

           与数据质量同步维度相关的配置文件数据

           与数据质量唯一性维度相关的配置文件数据

           与数据质量的及时性维度相关的概况数据

           发现跨列的数据重叠

           发现列之间的隐藏关系

           发现依赖关系

           发现数据转换

           创建可以分析的虚拟联接或逻辑数据对象

           摘要

    6:数据质量管理

           将数据转换为标准格式

           提高地址数据的质量

           匹配并合并重复记录

           创建数据质量记分卡

           选择数据域或实体

           定义数据质量的可接受阈值

           选择要为特定数据域或实体测量的数据质量维度

           选择每个数据质量维度的权重

           选择每个数据质量维度的业务规则

           为给定数据质量维度中的每个业务规则分配权重

           将业务规则绑定到相关列

           查看数据质量记分卡

           突出显示与较差数据质量相关的财务影响

           进行时间序列分析

           管理数据质量例外

           摘要

    7:主数据管理

    定义MDM Hub消耗的业务术语

    管理实体关系管理

    主数据丰富规则

    管理主数据验证规则

    管理记录匹配规则

    管理记录合并规则

    查看杰出数据管理任务列表

    管理重复项

    查看数据管理仪表板

    管理层次结构

    提高主数据质量

    将社交媒体与MDM集成

    管理主数据工作流程

    比较主数据的快照

    提供主数据更改历史记录

    将MDM任务卸载到Hadoop以加快处理速度

    摘要

    8:参考数据管理

           建立代码表清单

    同意每个代码表的主值列表

    在主值和相关CodeTable之间构建简单映射

    在代码值之间构建复杂映射

    管理代码值的层次结构

    构建和比较参考数据的快照

    可视化参考数据快照之间的跨时间交叉验证

    摘要

    9:信息政策管理

    管理业务术语表中的信息策略,标准和流程

    管理业务规则

    利用数据治理工具监控和报告合规性

    管理数据问题

    摘要

     

    第三部分:企业数据管理与数据工具之间的整合

           10:数据建模:将逻辑和物理数据模型与元数据存储库集成

                  在元数据存储库中公开本体

                  使用数据发现工具对跨数据域的统一模式进行原型设计

                  建立数据模型以支持主数据管理摘要

           11:数据集成:使用数据集成以集成方式部署数据质量作业

                  在MDM或参考数据中心与源系统之间移动数据

                  利用数据集成工具使用的参考数据

                  将数据集成工具集成到元数据存储库中

                  通过利用元数据存储库自动生成数据集成作业

                  摘要

    12:分析和报告

    将数据分析结果导出到报告工具以进行进一步的可视化分析

    将数据工件导出到报表工具以实现数据治理指标的可视化

    将分析和报告工具与语义上下文的业务术语表集成

    摘要

    13:业务流程管理

    数据治理工作流应该利用BPM功能

    主数据工作流应该利用BPM功能

    数据治理工具应映射到BPM工具

    摘要

    14:数据安全和隐私

    确定隐私义务

    使用数据发现工具发现敏感数据

    标记元数据存储库中的敏感数据

    在生产环境中屏蔽敏感数据

    掩盖非生产环境中的敏感数据

    监视特权用户的数据库访问

    文档信息策略由数据屏蔽和数据库监视工具实现

    使用数据屏蔽工具可以执行的数据发现工具创建完整的业务对象

    摘要

    15:信息生命周期管理

    ILM工具实现的业务术语表中的文档信息策略

    发现可以通过ILM工具高效执行的完整业务对象

    摘要

    第四部分:大数据治理工具

    16:Hadoop和NoSQL

    在Hadoop中执行数据清单

    在Hadoop中分配数据的所有权

    在Hadoop中为Analytics提供语义层

    查看Hadoop内外数据的沿袭

    管理Hadoop的参考数据

    在Hadoop中本地配置数据

    在Hadoop中本地发现数据

    在Hadoop中本地执行数据质量规则

    将Hadoop与主数据管理集成

    Hadoop的端口数据治理工具可提高性能

    管理NoSQL数据库中的数据

    在Hadoop中屏蔽敏感数据

    摘要

    17:流计算

    使用数据分析工具来理解输入数据的样本集

    管理流计算应用程序使用的参考数据

    管理流计算应用程序使用的业务术语

    摘要

     

    18:文本分析

    大数据治理降低充血性心力衰竭患者的再入院率

    利用非结构化数据提高稀疏性质量

      填充结构化数据

    提取结构化数据中不可用的其他相关预测变量

    为关键业务术语定义一致的定义

    确保设施中患者主数据的一致性

    遵守隐私要求

    管理参考数据

    摘要

    第五部分 - 评估标准和供应商景观

           19:数据治理平台的评估标准

                  总拥有成本

    数据管理

    审批工作流程

    数据工件的层次结构

    数据治理指标

    云端

    摘要

    20:ASG

    ASG- metaGlossary

    ASG-Rochade

    ASG-becubic

    21:Collibra

    商业词汇表

    参考数据管理

    数据管理

    工作流程

    元数据

                 数据分析

     

           22:全球ID

    数据分析

    数据质量

    元数据

    23:IBM

    元数据

    信息集成

                 数据质量

    主数据管理

    数据生命周期管理

    隐私和安全

    24:Informatica

    数据分析和数据质量

    元数据和业务术语表

    主数据管理

    信息生命周期管理

    安全和隐私云

    25:Orchestra Networks

    工作流数据建模

    主数据管理

    参考数据管理

    商业词汇表

    26:SAP

    内存数据库数据

    质量和元数据管理

    主数据管理

    内容管理

    信息生命周期管理

    企业建模

    数据集成

     

    27:Talend

    扩展生态系统

    大数据

    数据集成

    数据质量

    主数据管理

    企业服务总线(ESB)

    业务流程管理(BPM)

    28: 着名的供应商

    Adaptive

    BackOffice Associates

    Data Advantage Group

    Diaku

    Embarcadero Technologies

    Global Data Excellence

    Harte-Hanks Trillium

    Oracle

    SAS

    附录A:缩略语列表

    附录B:术语表

    附录C:使用工具自动执行的潜在数据治理任务

    商业词汇表

    元数据管理

    数据分析

    数据质量管理

    主数据管理

    参考数据管理

    信息政策管理

    数据建模数据集成

    分析和报告

    业务流程管理

    数据安全和隐私

    信息生命周期管理

    Hadoop和NoSQL

    流计算

    文本分析

    索引

    展开全文
  • Atlas数据治理工具

    2020-07-28 14:02:40
  • 易智瑞不动产ETL数据治理工具,基于arcgis 10.4以上版本开发的arcgis不动产数据工具插件,里面包含安装使用手册、etl映射关系表示范、插件工具等
  • 数据治理里面最关键的元数据管理,元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义...


    数据治理里面较关键的元数据管理,元数据打通数据源、数据仓库、数据应用,记录了数据从产生到消费的完整链路。它包含静态的表、列、分区信息(也就是MetaStore);动态的任务、表依赖映射关系;数据仓库的模型定义、数据生命周期;以及ETL任务调度信息、输入输出等。

    元数据是数据管理、数据内容、数据应用的基础。例如可以利用元数据构建任务、表、列、用户之间的数据图谱;构建任务DAG依赖关系,编排任务执行序列;构建任务画像,进行任务质量治理;数据分析时,使用数据图谱进行字典检索;根据表名查看表详情,以及每张表的来源、去向,每个字段的加工逻辑;提供个人或BU的资产管理、计算资源消耗概览等。

    数据治理解决方案:

    WhereHows/Datahub

    WhereHows是LinkedIn开源的元数据治理方案。Azkaban调度器抓取job执行日志,也就是Hadoop的JobHistory,Log Parser后保存DB,并提供REST查询。WhereHows太重,需要部署Azkaban等调度器,以及只支持表血缘,功能局限。

    • Wherehows是独立于源系统的,即在部署上wherehows与hive、Azkaban等源系统是无关的,wherehows仅仅是从源系统抓取元数据,这些元数据可以分为数据集类和作业类,其中作业类就是指调度任务信息(从调度系统的数据库中抓取以及从日志服务器抓取),如Azkaban、Oozie的调度信息以及相关执行日志
      • 数据集类源系统:以Hive为例,wherehows从Hive的元数据库如MySQL中抽取元数据并存储在自身的元数据仓库中,从而最终可以从wherehows中查看Hive中的元数据信息,如Hive中有哪些Database、Database下有哪些表等。Wherehows不能直接得到数据集的血缘,wherehows中数据集的血缘是从相关作业的分析中得到的。
      • 作业类源系统:以Azkaban为例,假设运行hive或pig任务,则wherehows可以从Azkaban的元数据库中获取作业信息、并从JobHistory获取实际运行的Hive或pig的日志,并对这些元数据以及日志数据解析形成血缘。

    之后Linkedin根据了痛点和新的需求,重构了wherehows,目前datahub包括了四块,metadata, gms, etl, datahub。其中medata定义模型,gms基于模型生成服务,etl进行模型数据加工,datahub提供基于gms的元数据应用展现。
    linkedin datahub:
    https://github.com/linkedin/datahub

    Atlas

    Atlas是Apache开源的元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并提供数据资产的协作功能。
    altas
    架构包括5大部分:

    1. 存储部分:
      • Metadata Hbase:采用Hbase来存储元数据
      • Index store:采用Solr来建索引
    2. 提取元数据:metadata Sources,目前,Atlas支持以下来源提取和管理元数据:Hbase,Hive,Sqoop, Storm,Kafka。
    3. 应用层:
      • Admin UI:该组件是一个基于Web的应用程序,允许使用者发现和注释元数据,这里最重要的是搜索界面和类似SQl的查询语言,可用于查询Atlas管理的元数据类型和对象。
      • Ranger Tag Policies:权限管理模块
      • Business Taxonomy:业务分类
    4. 核心层:
      • (Ingest/Export)采集/导出:采集组件允许将元数据添加到Atlas。同样,导出组件将Atlas检测到的元数据更改公开为事件。
      • Type System:用户为他们想要管理的元数据对象定义模型。Type System称为“实体”的“类型”实例,表示受管理的实际元数据对象。
      • Graph Engine图形引擎:Atlas再内部使用Graph模型持久保存它管理的元数据对象。
    5. 融合层:
      • API:Atlas的所有功能都通过REST API向最终用户暴露,该API允许创建,更新和删除类型的实体。它也是查询和发现Atlas管理的类型和实体的主要机制。
      • Messaging:除了API之外,用户还可以选择使用基于Kafka的消息传递接口与Atlas集成。

    apache atlas:
    https://github.com/apache/atlas
    http://atlas.apache.org/

    Amundsen

    Amundsen是一个元数据管理的程序,可以将数据资产(物理表,元数据,用户资源代表,仪表板)可视化,同时建立索引并根据表的使用热度来支持页面上的元数据搜索,它包括三个微服务,一个图数据库,是一个公共库:
    Amundsen1
    1. amundsen frontendlibrary:前端服务,它是带有React前端的Flask应用程序,用于服务请求并充当元数据或搜索服务请求的中介。
    2. amundsen searchlibrary:利用Elasticsearch(默认情况下,搜索服务与ElasticSearch 6.x集成在一起,但也可以与Apache Atlas集成,后者与Solr提供类似的搜索功能。)的搜索功能的搜索服务用于增强前端元数据搜索。
    - 常规搜索:返回与给定搜索词和特定资源类型最相关的结果。
    - 类别搜索:筛选主要搜索词与给定元数据类别匹配的资源(例如,搜索database:hive),然后根据相关性返回与次要搜索词匹配的结果。
    - 通配符搜索:允许用户对不同资源执行通配符搜索。
    3. amundsen metadatalibrary:元数据服务,利用Neo4j或Apache Atlas作为持久层,默认持久层是Neo4j,以提供各种元数据。
    Amundsen2
    4. amundsen databuilder:用于构建元数据图和搜索索引的数据提取框架。使用Apache Airflow作为Databuilder的编排引擎。每个数据构建器作业都是DAG(有向无环图)中的一个单独任务。每种类型的数据资源都将具有单独的DAG,因为它可能必须以不同的时间表运行。
    amundsen3
    5. amundsen common:在Amundsen的所有微服务中保存着通用代码。

    Lyft Amundsen https://github.com/lyft/amundsen

    展开全文
  • 本文从更广泛的知识共享治理框架(一种管理共享知识、信息和数据资源的制度方法)方面描述了数据治理的挑战。 知识共享治理突出了有效的基于社区和集体的知识资源治理的潜力... 这两个概念都是有效数据治理的关键工具
  • 工具基于统一的整体架构,采用先进的、成熟的、可靠的技术与软硬件平台,保证基础数据平台系统易扩展、易升级、易操作、易维护等特性。 3) 可扩展性 随着新的业务需求的不断产生,支持基础数据模型、应用分析模型...
  • 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、...
  • 数据治理平台工具发展历程
  • 数据治理平台工具前世今生
  • 数据治理-工具-1-平台工具概述


    转载 https://blog.csdn.net/zhaodedong/article/details/101730629?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160436897119724838530992%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=160436897119724838530992&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2 blogfirst_rank_v1~rank_blog_v1-7-101730629.pc_v1_rank_blog_v1&utm_term=%E5%85%83%E6%95%B0%E6%8D%AE&spm=1018.2118.3001.4450

    前言

    伴随着企事业单位信息化不断的深入、各种技术持续的发展以及人们对数据治理的认知不断加深,数据治理工具在过去的20年也不断的发展,笔者以某世界500集团企业案例为原型,介绍数据治理工具发展及变迁及未来发展趋势和方向,供广大读参考。

    数据治理背景介绍

    狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理。

    数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。

    数据治理管理工具演变历程及各阶段特点

    在这里插入图片描述

    第一代数据治理工具-编码时代(起步期,1994-2004年)

    在这个时代里,企事业单位各种MIS系统得到较好的发展和应用,最典型莫过于是物资管理系统、进销存系统、PDM系统等信息系统。为了确保这些MIS系统各种编码好用,好查,避免一物多码情况的发生,一些大型集团企业在早期开发一些名叫“编码系统”“编码网站”等系统,这些系统主要发布主数据代码为主,配合某一单一的MIS系统应用为主,有的甚至在这些单一系统开发一个模块,如编码模块。这是数据治理工具最早期的工具,确保MIS中各种编码唯一性。

    以下为编码管理系统功能架构。
    在这里插入图片描述
    以下以物资编码管理系统为例,列举了物料编码系统功能点。
    在这里插入图片描述

    第二代数据治理工具-主数据管理时代(发展期,2005年-2011年)

    这个时代最典型是国内很多大型集团企业流行实施ERP系统,国外主流产品例如SAP ERP和Oracle EBS等产品,国内主流产品例如用友的U8、NC、金蝶的K3等。

    最早的是些外国ERP厂商推出MDM产品,例如Informatica、Oracle、IBM、SAP 、微软都采取了自有产品并提供主数据管理解决方案,集中管理单一版本的、完整的和可信任的主数据信息。这些产品具有企业级主数据存储、数据整合、数据共享、数据质量、数据治理5大功能。基于SOA架构的企业级应用。支持两种实施模式:即“推动模式(交易模式)”和“拉动模式(共享模式)”。

    主数据分发和交换主要采用企业服务总线(ESB)产品,较多使用国外主流IT厂商产品,例如:微软的BizTalk、IBM WAS 、 Oracle OSB 、SAP XI(后来叫PI/PO)等。采用SOA, B/S架构,主要为ERP等经营管理系统服务。
    在这里插入图片描述
    某国际厂商主数据管理解决方案涵盖主数据建模、数据导入、数据分发、数据查重、数据校验、数据完善、数据创建流程等企业主数据管理的各个方面。提供基于行业标准的模型建模语言,供客户快速定义主数据创建或审批流程,支持并行和串行流程,并提供强大的流程分析报表,帮助企业提高流程效率。同时提供Java/.Net/Web Service等多种API,满足和企业内其他系统集成的需求。该主数据管理解决方案可通过数据校验、数据查重和数据合并等手段,有效的提高企业主数据的质量。同时提供可选的组件Data Quality,提供深度的数据质量校验功能,如根据中国邮政名址库进行客户地址校验更正,提高地址的质量。

    系统集成平台采用总线的方式进行设计和搭建,总线的方式最适合大规模、多系统的场景下系统集成的需求。
    在这里插入图片描述
    通过实施主数据管理系统,推动主数据(如:客户、供应商、产品、员工等)管理规范化、标准化,从而实现整个企业范围内主数据的统一管理、集中维护,并且实现这些主数据与各个关联业务系统的协同和分发,保证企业在异构环境中各个信息系统具有统一、准确、高质量的主数据,从而推进业务流程的改进,提高生产力。

    第三代数据治理工具-数据标准化时代(成熟期2012-2018年)

    随着大数据技术应用以及智能工厂(车间)建设,企业的信息信息系统越来越多,尤其生产制造领域系统越来越普及深入,主数据服务不仅仅只是限于以ERP为核心的经营管理层面的系统。在这个时代,最典型的以MES为核心的智能制造系统也提出更高需求。“集中集成,创新提升,共享服务,协同智能”成为主旋律。

    数据的集成和共享是其重要的特点,更是强调数据的标准和统一。数据标准化、规范化是实现信息集成和共享的前提,根本上消除各业务系统的“信息孤岛”。

    “独立、自主、安全、可控”在某些领域和行业提出国产化的需求,去IOE的浪潮一浪盖过一浪。很多大型集团企业开始采用开源技术独立开发数据治理工具, 采用微服务架构,满足MES、PLM等多个层面数据共享需求, 内容扩展增加了动态建模、移动应用,生产层面的主数据、数据指标、多语言等功能。数据交换平台逐步采用国内自主ESB相关产品

    第四代数据治理工具-数据治理时代(展望期,2018年-至今)

    近年来,随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。对内和对外系统提供云服务。

    数据治理的目标是提高数据的质量(准确性和完整性),保证数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升政务单位信息化水平,充分发挥信息化作用。
    在这里插入图片描述

    数据治理管理工具功能架构

    数据治理管理工具用于落实数据管理体系,实现数据管理自动化,提高数据管理效率,确保数据质量、实现安全数据共享。主要包括数据门户地图、主数据管理、数据指标、元数据管理、数据模型工具、、数据交换与服务工具、数据资产管理、数据开发、数据质量管理、数据安全。
    在这里插入图片描述

    展开全文
  • 这种方法在一定程度上会容易让人盲目依赖于使用数据治理工具去实现目标,而它的实际含义是需要关注于建立并清晰定义所需要的角色、职责、政策和流程。  数据治理  使用合理的管理措施能够产生一致的信息和使用...
  • 时序数据处理应用于物联网、车联网、工业互联网领域的过程数据采集、过程控制,并与过程管理建立一个数据链路,属于工业数据治理的新兴领域。从工具维度看,时序数据处理工具与传统时序数据库的差异很...
  • 数据治理系列1:数据治理框架【解读分析】

    万次阅读 多人点赞 2019-05-08 14:58:56
    作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。 一、什么是数据治理? 维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会...
  • 数据治理、数据标准相关的小工具 随着技术的不断进步,一些大公司、金融行业,很多业务操作都线上化,因而产生的数据就会越来越多,但各业务系统的数据库都是各自为政,数据标准,表字段的命名,元数据都不一样,...
  • 数据治理

    千次阅读 2019-07-29 21:44:48
    数据治理是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核等内容。 “数据治理是目前一个比较新兴的、正在发展的学科...
  • 数据治理概念 数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合,以保障数据及其应用过程中的运营合规、风险可控和价值实现。 从使用零散数据变为使用统一数据...
  • 一、数据治理概述 2 (一) 数据治理概念 2 (二) 数据治理目标 2 二、数据治理需求分析 2 三、数据治理体系建设 4 (一) 数据治理管控机制 4 (二) 数据治理核心域 9 (三) IT工具支撑 14 (四) 数据治理管控宣介 16 (五) ...
  • 数据治理怎么做

    2019-01-18 13:47:22
    数据治理不仅需要完善的保障机制,还需要理解具体的治理内容,比如我们的数据该怎么进行规范,元数据又该怎么来管理,每个过程需要哪些系统或者工具来进行配合呢?这些问题都是数据治理过程中最实际的问题,也是最...
  • 今天准备再谈下数据治理以及对数据治理框架的初步思考。 实际上我在前面谈数据中台和主数据管理的时候多少谈到过数据治理和数据资产管理方面的内容,但是更多的都是从IT系统和功能层面来谈数据治理需求的最终实现。...
  • 数据治理资料合集.zip

    2021-06-30 09:17:26
    数据治理方法论及实践 数据治理与大数据平台设计 E时代大数据安全治理解决方案 2020工业数据治理是企业实现数据资产价值变现的唯一途径 大数据安全威胁与防范对策(公开版) 大数据安全之系统最佳实践 大数据时代的...
  • 数据治理系列2:元数据管理—企业数据治理的基础

    万次阅读 多人点赞 2019-05-13 20:11:04
    导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元...元数据管理是企业数据治理的基础。 认识元数据 元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据...
  • 数据治理问题

    2021-08-23 10:17:49
    笔者认为,数据产品可以分为工具数据产品、业务分析类数据产品和管控治理数据产品三类,而工具数据产品和业务分析数据产品市面上也开始趋近饱和,但管控治理数据产品其实是更高能力要求的一个细分工种,既...
  • 本解决方案建议组织围绕数据治理核心域、数据治理管控机制、IT工具支撑、数据治理宣介以及数据治理实施路线规划五个方面展开构建数据治理体系
  • Apache Atlas 数据治理-血缘关系工具

    千次阅读 2021-02-25 14:20:09
    1 Atlas是如何实现数据溯源的? Atlas主要通过Hook方式让Hive将元数据信息通过Apache Kafka传送过来。 Atlas使用了JanusGraph[2]做图数据存储引擎。借助JanusGraph,数据血缘关系主要通过图的形式进行存储在Hbase中...
  • 部分内容摘自 【成于微言】的微信公众号文章(来源:帆软数据应用研究院 作者:汪建辉),关于数据治理的思考来自于之前七年多的银行信贷科技从业经验,因为是在乙方,所以接触的银行相对多一些,做如下思考的分享:...
  • 作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。一、什么是数据治理?维基百科:数据治理对于确保数据的准确、适度分享和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 39,875
精华内容 15,950
关键字:

数据治理工具