精华内容
下载资源
问答
  • 互联网企业数据治理技术实践.pdf
  • 来源:数据工匠俱乐部企业需要协调多个提供和使用数据的参与方之间发生的复杂关系,由于企业缺乏数据治理可能导致数据滥用/误用等破坏性后果,并导致市场失灵。传统的数据治理侧重于...

    来源:数据工匠俱乐部

    企业需要协调多个提供和使用数据的参与方之间发生的复杂关系,由于企业缺乏数据治理可能导致数据滥用/误用等破坏性后果,并导致市场失灵。传统的数据治理侧重于数据的内部控制,对互联网企业数据治理的研究尚处于起步探索阶段,而企业需要一个参考模型来支持正确的数据战略,但目前还没有特别好的数据治理理论模型作支撑。

    本文为互联网企业提出了数据治理策略,为了保证数据的有效管理和使用,企业需要制定并执行数据治理策略。笔者调查了部分互联网企业的实践案例并查阅了治理框架和文献,本文通过展示如何执行已识别的策略,向实践者提供了一些想法和考虑。

    背景


    2018年,Facebook Cambridge Analytica 丑闻被公开披露,许多新闻报道称这一事件严重影响了Facebook的股价和声誉。2008年也发现了类似的案例,一个研究项目组从Facebook上收集了1700个用户资料,然后公开了这些数据。2006年发生了一起美国在线的案例,美国在线向公众公布了用户的搜索日志数据,这些数据在披露后不久就被确认为个人身份信息(PII)数据,美国在线没有公开任何PII数据,然而,由于日志数据是由用户分类的,并且提供了大量的个人信息,因此很容易将其转换为PII数据。这3起事件都是因为数据治理出现了问题,比如数据的未经授权使用和数据使用中控制机制的缺失。

    目前,互联网企业的数据治理尚不成熟,缺乏对谁拥有或使用非用户内容(如日志或关键字)的明确定义,数据的使用方式、时间和使用者都不清楚。这是互联网企业数据治理的一个关键性挑战,为了平台所有者和用户之间的信任以及业务的成功,这一问题应该得到解决。现有行业治理策略和学术著作的分析大多数是针对传统企业的,而互联网企业的数据治理仍处于相对萌芽的阶段。

    策略制定的关键原则


    数据治理必须找到对以下两个问题的答案:需要做出哪些策略?哪些角色以及这些角色应该如何参与策制定过程?

    本文集中于第一个问题即需要做出哪些策略,以确定关键的数据治理领域,数据治理策略通常建立在基本原则之上,这些基本原则为所有策略提供了一套指导方针和考虑因素。

    2.1 与企业战略保持一致

    业务目标影响数据治理的方向和设计,数据治理目标应与业务目标和更高级别的治理目标保持一致,以最大化互联网企业的价值。如果一个互联网企业宗旨在提高用户满意度,它需要严格的控制机制来提高数据质量。

    角色、收入共享、信任和控制是平台治理的关键职能。数据治理中的角色指的是一种责任明确的数据所有权形式,它允许互联网企业保护数据和数据所有者/使用者的权利。收入共享要求平台所有者应该考虑对数据贡献者的奖励。信任被认为是成功的先决条件,为了提高信任,数据使用的高透明度在数据治理中至关重要,可以通过与平台用户共享决定权来增加信任。否则,必须由平台所有者实施严格的控制机制,并且决策的结果或过程必须向所有用户开放。

    2.2 考虑所有参与者

    在传统的数据治理中,数据管理有简单明确的角色,如创建存储、更新、归档和删除,而互联网企业的数据治理则需要处理多个方面之间复杂的关系。

    互联网企业的参与者由平台所有者(包括平台发起人、协调人和提供者的角色)和平台用户(供应侧和需求侧用户)组成,所有参与者在互联网企业的数据治理中都扮演着关键的角色。因此,治理政策应同样适用于所有当事人,以便对每个人都适用,每一个用户都应该得到同样的机会和可获得性,因为它会带来更多的参与和想法,最终会带来新的创新。

    这一原则使互联网企业能够开发出现实的数据治理策略,该策略应传递给所有用户。如果一个互联网企业需要更多的参与和信任,平台所有者可以给用户更多的机会以某种方式加入决策过程,帮助互联网企业从各方的角度设计和实现数据治理。

    2.3 覆盖所有类型的数据

    互联网平台数据是从各种来源收集的,比如人或系统。互联网企业通常关注用户内容,在数据治理的策略过程中,其他类型的数据常常被忽略,由此可能导致不明确和不完整的治理策略。

    互联网企业通常关注隐私法来保护个人身份信息(PII)数据,而PII和非PII并不是不可变的,非PII数据可以通过组合额外信息(如美国在线数据泄漏案件)成为PII数据。因此,必须强调非用户内容对于安全平台的重要性。除此之外,非用户内容的价值因为广告而增加,而广告是大多数互联网企业的主要收入来源。非用户内容如服务使用信息(如日志)被互联网企业用于定向广告,有针对性的广告机制显示了这些数据是如何通过无形和隐藏的市场使用的。

    我们越来越担心数据滥用和侵犯隐私的道德问题,为了降低风险,互联网企业的数据治理应该考虑如何为互联网企业中的所有类型的数据建立可见的供应链。

    2.4 考虑不同的条件和环境

    一个尺码的鞋子,不可能适合所有人的脚,否则就会出现削足适履的笑话。企业必须考虑自身不同的业务策略、目标和市场监管要求。该原则提供了这样一种思想,即可以基于平台的背景灵活的制定数据治理策略。

    例如,苹果公司和Facebook在控制机制上明确显示了不同的治理策略。苹果的目标是提供高质量的服务,因此它通过人工审核进行严格控制。相比之下,Facebook则不受任何限制地允许用户输入任何内容,因而控制松散。治理策略常常导致严重后果,facebook分析丑闻就是一个例子,因为Facebook允许应用程序收集用户数据(甚至朋友的数据)以获得更高的市场份额和收入,数据误用或滥用和侵犯隐私的风险增加很多。与此相反,苹果公司的政策不允许应用程序收集用户数据,并限制使用用户数据的广告。

    数据治理关键领域


    640?wx_fmt=png

    图1 数据治理关键领域及关系

    3.1 监管环境

    这个领域的策略是“应该考虑哪些法规、特定的政策、标准和指导方针?”和“监管环境如何影响数据的使用?”

    对于第一个策略,必须确定外部法律要求和内部政策以及合同协定。例如互联网企业处理个人信息,如姓名或地址时,应该考虑“2017年6月1日起施行的《中华人民共和国网络安全法》”来确定法律要求。

    必须确定外部/内部合规要求,制定合规目标并对其进行审核。数据的使用应在法律允许的情况下予以确认,特别是当数据被取出并可能传播以供二次使用时,必须检查数据是否满足开放策略要求。所有这些流程必须由第三方进行审计,以避免偏见或利益冲突,并保持互联网企业的透明度。

    3.2 数据所有权和访问定义

    这个领域指的是“谁拥有和使用互联网企业中的数据?”,一直是平台设计的核心概念。这些策略使互联网企业能够明确所有相关用户的角色、责任和对数据的全部权利。

    所有类型数据的数据所有权和访问权都需要被明确的定义和执行,为了支持实施并保持执行结果的完整性和一致性,有必要与其他领域协作。应使用在数据用例域中定义的所有数据类型的数据分类。数据所有权和访问定义的清晰性得到了提高。必须使用监管环境领域中确定的相关法规来开发数据所有权/访问权的策略模型。如前所述,该决定应根据相关法规、法律或法院案件做出。

    定义清晰的访问权限有助于提高平台的透明度,利益相关者应采用某种方法提供适当的信息和安全。然而,数据贡献者对数据的可访问性可能受到互联网企业策略或背景的限制。出于安全原因,平台禁止用户访问最后一个密码。治理策略者需要为互联网企业中的每一种数据类型考虑这种特定的背景。笔者建议一个贡献、拥有和访问(COA)矩阵来支持和简化这种复杂的情况。它允许用户清楚地了解哪些数据可以拥有/访问(或不可以访问)的定义,并正确地使用数据的合法权限。

    表1 COA矩阵的使用示例

    640?wx_fmt=jpeg


    3.3 数据用例

    对于互联网企业来说,如何利用数据是赢得市场的关键。因此,有一系列的问题,如“收集了哪些类型的数据以及数据对业务的用途是什么?”及“如何在不失去控制的情况下使用数据?”应该在这个领域解决。

    为了支持策略,定义数据分类可以很好地理解不同类型的数据,因为互联网企业从各种来源收集数据。大多数数据来自用户上传的内容,如视频、图像或用户信息(人为数据)。当用户使用平台服务时,平台系统会留下日志、搜索关键字或位置(机器生成的数据)等数据,这种类型的数据通常称为服务使用信息。数据也可以通过系统流程和事务,引用表或交互收集。应该考虑所有类型的数据,并将其包含在数据分类中。

    举个例子,我们通过分析策略来确定Facebook的数据分类的三个层次。第一个层次包括用户资料(来自人)和服务使用信息(来自机器和流程),第二个层次分为8类(分别为6类和2类),最后一层的数据分类包括70多种类型的数据。

    表2 Facebook数据分类

    640?wx_fmt=jpeg

    此外,企业需要根据业务目标决定收集数据的适当数据用例,用例必须包含可以使用的数据类型的信息,帮助平台检测和防止数据供应链中未经授权的数据使用。数据使用的监控应该基于已定义的用例信息来实现,以供可见和可靠的数据使用。数据来源允许平台保留关于数据的所有活动,识别所有相关的涉众,并防止拒绝数据操纵,当存在多个所有权问题时,可以使用它准确地度量数据提供者的贡献。

    3.4 贡献测量

    互联网企业的成功与否取决于参与者的贡献,因此,收益共享是互联网企业的关键治理理念之一。许多研究指出,互联网企业应该考虑诸如“数据的业务价值是什么?”和“数据所有者的贡献需要什么奖励?”等问题,鼓励用户的贡献,分享互联网企业成长的收益。

    每一个参与团队都希望得到即时的回报或未来的利益,第一步是确定与业务成功相关的贡献度量模型的具体参数。根据互联网企业的业务类型,参数可以是多种多样的。Facebook或YouTube等一些平台通常依赖广告,并通过用户内容增长,上传的内容对于吸引其他用户和达到临界质量起着重要作用。由于有针对性的广告,用户偏好、喜欢程度和关联群组也很有价值。同时,对于Uber等不同类型的商业平台来说,服务提供/购买的数量或数量是最重要的,因为该平台向用户收取服务费。

    下一步,应该为用户确定合适的奖励类型。有3种主要类型的奖励可以被普遍认为是激励贡献者:曝光、补贴(例如以广告收入共享形式的直接现金转移、信用、实物、免费信息或技术支持)和声誉。

    根据互联网企业的能力和背景,不同类型的奖励可以单独使用,也可以组合使用。补贴被认为是私募股权投资的重要启动策略之一。然而,对于谷歌等占主导地位的互联网企业来说,敞口可能是一个不错的选择,因为它的边际成本为零,但却为受益者提供了巨大的优势。下图显示了贡献度量管理的概念。

    640?wx_fmt=png

    图2 贡献评估管理


    确定奖励的受益者可以很简单,也可以很复杂。如果只有一个贡献者,那么贡献度量将非常简单。同时,使用派生数据(聚合或转换的数据)可能导致度量问题,因为数据可能包含复杂的所有权结构。数据来源管理(数据用例域)有助于解决这个问题,它允许平台识别所有相关的涉众,并通过保存数据使用的所有记录来准确地度量每个数据所有者的贡献。

    总结


    理论上重要的治理策略在现实世界中得到了解决,在互联网企业的数据治理中发现了四个策略(监管环境、数据所有权/访问权、数据用例和贡献度量)的实现。在此基础上,互联网企业可以根据自身情况灵活调整或改进数据治理策略。


    作者 简介

    李然辉,1982年9月出生,从事IT行业13年以上,其中拥有数据治理及数据资产管理6年从业经验,获得数据管理专业认证(CDMP),拥有丰富的数据战略规划、数据管理能力成熟度评估、数据治理体系搭建、数据标准管理、企业数据模型设计、数据仓库构建与数据应用等领域的理论和实践经验,先后为政府、能源、金融、互联网等行业提供服务,近几年专注于数据资产价值评估领域研究,拥有扎实的理论和实践经验。


    展开全文
  • 本文件以数据全生命周期的安全治理能力建设为切入点,关注数据安全治理要点和关键环节的建设情况,梳理治理能力级别并分级制定考核指标,以对电信互联网企业数据安全治理能力进行度量,为企业不断提升数据安全治理...
  • “大数据”是从英语“Bigdata”一词翻译而来,过去常说的“信息爆炸”、“海量数据”等等已经不足以描述这个新出现的现象,“大数据”一说就在近几年崭露头角,并首先为全球各大IT企业所重视。这些企业基于自身的...

     “大数据”是从英语“Bigdata”一词翻译而来,过去常说的“信息爆炸”、“海量数据”等等已经不足以描述这个新出现的现象,“大数据”一说就在近几年崭露头角,并首先为全球各大IT企业所重视。这些企业基于自身的商业目标,对“大数据”做出了各种解释,其中有一条已成共识:“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。”



    数据中心作为企业核心运营的承载者,其地位正在变得愈发重要。面对成本快速增加、资源管理日益复杂、信息安全遭受挑战、能源危机等尖锐问题,数据中心将呈现出以下三个趋势:


    1、当IT应用随需而变并与业务密不可分时,用户对于可靠性和可用性的要求也日益提升,数据中心正往专业化、整合化的趋势发展,越来越多的企业不再自建数据中心,而是选择专业的数据中心服务商;


    2、数据中心正在采取更节能、高效的技术,数据中心整体PUE逐年降低,专业的数据中心服务已经开始在数据中心运维时发出EMC(能耗管理合同),发改委等已开始组织编制数据中心单位能耗限额和评估规范,小型数据中心将面临更大的节能挑战;


    3、云计算作为未来信息服务体系的核心,其全新的服务方式为企业和个人用户带来了革命性的体验,未来数据中心将更多地通过软件定义、人工智能、机器人等技术手段,应用到数据中心的管理之上。


    数据整合保证企业生命力

    对于拥有大量数据的企业来说,要获得精确的企业信息,确定企业的准确发展方向,就更需要对企业的数据进行整合。在企业进行信息化的同时,数据已经成为决定企业命运的关键。对海量数据进行实时、有效的整合,将能够保证企业拥有强劲的生命力。


    数据整合的目标是使得数据具备一致、标准的格式,便于交换。必须能够对分散异构信息资源系统实现无缝整合,并在新的信息交换与共享平台上开发新应用,实现信息资源的最大增值。


    中国蓬勃发展的信息化浪潮对数据整合也有着极大的需求,也有着极为可观的市场。中国有着信息化工作的后发优势,因此企业的数据整合将比其他国家要容易得多,在中国的数据整合将对企业的战略有极其重要的意义和影响。


    数据整合开启未来企业之路

    数据整合将改变原有的以部门和项目为中心的信息孤岛局面,从而能够实现企业级的整合。原有的部门级、以项目为中心的企业运作方式,将可能使得企业各个项目的使用技术不尽相同,也使得项目的进度依赖于开发人员的编码效率,从而使得整个企业的效率低下。


    进行企业级的数据整合之后,就能够在企业内部统一技术架构和标准,充分发挥团队协作的效率。而整合无疑需要准确的理论指导和实践方法。


    同时,数据整合也可以实现跨企业的数据交互、共享和整合,使得企业间的协作能力大大增强,能够构造出一个“整合的大世界”。

    通过由数据整合公司进行的数据移植、数据仓库、元数据管理等,将能够使得企业的数据整合成本大大下降。在企业的数据充分整合之后,企业便可以进行相关的处理,包括商务智能、知识管理等方面的工作。越来越多的企业领导者认识到数据规范化、数据整合的必要性。


    政府相关部门正在积极推动电子政务的建设,旨在提高政府办公效率,提高政府的应急响应能力,提高政府宏观决策水平。其他各个行业的企业也在积极推动企业范围内的资源和服务整合,旨在获得准确的数据事实依托,从而更好的制定企业发展的战略目标。


    可以说,数据整合已经成为未来企业进一步发展的必经之路,企业需要进一步的发展和提高,就需要进行数据整合。而采用合适的方案进行数据整合,就是为企业的未来在做准备。

    展开全文
  • 全球数据治理态势与中国应对方案 国际研究机构数据安全治理框架权威解读 【业内权威】数据安全治理建设指南 XX省大数据局数据安全治理解决方案.doc 头部顶尖厂商数据安全治理解决方案 数据安全治理服务目录及工作量...
  • 数据治理概念分析,数据安全治理理念,行业数据主要分类介绍,行业数据典型应用,电信和互联网行业数据安全发展形势,电信和互联网行业数据安全治理环境,电信和互联网行业数据治理需求和数据安全治理实践、电信和...
  • 本白皮书聚焦行业数据安全治理,首先,对数据治理、数据 安全治理的内涵,以及行业数据主要分类、典型应用、安全发展 形势进行了简要阐述和分析;其次,在梳理国内外数据安全治理 环境的基础上提出行业数据安全治理...
  • 日前,在2021中国互联网大会——数据治理高峰论坛上,中国信通院发布了《数据安全治理实践指南(1.0)》(以下简称“指南”)。 由于数据本身具有流动性、多样性、可复制性等不同于传统生产要素的特性,数据安全...
  • 作者丨石秀峰全文共5079个字,建议阅读需15分钟1、找症状,明确目标任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数...

    作者石秀峰

    全文共5079个字,建议阅读需15分钟

    1、找症状,明确目标

    任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。

    由于这些数据问题的存在对业务的开展和业务部门之间的沟通造成了较大的困扰,产生了很大的成本;各异构的系统中数据不一致,导致业务系统之间的应用集成无法开展;数据质量差无法支撑数据分析,分析结果与实际偏差较大。然而要实现数据驱动管理、数据驱动业务的目标,没有高质量的数据支撑是行不通的。

    目标:企业实施数据治理的第一步,就是要明确数据治理的目标,理清数据治理的关键点。

    技术工具:实地调研、高层访谈、组织架构图。

    输入:企业数据战略规划,亟待解决的业务问题,经营发展需求,业务需求等;

    输出:数据治理的初步沟通方案,项目任务书,工作计划表;

    2、理数据,现状分析

    针对企业数据治理所处的内外部环境,从组织、人员、流程、数据四个方面入手,进行数据治理现状的分析。

    某企业数据治理痛点分析

    组织方面:是否有专业的数据治理组织,是否明确岗位职责和分工。

    人员方面:数据人才的资源配置情况,包括数据标准化人员、数据建模人员,数据分析人员,数据开发人员等,以及数据人才的占比情况。

    流程方面:数据管理的现状,是否有归口管理部门,是否有数据管理的流程、流程各环节的数据控制情况等;

    数据方面:梳理数据质量问题列表,例如:数据不一致问题,数据不完整,数据不准确、数据不真实、数据不及时、数据关系混乱,以及数据的隐私与安全问题等。

    目标:分析企业数据管理和数据质量的现状,确定初步数据治理成熟度评估方案。

    技术工具:实地访谈、调研表、数据质量问题评议表、关键数据识别方法论(例如:主数据特征识别法);

    输入:需求及现状调研表、访谈记录、数据样本、数据架构、数据管理制度和流程文件;

    输出:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估方案;

    3、数据治理成熟度评估

    数据治理成熟度反映了组织进行数据治理所具备的条件和水平,包括元数据管理、数据质量管理、业务流程整合、主数据管理和信息生命周期管理。

    CMMI DMM数据管理能力成熟度评估模型

    数据治理成熟度评估是利用标准的成熟度评估工具结合行业最佳实践,针对企业的数据治理现状进行的客观评价和打分,找到企业数据治理的短板,以便制定切实可行的行动方案。数据治理成熟度结束后形成初步的行动方案,一般包括数据治理战略,数据治理指标,数据治理规则,数据治理权责。数据治理愿景和使命是数据治理的整体目标;数据治理指标定义了数据治理目标的衡量方法;数据治理规则和定义包括与数据相关的政策、标准、合规要求、业务规则和数据定义等;权利和职责规定了由谁来负责制订数据相关的决策、何时实施、如何实施,以及组织和个人在数据治理策略中该做什么。

    目标:结合业界标准的数据治理成熟度模型,根据企业管理和业务需求进行数据治理成熟的评估,形成初步的数据治理策略和行动路线。

    技术工具:数据治理评估模型,例如:DCMM,CMMI DMM,IBM数据治理成熟度评估模型等;

    输入:第2步的输入以及数据治理评估模型、数据治理评估工具(评估指标、打分表等);

    输出:数据治理评估结果,数据治理策略,初步的行动方案;

    4、数据质量问题根因分析

    数据治理的目的是解决数据质量问题提升数据质量,从而为数据驱动的数字化企业提供源动力,而提到数据质量问题,做过BI、数仓的同学一定知道,这是一个技术和业务“经常打架”相互推诿的问题。

    某企业数据问题根因分析鱼骨图

    产生数据质量问题的原因有很多,有业务方面的、有管理方面的、也有技术方面的,按照80/20法则,80%的问题是由20%的原因造成起的。所以,如果能够解决这20%的问题,就能得到80%的改进。

    目标:分析并找到数据质量问题产生的根本原因,制定行之有效的解决方案;

    技术工具:头脑风暴、5W1H、SWOT、因果(鱼刺)图、帕拉图等;

    输入:数据问题列表、数据U/C矩阵、数据治理现状分析报告、数据治理评估结果;

    输出:数据质量评估结果、对业务的潜在影响和根本原因。

    5、业务影响及实施优先级评估

    通过数据治理成熟度评估,从组织、流程、制度、人员、技术等方面找到企业在数据治理的待提升的领域和环节,再通过数据质量根因分析找到数据质量问题发生的根本原因,进一步明确了数据治理的目标和内容。再接下来,就需要确定数据治理策略,定义数据治理的实施优先级。

    某企业主数据治理实施优先级评估

    不同的数据治理领域解决的是不同的问题,而数据治理的每个领域都有它的实施难点,对企业来说,需要从业务的影响程度,问题的紧急程度、实施的难易程度等多个维度进行分析和权衡,从而找到符合企业需求并满足企业发展的方案。

    目标:确定数据治理核心领域和支撑体系的建设/实施优先级;

    技术工具:四象限法则(分别从业务影响程度/实施难以程度,问题重要程度/问题紧急程度绘制优先级矩阵)、KANO模型

    输入:数据治理成熟度能力评估结果、数据质量问题根因分析结果;

    输出:数据治理实施优先级策略

    6、制定数据治理行动路线和计划

    路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变化的步骤或技术相关环节之间的逻辑关系。路线图是一种目标计划,就是把未来计划要做的事列出来,直至达到某一个目标,就好像沿着地图路线一步一步找到终点一样,故称路线图。

    某企业数据治理实施路线图

    企业数据治理的实施路线图的制定是以企业数据战略——愿景和使命为纲领,以急用优先为原则,以分步实施为策略进行了整体设计和规划。实施路线图主要包含的内容:分几个阶段实施,每个阶段的目标、工作内容、时间节点要求、环境条件等。笔者观点:任何一个企业的数据治理都不是一蹴而就,一步到位的,需要循序渐进、持续优化!实施路线图就是基于此产生的,因此说数据治理实施路线图也是说服利益相关者支持的一个重要手段。

    目标:确定数据治理的阶段以及每个阶段的目标;

    技术工具:路线图法

    输入:数据治理成熟度能力评估结果、业务影响及实施优先级评估结果;

    输出:数据治理实施路线图或称阶段目标计划

    7、制定数据治理详细实施方案

    数据治理详细实施方案是用于指导主数据的各项实施工作,一般包括:数据治理核心领域、数据治理支撑体系、数据治理项目管理三个方面。

    数据治理总体框架图

    数据治理核心领域包括:数据架构、数据服务、元数据管理、数据质量管理、数据标准管理、主数据管理、数据安全管理、数据生命周期管理。

    数据治理支撑体系包括:组织(组织架构、组织层次、岗位职责)、制度(管控模式、规章制度、考核机制)、流程(归口部门、管理流程、流程任务等)、技术(数据集成、数据清洗、数据开发、数据应用、数据运营、支撑平台、实施方案等)。

    数据治理项目管理方案包括:项目组队、项目计划、质量保证计划、配置管理计划、培训和售后等。

    关于数据治理的核心领域,详见笔者之前分享的数据治理框架解读系列文章。

    关于数据治理的支撑体系,详见笔者之前分享的数据治理成功关键要素系列文章。

    目标:基于数据质量根因分析、业务影响和实施优先级评估结果,制定详细实施方案;

    输入:业务影响及实施优先级评估结果,行动路线和计划;

    输出:数据治理详细实施方案。

    8、数据治理实施过程控制

    数据治理实施过程控制是对数据治理项目的范围控制、进度控制、质量控制和成本控制,通过对企业的各项资源的合理协调与利用,而达成的数据治理目标的各种措施。从项目管理的角度来讲也是项目管理的黄金三角:范围、时间、质量、成本。

    任何项目的质量和进度是需要良好的项目管理来保证的,数据治理也一样。与传统的软件工程项目不同,数据治理项目有着范围边界模糊、影响范围广、短期难见效、实施周期长等特点:

    ①范围边界模糊,数据治理涉及到的关键领域如元数据管理、数据质量管理、数据标准管理、主数据管理等很多是存在交叉的,边界很难界定,例如:实施数据质量管理项目,会涉及元数据管理、数据标准管理等,同样一个元数据管理项目也会涉及数据标准和数据质量。

    ②影响范围广,数据治理的实施不是一个部门能够完成的,是需要从高级管理层、到各业务部门、信息部门通力协作,共同完成的;

    ③短期难见效,数据治理项目实施完成后,其数据治理的效果被每个业务点滴操作所“稀释”,并不像其他项目,例如BI,那样明显的体现出来,所以主导数据治理的部门会经常遭到质疑。

    ④实施周期长,在没有清晰的数据治理目标和范围约定的情况下,数据治理是一个“无底洞”。所以,在实施数据治理项目之前制定好实施路线图和详细的实施方案就显得格外重要(第6、7步)。

    目标:通过对数据治理项目实施过程的进度控制、质量控制和成本控制以实现数据治理的目标;

    技术工具:PP(项目计划)、PMC(项目控制)、IPM(集成项目管理)、RSKM(风险管理)——CMMI过程域;

    输入:6-7步的输出:数据治理实施路线图,数据治理详细实施方案;

    输出:各项项目控制措施,例如:项目计划、SOW、项目风险列表、项目报告、项目总结等;

    9、监控评估数据治理实施效果

    随着大数据技术的不断发展,应当从企业的全局数据治理环境的角度,明确数据治理关键技术运用及其标准规范,构建成效评估指标体系,进行治理效果评价;并运用数据治理能力成熟度模型再次评估,界定数据管理层次,从而使得跨系统、跨业务、跨部门的数据治理体系的建设与实施能够通过各方协作顺利进行,实现卓越数据治理,进而通过数据驱动业务、数据驱动管理和运营以实现企业的降本、增效、提质、创新。

    某企业数据治理看板(数据已脱敏)

    数据治理成效评估指标体系应根据企业及数据治理项目的实际情况制定,一般包括:时间性、数量性、完整性、准确性四个维度。

    ①时间性即数据的及时性。该维度主要通过源业务系统数据接入的上报及时性、接入及时性等方面进行核对。通过分析月指标、周指标、日指标的数据及时率,得出在规定时间和频度周期内接入系统的比例,以此反映数据接入及时性。

    ②数量性。该维度是从数据存量,数据增量,数据访问量,数据交换量、数据使用量等指标反映数据的使用情况,可以分为月度指标、周指标、日指标、时分指标等。

    ③准确性。这个维度主要由各类数据中逻辑的准确性、数据值的准确性、数据频段和字段之间的准确性以及数据的精度等内容组成。该准确率同样包括:月度、每周、每日等准确率指标。 

    ④完整性。此维度主要以单元维度完整性、数据业务维度组合完整性、索引值完整性等不同方面进行核对,是验证数据质量完整性的主要组成部分,包括月度指标、周指标、日指标数据的完整性等内容。 

    目标:检验各项数据治理指标的落实情况,查漏补缺,夯实数据治理效果;

    技术工具:数据治理效果的评价指标体系、各种数据图表工具;

    输入:数据治理效果评估指标;

    输出:数据治理评估的月报、周报、日报等;

    10、数据治理持续改进

    数据治理模式应业务化、常态化,不应是一个项目、“一阵风”的模式。

    图片源自互联网

    数据治理工作应向企业生产、销售业务一样作为一项重点的业务工作来开展,构建专业的数据治理组织,设置合适的岗位权责,建立相应的管理流程和制度,让数据标准贯彻到每个业务环节,形成一种常态的工作。在笔者看来,在数据源头加强企业数据的治理,让常态化治理成为日常业务,才能从根本上彻底解决企业数据质量的各种问题,让数据真正转化为企业资产,以实现数据驱动流程优化、数据驱动业务创新、数据驱动管理决策的目标。

    目标:数据治理常态化,持续提升数据质量,驱动流程优化和管理创新。

    输入:持续的、规范的、标准的各项业务操作;数据治理监控的各项指标和报告;

    输出:持续输出的高质量的数据;

    写在最后:

    本文是从咨询规划的角度描述了企业数据治理的十个最佳实践,或者叫十个关键步骤,为企业的数据治理提供一个总体思路。

    --end--
    
    
    扫描下方二维码
    
    添加好友,备注【交流群】
    拉你到学习路线和资源丰富的交流群
    
    
    展开全文
  • 随着移动互联网和信息技术的飞速发展,如今已经进入到信息时代,各类数据呈指数级增长。...CIO发展中心特别开设了《企业数据治理实践》专题,本期我们特别邀请到威马汽车数据治理负责人刘星,为大家分享威马

    随着移动互联网和信息技术的飞速发展,如今已经进入到信息时代,各类数据呈指数级增长。据有关资料显示,在2020年全球数据量将达到40ZB,海量数据会带来巨大的商业机会,数据已经成为数字经济的重要战略资源。然而,数据价值的密度与数据总量是一种反比关系,所以高效的管理数据将是企业十分重要的工作。

    大数据时代的业务支撑面临着运维、管理、增值三大压力,数据治理是实现数据管理降本增效,提升能力与价值的解决方法。CIO发展中心特别开设了《企业数据治理实践》专题,本期我们特别邀请到威马汽车数据治理负责人刘星,为大家分享威马汽车在数据治理方面的实战经验,并针对当前企业普遍面临的焦点问题,解惑答疑。以下内容是根据威马汽车数据治理负责人刘星的专访整理。

    在这里插入图片描述
    威马汽车 数据治理负责人 刘星

    业务量增长驱动数据治理

    数据治理作为时下的热门话题之一,引起了企业和厂商的广泛关注,但是不乏有些企业对于数据治理的认知停留在初始阶段,而威马汽车已经行走在数据治理的前列。威马汽车数据治理负责人刘星表示,数据治理是一项具有挑战性的工作,项目负责人除了对企业的整体业务非常熟悉以外,还必须要熟悉各个应用系统的功能,例如SAP、PLS、DMS等等,同时他还要具备高度的数据敏感度,即通过应用系统里的数据能够准确识别出数据风险和数据问题。数据治理的质量会直接影响企业的正常运营。

    作为一家新兴的新能源车企,威马汽车集团从上到下非常重视数据治理工作。因为威马汽车是一个新兴的造车企业,无论是从业务体量,还是从应用系统产生的历史数据来看,与传统车企相对来说都是轻量化的。但随着集团业务的急剧增长,威马汽车结合业务的实际情况,将数据治理分成了三大领域:研发、制造、营销。从去年开始,从这三大领域同步推进数据治理的工作,并且取得了显著的成绩。

    目前,很多企业都趋向于做数据治理,其中,主数据的治理不容忽略。而且主数据是数据管理的基石,必须先行开展。威马汽车主数据管理平台于2019年4月上线,通过考察产品在国内车型的实施情况以及产品的数据管理功能,最终选定Stibo的主数据产品。目前,已经完成物料主数据的管理,车型主数据管理项目也在有序推进中,预计十月前后完成第一阶段系统上线,后续还会启动经销商管理项目。主数据的标准规范,将直接影响企业数据的质量。

    ​威马汽车数据治理架构

    大数据体量大、种类繁多,且价值密度低,只有进行有效的数据治理,才能进一步发挥数据的价值。数据治理作为一项长期的系统化工程,需要制定一个合理、可靠并且能够充分满足企业当前业务需求的数据治理框架。

    刘星认为,数据治理不仅仅需要建立一个完善的团队,还需要建立一整套完整的系统平台来实现,他结合在威马汽车数据治理工作的经验,将数据治理分为六个方面的内容。

    1. 数据评估
      首先对数据进行编码,并且对编码规则进行评估,定义相关的字段及其依赖性(与其他数据的一对一、一对多的依赖关系),通过技术手段对现有数据做整体评估。

    2. 数据清洗
      从技术层面,对数据进行全面的分析。一旦发现现有的一些数据不满足之前定义的编码规则,则需要进行转码。对于一些较大的风险点,则要制定并启动相应的行动计划。

    3. 数据监控
      通过数据指标来进行监督和控制,对于异常的数据要有一些预警、改进、追踪。

    4. 数据维护
      数据通过各个应用系统输入之后,需要对数据做一致性检查,并且判断数据的健康度,定期做出数据的健康度报告,对于一些异常的数据能够进行识别并处理。

    5. 数据执行
      数据从产生到最后生效,会经历一个过程。数据通过业务部门的审批后使其生效,生效后将数据分发到下游的业务和应用系统里。

    6. 数据保护
      实际上就是从数据安全层面以及权限管理去做统一的规划。

    协作分工为数据治理提效

    企业中的数据,绝大多数都来源于企业的各个业务部门。对于车企来说,涉及到研发、生产、供应链、销售等多个领域的数据,数据治理工作往往会出现多个部门之间的交互,IT部门与业务部门协作分工是数据治理工作的重要一环。

    数据产生于业务,而不产生于IT系统平台。但是IT部门具有数据治理的职责,同时需要保护数据的安全,在企业中,数据是非常多样化的,数据相关的各个上下游业务部门依赖关系十分紧密。数据于IT部门搭建的各个系统中流通,所以IT部门需要结合业务去规划系统,使数据发挥出最大价值。

    威马汽车特别设立数据治理部,深入到业务当中,与业务部门进行紧密的合作,双方共同制定关键的数据标准、设立专职应用数据的岗位、职责以及数据应用流程,并且以《数据维护手册》的形式进行颁布。所有业务部门的人员包含数据治理工作中的关键人员,都要严格的按照《数据维护手册》去执行,且有专人进行执行情况跟踪。在这种模式下,IT部门主要负责数据治理流程的制定和监督。业务部门负责流程的落地执行以及数据的维护工作,双方分工协作,以实现数据治理项目的高效推进。

    ​阶段评估保障项目落地

    无论是数据平台的建设,还是数据治理工作,都已经成为企业发展的必经之路,数据治理作为一项长期且艰巨的工作,其难度之大、周期之长不言而喻。因此很多企业采取了以长期目标为导向的阶段性实施的方法。

    威马汽车在数据治理项目伊始就已经制定了长期和阶段性的目标,同时将数据治理部门拆分成若干小组:第一个是标准化定义小组,负责将来自于企业研发、制造、营销等各个业务领域的数据进行标准化;第二个是专项小组,主要负责针对突发的数据问题进行专项推进。此外,设立专门的项目组负责主数据管理平台的建设,逐渐把集团级的数据转移到主数据管理平台上进行集中管控。得益于上述“三位一体”的组织建设,威马汽车便可以将数据治理的长期目标和阶段性目标结合起来去开展。

    如何进行数据治理阶段性效果的评估呢?威马汽车会组织定期(每月)的会议,向集团的数据治理委员会汇报数据治理的阶段性成果,同时也可以在会议上提出新的需要委员会决策的问题。数据治理委员会由各个部门高管组成,得到委员会的授权认可后,再由数据治理部门进行项目推进,这样决策落地的难度会大大减小。

    ​明确数据治理的重大意义

    在传统车企,往往面临着组织机构厚重,变革困难的挑战,而且由于部门间的协同不畅,容易产生信息孤岛的现象,这些阻碍往往会导致数据治理在企业实践过程中难以落地,得不到立竿见影的价值。但从客观角度来说,数据治理的必要性不容小觑。如果企业不做数据治理,垃圾数据增长到一定的体量,就会给企业的运营、业务的流转以及企业发展带来不可逆转的伤害。

    数据治理的落地取决于管理层的决心和意志。企业数据治理难以落地的原因在于缺少组织的支撑。威马汽车成立数据治理委员会,该委员会由各个关键业务领域(研发、制造、营销、质量等方面)的高层领导联合组成,在数据治理过程中,如果遇到的问题,需要将问题的原因分析,方案优缺点评估向委员会汇报,经过数据治理委员会成员的共同探讨和决策,最终制定合理的解决方案,由数据治理小组和相关的业务部门共同推进,使数据治理在落地过程中更加顺畅。数据治理短期的意义在于“有病治病”,通过数据能够及时发现企业的相关问题,并且快速、有效地解决。长期来看,数据治理需要不断地整改业务平台,不断地规范业务数据实操,最终提升数据质量。

    数据治理不可忽视数据安全

    大数据时代虽然带来了海量的数据,同时也带来了数据安全隐患,企业运营过程中,关注点往往会放在业务组织架构和流程,以及业务模型等,因此数据安全往往被忽略。数据只有得到有效的使用,才能产生价值。从原则上来讲,企业要制定数据的开放权限,提供给真正使用的人员。

    威马汽车的数据安全部门独立于数据治理部门,数据安全部门设立完善的权限分配原则,并且具备专业可靠的数据监控工具和策略。在相应的安全策略下,通过数据安全的工具,可以有效防止数据泄露及其他数据安全问题。

    关于数据治理开展的建议

    数据治理工作的推进过程中,IT部门犹如在暗夜中前行,存在诸多挑战与阻碍,威马汽车目前取得的优异成绩,来源于不断的尝试与探索。为了助力更多车企在数据治理的道路上更加快速的发展,刘星提出了以下建议:

    首先,IT和业务分工协作。业务部门本身不具备数据治理的能力,并且不具备全局的数据规划能力,需要将数据开放给数据治理的团队。

    其次,对于正在推进数据治理的企业,在组织上需要强大的体系化的支撑。数据治理要建立如数据治理委员会这样的组织,自上而下地推行相关工作,解决相关问题,而不是各个业务部门分别去做数据治理,这将能有效地提高数据治理的工作效率。在建立体系化支撑的时候,IT部门还需要考量诸如数据的标准体系、质量体系、搭建主数据平台、管控的规章制度,对业务人员的绩效考核等等。有了体系化的支撑,数据治理的相关工作就非常容易推进了。

    ​结语

    ​数据治理是改善数据质量的重要手段,数据质量管理是数据治理的核心,在数据治理的推进过程中,结合企业自身情况,搭建合理的架构,优化部门之间的协同合作,保障数据流通的安全是企业需要考量和注意的问题。于大数据时代充分发挥数据价值,促进数据资产的转化,将为企业的发展带来新的利益增长点。

    关于Stibo Systems思迪博‍

    主数据管理公司Stibo Systems思迪博是主数据管理解决方案(MDM)的可靠来源。我们的解决方案是全世界有前瞻性思维的公司的驱动力,这些公司已经解开了他们的主数据的战略价值,赋予他们改善客户体验、推动创新和成长的作用,并为数字化改造创造了必要的基础。我们为企业提供他们所需要和期望的数据透明度——提供单一、准确的主数据视图——以便他们能够做出明智的决策,并可以帮助他们实现扩大规模、范围和实现雄心壮志的目标。Stibo Systems思迪博是Stibo a/S集团的子公司,集团成立于1794年,总部位于丹麦奥胡斯。更多信息,请访问stibosystems.cn网站。

    展开全文
  • 关于数据治理的不过时观点 中银证券后疫情时代券商数据安全体系的实践与展望 绿盟 - 数据安全与隐私数据安全前沿技术研究报告 美创 - 多云环境下的数据安全协同保护方案 美创公司与数据安全方案 美创数据安全解决...
  • 企业数据中台整体介绍及建设方案 企业数字化转型的加速引擎—2019年数字中台行业研究报告 精益数据体系的数据中台实践 七、数据治理 大数据平台下的数据治理 大数据治理体系 论银行数据治理体系建设 数据质量管理 ...
  • 互联网企业风险治理的重要性日益凸显.pdf
  • 从信息化到数字化,我们见证了互联网对社会和个人的深刻影响。随着 新技术、新理念的不断推出,数字化转型则在这两年强势兴起,逐渐改变着 企业和市场的格局 消费领域发生巨大变化 政治环境发生巨大变化 商业模式...
  • 各国法律法规逐步加强了数据安全要求,iOS14、Android11等操作系统也都强化了权限控制和数据安全管理,因此亟需产业链各方配合,从法律法规、技术标准、行业...本议题对移动互联网数据造假治理提出一些解决思路和建议。
  • 互联网企业反腐,廉洁治理亦须与时俱进.pdf
  • 随着云计算、物联网、移动互联网等新一代信息技术的快速发展,人类产生的数据量呈指数级增长。...大数据治理将组织的部门、流程、人等元素与数据的整个生命周期联系在了一起,对企业数据管理和数据资...
  • 2021企业数据合规白皮书,基于企业数据合规工作的必要性,首先对国内外数据合规价值观和法律法规环境进行了概述;然后详细介绍了金融科技、智能汽车、在线教育、电信及互联网四个重要领域的数据合规现状、要点、治理...
  • 融媒体环境下互联网平台型企业现代治理模式研究.pdf
  • 互联网平台企业助力国家治理现代化研究.pdf
  • 互联网企业滥用个人信息的治理困境与对策.pdf
  • 浅谈企业数据治理

    2020-11-02 10:24:46
    浅谈企业数据治理 近些年,随着IT基础设施的逐步完善以及互联网,物联网,5G,区块链等新技术成熟,人类社会进入了数据时代,从政府层面,党中央和国务院都非常重视大数据和数据中台方面的应用,明确要运用大数据...
  • 部分内容摘自 【成于微言】的微信公众号文章(来源:帆软数据应用研究院 作者:汪建辉),关于数据治理的思考来自于之前七年多的银行信贷科技从业经验,因为是在乙方,所以接触的银行相对多一些,做如下思考的分享:...
  • 绝大多数互联网公司没时间建模、治理,直接拖宽表。业务变更频繁、建模缺位、指标爆炸,是导致...所以今天先跟大家分享一下部委、集团类数据治理遇到的困境,以及各种问题的具体解决方案,还有如何进行经验复制...
  • 国外公司治理机制研究及对我国互联网企业的启示.pdf
  • 2020电信和互联网行业数据安全治理白皮书 2021区块链与数据安全治理白皮书(52页高清完整版) 2021数据安全白皮书 ...4-企业数据安全管理解决方案 5-政务大数据安全实践与应用 6-云计算时代的数据安全
  • 信息互联网时代下重资产企业的营销渠道治理.pdf
  • 从技术到管理,从商业项目到公益项目,从风险管理到数据治理标准专家,在BSI带领团队高绩效增长,连续获得BSI创新奖,也曾获得2004年国内首届“十大IT女性”奖(工信部与妇女联合会、中国计算机杂志)。 早在...
  • 互联网“独角兽”企业社会责任的履行及治理.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,385
精华内容 10,154
关键字:

互联网企业数据治理