系统架构体系：
 
 数据域：对于业务过程和维度的抽象。如：交易域、用户域
 
业务过程：不可拆分的行为事件。如：下单、支付
 
时间周期：如最近30天、截至当前
 
修饰类型：对修饰词的抽象。如支付方式、访问终端类型
 
修饰词：访问终端类型下的pc、安卓、苹果
 
度量/原子指标：具有明确含义的业务名词。如：支付金额
 
维度：如：地理维度、时间维度
 
维度属性：对维度的描述。如：地理纬度下国家、省份
 
派生指标：原子指标+修饰词+时间周期
 
指标体系：
 1）基本原则：
 
① 修饰词继承修饰类型的数据域
 
② 派生指标可以有多个修饰词，继承原子指标的数据域
 
2）指标分类“
 
① 新增事务型指标：支付金额、新增商品数等非动态指标
 
② 存量型指标：商品总数、用户总数等截至当前的增量数据
 
③ 复合型指标：衍生指标
 
④ 统计类标签：

2018-06-07发布，2019-01-01实施
 
为了促进组织有效、高效、合理地利用数据，有必要在数据获取、存储、整合、分析、应用呈现、归档和销毁过程中，提出数据治理的相关规范，从而实现运营合规、风险可控和价值实现的目标。
 
一、术语
 1.数据治理：数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。
 2.数据管理：数据资源获取、控制、价值提升等活动的集合。
 3.数据资产：组织拥有和控制的、能够产生效益的数据资源。
 4.数据战略：组织开展数据工作的愿景和高阶指引。
 5.数据架构：数据要素、结构和接口等抽象及其相互关系的框架。
 
二、总则
 1.目标：运营合规、风险可控、价值实现。
 2.任务：评估现状及需求、环节、资源管理和资产运营能力；指导体系构建、治理域的建立和实施落地；制定评价体系和审计规范，监督数据治理内控、合规和绩效。
 
三、框架
 1.顶层设计
 2.环境
 3.治理域
 4，治理过程
 
四、顶层设计
 1.战略规划：与业务、信息技术规划协调一致；制定数据战略规划；指导方案建立；明确各项要求。
 2.组织构建：建立组织机构和机制；明确决策和实施机构；建立授权、决策和沟通机制；实现各项功能。
 3.架构设计：建立数据架构，明确技术方向、管理策略和支撑体系；评估。
 
五、数据治理环境
 1.内外部环境：分析业务、市场和利益相关方需求，适应内外部环境变化。
 2.促成因素：获得支持；提升人员能力；开展技术研发和创新；制定制度；营造文化；评估能力。
 
六、数据治理域
 1.数据管理体系：围绕数据标准、数据质量、数据安全、元数据管理和数据生存周期等，开展治理。评估、指导、监督。
 2.数据价值体系：围绕数据流通、数据服务和数据洞察等，开展治理。评估、指导、监督。
 
七、数据治理过程
 1.统筹和规划
 2.构建和运行
 3.监控和评价
 4.改进和优化
 
八、数据管理体系的治理规范
 1.数据标准：明确数据标准的内涵和范围，建立数据标准体系及其管理机制，以支撑数据的标准化建设，保障数据在应用过程中的一致性。
 1)明确数据标准的内涵和范围，制定通用的数据规范，包括数据分类、数据类型、数据格式、编码规则等，保证数据应用过程的一致性。
 2）方案计划
 3）机构和机制
 4）制定管理制度
 5）评估更新
 2.数据质量：指定数据质量管理目标，建立管理体系和实施机制，优化并持续改进。
 1）分类管理，制定目标。
 2）定义角色和职责，建立管理办法。
 3）识别数据生存周期各个阶段的数据质量关键因素，构建数据质量评估框架，包括准确性、完整性、一致性、可访问性、及时性、相关性和可信度等。
 4）采用定性评估、定量评估、综合评估等方法，评估和持续优化数据质量。
 3.数据安全
 1）目标、方针、策略
 2）机构、角色、能力
 3）规范、机制
 4）视图、识别
 5）审计、评估、监督、优化
 4.元数据管理：明确范围和优先级、建立策略和流程，开展元数据创建、存储、整合和控制等。
 1）明确元数据的管理范围，构建元数据库。
 2）建立完整的数据字典、模型、架构及其管理体系。
 3）建立管理机制
 4）建立创建、维护、整合、存储、分发、查询、报告和分析机制。
 5）建立质量标准和评估指标，开展绩效评估并持续改进。
 5，数据生存周期
 1）识别现状
 2）识别各个阶段
 3）确保各阶段数据保密性、完整性和可用性。
 4）确保合法合规
 
九、数据价值体系的治理规范
 1.数据流通
 1）识别数据资产
 2）明确可流通数据及方式
 3）确保准确性、可用性、安全性和保密性
 4）保证安全
 5）保证可追溯
 6）确保合法合规
 2.数据服务
 1）明确数据服务内涵、范围、类型、团队和服务方式
 2）制定目录、协议、方法
 3）建立管控流程，对实施过程进行审核和控制
 4）建立支持流程
 5）构建服务管理机制
 6）开展服务能力评价
 3.数据洞察
 1）建模
 2）开展规律性、交互性、关联性分析
 3）挖掘规律
 4）持续改进和优化流程、提高能力和价值
 5）确保合法合规

 
作者：石秀峰，多年来一直从事企业数据资源规划、企业数据资产管理、数据治理，欢迎关注。
 
 
 
一、什么是数据治理？
 
 
 
维基百科：数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。
 
 
 
笔者认为：所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段，进行数据的控制，以提升数据质量进而提升数据变现的能力。
 
 
 
二、为什么需要数据治理？
 
 
 
在我国，各行业的信息化发展和建设水平并不均衡，甚至有的行业是刚刚起步。但是，不论是金融行业、通讯行业、地产行业、传统制造业以及农业，其信息化的发展基本都遵循了“诺兰模型”。笔者认为企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段，可以说是一个先建设后治理的过程。
 
 
 
 
 
 
1、数据质量层次不齐
 
当今时代，“数据资产化”的概念已经被大多数人理解和接受。不论是企业、政府还是其他组织机构，对于的数据资产的管理越来越重视。然而，数据并不等于资产，也就是说不是所有数据都是数据资产，数据中也有垃圾数据。我们需要治理的是能够为企业创造价值的数据资产，而不是全部数据。
 
 
 
2、数据交换和共享困难
 
企业信息化建设初期缺乏整体的信息化规划，系统建设大多都是以业务部门驱动的单体架构系统或套装软件，数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中，甚至还有大量的数据存放在员工的个人电脑中，导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道，数据不能互联互通，不能按照用户的指令进行有意义的交流，数据的价值不能充分发挥。只有联通数据，消除这些“信息孤岛”，才能实现数据驱动业务、数据驱动管理，才能真正释放数据价值。
 
 
 
3、缺乏有效的管理机制
 
目前，许多企业都认识到了数据的重要性，并尝试通过生产系统的业务流来控制数据流，但由于缺乏有效的管理机制和某些人为的因素，在数据流转过程中，存在数据维护错误、数据重复、数据不一致、数据不完整的情况，导致了产生了大量的垃圾数据。数据产权不明确，管理职责混乱，管理和使用流程不清晰，是造成数据质量问题的重要因素。
 
 
 
4、存在数据安全隐患
 
2018年3月份的Facebook 5000万用户信息被泄露和滥用的事件，受该事件影响，Facebook股价当日大跌7%，市值缩水360多亿美元，而盗用数据的剑桥分析这家公司也于同年5月停止运营，并申请破产。这种数据安全事件，在我国发生频率更多，我还清楚的记得：2011年，黑客在网上公开了CSDN的用户数据库，高达600多万个明文的注册邮箱账号和密码遭到曝光和外泄；2016年，顺丰员工应盗取大量客户信息被送上法庭；2017年，京东员工盗取用户个人信息50亿条，并通过各种方式在网络黑市贩卖。近年来，随着大数据的发展，诸如此类的数据安全事件多不胜数。数据资产管理上，正在由传统分散式的人工管理向计算机集中化管理方向发展，数据的安全问题愈来愈受到人们的关注。
 
 
 
三、DMBOK的数据治理框架
 
 
 
DMBOK是由数据管理协会（DAMA）编撰的关于数据管理的专业书籍，一本DAMA 数据管理辞典。对于企业数据治理体系的建设有一定的指导性。注：DAMA 是数据管理协会的简称，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践。
 
 
 
DMBOK将数据管理分为以下10个职能域：
 
 
 
 
 
数据控制：在数据管理和使用层面之上进行规划、监督和控制。
 
 
数据架构管理：定义数据资产管理蓝图。
 
 
数据开发：数据的分析、设计、实施、测试、部署、维护等工作。
 
 
数据操作管理：提供从数据获取到清除的技术支持。
 
 
数据安全管理：确保隐私、保密性和适当的访问权限等。
 
 
数据质量管理：定义、监测和提高数据质量。
 
 
参考数据和主数据管理：管理数据的黄金版本和副本。
 
 
数据仓库和商务智能管理：实现报告和分析。
 
 
文件和内容管理：管理数据库以外的数据
 
 
元数据管理：元数据的整合、控制以及提供元数据。
 
 
 
四、数据治理框架的理解和解读
 
 
 
DMBOK对企业级数据治理给出了框架性建议，但是任何指导性的框架文件都不是万能的。不同的行业、不同性质的企业、不同的信息化程度、不同的企业文化，其数据治理方案必须因地制宜，量身定制。我们常说：没有最好的解决方案只有更合适的解决方案。企业在实施数据治理的时候，应做好充分的分析和评估，切勿盲目跟风，避免出现数据治理收效甚微，还浪费了投资的窘境。
 
 
 
笔者认为企业数据治理应考虑以下要素：
 
 
 
1、数据治理的对象
 
大家都在谈数据治理，但是到底哪些数据需要被治理？我们说数据治理不是治理全部数据，而是针对企业数据资产的治理。那么，问题来了，到底什么是数据资产？又如何识别数据资产？
 
 
 
维基百科定义：数据资产属于普通个人和企业的数字财产，数据资产是无形资产的延伸，不具有实物形态。其本质是数据作为一种经济资源参与企业的经济活动，减少和消除了企业经济活动中的风险，为企业的管理控制和科学决策提供合理依据，并预期给企业带来经济利益。
 
 
 
笔者认为，数据资产虽不具备实物形态，但是它必定是实物在网络世界映射的一种虚拟形态。对于企业而言，人、设备、产品、物料、软件系统、数据库、以及任何涉及到使用文件作为载体的各类数据，都属于企业的数据资产。
 
 
 
我们虽然定义了数据资产，但是不同行业的数据治理侧重点也不同。数据治理要理解行业需求、企业诉求，在不同行业、不同企业应具有不同的差异化方案。企业在实施数据治理的时候，首先要进行数据资产的识别和定义，明确数据治理的对象和范围，做好数据治理的顶层设计！
 
 
 
2、数据治理的时机
 
这些年由于工作原因走访了一些企业，其经济情况不同、行业特点不同、信息化程度不同、数据治理情况也不尽相同。
 
 
 
第一类企业：经济实力雄厚，信息化起步较早，信息化程度比较高，如：XX银行、国家电网，他们已形成了系统性的数据治理体系。
 
 
 
第二类企业：有一定的经济实力、信息化程度相对较好，但是早期的信息化盲目建议，买了一堆的套装软件，建了一堆的系统，虽然系统或多或少都有使用，但效果不佳，谈起数据治理，客户自己都觉得头痛：企业到底都有哪些数据？这些数据都是分布在哪里？数据治理该如何入手？
 
 
 
第三类企业：经济实力相对薄弱，也有信息化刚刚起步的企业，这些企业多数的业务还是靠纸质或线下模式，部分企业使用了财务软件或ERP系统，数据存放个人电脑或生产系统中，基本没有数据治理。我国的一些中小民型营制造企业多数处于这个水平。
 
 
 
企业数据治理的时机该如何选择？是先有了数据再进行治理，还是先建设好数据治理体系再进行应用系统建设？针对上述不同类型的企业，其数据治理选择的时机和体系建设的设计绝对不能一概而论。
 
 
 
对于第一类企业，已经有了相对完善的数据治理体系，更需要的是加强数据安全、数据应用、数据创新，稳固提升数据管理、数据应用和数据变现的能力；
 
 
 
对于第二类企业单体架构的系统多，信息孤岛严重，一定存在数据多源、重复、不一致等问题，其数据治理已是迫在眉睫；
 
 
 
对于第三类企业，在数字化的浪潮下，信息化虽然薄弱，但如果打好数据基础，未免不是企业改革创新，实现“弯道超车”的最佳时机。
 
 
 
3、谁来实施、谁来主导
 
企业常常有这样一个误区，很多人认为数据治理就是信息化部门的事情和业务部门无关。前边我们说过数据治理是对企业数据资产的治理，既然是资产，就一定要确权。企业数据资产的生产、使用应该有明确的责任部门，显然数据资产的生产及归属部门应该是业务部门，信息化部门最多也就是一个数据资产的托管部门而已。笔者也多次强调企业的数据问题，80%是业务和管理的问题，20%是技术问题。
 
 
 
所以，企业数据治理是应有高层领导牵头，业务部门负责，信息部门执行，企业全员的参与。企业全员应培养起数据思维和数据意识，当然这是一个长期的过程，也是一件很不容易的事情，需要一点一滴的积累沉淀，并不断融入企业文化中。
 
 
 
4、数据治理的内容
 
数据治理是长期、复杂的工程，涉及到组织体系、标准体系、流程体系、技术体系和评价体系五方面的工作领域，包含了数据标准、数据质量、主数据、元数据、数据安全等多个方面内容。由于企业性质、业务特点、管理模式的不同，有必要建立符合企业现状和企业需求的数据治理框架，指导企业数据治理工作的开展。
 
 
 
以下是笔者个人理解的数据治理框架内容，不足之处希望业内专家指正，期待与您的交流：
 
 
 
 
 
 
组织体系：数据治理项目的实施绝非是一个部门的事情，不能在企业的单一部门得到解决。需要从整个组织考虑，建立专业的数据治理组织体系，进行数据资产的确权，明确相应的治理制度和标准，培养整个组织的数据治理意识。这需要 IT 与业务部门进行协作，而且必须始终如一地进行协作，以改善数据的可靠性和质量，从而为关键业务和管理决策提供支持，并确保遵守法规。
 
 
 
标准体系：数据治理的标准体系是多个层面的，包括：国际标准、国家标准、行业标准、企业标准等。企业数据标准体系内容应涵盖：元数据标准、主数据标准、参照数据标准、数据指标标准等。数据治理的成效，很大程度上取决与数据标准的合理性和统一实施的程度。企业数据标准体系的建设应既满足当前的实际需求，又能着眼未来与国家及国际的标准接轨。
 
 
 
流程体系：数据治理流程体系，为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度、流程等。建立数据的生产、流转、使用、归档、消除的整个生命周期管理的过程。企业应围绕数据治理的对象：数据质量、数据标准、主数据、元数据、数据安全等内容建立相应的制度和流程。
 
 
 
评价体系：建立数据评价与考核体系是企业实施和贯彻数据治理相关标准、制度和流程的根本。建立明确的考核制度，实际操作中可根据不同企业的具体情况和企业未来发展要求建立数据的认责体系，设置考核指标和考核办法，并与个人绩效挂钩。考核指标包括两个方面内容，一方面是对数据的生产、管理和应用等过程的评估和考核指标，另一方面是数据质量的评测指标。
 
 
 
技术体系：数据治理包括数据治理的工具和技术，总体应包括元数据管理、主数据管理、数据标准管理、数据质量管理和数据安全管理。
 
 
 
 
 
 
元数据管理：元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理，按照科学、有效的机制对元数据进行管理，并面向开发人员、最终用户提供元数据服务，以满足用户的业务需求，对企业业务系统和数据分析平台的开发、维护过程提供支持。借助变更报告、影响分析等应用，控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道，进一步提高各种数据的可信性、可维护性、适应性和可集成性。
 
 
 
数据标准管理：数据标准适用于业务数据描述、信息管理及应用系统开发，可以作为经营管理中所涉及数据的规范化定义和统一解释，也可作为信息管理的基础，同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准，在定义元数据实体或元素时进行关联。数据标准需要不断的补充完善、更新优化和积累，以便更好的支撑业务的开发和系统的集成。
 
 
 
主数据管理：主数据管理是通过运用相关的流程、技术和解决方案，对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方，如用户、应用程序、业务流程等，创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据，被誉为是企业数据资产中的“黄金数据”，主数据管理是撬动企业数字化转型的支点，是企业数据治理最核心的部分。
 
 
 
数据质量管理：建立数据质量管理体系，明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核，生产数据质量报告。通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理，从而促进数据质量的不断提升。
 
 
 
数据安全管理：目前多数人都知道数据安全问题十分重要，但在现实中，数据安全却常常被忽视，只有出现了数据安全问题甚至事故时，人们才认识到要为数据安全做点什么了。数据安全应贯穿数据治理全过程，应保证管理和技术两条腿走路。从管理上，建立数据安全管理制度、设定数据安全标准、培养起全员的数据安全意识。从技术上，数据安全包括：数据的存储安全、传输安全和接口安全等。当然，安全与效率始终是一个矛盾体，数据安全管控越严格，数据的应用就可能越受限。企业需要在安全、效率之间找到平衡点。
 
 
 
五、数据治理框架总结
 
 
 
再次强调，企业实施数据治理需因地制宜，不论建立什么样的数据治理体系、采用什么样的数据治理技术，其目的都是实现数据治理目标，即：通过有效的数据资源控制手段，对进行数据的管理和控制，以提升数据质量进而提升数据变现的能力。数据治理体系和框架，只是企业数据治理的一个参考，不能照搬和套用，更不能为了治理而治理。
 
（文：石秀峰 2019年4月）
 
阅读原文
 
 
更多精彩请微信扫描上图二维码，关注谈数据！

 
 

 
公众号推文规则变了，点击上方 "数据社", 设为星标
 
后台回复【加群】，申请加入数据学习交流群
 

 
大家好，我是一哥，最近企业都开始着手数字化转型了，数据治理作为数字化转型的重要保障，又重新被重视起来，今天分享一下华为是如何做好数据治理的，文末也给大家提供了一份数据治理国标规范！
 
00
 
背景
 
导读：2017 年华为提出了企业的新愿景："把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界"。同时，华为公司董事、CIO陶景文提出了"实现全联接的智能华为，成为行业标杆"的数字化转型目标。

 

 
图 1 数字化转型目标
 
随后，华为基于愿景确定了数字化转型的蓝图和框架， 统一规划、分层次开展，最终实现客户交互方式的转变，实现内部运营效率和效益的提升。华为数字化转型蓝图包括 5 项举措。
 

 
图 2 华为数字化转型蓝图
 
其中，举措 4 涉及数据治理和数字化运营，是华为数字化转型的关键，承接了打破数据孤岛、确保源头数据准确、促进数据共享、保障数据隐私与安全等目标。华为从 2007 年开始启动数据治理，历经两个阶段的持续变革，系统地建立了华为数据管理体系。
 
第一阶段：2007 ～ 2016 年
 
在这一阶段，华为设立数据管理专业组织，建立数据管理框架，发布数据管理政策，任命数据 Owner，通过统一信息架构与标准、唯一可信的数据源、有效的数据质量度量改进机制，实现了以下目标。
 
持续提升数据质量，减少纠错成本：通过数据质量度量与持续改进，确保数据真实反映业务，降低运营风险。
数据全流程贯通，提升业务运作效率：通过业务数字化、标准化，借助 IT 技术，实现业务上下游信息快速传递、共享。
 
第二阶段：2017 年至今
 
在这一阶段，华为建设数据底座，汇聚企业全域数据并对数据进行联接，通过数据服务、数据地图、数据安全防护与隐私保护，实现了数据随需共享、敏捷自助、安全透明的目标，支撑着华为数字化转型，实现了如下的数据价值。
 
业务可视，能够快速、准确决策：通过数据汇聚，实现业务状态透明可视，提供基于“事实”的决策支持依据。
人工智能，实现业务自动化：通过业务规则数字化、算法化，嵌入业务流，逐步替代人工判断。
数据创新，成为差异化竞争优势：基于数据的用户洞察， 发现新的市场机会点。
 

 
图 3 华为数据治理的发展历程
 
01
 
华为数据分类管理框架（基于特征分类）
 
华为根据数据特性及治理方法的不同对数据进行了分类定义：内部数据和外部数据、结构化数据和非结构化数据、元数据。其中，结构化数据又进一步划分为基础数据、主数据、事务数据、报告数据、观测数据和规则数据。华为数据分类管理框架如图 4 所示。
 

 
图 4 华为数据分类管理框架
 
不同分类的数据，其治理方法有所不同。如基础数据内容的变更通常会对现有流程、IT 系统产生影响，因此基础数据的管理重点在于变更管理和统一标准管控。主数据的错误可能会导致成百上千的事务数据错误，因此主数据的管理重点是确保同源多用、重点进行数据内容的校验等。
 
02
 
结构化数据管理（以统一语言为核心）
 
结构化数据包括基础数据、主数据、事务数据、报告数据、观测数据、规则数据。结构化数据的共同特点是以信息架构为基础，建立统一的数据资产目录、数据标准与模型。下面将重点介绍六类结构化数据的治理方法。
 
1. 基础数据治理
 
基础数据用于对其他数据进行分类，在业界也称作参考数据。基础数据通常是静态的（如国家、币种），一般在业务事件发生之前就已经预先定义。它的可选值数量有限，可以用作业务或 IT 的开关和判断条件。当基础数据的取值发生变化的时候，通常需要对流程和 IT 系统进行分析和修改，以满足业务需求。因此， 基础数据的管理重点在于变更管理和统一标准管控。
 
基础数据在支撑场景分流、流程自动化、提升分析质量方面起着关键作用，治理基础数据的价值如图 5 所示。
 

 
图 5 基础数据治理的价值
 
因此，有效地管理基础数据对企业来说可以产生巨大的收益。华为建立了一个完整的基础数据管理框架（如图 6 所示）， 通过明确各方的管理责任、发布相关的流程和规范以及建立基础数据管理平台等来确保基础数据的有效管理。
 

 
图 6 基础数据治理框架
 
2. 主数据治理
 
主数据是参与业务事件的主体或资源，是具有高业务价值的、跨流程和跨系统重复使用的数据。主数据与基础数据有一定的相似性，都是在业务事件发生之前预先定义；但又与基础数据不同，主数据的取值不受限于预先定义的数据范围，而且主数据的记录的增加和减少一般不会影响流程和 IT 系统的变化。但是， 主数据的错误可能导致成百上千的事务数据错误，因此主数据最重要的管理要求是确保同源多用和重点进行数据内容的校验。华为的主数据管理策略如图 7 所示。
 

 
图 7 主数据治理策略
 
华为的主数据范围包括客户、产品、供应商、组织、人员主题，每个主数据都有相应的架构、流程及管控组织来负责管理。
 
鉴于主数据管理的重要性，对于每个重要的主数据，都会发布相应的管理规范，数据管家依据数据质量标准定期进行数据质量的度量与改进。
 
同时，对于主数据的集成消费按照如下管理框架进行管理。
 
数据消费层：数据消费层包括所有消费数据的 IT 产品团队，负责提出数据集成需求和集成接口实施。
 

 
图 8 主数据治理框架
 
主数据服务实施层：负责主数据集成解决方案的落地， 包括数据服务的 IT 实施和数据服务的配置管理。
主数据服务设计层：为需要集成主数据的 IT 产品团队提供咨询和方案服务，负责受理主数据集成需求，制定主数据集成解决方案，维护主数据的通用数据模型。
管控层：管控层由信息架构专家组担任，负责主数据规则的制定与发布，以及主数据集成争议或例外的决策。
 
3. 事务数据治理
 
事务数据在业务和流程中产生，是业务事件的记录，其本身就是业务运作的一部分。事务数据是具有较强时效性的一次性业务事件，通常在事件结束后不再更新。
 
事务数据会调用主数据和基础数据。以客户框架合同为例， 核心属性有 32 个，其中调用基础数据和主数据 24 个，占 75% ；客户框架合同本身特有的属性 8 个，占 25%。同时，框架合同也引用了机会点的编码和投标项目的编码等事务数据的信息。
 
因此，事务数据的治理重点就是管理好事务数据对主数据和基础数据的调用，以及事务数据之间的关联关系，确保上下游信息传递顺畅。在事务数据的信息架构中需明确哪些属性是引用其他业务对象的，哪些是其自身特有的。对于引用的基础数据和主数据，要尽可能调用而不是重新创建。
 
4. 报告数据治理
 
报告数据是指对数据进行处理加工后，用作业务决策依据的数据。它用于支持报告和报表的生成。
 
用于报告和报表的数据可以分为如下几种：
 
用于报表项数据生成的事实表、指标数据、维度。
用于报表项统计和计算的统计函数、趋势函数及报告规则。
用于报表和报告展示的序列关系数据。
用于报表项描述的主数据、基础数据、事务数据、观测数据。
用于对报告进行补充说明的非结构化数据。
 
报告数据涵盖的范围较广，如主数据、基础数据等，这些数据类别本身已经有相应的管理机制和规范，这里我们重点对部分新的细分数据类型进行说明。
 
事实表：从业务活动或者事件中提炼出来的性能度量。其特点为：
 
每个事实表由颗粒度属性、维度属性、事务描述属性、度量属性组成；
事实表可以分为基于明细构建的事实表和基于明细做过汇聚的事实表。
 
维度：用于观察和分析业务数据的视角，支持对数据进行汇聚、钻取、切片分析。其特点为：
 
维度的数据一般来源于基础数据和主数据；
维度的数据一般用于分析视角的分类；
维度的数据一般有层级关系，可以向下钻取和向上聚合形成新的维度。
 
统计型函数：与指标高度相关，是对指标数量特征进一步的数学统计，例如均值、中位数、总和、方差等。其特点为：
 
通常反映某一维度下指标的聚合情况、离散情况等特征；
其计算数值在报告中通常呈现为图表中的参考线。
 
趋势型函数：反映指标在时间维度上变化情况的统计方式，例如同比、环比、定基比等。其特点为：

 
通常将当期值与历史某时点值进行比较；
调用时，需要收集指标的历史表现数据；
其计算数值在报告中通常呈现为图表中的趋势线。
 
报告规则数据：一种描述业务决策或过程的陈述，通常是基于某些约束下产生的结论或需要采取的某种措施。其特点为：
 
将业务逻辑通过函数运算体现，通常一个规则包含多个运算和判断条件；
规则的计算结果一般不直接输出，需要基于计算结果翻译成业务语言后输出；
规则通常与参数表密切相关。
序列关系数据：反映报告中指标及其他数据序列关系的数据。
 
5. 观测数据治理
 
观测数据是通过观测工具获取的数据，观测对象一般为人、事、物、环境。
 
相比传统数据，观测数据通常数据量较大且是过程性的，由机器自动采集生成。不同感知方式获取的观测数据，其数据资产管理要素不同。
 
观测数据的感知方式可分为软感知和硬感知。软感知是使用软件或者各种技术进行数据收集，收集的对象存在于数字世界， 通常不依赖于物理设备，一般是自动运行的程序或脚本；硬感知是利用设备或装置进行数据收集，收集的对象为物理世界中的物理实体，或者是以物理实体为载体的信息，其数据的感知过程是数据从物理世界向数字世界的转化过程。
 
观测数据的特征有如下几点：观测数据通常数据量较大且是过程性的，主要用作监控分析。例如，视频监控器产生的视频数据、操作系统产生的日志记录数据等。
 

 
图 9  观测数据管理模型
 
观测工具的元数据可以作为数据资产管理：软感知（埋点、日志收集、爬虫）观测工具抽象成业务对象，由 IT 部门担任数据 Owner 进行统一管理；硬感知观测工具作为资源类数据，也建议作为业务对象由相应的领域担任数据 Owner 进行管理。
 
原则上，观测对象要定义成业务对象进行管理，这是观测数据管理的前提条件。
 
观测数据需要记录观测工具、观测对象。针对不同感知方式获取的观测数据，其资产管理方案也不尽相同。例如，以用户界面浏览记录为例，如果是对销售机会点的查询访问观测，应当归属到相应业务领域；如果是对页面性能、页面 UV、PV 的观测， 应当归属到 IT 部门。
 
6. 规则数据治理
 
在业务规则管理方面，华为经常面对“各种业务场景业务规则不同，记不住，找不到”“大量规则在政策、流程等文件中承载，难以遵守”“各国规则均不同，IT 能否一国一策、快速上线”等问题。
 
规则数据是结构化描述业务规则变量（一般为决策表、关联关系表、评分卡等形式）的数据，是实现业务规则的核心数据， 如业务中普遍存在的基线数据。
 
规则数据主要有以下特征：
 
规则数据不可实例化；
规则数据包含判断条件和决策结果两部分信息，区别于描述事物分类信息的基础数据；
规则数据的结构在纵向（列）、横向（行）两个维度上相对稳定，变化形式多为内容刷新；
规则数据的变更对业务活动的影响是大范围的。
 
其基本原则为：
 
规则数据的管理是为了支撑业务规则的结构化、信息化、数字化，目标是实现规则的可配置、可视化、可追溯。
不同于标准化的信息架构管理，规则数据的管理具有轻量化、分级的特点。重要的、调用量大、变动频繁的业务规则需要通过规则数据管理，使其从代码中解耦，进行资产注册；使用广泛的、有分析需求的规则数据需要通过注册入湖，实现共享和复用。
业务规则在架构层次上与流程中的业务活动相关联，是业务活动的指导和依据，业务活动的结果通过该业务活动的相关业务对象的属性来记录。业务规则通过业务活动对业务事实、业务行为进行限制，业务人员可以根据业务规则判断业务情况，采取具体行动。
业务规则包含规则变量和变量之间的关系，规则数据主要描述规则的变量部分，是支撑业务规则的核心数据（如图 10 所示）。
 

 
图 10 业务规则与规则数据之间的关系
 
此外，运行规则所需要的输入数据、输出数据，包括动态数据库访问对象、内存表缓存、Excel、XML 处理类等，主要起支撑作用，不在规则数据的范畴。
 
规则数据必须有唯一的数据 Owner，其负责开展规则数据的信息架构建设与维护、数据质量的监控与保障、数据服务建设、数据安全授权与定密等工作。相应的数据管家支持数据 Owner 对所管辖的业务中的规则数据进行治理，包括建设和维护信息架构、确保架构落地遵从、例行监控数据质量等。
 
规则数据的元数据要记录与业务规则的关系（规则数据定义前应先完成业务规则的识别和定义）。一个业务规则可以包含零个、一个或多个规则数据，一个规则数据在信息架构上对应一个逻辑数据实体，在物理实现上一般对应一个物理表。规则数据要遵从信息架构资产管理要求（包括明确规则数据的 Owner、制定数据标准、明确数据源等），按照信息安全要求定密，以方便规则数据的管理、共享和分析。
 
03
 
非结构化数据管理（以特征提取为核心）
 
随着业务对大数据分析的需求日益增长，非结构化数据的管理逐渐成为数据管理的重要组成部分。非结构化数据包括无格式文本、各类格式文档、图像、音频、视频等多种异构的格式文件， 较之结构化数据，其更难标准化和理解，因此在存储、检索以及消费使用时需要智能化的 IT 技术与之匹配。华为的非结构化数据包括文档（邮件、Excel、Word、PPT）、图片、音频、视频等。
 
相较于结构化数据，非结构化元数据管理除了需要管理文件对象的标题、格式、Owner 等基本特征和定义外，还需对数据内容的客观理解进行管理，如标签、相似性检索、相似性连接等， 以便于用户搜索和消费使用。因此，非结构化数据的治理核心是对其基本特征与内容进行提取，并通过元数据落地来开展的。非结构化数据的管理模型如图 11 所示。
 

 
图 11 非结构化数据管理模型
 
非结构化数据的元数据可以分为基本特征类（客观）和内容增强类（主观）两类。
 
基本特征类：参考都柏林十五个核心元数据，实现对非结构化数据对象的规范化定义，如标题、格式、来源等。
内容增强类：基于非结构化数据内容的上下文语境，解析目标文件对象的数据内容，加深对目标对象的客观理解，如标签、相似性检索、相似性连接等。
 
非结构化数据的元数据管理采用统分统管的原则，即基本特征类属性由公司进行统一管理，内容增强类属性由相关承担数据分析工作的项目组自行设计，但其分析结果都应由公司元数据管理平台自动采集后进行统一存储。
 
元数据管理平台通过“基本特征类元数据流”和“内容增强类元数据流”两条线来实现对非结构化数据的元数据管理和消费使用。
 
1. 基本特征类元数据流
 
元数据管理平台基于收集到的各类非结构化数据源信息，自动完成基础特征类元数据的采集工作，按照管理规范和要求通过标准化、整合后存储在元数据管理平台中，并在完成元数据过滤、排序后将结果在元数据报告中进行可视化展示，以供用户消费使用。
 
2. 内容增强类元数据流
 
基于元数据管理平台中基本特征类元数据的信息，各数据分析项目组解析目标非结构化对象的数据内容，并将分析结果通过元数据采集、元数据标准化 & 整合后统一存放在元数据管理平台中，以供用户一并消费使用，增强用户体验。
 
04
 
外部数据管理（以确保合规遵从为核心）
 
外部数据是指华为公司引入的外部组织或者个人拥有处置权利的数据，如供应商资质证明、消费者洞察报告等。外部数据治理的出发点是合规遵从优先，与内部数据治理的目的不同。
 
外部数据的治理主要遵循以下原则。
 
合规优先原则：遵从法律法规、采购合同、客户授权、公司信息安全与公司隐私保护政策等相关规定。
责任明确原则：所有引入的外部数据都要有明确的管理责任主体，承担数据引入方式、数据安全要求、数据隐私要求、数据共享范围、数据使用授权、数据质量监管、数据退出销毁等责任。
有效流动原则：使用方优先使用公司已有数据资产，避免重复采购、重复建设。
可审计、可追溯原则：控制访问权限，留存访问日志， 做到外部数据使用有记录、可审计、可追溯。
受控审批原则：在授权范围内，外部数据管理责任主体应合理审批使用方的数据获取要求。
 
在以上原则指导下，我们要求所有采购的外部数据要注册， 在合规的前提下鼓励数据共享，避免重复采购。其他方式引入的外部数据，由管理责任主体决定登记方式。根据法律条款和授权范围，外部数据管理责任主体有权决定外部数据是否入数据湖， 如果需要入数据湖，必须遵从数据湖建设相应的流程和规范。同时，外部数据管理责任主体有义务告知使用方合规使用外部数据， 对于不合规的使用场景，不予授权；数据使用方要遵从外部数据管理责任主体的要求，对不遵从要求所引起的后果承担责任。
 
05
 
元数据管理（作用于数据价值流）
 
无论结构化数据，还是非结构化数据，或者外部数据，最终都会通过元数据治理落地。华为将元数据治理贯穿整个数据价值流，覆盖从数据产生、汇聚、加工到消费的全生命周期。
 
1. 元数据治理的痛点与挑战
 
华为在进行元数据治理以前，遇到的元数据问题主要表现为数据找不到、读不懂、不可信，数据分析师们往往会陷入数据沼泽中。元数据管理的痛点如图 12 所示。
 

 
图 12 元数据管理痛点
 
为解决以上痛点，华为建立了公司级的元数据管理机制。制定了统一的元数据管理方法、机制和平台，拉通业务语言和机器语言。确保数据“入湖有依据，出湖可检索”成为华为元数据管理的使命与目标。基于高质量的元数据，通过数据地图就能在企业内部实现方便的数据搜索。
 
元数据是描述数据的数据，用于打破业务和 IT 之间的语言障碍，帮助业务更好地理解数据。元数据通常分为业务、技术和操作三类。
 
业务元数据：用户访问数据时了解业务含义的途径，包括资产目录、Owner、数据密级等。
技术元数据：实施人员开发系统时使用的数据，包括物理模型的表与字段、ETL 规则、集成关系等。
操作元数据：数据处理日志及运营情况数据，包括调度频度、访问记录等。
 
在企业的数字化运营中，元数据作用于整个价值流，在从数据源到数据消费的五个环节中都能充分体现元数据管理的价值。
 
数据消费侧：元数据能支持企业指标、报表的动态构建。
数据服务侧：元数据支持数据服务的统一管理和运营， 并实现利用元数据驱动 IT 敏捷开发。
数据主题侧：元数据统一管理分析模型，敏捷响应井喷式增长的数据分析需求，支持数据增值、数据变现。
数据湖侧：元数据能实现暗数据的透明化，增强数据活性，并能解决数据治理与 IT 落地脱节的问题。
数据源侧：元数据支撑业务管理规则有效落地，保障数据内容合格、合规。
 
2. 元数据管理架构及策略
 
元数据管理架构包括产生元数据、采集元数据、注册元数据和运维元数据。
 
产生元数据：制定元数据管理相关流程与规范的落地方案，在 IT 产品开发过程中实现业务元数据与技术元数据的连接。
采集元数据：通过统一的元模型从各类 IT 系统中自动采集元数据。
注册元数据：基于增量与存量两种场景，制定元数据注册方法，完成底座元数据注册工作。
运维元数据：打造公司元数据中心，管理元数据产生、采集、注册的全过程，实现元数据运维。
元数据管理方案：通过制定元数据标准、规范、平台与管控机制，建立企业级元数据管理体系，并推动其在公司各领域落地，支撑数据底座建设与数字化运营。
 

 
图 13 华为元数据管理整体方案
 
华为经过多年实践，已经建立了相对完整的数据分类管理框架，为数据治理奠定了基础。随着数字化转型的深入开展，尤其是面向未来海量的非结构化数据、IoT 场景的观测数据、外部合规日趋严格的外部数据等，华为将不断丰富每一类数据的治理实践。
 
06
 
数据治理国标
 

 

 
数据治理已经有相关规范参考了，公众号回复【数据治理规范】即可下载~
 
历史好文推荐
 
数据治理的挑战和最佳实践（附PPT）
【数据文化】Uber的数据治理
数据治理的挑战和最佳实践（附PPT）
数据湖比数据仓库香在哪？