精华内容
下载资源
问答
  • 详解数据治理九大核心领域

    千次阅读 2021-07-27 00:30:49
    01 前言股份制改革对银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外...

    01 前言

    股份制改革对银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同顾客的不同需求。

    对数据本身而言,业务发展加快了数据膨胀的速度,也带来了数据不一致等问题,业务部门的频繁增加和剥离同样会对数据治理提出挑战。

    这些日益复杂的内外因决定了银行业对数据治理的超高标准要求,而目前对应的经验能力却稍显薄弱。

    数据治理不仅需要完善的保障机制,还需要理解具体的治理内容,比如数据该怎么进行规范,元数据又该怎么来管理,每个过程需要哪些系统或者工具来进行配合呢?这些问题都是数据治理过程中最实际的问题,也是最复杂的问题,下面将从数据治理的各个核心领域来解答这些问题。

    02 银行数据治理核心领域

    每个数据治理的领域都可作为一个独立方向进行研究治理,目前总结的数据治理领域包括但不限于以下内容:数据标准、元数据、数据模型、数据分布、数据存储、数据交换、数据生命周期管理、数据质量、数据安全以及数据共享服务。

    同时各领域之间需要有机结合,如数据标准、元数据、数据质量等几个领域相互协同和依赖:

    • 通过数据标准的管理,可以提升数据合法性、合规性,进一步提升数据质量,减少数据生产问题。

    • 在元数据管理的基础上,可进行数据生命周期管理,有效控制在线数据规模,提高生产数据访问效率,减少系统资源浪费。

    • 通过元数据和数据模型管理,将表、文件等数据资源按主题进行分类,可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况,有效实施数据分布的规划和治理。

    数据治理领域是随着银行业务发展而不断变化的,领域之间的关系也需要不断深入挖掘和分布,最终形成一个相互协同与验证的领域网,全方位的提升数据治理成效。

    03 数据治理九大核心领域

    1.数据模型

    数据模型是数据治理中的重要部分,合适、合理、合规的数据模型,能够有效提高数据的合理分布和使用,它包括概念模型、逻辑数据模型和物理数据模型,是数据治理的关键、重点。数据模型包含三个部分,数据结构、数据操作、数据约束。

    • 数据结构。数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础,数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。

    • 数据操作。数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。

    • 数据约束。数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正确、有效和相容。

    2.元数据管理

    元数据分为业务元数据、技术元数据和操作元数据,三者之间关系紧密。业务元数据指导技术元数据,技术元数据以业务元数据为参考进行设计,操作元数据为两者的管理提供支撑。

    (1)业务元数据。业务元数据是定义和业务相关数据的信息,用于辅助定位、理解及访问业务信息。

    业务元数据的范围主要包括:业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。

    (2)技术元数据。它可以分成结构性技术元数据和关联性技术元数据。结构性技术元数据提供了在信息技术的基础架构中对数据的说明,如数据的存放位置、数据的存储类型、数据的血缘关系等。关联性技术元数据描述了数据之间的关联和数据在信息技术环境之中的流转情况。

    技术元数据的范围主要包括:技术规则(计算/统计/转换/汇总)、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。技术元数据一般以已有的业务元数据作为参考设计的。

    (3)操作元数据。操作元数据主要指与元数据管理相关的组织、岗位、职责、流程,以及系统日常运行产生的操作数据。

    操作元数据管理的内容主要包括:与元数据管理相关的组织、岗位、职责、流程、项目、版本,以及系统生产运行中的操作记录,如运行记录、应用程序、运行作业。

    3.数据标准

    数据标准是银行建立的一套符合自身实际,涵盖定义、操作、应用多层次数据的标准化体系,它包括基础标准和指标标准(或称应用标准)。与数据治理其他核心领域具有一定的交叉,比如元数据标准、数据交换和传输标准、数据质量标准等。

    商业银行的数据标准一般以业界的标准为基础,如国家标准、监管机构(如国家统计局、中国人民银行、工信部)制定的标准,结合商业银行本身的实际情况对数据进行规范化,一般会包括格式、编码规则、字典值等内容。

    良好的数据标准体系有助于商业银行数据的共享、交互和应用,可以减少不同系统间数据转换的工作。数据标准的主要由业务定义、技术定义和管理信息三部分构成。

    数据标准的主题构成

    (1)业务定义。业务定义主要是明确标准所属的业务主题以及标准的业务概念,包括业务使用上的规则以及标准的相关来源等。对于代码类标准,还会进一步明确编码规则以及相关的代码内容,以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的,进而形成一套一致、规范、开放和共享的业务标准数据。

    (2)技术定义。技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性,从而能够对信息系统的建设和使用提供指导和约束。

    (3)管理信息。管理信息是指明确标准的所有者、管理人员、使用部门等内容,从而使数据标准的管理和维护工作有明确的责任主体,以保障数据标准能够持续的进行更新和改进。

    4.数据质量管理

    数据质量管理已经成为银行数据治理的有机组成部分。高质量的数据是商业银行进行分析决策、业务发展规划的重要基础,只有建立完整的数据质量体系,才能有效提升银行数据整体质量,从而更好的为客户服务,提供更为精准的决策分析数据。

    (1)制度和规范。从技术层面上,应该完整全面的定义数据质量的评估维度,包括完整性、时效性等,按照已定义的维度,在系统建设的各个阶段都应该根据标准进行数据质量检测和规范,及时进行治理,避免事后的清洗工作。

    数据质量评价维度

    (2)明确相应的管理流程。数据质量问题会发生在各个阶段,因此需要明确各个阶段的数据质量管理流程,例如:

    • 在需求和设计阶段就需要明确数据质量的规则定义,从而指导数据结构和程序逻辑的设计;

    • 在开发和测试阶段则需要对前面提到的规则进行验证,确保相应的规则能够生效;

    • 最后在投产后要有相应的检查,从而将数据质量问题尽可能消灭在萌芽状态。

    数据质量管理措施,宜采用控制增量、消灭存量的策略,有效控制增量,不断消除存量。

    数据质量管理流程

    5.数据生命周期管理

    任何事物都具有一定的生命周期,数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法,将极少或者不再使用的数据从系统中剥离出来,并通过核实的存储设备进行保留,不仅能够提高系统的运行效率,更好的服务客户,还能大幅度减少因为数据长期保存带来的储存成本。

    数据生命周期一般包含在线阶段、归档阶段(有时还会进一步划分为在线归档阶段和离线归档阶段)、销毁阶段三大阶段,管理内容包括建立合理的数据类别,针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。

    数据生命周期中各参数间的关系

    从上图数据生命周期中各参数间的关系中我们可以了解到,数据生命周期管理可以使得高价值数据的查询效率大幅提升,而且高价格的存储介质的采购量也可以减少很多;但是随着数据的使用程度的下降,数据被逐渐归档,查询时间也慢慢的变长;最后随着数据的使用频率和价值基本没有了之后,就可以逐渐销毁了。

    6. 数据分布和存储

    数据分布和存储主要涵盖了数据如何划分和存储,总行系统以及总分行数据如何分布,主数据及参考数据(也称为副本数据或者辅数据)如何管理。只有对数据进行合理的分布和存储,才能有效的提高数据的共享程度,才能尽可能的减少数据冗余带来的存储成本。

    通常情况下,综合数据规模、使用频率、使用特性、服务时效等因素,从存储体系角度,可以将商业银行的数据存储划分为四类存储区域,即交易型数据区、集成型数据区、分析型数据区、历史型数据区。

    数据存储布局

    1)交易型数据区。交易型数据区包括渠道接入、交互控制、业务处理、决策支持与管理等各类联机应用数据;存储客户自助或与银行操作人员在业务交互办理过过程中产生的原始数据的存储,包括业务处理数据,内部管理数据和一些外部数据,其存储的是当前状态数据。

    2)集成型数据区。集成型数据区包括操作型数据(OLTP)和数据仓库型数据(OLAP)。

    3)分析型数据区。分析型数据主要是用于决策支持与管理的各类集市应用的数据。为了对业务执行情况进行深入分析,需要对原始数据进行进一步汇总统计分析,统计分析结果用于最终的决策展示,因此分析型数据区存储了这些统计、分析模型结构的指标数据。

    4)历史数据区。这里存储了所有近线应用、归档应用、外部审计数据平台应用等的数据,主要满足各种历史数据归档后的数据保管和数据查询服务。

    7.数据交换

    数据交换是银行进行数据交互和共享的基础,合理的数据交换体系有助于银行提高数据共享程度和数据流转时效。

    一般商业银行会对系统间数据的交换规则制定一些原则,比如对接口、文件的命名、内容进行明确,规范系统间、银行系统与外部机构间的数据交换规则,指导数据交换工作有序进行。

    建立统一的数据交换系统,一方面可以提高数据共享的时效性,另一方面也可以精确掌握数据的流向。

    8.数据安全

    商业银行的重要且敏感数据大部分集中在应用系统中,例如客户的联络信息、资产信息等,如果不慎泄露,不仅给客户带来损失,也会给商业银行带来不利的声誉影响,因此数据安全在数据管理和治理过程中是相当重要的。

    (1)数据存储安全。包括物理安全、系统安全存储数据的安全,主要通过安全硬件的采购来保障数据存储安全。

    (2)数据传输安全。包括数据的加密和数据网络安全控制,主要通过专业加密软件厂商进行规范设计和安装。

    (3)数据使用安全。需要加强从业务系统层面进行控制,防范非授权访问和下载打印客户数据信息;部署客户端安全控制工具,建立完善的客户端信息防泄漏机制,防范将客户端上存储的个人客户信息非授权传播;建立完善的数据安全管理体系,建立数据安全规范制度体系,组建数据安全管理组织机构,建立有效的数据安全审查机制;对于生产及研发测试过程中使用的各类敏感数据进行严密管理;严格与外单位合作中的个人客户信息安全管理等。

    9.数据服务

    数据的管理和治理是为了更好的利用数据,是数据应用的基础。

    银行应该以数据为根本,以业务为导向,通过对大数据的集中、整合、挖掘和共享,实现对多样化、海量数据的快速处理及价值挖掘,利用大数据技术支持产品快速创新,提升以客户为中心的精准营销和差异化客户服务能力,增强风险防控实时性、前瞻性和系统性,推动业务管理向信息化、精细化转型,全面支持信息化银行的建设。

    建立结构化数据处理分析平台。数据仓库建设能够实现企业异构数据的集成,企业按照分析主题重组数据,建立面向全行的一致的信息视图。下图是一个典型的银行数据仓库服务体系:

    银行典型的数据仓库服务体系

    数据资产视图。在建立了数据仓库之后,需要建立统一的分析和可视化平台,解决数据在哪里,数据怎么用的问题。一个典型的应用是建立全行统一客户视图,包含客户信息统一视图、客户信息风险视图和网点业绩视图。

    数据资产视图示例

    04 数据治理的展望

    数据治理不是一个临时性的运动,从银行业务发展、数据治理意识形成、数据治理体系运行的角度,需要一个长效机制来进行保证。 在大数据时代,经过数据治理的银行数据可以发挥更大的作用。

    1.利用大数据挖掘技术分析各类海量信息,发现市场热点与需求,实现产品创新服务

    可以将大数据应用到产品生命周期,深入挖掘客户需求,把握客户痛点,推动产品创新。利用大数据技术对社交网络信息、在线客户评论、博客、呼叫中心服务工单、用户体验反馈等信息进行深度挖掘和分析,充分洞察客户,分析客户的情绪,了解客户对产品的想法,获知客户需求的变化趋势,从而对现有产品进行及时的调整和创新,事情贴近客户的生活场景和使用习惯。

    基于大数据创新产品评价方法,为产品创新提供数据支撑。通过大数据分析,改变目前以规模、总量为主的业务评价方式,建立一整套完整的以质量、结构为主的全新的评价方式,以引导全行真正追求有质量、有效益的发展。

    2.加强内外部信息联动,重点利用外部信息提升银行风险防控能力

    进一步加强与税务、海关、法院、电力部门、水务部门、房产交易登记中心、环保部门以及第三方合作机构的数据互联共享,有效拓宽信息来源渠道,深度挖掘整合系统内外客户信息、关联关系、交易行为、交易习惯、上下游交易对手、资金周转频率等数据信息,利用大数据技术查找与分析不同数据变量间的关联关系,并建立相应的决策模型,提升银行风险防控能力。

    在信用风险方面,可以结合外部数据,完善信用风险防范体系,基于可视化分析有效防控信用风险的传导。引入大数据理念和技术,统一信用风险模型管理,构建覆盖信用风险训练、模型管理、日常预警、评分评级、客户信用视图以及业务联动控制的信贷大数据平台,建立多维度、全方位的缝隙安全预警体系。

    在市场风险方面,基于市场信息有效预测市场变动,基于大数据处理技术提升海量金融数据交易的定价能力,构建定价估值引擎批量网格计算服务模式,支持对海量交易的实时定价,有效提升银行风险管控与定价能力,为金融市场业务的发展提供有力支撑。

    在操作风险方面,依托大数据信息整合优势,有效防控操作风险。通过可视化技术,从业务网数据中发现识别风险线索,实现由“风险监控”向“业务监控”模式转变,提升风险的提前预警能力。加强跨专业风险监控模型的研发,通过由点带线、由线及面的矩阵式关联监控,提前识别风险交织趋势,防范风险传染。

    3.利用大数据技术提升经营管理水平,优化业务流程,实现精细化经营决策

    在经营决策方面,通过外部数据的补充和整理,实现经营分析外延的拓展,从市场和经营环境的高度分析各级机构的发展方向、竞争压力,制定更合理、更有效的经营策略。同时,应用大数据可视化技术,实现复杂分析过程和分析要素向用户的有效传递,增强分析结果说服力和指导性,向经营人员提供有力的信息支撑。

    在资源配置方面,依托大数据采集和计算能力,提升测算的敏感性和有效性,加强财务预测的可靠性和有效性,为总体资源配置提供更好的信息支撑,实现对具体资源配置的动态管理。

    在过程改进方面,优化业务流程,对交易、日志的专业挖掘,探索当前业务处理流程节点的瓶颈,寻求最有效的解决方案。比如通过分析客户从排队到等候完成全部交易的流程合理性,提出过程改进方法,提升网点整体运营效率和客户体验。

    在运维保障方面,基于流数据处理技术,搭建准实时的应用交易级监控平台,实现交易运行情况的即时监控,保障业务运行稳定高效。

    本文来源CSDN,作者数据工程师金牛

    世界的真实格局分析,地球人类社会底层运行原理

    不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)

    企业IT技术架构规划方案

    论数字化转型——转什么,如何转?

    华为干部与人才发展手册(附PPT)

    企业10大管理流程图,数字化转型从业者必备!

    【中台实践】华为大数据中台架构分享.pdf

    华为的数字化转型方法论

    华为如何实施数字化转型(附PPT)

    超详细280页Docker实战文档!开放下载

    华为大数据解决方案(PPT)

    展开全文
  • 通常情况下,主数据管理平台的日常运维组织会分为三个层级,及二级运维中心,一级运维中心、外部供应商。 主数据管理平台的日常运维,涵盖如下内容: 主数据模型运维管理 主数据工作流运维管理 主数据生命周期...

    通常情况下,主数据管理平台的日常运维组织会分为三个层级,及二级运维中心,一级运维中心、外部供应商。

    主数据管理平台的日常运维,涵盖如下内容:

    1. 主数据模型运维管理
    2. 主数据工作流运维管理
    3. 主数据生命周期运维管理
    4. 主数据质量运维管理
    5. 主数据基础服务运维管理
    6. 主数据存储运维管理
    7. 主数据安全运维管理
    8. 数据库系统运维服务
    9. 基于云服务的运维管理

     

     

    展开全文
  • 数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。通过组织架构建立管理办法,制定工作流程,确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理...
  • 数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
  • 数据治理:让数据质量更好 http://www.ceiea.com 2015年02月03日 11:10 中国教育装备网 分享到: 更多  核心提示:大数据时代数据产生的...
    数据治理:让数据质量更好
    http://www.ceiea.com 2015年02月03日 11:10 中国教育装备网
    分享到:
    更多


      核心提示:大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个重点领域。当前各大厂商、用户都在探索与数据相关的开发技术、应用场景和商业模式,最终目的就是挖掘数据价值,推动业务发展,实现盈利。目前数据应用项目非常多,但真正取得预期效果的项目少之又少,而且开发过程困难重重,其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。如果没有数据治理,再多的业务和技术投入都是徒劳的,因为很经典的一句话:Garbage in Garbage out。数据治理是保证数据质量的必需手段,从全球范围来看,加强数据治理提升数据质量已成为企业提升管理能力的重要任务。

      数据治理是一个系统的、大型的、长期的工程,大型企业已经开始了实施,并取得了一定成果,但目前高校在数据治理方面还没有开始真正意义上的实践,究其原因,一方面高校还没有把数据治理的重要性提升到战略高度,另一方面没有将数据治理单独作为课题研究,没有形成系统的实施方法论。本文从管理和技术两方面出发探索适合高校信息化建设的数据治理方法,形成包含组织、制度、标准、流程、安全、技术等内容的数据治理方案,从而打造高校绿色数据生态环境,为数据应用提供基础保障。

      数据治理概念

      数据治理并不是一个新生事物,可以说,有数据的地方就存在数据治理,只不过随着数据应用的迅猛发展将它提到了一个高度,作为一个独立的研究领域。数据治理并没有标准的、严格的定义,概况地讲,所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。

      数据治理的英文是Data Governance,《DAMA 数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。数据治理职能指导其他数据管理职能如何执行,图1说明了数据治理与其他几个数据管理职能的关系。

      数据治理是技术与管理相结合的一套持续改善管理机制,贯穿在数据管理的整个过程中,通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、监督及考核等方方面面,将其他几个数据管理职能贯穿、协同在一起,让企业的数据工作成为一个有机整体而不是各自为政。数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。

      数据治理体系框架

      仅仅依靠技术手段,以建设系统的方式是难以有效解决数据治理面临的所有问题。构建数据治理体系是数据治理工作的基础,为了有序实施数据治理,应采用规划先行的原则,制定适合高校业务特点的管理流程,选择可行的技术方案和实施工具,明确数据治理的工作机制和工作内容,稳步推进数据治理各项工作,数据治理体系框架如图2所示。

      战略:数据治理是在高校发展战略和规划的指导下进行实施的,这些战略和规划包括业务发展目标、IT规划以及数据治理相关的发展规划。

      机制:机制是数据治理工作实施的基础保障,通过组织、制度、流程的建设和执行得以落实。机制是数据治理工作的重点,数据治理执行效果就是机制落实的效果。

      专题:数据治理专题是数据治理的工作内容,包括数据标准、数据治理、元数据、主数据、数据生命周期等方面。

      实施:数据治理工作最终在相关制度、规范和流程下通过数据治理组织借助技术手段和管理手段来实现。包括系统开发阶段为提高数据质量进行的校验设计;系统日常运维工作;数据分析应用阶段的数据集成;数据质量监控等。

      数据治理措施

      管理措施

      1.提高全面思想认识

      毋庸置疑,数据是高校的宝贵资产,各高校已经意识到数据质量的重要性,但是并没有将数据治理提到战略高度,信息化建设的重点仍然是应用系统建设和运维。数据治理是一个系统工程,需要管理层、系统开发人员、系统使用人员、系统维护人员多方协作才能进行。目前最大的问题就是各方人员对数据治理的认识还处于盲区,他们并没有意识到数据治理的重要性,因此数据治理首先要从上到下全面提高思想认识,保证在系统建设、系统运行、系统维护各个环节都能重视数据治理。

      2.成立数据治理组织

      健全的数据治理组织是全面开展数据治理工作的基础,数据治理组织应包括管理人员、业务人员和技术人员,缺一不可。数据治理组织可以设置三种角色,数据治理委员会、数据治理业务组、数据治理技术组。

      数据治理委员会:由校领导、IT部门负责人和业务部门负责人组成,负责制定数据治理的目标、制度、规范、流程、标准等,沟通协调,解决相关人员责、权、利问题,推行数据治理文化。

      数据治理业务组:由业务部门业务专家、业务部门系统管理员组成,负责业务系统参数、基础数据维护,保证系统正常使用;负责审核、检查、整改业务数据,在数据产生源头提高数据质量。

      数据治理技术组:由IT部门的相关技术人员组成,包括系统开发人员、数据治理人员、数据库管理员。系统开发人员负责系统数据录入功能符合数据校验标准和数据治理标准;数据治理人员负责开发数据质量检测规则、监控数据质量、批量修改数据等工作;数据库管理员负责系统数据的备份、恢复、安全、审计等工作。

      3.建立数据标准体系

      一般来说,信息化建设应遵循标准先行的原则,在应用系统建设初期就应该制定高校内部数据标准体系,保证各业务部门、各业务系统使用相同的数据标准,提高部门间、系统间数据共享能力,避免形成信息孤岛。数据标准体系包括数据标准、技术标准、管理标准、数据质量标准等内容,可以成立由业务人员和技术人员组成的数据标准制定小组,负责数据标准体系的制定、维护、宣传、解释等工作。

      4. 制定数据质量管控规范

      由于高校缺乏明确的数据质量管控规范、流程,导致数据治理相关人员职责划分不清,缺乏专职人员在不同阶段对数据质量负责。通过制定数据质量管控规范,使相关人员明确在数据产生、存储、应用整个生命周期中数据治理包含的工作内容和工作流程,形成校内统一管理体系。为了提高数据治理执行效率,有必要建立数据治理绩效考核,检验数据治理各个环节的效果。

      5. 制定数据安全管理制度

      保障数据安全是高校信息化的首要工作,高校应该制定贯穿于数据生命周期的数据安全管理制度,包括数据生成及传输、

      数据存储、数据处理及应用、数据销毁四个方面。安全管理制度主要用来规范员工在日常工作中安全地使用数据,并且指导技术人员如何实施数据安全工作。

      技术措施

      1.构建校级数据架构

      高校构建的信息系统以满足功能应用为主,如果没有整体数据架构,应用系统就没有数据标准可参考,不可避免地会出现不同的应用系统使用不同的数据标准和数据库,导致数据交换、数据共享困难,数据冗余、数据完整性、数据一致性等问题突出。

      理想情况下,高校在信息化初期就应该规划整体数据架构。一个完整的高校数据架构主要包括:数据标准、数据库产品线、主数据、元数据、数据质量、数据安全、数据交换、数据仓库。每一部分都需要作为独立的专题去建设,而且必须是技术与管理相结合的建设过程,最终形成高校全局数据架构。

      2.加强信息系统设计

      产生数据质量问题的第一个环节就是生成数据的源系统,在数据源头解决数据质量问题是提高数据质量非常有效的措施。加强信息系统设计和开发可以通过系统功能自动地规避大量数据质量常见问题。具体包括以下三个方面:

      细化需求,在需求分析阶段增加对数据质量的详细要求;

      加强数据库设计,使用3NF范式构建业务系统数据模型可以通过数据库有效解决数据冗余、不一致等问题;

      系统开发阶段加强数据录入功能的设计和开发,提高界面友好性和校验功能,可以有效解决数据完整性、时效性等问题。

      3.建立主数据中心

      学校内部不同应用系统、不同部门间需要共享数据的现象非常普遍,建立主数据中心不仅能避免各应用系统相互共享数据形成网状结构,同时能够保证对外提供准确、一致的数据。一般地,主数据是描述核心业务实体的数据,如教师、学生、科研成果、资产等,这些数据变化相对缓慢并通常跨业务重复使用。这里我们结合实际需求情况扩大了主数据的范围,凡是需要交换、共享的数据都纳入到主数据范围,形成全校范围内一致的、完整的、准确的核心业务数据,统一由主数据中心完成对外提供数据的任务。建立主数据中心不仅仅是技术工作,除开发、维护外还需要制定开发规范、管理规范、管理流程,共同规范主数据的使用。

      4.搭建数据质量监控平台

      通过搭建数据质量监控平台可以实现数据质量自动检查、监控,平台包括数据质量检查规则库、规则执行引擎、数据质量报告、报告推送功能。平台的核心是规则库,与业务无关的规则由技术人员独立开发,与业务相关的规则需要技术人员和业务人员共同确定检查规则,然后编写规则脚本。规则执行引擎可以定时批量执行检查规则,及时发现数据质量问题,将数据质量报告第一时间推送给业务人员,有助于及时纠正问题数据。

      5.实施数据安全工作

      数据安全实施工作在数据安全管理制度的指导下执行,由技术人员完成,主要包括数据备份、恢复、脱敏、监控、审计等。

      数据治理是高校信息化建设中提高数据应用水平和信息化管理水平的有效手段。数据治理是一项长期系统工程,贯穿于整个数据生命周期,不仅需要借助技术手段,更需要完善数据治理制度,包括规划、组织、机制、规范、流程等,只有全校各级人员高度重视和积极参与,逐步形成数据治理文化,数据治理才能取得成效,数据才能发挥更大的价值。

      (作者单位为上海财经大学信息化办公室)

    展开全文
  • 一、运维工作现状介绍 运维工作既与需要运维的平台采用的技术息息相关,也与运维工具的发展息息相关,还与运维服务的用户相关。 运维对象从早期烟囱式的...二、运维数据中台需求来源:运维工作面临的问题 由于运维对

    一、运维工作现状介绍

    运维工作既与需要运维的平台采用的技术息息相关,也与运维工具的发展息息相关,还与运维服务的用户相关。

    运维对象从早期烟囱式的技术架构发展到以x86为主的架构,再到现在大量采用的微服务、云原生的架构,以及大数据、机器学习技术平台,运维对象发生了剧烈的变化。

    运维工具从早期的基础设施监控,发展到日志监控,再到现在的应用性能监控(APM),可观察性监控。

    运维面向的用户也从早期的以企业内部用户为主,发展到了以企业提供线上服务的用户为主。

    二、运维数据中台需求来源:运维工作面临的问题

    由于运维对象、运维工具、运维需求的快速变化,导致金融机构有少则几套监控工具,多则数十套监控工具,而这些监控工具通常是在不同时期建设的,所以他们之间往往数据没有打通,技术栈也有较大的区别,形成了一座座运维数据的孤岛。

    运维人员日常需要在众多的监控工具之间切换来切换去,导致故障的发现困难,故障的定位耗时耗力,故障的解决重复劳动,无法形成有效的知识积累。并且以前基于固定阈值的告警规则无法满足海量监控指标的设置和管理,需要将人工智能技术与运维工作结合到一起。随着智能运维(AIOps)的快速发展,机器学习的算法、模型等对运维数据的规范化提出了更高的要求。

    所以现在迫切需要一套以各种监控工具生成的数据为源头,以统一的运维数据管理体系为规范,可以支撑运维数据的编排、AIOps算法编排和各类运维数据关联分析的运维数据中台,来采集各种各样的运维数据,经过清洗转换提供给AIOps的场景来使用。

    伴随知识图谱技术在各行各业的广泛应用,在运维行业,各种运维实体(包括硬件实体和软件服务等)和他们之间的关系也可以构建成运维知识图谱,运用图算法、知识推理和机器学习技术来进行关联分析和根因定位等。

    如果用一个简单的公式来概括的话,AIOps = DataOps + MLOps + KG + AIOps Apps + AutoOps,Ops在这里指的是编排的意思。

    DataOps: 巧妇难为无米之炊,刀功再好只用豆腐也做不出来真正的红烧肉,数据才是基础。DataOps指的是将运维数据通过各种各样的编排,提供给AIOps使用。
    在这里插入图片描述
    MLOps: 指的是将算法流程进行编排,例如日志异常检测流程可以分为格式解析、日志聚合、异常检测等步骤,每一步又可以使用不同的算法,这样通过不同的排列组合仅日志异常检测算法就可以有数十种。
    在这里插入图片描述
    KG: Konwleage Graph,指的是知识图谱,通过知识图谱将各种各样的运维数据关联起来,来给数据平台和算法平台提供一套关联逻辑,以及使用图算法和因果发现来推导根因。
    在这里插入图片描述
    AIOps Apps: 指的是各种各样的智能运维场景,包括指标异常检测、日志异常检测、告警降噪、根因分析等。

    AutoOps: 指的是自动化运维,如果智能运维最后判断出的根因在知识库中有对应的故障解决方案和自动化操作步骤,那么自动化运维就可以产生作用,迅速修复故障。

    最后把这些组件整合起来,结合一整套面向运维的数据治理体系,就形成了AIOps平台。
    在这里插入图片描述
    Entity Fingerprint:可以理解为国内通常所说的运维画像,Gartner称之为data fingerprint(数据指纹),有了数据指纹就可以定位一个具体的故障事件。这里所说的数据指纹不局限于一种单一的运维数据,包括多种时序运维数据组合而成的指纹,例如指标、日志、tracing、告警等。
    在这里插入图片描述
    三、灵魂:基于标签的运维数据命名空间管理体系

    运维数据包括了指标、日志、事件等基本数据,另外随着云原生/可观察性概念和AIOps的发展,也包含了Tracing数据、软硬件知识图谱等数据。

    让我们从一个问题开始对运维数据的思考,下图中service_1_http_requests_total和service_2_http_requests_total共同组成了服务的总流量,那么当增加了一个新的服务service_3的时候服务的总流量如何计算?我们需要重新修改总流量的定义吗?这不合理,既不符合敏捷的原则,也满足不了日新月异的软件架构变化。
    在这里插入图片描述
    让我们用命名空间来解决上面的问题,如下图:
    在这里插入图片描述
    所有包含标签service的指标汇总成了服务的总流量。同时通过标签的命名空间也支持查看特定子集的明细数据:如在灰度机器上所有成功http请求的p99(p99表示过去10秒内最慢的1%请求)延迟是多少,见下图:
    在这里插入图片描述
    对应数据的标签表达式为 deployment_role=“canary”, response_status=“success”,percentile_bucket=p99 。

    相信关注云原生的同学会发现这套体系与Prometheus和Grafana关系密切,如果说运维数据中台中的大数据组件是骨骼的话,那么运维数据管理体系就是灵魂。

    通常对运维数据的标签管理体系介绍到这里就结束了,但实际上我们在AIOps的实施过程中,碰到的问题远不止运维数据的管理,在AIOps算法模型管理时我们也借鉴了标签体系。

    参考:

    https://medium.com/dm03514-tech-blog/sre-observability-metric-namespaces-and-structures-12ffcf5a5bdc
    Gartner
    Google

    展开全文
  • 经过20在中国石化数据标准及治理项目的开发、实施的...形成了数据治理解决方案可以提供包括规划咨询、系统建设/实施、运维服务等在内的全业务线条服务,可以为跨行业不同需求客户提供订制化的数据治理服务和产品组合。
  • 今天我演讲的题目是《智能运维引领数据中心数字化转型》,跟大家分享民生银行在智能运维领域的探索和实践。01 数字化转型,运维新挑战金融行业是对信息技术应用最为广泛和彻底的行业。首先,我从民生...
  • 数据治理解决方案.pdf

    2021-07-16 10:47:52
    数据治理总体框架包括组织架构、数据治理模块、数据运维三部分。通过组织架构建立管理办法,制定工作流程,确定角色职责。数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理...
  • 图:大搜车基础设施部负责人李同刚 2021年12月10日,在云上架构与运维峰会上,大搜车集团基础设施部负责人李同刚分享了大搜车在研发运维体系治理的一些实践。以下是他的演讲实录: 一、业务介绍 1、汽车流通 大搜车...
  • 以大数据和智能化促进广电媒体技术运维治理的现代化.pdf
  • 数据治理简介

    2021-03-10 15:02:36
    参考文章:数据治理到底能治什么,怎么治 1. 数据治理的背景 狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据...
  • 部分内容摘自 【成于微言】的微信公众号文章(来源:帆软数据应用研究院 作者:汪建辉),关于数据治理的思考来自于之前七年多的银行信贷科技从业经验,因为是在乙方,所以接触的银行相对多一些,做如下思考的分享:...
  • 数据治理与数据安全治理的区别

    千次阅读 2020-04-15 16:01:18
    数据治理概念 数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合,以保障数据及其应用过程中的运营合规、风险可控和价值实现。 从使用零散数据变为使用统一数据...
  • 企业信息化建设是随着企业战略、业务形态、预算等多个方面不断迭代及变化的,所以在建设过程中难免出现阶段鸿沟,跨阶段整合难的现象,当企业以数据为中心的战略考量时,就需要通过数据治理方法对以往问题纠偏,对...
  • 数据治理项目前期调研

    千次阅读 2021-01-13 11:20:08
    随着企业的不断发展进步,业务部门的需求...近期在进行某制造业的主数据治理项目工作,现以该企业为例,总结梳理在调研阶段对该企业的应用系统整体架构、核心业务流程以及主数据治理范围进行的整理调研。 1前期准备
  • 大数据时代的业务支撑面临着运维、管理、增值三大压力,数据治理是实现数据管理降本增效,提升能力与价值的解决方法。CIO发展中心特别开设了《企业数据治理实践》专题,本期我们特别邀请到威马汽车数据治理负责人...
  • 详解数据安全治理与传统理念的关系和...场景维度建设(数据分类分级、开发测试场景、数据运维场景、数据共享场景、数据分析场景、应用访问场景、特权访问场景),纠正和优化数据安全治理体系(纠正措施、持续优化)等
  • COBIT看运维治理 运维治理的典型框架 运维治理的典型过程 运维治理的目标 运维治理之流程体系 运维治理之规范体系 运维治理之标准化 服务治理之架构失控 运维治理之架构点控制 运维治理之架构线的控制 技术架构之...
  • 在华为以“智能DC,预建未来”为主题的第五届智能数据中心基础设施技术峰会上,华为数据中心能源总裁何波从数据中心管理的维度,结合华为多年来数据中心运维的管理经验,为我们分享了数据中心的智能化运维实践。...
  • 今天准备再谈下数据治理以及对数据治理框架的初步思考。 实际上我在前面谈数据中台和主数据管理的时候多少谈到过数据治理和数据资产管理方面的内容,但是更多的都是从IT系统和功能层面来谈数据治理需求的最终实现。...
  • 5年前,大数据浪潮的来袭唤起了国内企业对数据作为核心资产的新认知,为了推动国内数据管理加速发展,DAMS中国数据智能管理峰会携手产学研各界权威力量开启了对企业数字化转型的探索与助力。5年...
  • 本文为微众银行大数据平台...WeDataSphere 图数据库架构是基于 JanusGraph 搭建,正如邸帅在演讲《NebulaGraph - WeDataSphere 开源介绍》中提及的那样,主要用于解决微众银行数据治理中的数据血缘问题。在使用 Janus.
  • 凌云时刻 · 极鲜速递导读:第六届 DAMS 中国数据智能管理峰会蓄势待发!来源| DBAplus社群前言5 年前,大数据浪潮的来袭唤起了国内企业对数据作为核心资产的新认知,为了推动...
  • 数据治理分析项目最佳实践

    千次阅读 多人点赞 2019-02-13 11:00:11
    当今信息化建设程度不断深入,企业在优化整合各种IT能力,使IT成为企业的前进驱动力与核心竞争力的同时,将视角关注于更深层次的数据治理与分析,预示着以数据、流量、知识为主的数字经济时代到来,此背景下,数字化...
  • 银行数据治理的9大核心领域

    千次阅读 2019-07-19 17:00:10
    风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同...
  • 数据治理系列(总)

    千次阅读 2021-01-13 14:05:07
    一、什么是数据治理? 维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加...
  • 系统在设计过程中除考虑满足当前招标书建设要求外,还应当满足后续系统平滑扩展升级要求,因此总方案设计遵循如下设计原则。...建立统一化可视化的运维体系,数据处理各个环节,能对系统进行相应的性能管理和日志监控。
  • 节选自《华为数据之道》作为一家巨型跨国企业,华为在 170 多个国家同时开展各种业态的业务,华为的数据底座是支撑华为业务运营的关键。因此,华为的数字化转型成为行业竞相研究的标杆。应行业要...
  • 关注ITValue,看企业级最新鲜、最价值报道! 作者系国家电网公司大数据中心主任、党委副书记王继业| 在当前信息化智能电网建设需求不断加强的大环境之下,电力企业正在通过开展相关技术...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 24,729
精华内容 9,891
关键字:

运维数据治理