精华内容
下载资源
问答
  • 主数据与元数据

    万次阅读 2018-07-10 12:39:51
    企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。以下主要讨论主数据、元数据的概念及应用。主数据和主数据管理的概念企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、...

    企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。以下主要讨论主数据、元数据的概念及应用。

    主数据和主数据管理的概念

    企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。

    企业主数据可以包括很多方面,除了常见的客户主数据之外,不同行业的客户还可能拥有其他各种类型的主数据,例如:对于电信行业客户而言,电信运营商提供的各种服务可以形成其产品主数据;对于航空业客户而言,航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门,其主数据也不同,例如市场销售部门关心客户信息,产品研发部门关心产品编号、产品分类等产品信息,人事部门关心员工机构,部门层次关系等信息。

    数据管理的范畴和主数据管理的概念

    企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。

    • 交易数据:用于纪录业务事件,如客户的订单,投诉记录,客服申请等,它往往用于描述在某一个时间点上业务系统发生的行为。
    • 主数据:主数据则定义企业核心业务对象,如客户、产品、地址等,与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
    • 元数据:即关于数据的数据,用以描述数据及其环境的结构化信息,便于查找、理解、使用和管理数据。

    主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性。

    主数据管理的意义

    集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。

    主数据管理使得企业能够集中化管理数据,在分散的系统间保证主数据的一致性,改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从 IT 建设的角度,主数据管理可以增强 IT 结构的灵活性,构建覆盖整个企业范围内的数据管理基础和相应规范,并且更灵活地适应企业业务需求的变化。

    以客户主数据为例,客户主数据是目前企业级客户普遍面临的一个问题,在大多数企业中,客户信息通常分散于 CRM 等各个业务系统中,而每个业务系统中都只有客户信息的片断,即不完整的客户信息,但却缺乏企业级的完整、统一的单一客户视图,结果导致企业不能完全了解客户,无法协调统一的市场行为,导致客户满意度下降,市场份额减少。因此,建立客户主数据系统的目的在于:

    • 整合并存储所有业务系统和渠道的客户及潜在客户的信息:一方面从相关系统中抽取客户信息,并完成客户信息的清洗和整合工作,建立企业级的客户统一视图;另一方面,客户主数据管理系统将形成的统一客户信息以广播的形式同步到其他各个系统,从而确保客户信息的一致;
    • 为相关的应用系统提供联机交易支持,提供客户信息的唯一访问入口点,为所有应用系统提供及时和全面的客户信息;服务于 OCRM 系统,充分利用数据的价值,在所有客户接触点上提供更多具有附加价值的服务;
    • 实现 SOA 的体系结构:建立客户主数据系统之前,数据被锁定在每一个应用系统和流程中,建立主数据管理系统之后,数据从应用系统中被释放出来,并且被处理成为一组可重用的服务,被各个应用系统调用。

    主数据管理系统与数据仓库系统的关系

    主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:

    • 首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
    • 其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;
    • 第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。

    但是,主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同:

    • 处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;
    • 实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;
    • 数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。

    虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。

    主数据管理系统和 ODS 的关系

    在某些情况下,主数据管理系统和 ODS 系统可能容易被混淆,的确,从实时上来看,主数据管理系统和 ODS 系统存储的都是实时数据,但是二者存储的数据内容是全然不同的,主数据管理系统中不存储交易数据,比如银行客户的交易流水信息是不应该放在主数据管理系统中进行管理的,这与 MDM 与 ODS 的一个很大区别。举一个航空公司的例子,比如某个客户在电子商务网站上定了一张机票,产生一个订单,然后他又通过呼叫中心要求改签,这个场景中,两个系统之间要实现客户信息和订单信息的共享,其中客户信息共享通过MDM 系统来实现,而订单信息则需要采用 ODS 或其它手段进行共享,我们是不推荐把此类信息交由 MDM 系统来管理的。

    主数据管理典型应用

    主数据管理的典型应用有客户管理与产品管理,主数据管理在金融行业典型的应用就是企业级客户信息整合系统(Enterprise Custome Information Facility,简称ECIF),其目标是整合全行现有业务系统中的客户信息,保留客户的最新信息,为各应用系统提供完整的、共享的、一致的客户信息,建立企业级客户单一视图,在全行范围内为客户信息的使用和管理提供服务,为全行从“以产品为中心”的业务流程向“以客户为中心”的业务流程整合提供强有力的支持。

    基于元数据的主数据管理

    元数据管理作为企业数据资产管理中的一项核心技术,也将为主数据管理提供有力支撑,具体表现在:

    • 为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换,提高业务和IT之间的一致性,保障IT系统能够真实反映业务事实;
    • 为主数据管理的各个数据处理阶段提供数据标准、数据映射关系和数据规则的描述,保障主数据管理的数据质量;
    • 为主数据库和其他系统之间的数据交互提供有关数据标准、数据映射关系和数据规则的描述。

    元数据管理的概念

    元数据定义

    元数据(Meta Data)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据,发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段。

    元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当,信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。

    元数据分类

    元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:

    • 技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;
    • 业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;
    • 管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。

    元数据管理的范围

    元数据管理范围的不应仅仅局限于企业数据仓库、数据集市以及管理分类应用的数据,还应该将企业的业务系统的元数据纳入进来就行统一的管理,真正做到从源头对元数据进行管理,作为对数据的完整生命周期进行管理。

    元数据应用

    数据地图

    数据地图展现是以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现,并通过不同层次的图形展现粒度控制,满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。

    元数据分析
    血缘分析

    血缘分析(也称血统分析)是指从某一实体出发,往回追溯其处理过程,直到数据系统的数据源接口。对于不同类型的实体,其涉及的转换过程可能有不同类型,如:对于底层仓库实体,涉及的是ETL处理过程;而对于仓库汇总表,可能既涉及ETL处理过程,又涉及仓库汇总处理过程;而对于指标,则除了上面的处理过程,还涉及指标生成的处理过程。数据源接口实体由源系统提供,作为数据系统的数据输入,其它的数据实体都经过了一个或多个不同类型的处理过程。血缘分析正是提供了这样一种功能,可以让使用者根据需要了解不同的处理过程,每个处理过程具体做什么,需要什么样的输入,又产生什么样的输出。

    影响分析

    影响分析是指从某一实体出发,寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时,评估实体影响范围。

    实体关联分析

    实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,从而进一步了解该实体的重要程度。本功能可以用来支撑需求变更影响评估的应用.

    实体差异分析

    实体差异分析是对元数据的不同实体进行检查,用图形和表格的形式展现它们之间的差异,包括名字、属性及数据血缘和对系统其他部分影响的差异等,在数据系统中存在许多类似的实体。这些实体(如数据表)可能只有名字上或者是在属性中存在微小的差异,甚至有部分属性名字都相同,但处于不同的应用中。由于各种原因,这些微小的差异直接影响了数据统计结果,数据系统需要清楚了解这些差异。本功能有助于进一步统一统计口径,评估近似实体的差异

    指标一致性分析

    指标一致性分析是指用图形化的方式来分析比较两个指标的数据流图是否一致,从而了解指标计算过程是否一致。该功能是指标血缘分析的一种具体应用。指标一致性分析可以帮助用户清楚地了解到将要比较的两个指标在经营分析数据流图中各阶段所涉及的数据对象和转换关系是否一致,帮助用户更好地了解指标的来龙去脉,清楚理解分布在不同部门且名称相同的指标之间的差异,从而提高用户对指标值的信任。

    辅助应用优化

    元数据对数据系统的数据、数据加工过程以及数据间的关系提供了准确的描述,利用血缘分析、影响分析和实体关联分析等元数据分析功能,可以识别与系统应用相关的技术资源,结合应用生命周期管理过程,辅助进行数据系统的应用优化.

    辅助安全管理

    企业数据平台所存储的数据和提供的各类分析应用,涉及到公司经营方面的各类敏感信息。因此在数据系统建设过程中,须采用全面的安全管理机制和措施来保障系统的数据安全。

    数据系统安全管理模块负责数据系统的数据敏感度、客户隐私信息和各环节审计日志记录管理,对数据系统的数据访问和功能使用进行有效监控。为实现数据系统对敏感数据和客户隐私信息的访问控制,进一步实现权限细化,安全管理模块应以元数据为依据,由元数据管理模块提供敏感数据定义和客户隐私信息定义,辅助安全管理模块完成相关安全管控操作。

    基于元数据的开发管理

    数据系统项目开发的主要环节包括:需求分析、设计、开发、测试和上线。开发管理应用可以提供相应的功能,对以上各环节的工作流程、相关资源、规则约束、输入输出信息等提供管理和支持。

    展开全文
  • 数据治理——主数据项目实施

    千次阅读 2020-04-10 09:18:38
    主数据定义1.数据的层次模型(根据数据的特征、作用以及管理需求的不同)2.主数据涵盖了元数据、引用数据、企业结构数据、业务结构数据二.传统的软件项目实施三.主数据项目四.主数据项目详细规划第一阶段(体系规划...

    一.主数据定义

    1.数据的层次模型(根据数据的特征、作用以及管理需求的不同)

    分为6个层次:元数据、引用数据、企业结构数据、业务结构数据、业务活动数据、业务审计数据。
    元数据( 系统中最基础的数据):元数据描述数据定义、数据约束、数据关系等。在物理模型中,元数据定义了表和属性字段的性质。
    引用数据(属性值域):引用数据定义了元数据的可能的取值范围(月份的引用数据为1-12月)(电商项目中订单状态可划分为待付款、待发货、待收货、已发货、已撤销等,引用数据是对数据分类的重要标准,不同状态的订单将会进入相应的业务流程,死信处理正在付款和未付款)
    企业/单位结构数据:描述企业数据之间的关系,是多条主数据的集合(组织结构由组织机构、人员、岗位等主数据组成)。
    业务结构数据:描述业务的直接参与者(典型的业务结构数据包含产品、客户数据)。
    通常由唯一的数据编码以及大量的属性信息构成。
    业务活动数据:记录运营活动中产生的业务数据,其实质是主数据之间活动产生的数据(客户购买产品的业务记录、工厂生产产品的生产记录)。
    业务审计数据:记录数据的活动(对客户信息进行修改、对业务进行删除)。

    2.主数据涵盖了元数据、引用数据、企业结构数据、业务结构数据

    业务数据(业务活动数据、业务审计数据)以主数据为基石,衍生出分析数据。主数据项目是一个复杂的项目,表面上仅仅是一个物理载体,实质是管理流程、管理手段的一次变革。信息系统的实施的过程实际是组织、人员、流程及系统融合的过程。

    二.传统的软件项目实施

    在这里插入图片描述
    传统的软件项目是一个闭环系统,它会不断检验实施是否能达到最初的项目工作范围和业务目标。
    项目启动阶段通过进一步明确项目的工作范围与业务目标,奠定项目成功的基础。
    系统设计与开发阶段达到用户的需求。
    系统上线启用阶段包括了所有与用户培训、系统初始配置、软件功能验证,以及对设计、开发、应用的使用情况评估分析相关等工作。

    三.主数据项目

    主数据项目的实施方法分为两个阶段
    第一阶段(体系规划阶段):主要工作任务为构建主数据体系规划、主数据管理平台规划,搭建主数据标准体系、管理体系,形成主数据管理方案。
    第二阶段(平台实施阶段):主要工作任务为搭建主数据管理平台,将主数据标准体系在主数据管理平台中实现。
    在这里插入图片描述

    四.主数据项目详细规划

    第一阶段(体系规划阶段)

    1.项目启动、需求调研及评估
    根据成熟度模型 (初始级p0,可重复级p1,已定义级p2,已管理级p3,优化级p4,创新级p5)判断企业或单位所处的级别,对主数据应用现状和管理目标进行精炼,定位主数据应用及管理中存在的问题。了解现行标准体系与编码管理的应用现状,对编码体系进行评估。建立平台技术环境,通过对主数据管理平台的系统原型进行需求差异化分析

    2.体系规划和架构设计
    主数据体系实施规划:对系统实施任务进行分解,明确每期系统建设的阶段目标、功能、内容、范围
    主数据管理体系设计:明确上级和下属单位之间的主数据管理模式;进行主数据管理流程设计
    主数据集成架构设计:明确主数据系统与企业或单位系统的横向数据交换方式,明确主数据系统与二级单位系统的纵向数据交换方式
    主数据安全架构设计:明确主数据安全体系中的安全策略、安全组织、安全技术、安全建设和运行。

    3.数据标准制定
    建立主数据分类体系,对于企业,划分客户主数据、供应商主数据、通用基础主数据等;建立符合各类标准的描述模板。
    提供通用主数据编码库、分类模型、描述模型:在项目实施过程中为主数据的分类及编码库的建立提供相应的设计方案。

    4.主数据管理平台设计
    明确主数据管理平台在与业务系统进行数据交换时的功能与方式,如Web Service(Web service 就是一个应用程序,它向外界暴露出一个能够通过Web进行调用的API);可查看主数据接收或分发日志,对不能正常处理的主数据进行主动预警,并按照预先设定规则处理。
    对数据清洗功能进行详细规划:数据清洗模型的建立,实现清洗过程中主数据的唯一性、完整性、一致性、合理性。

    第二阶段:平台实施阶段

    1.客户化设计、开发、测试阶段
    2.数据清洗阶段
    依据数据标准进行系统内各类主数据标准模型建设,提供清洗工具,依据历史数据分析,制定由历史数据向标准化转化的清洗工作方案
    3.培训、上线准备、系统上线运行阶段
    4.系统上线运行支持

    五.核心步骤

    1.主数据的准备

    主数据管理系统实施阶段的重中之重,主要内容包括数据采集、数据清洗和数据导入。

    数据采集:
    在数据采集前,项目组为了提高准备数据的质量,应说明关键字段的含义、系统使用原理 以及和原系统数据的对应关系
    在数据采集的工具方面,一种方法是利用业务系统的数据导出工具,通过人工的方式整理为标准的数据采集格式;另一种是由项目组开发一套数据采集软件

    数据清洗:
    数据清洗的目的是检测数据中存在的错误和不一致,剔除或者改正它们,将剩余部分转换成数据标准所接受的格式,提高数据质量。
    (1)清洗原则(保证主数据的唯一性、完整性、一致性、合理性)
    清洗已使用的主数据编码,对于未使用的主数据编码采用停用等方式。
    对企业统建系统的基础编码数据,可保留原编码规则,不进行编码的改动,仅完善维护相关属性值。
    属性值不完整的编码数据,按照其主数据规范标准进行补充完善,使其完全符合数据标准化的要求。
    清理要覆盖全部的数据,保证数据清理的完整性。
    (2)清理方法
    1)初步标记
    将获取的主数据进行初步清理、标记工作。
    2)分类清理
    对主数据采用分类清理的策略,首先制定出清理收集模板,按照清理模板要求的属性规范进行填写收集。
    3)先分后合
    按主数据的条数分工进行清理,将检查无误的主数据提交到主数据项目组,由项目组统一合并汇总,完成数据的导入。
    4)分段清理
    按照时间分阶段进行清理,逐步将目标系统中的主数据进行清理,完成规范编码库,完成所有的清理工作。
    5)检查反馈
    定期检查能够保证数据清理的质量,避免盲目的数据清理。

    数据导入:
    1)手工录入
    最费时,易造成数据录入错误的数据导入方式,应尽量避免采取这种方式进行数据导入。
    2)DataLoad类工具
    利用软件模仿人的录入动作,逐条地从系统界面导入数据。DataLoad的工作原理为,先把数据在Excel中整理好,然后打开DataLoad记忆功能,这时手动执行一次从Excel复制数据到系统数据录入界面并保存动作,这时DataLoad软件将记录录入动作;然后进行适当设置,DataLoad软件会模仿用户录入动作对Excel中多条数据进行录入,直到录入完成。其缺点是速度慢,一万条数据可能会运行几个小时。几乎被淘汰。
    3)调用系统接口
    信息系统对各种数据的保存,由统一的函数或者接口调用的。有的是在Web Service服务中,有的是在数据库中由接口函数实现数据的保存。这种方式通过编程的方式实现,方法灵活,使用最为广泛,但是需要关注格式错误,需要对导入过程进行记录
    4)系统专用导入工具
    部分信息系统产品提供了自己的导入工具,这是导入数据最好的选择。
    数据导入的步骤
    数据导入工作的过程包括导入设计、编码、导入测试和正式导入等步骤。
    1)导入设计
    确定要导入的数据类型和对应的数据属性,导入目标数据库表中数据类型和元数据类型的对应关系等,形成数据字典对照报告和数据导入设计报告。
    2)编码
    根据数据导入字典对照报告、数据导入设计报告、程序设计报告编写数据导入程序,并对数据导入程序进行功能测试。如果采用系统专用的导入工具,则可忽略这一步。
    3)导入测试
    对备份数据进行导入,进行合理性和正确性校验。对导入完毕的数据通过总体数据对比,关键性数据的逐项对比以及人工抽查等方式校验数据导入的正确性。
    数据导入实验后,要采用导入后的数据运行新系统,以检查新系统的运行情况。对 数据导入过程中发现的一些有问题的数据,找出批量修改的方法。如果无法应用程序进 行批量处理,则需要人工修正。
    4)正式导入
    在原系统的数据经过了导入实验,并且有问题的数据都进行修正处理后,方可开始进行新系统数据的正式导入。正式的数据导入要在旧系统停止办理业务的情况下进行,数据导入工作的时间必须集中,争取一次导入成功,以将新旧系统切换带来的风险降到最低。

    2.系统集成架构

    系统集成支持SOA架构(将业务模块化,分解出各个业务模块之间的依赖及业务模块之间的边界。按照业务边界及业务之间的依赖顺序进行系统的拆分。沉淀一批稳定的后端服务,通过叠加复用快速响应用户的前端需求。)的集成方式,以Web Service 为传输协议,通过数据集成平台中的服务总线与业务系统采用松耦合的方式进行集成。
    在这里插入图片描述系统架构具有灵活性和扩展性,以低成本、高效率的方式支持未来系统升级和业务流程变化。

    集成流程
    集成过程有两种模式,一种是直接通过数据交换平台与业务系统进行集成;另一种是将数据交换平台与ESB(企业服务总线,Enterprise Service Bus 一个ESB是一个预先组装的SOA实现,它包含了实现SOA分层目标所必需的基础功能部件。)进行无缝集成,再通过ESB进行与业务系统的集成。从数据分发方式上,存在主动分发与被动分发的模式
    在这里插入图片描述
    主动分发即为主数据管理系统及时判断数据变动,主动推送数据至业务系统端。主动分发适合于数据获取及时性要求高的系统。
    被动分发即为数据需要的业务系统在其需要获取数据时,发出数据获取请求,主数据管理系统获取到数据请求后,按照数据请求的条件,将需要数据发送到业务系统端。,被动分发适用于数据获取及时性要求不高,可按需进行数据获取的系统。

    展开全文
  • 关于元数据与主数据

    万次阅读 多人点赞 2016-01-19 15:40:19
    企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;元数据(Meta Data)是关于数据的数据,是数据管控...

    企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。以下主要讨论主数据、元数据的概念及应用。

    主数据和主数据管理的概念

    企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。

    企业主数据可以包括很多方面,除了常见的客户主数据之外,不同行业的客户还可能拥有其他各种类型的主数据,例如:对于电信行业客户而言,电信运营商提供的各种服务可以形成其产品主数据;对于航空业客户而言,航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门,其主数据也不同,例如市场销售部门关心客户信息,产品研发部门关心产品编号、产品分类等产品信息,人事部门关心员工机构,部门层次关系等信息。

    数据管理的范畴和主数据管理的概念

    企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。

    • 交易数据:用于纪录业务事件,如客户的订单,投诉记录,客服申请等,它往往用于描述在某一个时间点上业务系统发生的行为。
    • 主数据:主数据则定义企业核心业务对象,如客户、产品、地址等,与交易流水信息不同,主数据一旦被记录到数据库中,需要经常对其进行维护,从而确保其时效性和准确性;主数据还包括关系数据,用以描述主数据之间的关系,如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。
    • 元数据:即关于数据的数据,用以描述数据及其环境的结构化信息,便于查找、理解、使用和管理数据。

    主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保证主数据的完整性、一致性和准确性。

    主数据管理的意义

    集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。

    主数据管理使得企业能够集中化管理数据,在分散的系统间保证主数据的一致性,改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从 IT 建设的角度,主数据管理可以增强 IT 结构的灵活性,构建覆盖整个企业范围内的数据管理基础和相应规范,并且更灵活地适应企业业务需求的变化。

    以客户主数据为例,客户主数据是目前企业级客户普遍面临的一个问题,在大多数企业中,客户信息通常分散于 CRM 等各个业务系统中,而每个业务系统中都只有客户信息的片断,即不完整的客户信息,但却缺乏企业级的完整、统一的单一客户视图,结果导致企业不能完全了解客户,无法协调统一的市场行为,导致客户满意度下降,市场份额减少。因此,建立客户主数据系统的目的在于:

    • 整合并存储所有业务系统和渠道的客户及潜在客户的信息:一方面从相关系统中抽取客户信息,并完成客户信息的清洗和整合工作,建立企业级的客户统一视图;另一方面,客户主数据管理系统将形成的统一客户信息以广播的形式同步到其他各个系统,从而确保客户信息的一致;
    • 为相关的应用系统提供联机交易支持,提供客户信息的唯一访问入口点,为所有应用系统提供及时和全面的客户信息;服务于 OCRM 系统,充分利用数据的价值,在所有客户接触点上提供更多具有附加价值的服务;
    • 实现 SOA 的体系结构:建立客户主数据系统之前,数据被锁定在每一个应用系统和流程中,建立主数据管理系统之后,数据从应用系统中被释放出来,并且被处理成为一组可重用的服务,被各个应用系统调用。

    主数据管理系统与数据仓库系统的关系

    主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:

    • 首先二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
    • 其次二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;
    • 第三就是二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。

    但是,主数据管理系统和数据仓库 / 决策支持系统二者之间也存在很多不同:

    • 处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;
    • 实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;
    • 数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。

    虽然主数据管理系统和数据仓库系统异同共存,但是二者却有着紧密的联系,并且可以互为促进、互为补充。举例而言,数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统,从而使 MDM 系统能够更好地为操作型 CRM 系统服务。

    主数据管理系统和 ODS 的关系

    在某些情况下,主数据管理系统和 ODS 系统可能容易被混淆,的确,从实时上来看,主数据管理系统和 ODS 系统存储的都是实时数据,但是二者存储的数据内容是全然不同的,主数据管理系统中不存储交易数据,比如银行客户的交易流水信息是不应该放在主数据管理系统中进行管理的,这与 MDM 与 ODS 的一个很大区别。举一个航空公司的例子,比如某个客户在电子商务网站上定了一张机票,产生一个订单,然后他又通过呼叫中心要求改签,这个场景中,两个系统之间要实现客户信息和订单信息的共享,其中客户信息共享通过MDM 系统来实现,而订单信息则需要采用 ODS 或其它手段进行共享,我们是不推荐把此类信息交由 MDM 系统来管理的。

    主数据管理典型应用

    主数据管理的典型应用有客户管理与产品管理,主数据管理在金融行业典型的应用就是企业级客户信息整合系统(Enterprise Custome Information Facility,简称ECIF),其目标是整合全行现有业务系统中的客户信息,保留客户的最新信息,为各应用系统提供完整的、共享的、一致的客户信息,建立企业级客户单一视图,在全行范围内为客户信息的使用和管理提供服务,为全行从“以产品为中心”的业务流程向“以客户为中心”的业务流程整合提供强有力的支持。

    基于元数据的主数据管理

    元数据管理作为企业数据资产管理中的一项核心技术,也将为主数据管理提供有力支撑,具体表现在:

    • 为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换,提高业务和IT之间的一致性,保障IT系统能够真实反映业务事实;
    • 为主数据管理的各个数据处理阶段提供数据标准、数据映射关系和数据规则的描述,保障主数据管理的数据质量;
    • 为主数据库和其他系统之间的数据交互提供有关数据标准、数据映射关系和数据规则的描述。

    元数据管理的概念

    元数据定义

    元数据(Meta Data)是关于数据的数据,当人们描述现实世界的现象时,就会产生抽象信息,这些抽象信息便可以看作是元数据,元数据主要用来描述数据的上下文信息。通俗的来讲,假若图书馆的每本书中的内容是数据的话,那么找到每本书的索引则是元数据,元数据之所以有其它方法无法比拟的优势,就在于它可以帮助人们更好的理解数据,发现和描述数据的来龙去脉,特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业,元数据可以帮他们形成清晰直观的数据流图,元数据是数据管控的基本手段。

    元数据是为了提升共享、重新获取和理解企业信息资产的水平,元数据是企业信息管理的润滑剂,不对元数据进行管理或管理不得当,信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。

    元数据分类

    元数据管理的范围将涵括数据产生、数据存储、数据加工和展现等各个环节的数据描述信息,帮助用户理解数据来龙去脉、关系及相关属性。按其描述对象的不同可以划分为三类元数据:技术元数据、业务元数据和管理元数据。这三种元数据的具体描述如下:

    • 技术元数据 技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特征描述,覆盖数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节;
    • 业务元数据 业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据,主要包括业务术语、信息分类、指标定义和业务规则等信息;
    • 管理元数据 管理元数据是描述数据系统中管理领域相关概念、关系和规则的数据,主要包括人员角色、岗位职责和管理流程等信息。

    元数据管理的范围

    元数据管理范围的不应仅仅局限于企业数据仓库、数据集市以及管理分类应用的数据,还应该将企业的业务系统的元数据纳入进来就行统一的管理,真正做到从源头对元数据进行管理,作为对数据的完整生命周期进行管理。

    元数据应用

    数据地图

    数据地图展现是以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现,并通过不同层次的图形展现粒度控制,满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。

    元数据分析
    血缘分析

    血缘分析(也称血统分析)是指从某一实体出发,往回追溯其处理过程,直到数据系统的数据源接口。对于不同类型的实体,其涉及的转换过程可能有不同类型,如:对于底层仓库实体,涉及的是ETL处理过程;而对于仓库汇总表,可能既涉及ETL处理过程,又涉及仓库汇总处理过程;而对于指标,则除了上面的处理过程,还涉及指标生成的处理过程。数据源接口实体由源系统提供,作为数据系统的数据输入,其它的数据实体都经过了一个或多个不同类型的处理过程。血缘分析正是提供了这样一种功能,可以让使用者根据需要了解不同的处理过程,每个处理过程具体做什么,需要什么样的输入,又产生什么样的输出。

    影响分析

    影响分析是指从某一实体出发,寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时,评估实体影响范围。

    实体关联分析

    实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况,形成一张实体和所参与处理过程的网络,从而进一步了解该实体的重要程度。本功能可以用来支撑需求变更影响评估的应用.

    实体差异分析

    实体差异分析是对元数据的不同实体进行检查,用图形和表格的形式展现它们之间的差异,包括名字、属性及数据血缘和对系统其他部分影响的差异等,在数据系统中存在许多类似的实体。这些实体(如数据表)可能只有名字上或者是在属性中存在微小的差异,甚至有部分属性名字都相同,但处于不同的应用中。由于各种原因,这些微小的差异直接影响了数据统计结果,数据系统需要清楚了解这些差异。本功能有助于进一步统一统计口径,评估近似实体的差异

    指标一致性分析

    指标一致性分析是指用图形化的方式来分析比较两个指标的数据流图是否一致,从而了解指标计算过程是否一致。该功能是指标血缘分析的一种具体应用。指标一致性分析可以帮助用户清楚地了解到将要比较的两个指标在经营分析数据流图中各阶段所涉及的数据对象和转换关系是否一致,帮助用户更好地了解指标的来龙去脉,清楚理解分布在不同部门且名称相同的指标之间的差异,从而提高用户对指标值的信任。

    辅助应用优化

    元数据对数据系统的数据、数据加工过程以及数据间的关系提供了准确的描述,利用血缘分析、影响分析和实体关联分析等元数据分析功能,可以识别与系统应用相关的技术资源,结合应用生命周期管理过程,辅助进行数据系统的应用优化.

    辅助安全管理

    企业数据平台所存储的数据和提供的各类分析应用,涉及到公司经营方面的各类敏感信息。因此在数据系统建设过程中,须采用全面的安全管理机制和措施来保障系统的数据安全。

    数据系统安全管理模块负责数据系统的数据敏感度、客户隐私信息和各环节审计日志记录管理,对数据系统的数据访问和功能使用进行有效监控。为实现数据系统对敏感数据和客户隐私信息的访问控制,进一步实现权限细化,安全管理模块应以元数据为依据,由元数据管理模块提供敏感数据定义和客户隐私信息定义,辅助安全管理模块完成相关安全管控操作。

    基于元数据的开发管理

    数据系统项目开发的主要环节包括:需求分析、设计、开发、测试和上线。开发管理应用可以提供相应的功能,对以上各环节的工作流程、相关资源、规则约束、输入输出信息等提供管理和支持。

    展开全文
  • 干货丨一组图详解元数据、主数据与参考数据
    展开全文
  • 主数据、业务数据、控制数据

    千次阅读 2015-07-20 14:42:33
     主数据:例如某个供应商相关的属性,就是该供应商的主数据。例如,包括供应商的上次交易价格、供应商的信用等级、采购的物料放在哪个仓库等等。 物料主数据:MM01 物料的相关属性,物料的大小,规格,颜色,...
  • SAP LTMC物料主数据导入教程
  • 个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段,而每个阶段都是必经阶段,每个阶段均可独立成章,所以这里是四部曲,不是四步曲。 主数据项目建设从方法上,分为以下四部,简单归结为12...
  • 主数据建设思路分享

    千次阅读 2019-05-30 11:36:47
    J企主数据方案分享 (一):主数据现状、问题分析及客户诉求 J企的主数据实施业务方案已经签署,主数据平台开发方案也基本敲定,接下来推进历史数据规整方案和各业务系统优化方案的制定。 在此与各位同学分享...
  • SAP-客户主数据维护

    万次阅读 2017-05-17 09:08:55
    是销售与分销模块中最重要的主数据,是指将各种商业伙伴的相关信息以主数据的形式在系统中建立,并以唯一的代码进行标识。维护客户主数据的主要作用是在进行销售与分销业务的各个阶段明确业务对象,并按照业务对象的...
  • 关于主数据管理及病人主索引的说明   一、 主数据的概念 主数据(md master data):是在不同业务系统中都会使用的核心的业务数据,这些业务系统可能是属于同一个业务机构的,也可能不是;常见的主数据包括:客户...
  • SAP主数据管理

    千次阅读 2015-07-14 10:10:31
    强化用户主数据管理,提升系统维护保障能力 客户供应商主数据 物料主数据 项目主数据(项目、WBS、网络)--作业、采购申请 财务主数据一般会分FI主数据、CO主数据 FI主数据主要有:会计科目、固定资产主数据、...
  • SAP 批量导出客户主数据

    千次阅读 2020-05-25 10:55:57
    SAP批量导出客户主数据 事务代码:VCUST
  • 企业主数据管理简介

    千次阅读 2018-08-07 16:47:24
    1. 主数据 企业主数据(Master Data)是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的...
  • 主数据治理框架

    千次阅读 2015-01-07 15:21:09
    主数据治理以主数据生命周期(产生、集成、存储、发布、维护、使用、归档)管理为核心,基于主数据生命周期各个环节建立主数据标准,以数据标准为依据搭建数据质量管理体系,并通过成熟的数据管理体系保障不同管理...
  • 主数据的前世、今生,未来预见!

    千次阅读 2019-03-24 13:17:38
    主数据的概念,是谁、在什么时间提出的,在网上查阅了很多资料,没有找到确切的答案,下面是根据个人的理解来聊聊,为什么会产生主数据主数据发展经历的哪些阶段,不同阶段主数据的特点和使命。 1、主数据是信息...
  • sap物料主数据的屏幕字段控制 在进行项目实施的时候,可能会经常用到限定物料主数据维护的字段可选还是必输,来更加方便用户,也更能保证必要字段数据被维护。这时候就需要我们在配置中进行限定。 举例说明: 1、...
  • SAP主数据与业务数据的一致性问题

    千次阅读 2015-07-18 14:40:20
    在SAP中数据大体上分为三类:主数据、业务数据、配置数据. 主数据:Material Master,Vendor Master,Customer Master…这些都是主数据 业务数据:Sales Order,Purchase Order,Production Order…这些都是业务...
  • 删除物料主数据

    千次阅读 2016-10-13 13:51:31
    项目中,难免会出现期初有错误物料主数据,删除也是不可避免的: mm60 归档 se38----- MMREO001 MMREO050 MMREO110
  • MySQL主主数据同步

    万次阅读 2016-09-17 18:00:26
    MySQL主主同步和主从同步的原理一样,只是双方都是主从角色。环境操作系统版本:CentOS7 64位 MySQL版本:mysql5.6.33 节点1IP:192.168.1.205 主机名:edu-mysql-01 节点2IP:192.168.1.206 主机名:edu-mysql-...
  • SAP查询供应商主数据

    千次阅读 2019-09-20 14:18:56
    登录SAP系统,输入FK03回车,会弹出主数据供应商的查询界面。可以勾选全部查询,也可以勾选部分查询,这里因为我们主要是查询供应商银行信息,所以勾选常规数据:付款交易和公司代码数据:付款交易 ...
  • QM模块主数据

    千次阅读 2015-05-29 16:12:21
    SAP的QM有哪些主数据? 主要分为7种: ①检验类型 ②采样过程 ③采样方案 ④动态修改规则 ⑤主检验特性 ⑥检验计划 ⑦物料说明 每种具体作用是什么? 作用: ①检验类型 维护在物料主数据的质量视图中,...
  • 注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata) 在和一些客户、同事聊数据的时候,发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家...
  • 主数据(Master Data)是具有共享性的基础数据,可以在企业内跨越各个业务部门被重复使用的,因此通常长期存在且应用于多个系统。由于主数据是企业基准数据,数据来源单一、准确、权威,具有较高的业务价值,因此是...
  • SAP使用MMCC批量复制物料主数据

    千次阅读 2019-03-17 15:36:59
    在测试阶段、需要有很多组物料主数据、这个时候复制信息的物料、同时扩充更多的工厂数据就比较有用了,MMCC这个程序就比较好用,以下是操作的几个重要步骤 1、输入需要复制的物料号 2.1、更改物料描述、物料编码...
  • 主数据管理和实施

    千次阅读 2012-07-27 17:08:31
    本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。 主数据和主数据管理的概念 企 业主数据可以包括很多方面,除了常见的客户主数据之外,不同行业的客户还可能拥有其他各种
  • SAP物料主数据所用标准表

    千次阅读 2018-10-09 08:59:39
    SAP物料主数据所用标准表 Material Master:Database Conversion
  • SAP物料主数据相关表、结构

    万次阅读 2016-07-29 11:11:55
    SAP物料主数据相关表、结构 EINA 采购信息记录 - 一般数据 表 有数据 EINE 采购信息记录 - 采购组织数据 表 有数据 KNA1 客户主文件的一般数据 表 有数据 LFA1 供应商主数据 ...
  • 主数据管理(MDM)与元数据管理

    万次阅读 2010-11-24 13:31:00
     主数据(Master Data)和元数据(Meta Data)是两个完全不同的概念。元数据是指表示数据的相关信息,比如数据定义等,而主数据是指实例数据,比如产品目录信息等。比如,某省地税开发了一套征收管理软件,以市为...
  • 物料主数据附加字段增强 物料主数据新增字段 … 入 .docx 613.55KB SE11 MARC追加字段 注意向修改MARC的附加结构后,需要激活附加结构,否则进入MM02会dump 增加屏幕字段 spro 创建函数组 ...
  • 物料主数据(SAP屠夫)

    千次阅读 2015-07-25 13:09:46
    ERP中的数据通常有各种相对静态的主数据和交易数据,物料主数据无疑是最重要最复杂的主数据,在SAP中,SAP的主数据包括采购销售计划物控仓库质量进出口财务成本等数据,这些信息的正确输入需要各部门的Co-work才能保证...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,506,276
精华内容 1,002,510
关键字:

主数据