为您推荐:
精华内容
最热下载
问答
  • 5星
    14.01MB qq_27595745 2021-08-08 21:31:06
  • 1.44MB weixin_38637884 2021-01-20 04:35:11
  • 556KB weixin_38680475 2021-06-09 15:39:03
  • 1.78MB u013883025 2021-07-11 08:21:13
  • 22.8MB zuoan1993 2021-06-06 22:50:32
  • 982KB weixin_38560275 2021-07-08 00:21:21
  • 1.19MB u013883025 2021-07-10 21:04:10
  • 上周参与了大数据筑基工程对现有数据平台的对标分析工作,各厂家要分析出自己平台的现状、差距以及要未来要改进的点,从而为筑基工程制定出接下来的行动计划。 通过分析,发现公司产品在数据清洗、数据质量以及数据...

    上周参与了大数据筑基工程对现有数据平台的对标分析工作,各厂家要分析出自己平台的现状、差距以及要未来要改进的点,从而为筑基工程制定出接下来的行动计划。

    通过分析,发现公司产品在数据清洗、数据质量以及数据分析方面的覆盖度还是挺好,但在其它诸如统一安全、统一管理、数据共享等领域,则显得有点单薄,当然这也与总体方案对这方面的规划本身很超前也有关系。抛开其它方面不谈,产品在数据质量、数据清洗这两方面的满足程度,应该与这个公司的历史渊源、实践案例有很大的关系。这两个产品应该是继承自td,已经有了多年的实践,因此可以提炼出诸如数据质量检查模板、检查规则等这样具有一定抽象性的概念,让系统既能做到灵活配置,也具有极大的可扩展性。

    但在这两个月的熟悉过程中,我也感受到了现有产品的不足,借着这次分析,对想法做了一定的归纳,主要包括以下几点:

    • 功能分散,相互之间的联系松散。像元数据、数据标准、数据质量和数据清洗,这几个数据治理相关的功能,缺乏有效的配合,每个功能都以子系统的形式独立存在,没有有效融合为整体。比如元数据管理,其中的表、字段、ETL等的元数据都可以做到导入、管理、查询等,但并没有为数据质量、数据清洗等提供支撑。
    • 功能的易用性不够,系统过于“重”。所谓的过于重,是指现有的功能多数用于项目上线后的日常生产,对于项目前期的数据质量和清洗,仍然是以“人肉”的方式去完成,现有的工具不能提供有效的支持。造成这个局面的原因,包括功能配置繁琐,使用不划算,也包括相关功能的深度不够,不能为实际工作提供帮助等。
    • 系统缺少对项目实践经验的沉淀与积累的支撑,知识仍然停留在相关个人的脑子中,不能形成有效的共享。数据治理是大数据项目中的关键环节,也是工作量最大的环节,对项目成员的要求很高,经验的多少直接影响到治理的效果。现在项目中的团队成员,有几个资深老手,拥有多年的项目实施经验。在实际工作当中,一般是以这几个成员为主,牵头组织相关任务的开展,比如,数据建模、数据入库等,不过由于每个人的管理素养各不相同,导致任务的执行效率存在着较大的提升空间。

    对于元数据、数据标准、数据质量、数据清洗这几个工具,下图是我认为的相互关系流程图:
    在这里插入图片描述
    通过上述流程,可以实现如下几个目标:

    • 打通功能孤岛,形成完整功能。现有的几个功能,更多是完成了其本职工作,用于应标、宣讲问题不大,但应该发挥更多的作用,尤其是要将无形的”经验“沉淀为有形的功能中,比如,数据建模是不是可以用元数据管理起来,形成一个个的领域模型,对于新实施的项目,直接可以在已有领域模型的基础上,直接导入形成物理模型,然后进行定制化的微调;
    • 引入智能化,实现自动化。数据挖掘分析不仅仅可以用于业务场景,同样也可以用于数据治理。比如,通过对字段名称、表数据的分析,系统自动生成初步的数据质量检查规则和数据质量报告,经人工审核并调整以后,系统根据内置的清洗模板生成清洗任务及清洗流程,人工修改后部署上线。这个目标的实现,既需要将清洗经验沉淀为系统规则,同时也要利用语义分析、聚类算法等进行智能化的分析。数据治理自动化的实现,可以让项目实施的重点,从编写清洗脚本转变化数据分析、提炼规则上来,除了提升实施效率之外,也能让数据治理的效果更加可度量。同时,也可以让团队成员一定程度摆脱数据清的脏活累活,从工程师晋升为分析师和行业专家;
    • 数据治理的功能要从单独部署的产品向“SAAS+产品”的方向演进,SAAS平台是智库,是前端工具的大脑,本地部署的产品是定制化的工具,经过裁剪后用于各行业的数据应用,支撑客户的数据治理需求。经过项目的实践积累,SAAS平台中的规则不断丰富,最终可以让项目的复制越来越容易,项目实施可以像搭积木一样,由业务专家通过挑选合适的组件完成数据治理。
    展开全文
    weixin_42893650 2019-04-22 13:36:15
  • 182KB weixin_57147647 2021-09-14 17:07:17
  • 当今信息化建设程度不断深入,企业在优化整合各种IT能力,使IT成为企业的前进驱动力与核心竞争力的同时,将视角关注于更深层次的数据治理分析,预示着以数据、流量、知识为主的数字经济时代到来,此背景下,数字化...

    当今信息化建设程度不断深入,企业在优化整合各种IT能力,使IT成为企业的前进驱动力与核心竞争力的同时,将视角关注于更深层次的数据治理与分析,预示着以数据、流量、知识为主的数字经济时代到来,此背景下,数字化转型正在各行业快速萌生并发展。

    随着各行业逐渐走向多元化、服务化、个性化发展,行业竞争趋势愈演愈烈,这时收集、利用数据资产,以支撑战略决策、风险规避、业务创新的需求急剧上升,而数据价值对于企业的作用不言而喻,因此许多数据治理、数据治理分析、大数据平台构建项目正如火如荼的进行,数通畅联在过去的一年里承接的项目大多都为数据治理分析项目,在建设过程中对于数据治理分析项目沉淀许多实施方法论和最佳实践,在此分享。

    常见问题

    在数据治理分析项目调研阶段及项目实施过程中会发现,很多企业在数据治理分析项目中无论是信息化基础设施环境,还是对项目本身的意识和认知,或多或少都存在多样的问题,具体问题如下:

    1 缺乏数据思维

    数据思维与信息化意识略有不同,具备信息化意识的管理者未必具备数据思维,数据思维是一种量化的思维模式,即理性的运用数据去分析处理事物。很多管理者已经习惯依靠自身经验的惯性思维或根据某件事情的规律去判断、解读事物的本质,没有做到用数字说话。一种为没有意识到数据思维的重要性,另一种为有意忽略数据思维,因为即使个人判断有误权威上也不会受到损害,而这些现象都会造成数据重要性被弱化,数据架构出现断层,无法更好建设数据分析平台。

    2 概念理解偏差

    大数据的宣传和噱头导致很多企业对数据分析工具或成果过于神化、期待,认为只要进行了数据分析平台的构建,就可以解决企业内部存在的一切数据问题,例如:提高内部数据质量、有效利用数据价值;节省员工对业务处理时间、提高工作效率;帮助解决数据集成共享问题,屏蔽数据信息孤岛等。事实上,上述问题仅依靠大数据分析工具是无法做到的,一味偏信过度的宣传,盲目建设只会增加信息化成本,而不能带来真切收益。

    3 数据资产混乱

    数据治理分析对于有些企业来说,仅是停留在概念层面,建设原因多为追赶当前信息化形势、信息部为凸显功绩等,他们并不知道当前内部到底有多少数据、哪些数据是核心数据、哪些是重复数据、哪些数据是需要做为数据分析源头、数据都是以什么形式存在。造成认为只要是数据,皆为重要资源,在系统没有建设到位或没有数据治理的情况下就展开项目,甚至不惜花费大量时间精力去收集内外部一切数据,认为收集数量越大,分析效果越好,殊不知在这个过程中为企业数据中心添加大量的垃圾数据,事实上对于企业内部系统中的现有数据价值密度更高,如果企业内部数据都没有梳理、治理好情况下,盲目追求大数据只是缘木求鱼。

    4 数据质量不高

    数据治理分析项目的重要前提是有数据且有正确的数据可以提供分析,但很多企业并没有注意到或者真正重视起来,反而将数据可视化部分作为建设重点,注重构建炫酷的分析界面,看起来美观且高大上,实际上只起到了花瓶的作用。事实上,数据可视化只是数据治理分析的一部分,更重要的是对数据质量的把控、数据的挖掘、预测、数据分析算法的合理应用、多维查询、即席分析等。数据质量不高表现为数据以多种格式,杂乱无序的存在于企业内外部的各个业务应用系统中,无统一数据源,数据分析可用的准确数据无法识别,展示信息不准,很难有效支持领导决策。

    5 分析偏离业务

    数据分析成果如何让领导真实看到企业数据资产情况、有效辅助企业战略决策,避免分析结果出现偏离业务现象,也是项目中需要注意产生的问题之一。各个业务部门配合差、业务梳理进展慢、领导不够重视、没有提出针对性需求、企业信息化团队业务理解掌控能力弱都会导致分析成果业务偏离。除此之外,存在一些实施厂商对客户行业不了解,套用通用业务分析模型,不能满足企业自己的实际业务情况,造成数据分析模式、分析结果不能真实体现业务价值。

    6 资源保障薄弱

    基础资源薄弱包括做项目必备的资源保障,即企业具备充足的资金、信息化团队及涉及业务员工的配合等,数据治理分析项目建设是一项周期长、投资大的工程,需要长时间资金投入去运维,在实施过程中经常会出现企业内部不够重视项目的建设,对项目期望值不高,不肯投入足够的资金或选择较为便宜的平台产品进行构建,最终做成烂尾。同样的,数据治理分析与应用集成、门户集成等项目不同,需要企业信息部及各部门人员的配合才能做好,很多企业信息部推动不利,员工不愿配合业务的梳理等情况都会导致项目进展缓慢。

    对应方案

    面对上述问题,数通畅联会根据企业信息化现状及真实业务需求,将数据治理套件进行拆分重组,构建成适合企业当下业务场景的解决方案,通常来说不同阶段的方案是由简单逐渐向高阶进行的,方案之间是一脉相承的。

    第一步解决企业内部应用、信息、数据的整合问题,同时构建数据门户,以实现企业内部运营数据的简单统计分析;第二步实施基础数据治理,保证企业内部质量,为后续数据分析奠定基础;第三步利用企业的BI决策分析与ETL工具进行数仓构建;第四步加深数据治理,结合数仓建设数据分析平台,实现企业内外部数据决策分析;最后构建数据中台,全面实现大数据分析,走向数字化、云计算、智能企业阶段,具体建设步骤如下:

    1 数据门户构建

    数据门户是企业各系统数据的统一展现平台,通过多样的图表、表格等Portlet组件高效地展现,以数据不落地的形式帮助企业实现内部应用数据分析,主要针对处在应用集成、门户集成阶段的企业,具体表现为企业具备一定数量的信息化系统,但尚未达到需要大规模数据分析的程度。

    企业数据门户解决方案涉及两款产品:AEAI ESB应用集成平台、AEAIPortal门户集成平台,AEAI ESB应用集成平台实现异构应用系统的对接,数据门户搭建的工作主要由AEAI Portal门户集成平台承担,通过配置相关的数据源进行数据获取,以图表报表的形式展现结合后的基础数据与业务数据,AEAI ESB应用集成平台负责显示数据的提供,AEAI Portal门户集成平台提供显示界面,并且支持灵活的布局以及多种图表方式展现。

    2 基础数据治理

    基础数据治理是规范企业数据的必要步骤,也是实现大数据分析的重要支撑,对于此方案实施的时间,数通畅联建议越早越好,可以在企业信息化建设第一阶段并行,不仅有效保证企业内部数据的一致性、完整性、准确性,还可以为后续深入应用集成、全面数据分析奠定基础。

    基础数据治理解决方案涉及两款产品:AEAI ESB应用集成平台、AEAI MDM基础数据平台,通过AEAI MDM基础数据平台,在整个企业内部制定并执行统一的、符合业务要求的、科学合理的数据标准,通过数据标准的执行使得企业内部的各个业务环境使用的主数据完整统一,有效简化数据清洗工作,提高数据治理,加快业务系统集成、数据治理分析、业务流程再造速度。AEAI ESB应用集成平台主要用来完成业务数据同步分发部分的功能,内置组件可以实现批量数据传输、同步、分发及控制、多协议调用、多方式触发等,辅助基础数据治理。

    3 数据仓库构建

    比起全面的数据决策分析,很多企业会根据内部原有的BI决策分析、ETL数据抽取工具等产品,先着手构建传统的数据仓库,为数据决策分析提供良好的环境,数据仓库可以有效的将数据集成到统一的环境中,提供决策数据的访问,让用户可以更快的查询所需的重要信息。通常构建数仓可以结合AEAI DAP数据分析平台展开。

    AEAI DAP数据分析平台为能够高效存储、计算、分析并处理海量数据的数据分析产品,在本方案中ETL作为数据采集、交换、传输工具,将转换处理后的数据加载到目标数据源,如ODS中,AEAI DAP数据分析平台基于ODS创建数据仓库,支持关系型数据库和大数据存储两种形式存储,通过元数据管理对数仓数据进行分类管理。结合企业内部BI数据分析系统,将系统内容集成在DAP下进行综合展现。

    4 数据治理分析

    数据治理分析属于大数据平台搭建的前期,通常在企业信息化建设的后期阶段,本阶段实施内容主要包括加强数据治理、数据集成,扩大数据治理范围,基于数仓,构建企业数据分析平台,实现数据在企业范围内的流转,并将数据分析结果以多种方式展现。数据治理分析涉及五款产品:AEAI DAP数据分析平台、AEAI DBP数据总线平台、AEAI MDM基础数据平台、AEAI ESB应用集成平台、AEAI DRP数据上报平台。

    基于AEAI MDM基础数据平台进行深入数据治理,利用AEAI DAP数据分析平台全面建立企业决策分析平台,结合数据仓库,改善人工数据与信息统计方式,利用数据库技术和信息处理能力,面向管理者提供实时、智能化、多维度的运营数据查询和统计分析,AEAI ESB应用集成平台一方面用于解决应用/数据集成问题,另一方面辅助MDM实现数据同步分发操作。

    AEAI DBP数据总线平台作为数据抽取交换工具,通过数据采集实现各系统数据的统一转换、抽取、传输,并将转换处理后的数据加载到目标数据源,如数仓、数据集市等,支撑数据分析。AEAI DRP数据上报平台用于解决企业系统之外的线下工作产生的数据上报问题,提供数据的上报及下发。

    5 数据中台构建

    数据中台模式为企业信息化建设的后期,推动着传统企业完成数字化转型,是企业信息化建设真正走向数字化、云计算、人工智能的阶段,数据中台主要帮助企业进行数据管理,打造数字化运营能力,不仅包括对业务数据的治理,还包括对海量数据的采集、存储、计算、配置、展现等一系列手段。数据中台的构建涉及七款产品:AEAI DAP数据分析平台、AEAI DBP数据总线平台、AEAI MDM基础数据平台、AEAI ESB应用集成平台、AEAI DRP数据上报平台、AEAIPortal门户集成平台、AEAI MAP移动应用平台。

    AEAI DAP数据分析平台用于搭建大数据平台,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,通过数据分析算法,进行数据统计分析、实时流处理,机器学习和图计算等,根据不同行业的业务场景更具有多样化、丰富化,同时包括自定义指标、表单查询等功能,可以满足用户不同的展示和分析需求。

    AEAI DBP数据总线平台从系统、社交、网络等渠道采集结构化或半结构、非结构化数据,按照所需的业态选择不同技术手段接入数据,之后将数据存入到相应的数据库中进行处理,通过MDM主数据治理清理脏数据,保证所需数据的准确性、完整性,之后将数据抽取或分发至计算平台中,通过不同的分析手段根据业务板块、主题进行多维度分析、加工处理,之后得到有价值的数据用于展现,辅助决策分析。AEAI DRP数据上报平台仍做为线下数据上报的工具,支撑线下业务部分的数据分析。

    企业大数据平台可以以企业战情室、战略决策室的形式集成在AEAI Portal门户集成平台构建的企业应用中心下,便于实现一体化办公与决策分析,对于移动办公需求,大数据平台支持多端展现,也可集成在AEAI MAP移动应用平台使用。

    实施过程

    数据治理分析类项目与普通集成类项目不同,其解决方案不是通用的,而是需要高度贴近行业业务的,通常都要基于行业经验结合企业实际情况来定制实现,所以做好此类项目依靠的不仅是性能高、功能全的产品和多业务场景的解决方案,还要有具备扎实行业知识的信息化团队和相关项目的实施方法论。

    1 需求调研

    需求调研主要通过信息采集、现场调研等形式,充分了解和获取客户相关方面的现状和用户对系统的具体需求及期望,本项目主要明确在实际业务环节中,业务部门共享的数据有哪些,明确数据指标,不同主数据的数据源头、数据源头部门、数据主责部门、数据使用部门、使用频度、数据范围、数据流程等。

    >>>>目标明确

    在需求调研过程中,实施方要目标明确,准确掌握项目中需要的数据、明确需要调研的部门人员、拟定调研计划及整理调研问题,有效开展调研工作,时刻明确调研工作并不只是将客户需求记录下来,更重要的是挖掘客户没有说清楚的需求、甚至客户发现的真实需求,为企业解决实际问题。同时实施方需要引导客户进行目标明确,明确其对项目所达成果的认知,清楚建设成果为其带来的好处,从而使客户可以在项目中积极配合业务梳理,提高对项目的重视程度,正视项目的开展。

    >>>>业务调研

    需求调研需要对不同层级的人员进行展开,例如企业管理者、部门主管、业务人员等,通常以沟通访谈的形式开展,至于开放式还是封闭式,可根据访谈者角色、配合程度决定,整体围绕访谈、梳理、引导三个阶段。首先从访谈中把握客户对项目的需求及建设方向,之后对企业组织架构、业务流程、信息化环境等进行引导、深入调研,在客户不了解需求或想要的效果时,需要基于以往的项目经验进行引导。

    >>>>需求确认

    调研结束后,将整理的需求与客户进行确认是必不可少的,切忌口头确认,一定要整理成文档形式,有凭有据,如《数据治理分析需求规格说明书》、《主数据标准》、《数据清洗方案》等,内部评审后需要与客户反复确认,这时需要用封闭式确认法,待客户认可并理解后签订需求确认书,也叫蓝图确认单,届时正式确定项目实施范围。

    >>>>功能设计

    很多人会认为蓝图确认后再展开功能设计工作,事实上功能设计部分的工作在调研的中后期,即达到需求准确率65%甚至更高占比的情况下就已经开展了,功能设计可以有效推动需求确认工作,通过规格说明书的撰写能反推、倒逼业务需求梳理是否正确、完备,例如通过对数据同步流程和业务对接方式的设计,可以验证调研过程中业务逻辑是否出错,存在问题。

    2 项目实施

    项目实施过程中,在进行数据来源采集、数据转换、清洗、汇总、数据分析模型建立、配置、分析展现等一系列技术类工作的同时,数通畅联会根据特有实施方法论进行实施过程全面监督、保障,通过一整套完备的管控方法及产品功能实现客户的需求,这里主要讲述对于项目的管控。

    >>>>制度保障

    数通畅联内部实行日报及周报管理制度,对项目人员人天/周工作内容及计划实时审查追溯,可及时发现项目中已知或未知的问题,并加以解决防控。对外实行项目双周滚动制,每周定时为客户发送当周项目工作总结及下周工作计划、后续工作安排,便于客户精准掌握项目进度,及时发现项目问题,有效控制项目进度,防止项目偏离拖期。

    >>>>客户参与

    项目中时刻保持与客户的良好沟通,为加强客户对项目的认知程度与参与程度,在项目进行中同步开展技能培训,包括技术人员培训、使用人员和管理层使用培训,技术人员培训主要包括MDM产品培训,数据集成规范培训,管理和维护培训,平台和工具培训包括初级数据流程集成培训和高级集成开发培训。通过原厂培训知识转移,用户IT部能掌握相关接口开发等技能,实现临时性的需求及后期维护系统服务等。

    >>>>分步上线

    分步上线是对下一阶段全面上线验收的保障,在项目交付上仍遵循敏捷机制,在项目开展2个月左右,部分功能即可上线供客户使用,所有功能正式上线前,都会经过几轮严密测试,包括内部自测、交叉联测、整体业务联测,过程中对发现的问题及时记录并快速修改,在保证系统稳定运行的情况下,同步对其它功能进行实施、扩展,对系统运行过程中或即将开发功能中的问题进行重点攻克,功能开发完毕之后,通过灰度升级方式部署在已上线的系统中,平滑过渡,整个过程不影响用户使用。

    3 上线验收

    上线验收做为项目全生命周期的结尾阶段,意味着项目整体工作已经完成,线下测试全部通过,该阶段也是较为重要的收款节点。通常在项目验收阶段会进行有效知识传递、项目经理推进验收、运维人员驻场交接等工作。

    >>>>快速验收

    基于局部上线、全面测试等良好基础,可以实现项目的快速验收,验收阶段主要工作是对项目整体实施工作的回顾和总结,对实施工作的认可,也是对双方高层领导的一个工作汇报,验收合格后,即进入系统维护期。在验收时会针对项目情况进行汇总及文档整理;双方共同召开项目验收会议,对项目实施过程、业务内容、工作程序和结果进行汇报及演示;将项目中所有文档交接于客户,并专派技术人员现场驻守,保证稳定运行后撤离,后期进行远程维护。

    >>>>知识传递

    考量一个项目是否成功,除上线的系统及为企业达到的效果之外,还有一个较为重要的指标就是看实施方在项目中知识传递的过程是否顺利、高效。数通畅联在知识传递上采用文档、沟通、培训等多种方式保障。实施过程中加强客户的参与程度,保持良好的沟通和关键功能点的指导,同时为客户输出系统操作手册、培训资料,帮助客户更好的理解掌握平台的操作。培训讲师由项目经理及主力技术人员担任,根据不同使用对象安排不同授课内容,使培训更具有针对性。

    >>>>运维保障

    实现技术驻守期与运维保障期的平滑过渡,系统上线后项目经理会根据实际情况在现场值守一周左右,这段时间工作主要为对项目成果进行迭代完善,确保系统正常平稳运行。同期项目运维人员进场进行工作交接,同样在项目值守一周左右,对客户信息化环境、关键联系人、系统测试问题等进行全面了解掌握,便于后续对项目进行运维支持。

    最佳实践

    大数据既然会火,一定有它的作用,笔者也相信未来大数据平台的建设会对企业决策分析起到灯塔作用,做到剖析过去、管控现在、预测未来,帮助企业发现以往业务中存在的问题,快速整改;管理监控当下运营过程,合理规避偏差;预测分析未来发展趋势,指明方向,辅助制定计划目标,很多企业也开始着手构建。

    关于大数据平台、数据治理分析相关项目是典型行业类项目,实施方必须具备深厚行业知识及交付经验,无论是项目经理还是技术经理、实施人员都需要对客户所处行业的特征、经营模式、运营管理、业务流程十分熟悉,可以根据企业需求快速切入,理解其个性化业务部分,从而有针对性的进行全面分析、业务梳理、整体规划。

    对于客户方不具备一定的前置条件和认知也是无法有效展开项目的,以下是数通畅联在承接行业类数据治理分析项目中,所沉淀的最佳实践,供参考。

    1 整体意识到位

    数据思维是一定要有的,重视事实,理性的正确的运用数据去分析处理事务,讲究逻辑关系,用数字说话,而不是仅仅靠个人经验拍脑门判断。除此之外,要求管理者具备较强的信息化意识、超前的规划能力、对待变革的创新力、推进执行的决断能力,对构建情况持续监督和推进,摆正对数据治理分析的预期,理性、长远、全局的看待数据治理分析所带来的成果。注重培养各部门负责人及基层员工的信息化意识,提高整体信息化能力,协作推进信息化建设。

    2 数据治理先行

    若想做好数据分析,对数据的治理很重要,通常包括企业内部信息化系统中产生的数据和外部的行业、产业、社交、政策等数据,利用数据分析前,首先要明确企业有哪些数据资产可以利用、数据都来源于哪些,应该怎么利用,之后有针对性的,进行数据的统一标准、规范、清洗、转换等操作,从数据源头保障数据质量,使分析所用数据是一致性、完整性、准确性的。

    3 强调顺势而为

    顺势而为已经成为笔者文章中老生常谈的一个关键点,本文仍要重点强调这点,大数据热潮的确炒的很火,但盲目追新并不可取,构建不得力,荒废或调整的成本远超于建设成本,在企业信息化能力或业务需求没有达到标准的基础上,按部就班保守建设不会错。因为真正做到大数据分析阶段的企业,信息化基础设施都是较为完备的,一方面具备全面的信息化系统,另一方面实现数据治理、门户集成、数据集成、应用集成、流程集成等操作,消除企业系统内外部、尤其内部的信息系统孤岛,只有这样才能有效支撑起数据分析的最终效果。

    4 合理选择方案

    若想基于数据分析结果为企业带来价值,就要注重差异化,贴近自身业务,从业务角度去考虑规划,如:业务梳理、逻辑关系、分析配置、效果展现等,根据不同的业务场景去选择合适的解决方案。对于一般大中型企业来说,关注点基本会围绕成本、收入、利润、风险这四点问题,而这些问题的数据通常存在于企业系统内部,不会涉及过多外部系统,可以先从这个问题入手,从数据治理、数据门户、数据分析平台、全面大数据平台一步一步构建。

    5 综合考量选型

    对于此类项目要从产品、供应商、实施团队多方面进行产品选型,选择具备扩展开发能力、业务集成能力、敏捷应用能力的产品,不要被炫酷的界面、分析的效果所干扰,真正去考量产品中对分析模型的构建是否敏捷、抽象能力如何、数据挖掘程度、算法是否合理等。拥有自主知识产权,能够提供底层源代码级的服务,解决系统级问题能力、快速响应问题的源厂商;具备丰富的行业知识及数据治理分析项目实施经验,提供成体系的实施方法论,并在过程中传递最佳实践,拥有良好的项目风险预测和风险管控能力的实施团队。

    6 强化培训学习

    为何要将培训学习单列出来阐述,因为在过往项目中会出现由于客户对产品理解或使用不到位而出现认为系统平台有问题的情况,所以对于行业类面向最终用户群体占比大的项目,数通畅联在实施过程中会针对企业各层级员工进行平台学习及应用,包括管理者对平台的使用、理解和建议,便于后续平台更好的升级,更贴近业务;信息化团队对平台应用、配置的掌握,便于后续独立进行平台维护、扩展或改造,实现自主可控。

    在大数据、移动互联、人工智能的技术背景下,数字化、智能化建设会越来越成为大势,未来企业如何快速响应业务需求、支撑业务创新,结果必然会在数字化、智能化方面展开竞争。数据治理分析之路如文中方案一样,是存在多样性的,企业可以根据自身情况和业务需求去构建,但只重结果不管过程的构建是无用功,发现问题不去调整的治理是瞎忙活,一旦要做,就要真正实现数据治理分析与经营管理过程的联动,通过数据发现问题、调整问题、预测问题,分阶段进行,逐步加码构建、持续提升。事实上,企业整体IT架构、数据治理分析建设之路只有进行时,没有完成时,未来也一定会源源不断有新的技术或理念出现,当下能做的就是根据形势、稳扎稳打、逐步构建,让信息化建设程螺旋式上升,持续支撑业务良好运转、推进业务不断升级与创新。

    展开全文
    aeaiesb 2019-02-13 11:00:11
  • 6.88MB u013883025 2021-07-11 07:50:53
  • 5星
    338.47MB goodxianping 2021-09-06 10:12:01
  • 作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。一、什么是数据治理?维基百科:数据治理对于确保数据的准确、适度分享和...

    作者:石秀峰,多年来一直从事企业数据资源规划、企业数据资产管理、数据治理,欢迎关注。

    一、什么是数据治理?

    维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。

    笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。

    二、为什么需要数据治理?

    在我国,各行业的信息化发展和建设水平并不均衡,甚至有的行业是刚刚起步。但是,不论是金融行业、通讯行业、地产行业、传统制造业以及农业,其信息化的发展基本都遵循了“诺兰模型”。笔者认为企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段,可以说是一个先建设后治理的过程。

    1、数据质量层次不齐

    当今时代,“数据资产化”的概念已经被大多数人理解和接受。不论是企业、政府还是其他组织机构,对于的数据资产的管理越来越重视。然而,数据并不等于资产,也就是说不是所有数据都是数据资产,数据中也有垃圾数据。我们需要治理的是能够为企业创造价值的数据资产,而不是全部数据。

    2、数据交换和共享困难

    企业信息化建设初期缺乏整体的信息化规划,系统建设大多都是以业务部门驱动的单体架构系统或套装软件,数据分散在这些架构不统一、开发语言不一致、数据库多样化的系统中,甚至还有大量的数据存放在员工的个人电脑中,导致在企业内部形成了一个个的“信息孤岛”。这些“孤岛”之间缺乏有效的连接通道,数据不能互联互通,不能按照用户的指令进行有意义的交流,数据的价值不能充分发挥。只有联通数据,消除这些“信息孤岛”,才能实现数据驱动业务、数据驱动管理,才能真正释放数据价值。

    3、缺乏有效的管理机制

    目前,许多企业都认识到了数据的重要性,并尝试通过生产系统的业务流来控制数据流,但由于缺乏有效的管理机制和某些人为的因素,在数据流转过程中,存在数据维护错误、数据重复、数据不一致、数据不完整的情况,导致了产生了大量的垃圾数据。数据产权不明确,管理职责混乱,管理和使用流程不清晰,是造成数据质量问题的重要因素。

    4、存在数据安全隐患

    2018年3月份的Facebook 5000万用户信息被泄露和滥用的事件,受该事件影响,Facebook股价当日大跌7%,市值缩水360多亿美元,而盗用数据的剑桥分析这家公司也于同年5月停止运营,并申请破产。这种数据安全事件,在我国发生频率更多,我还清楚的记得:2011年,黑客在网上公开了CSDN的用户数据库,高达600多万个明文的注册邮箱账号和密码遭到曝光和外泄;2016年,顺丰员工应盗取大量客户信息被送上法庭;2017年,京东员工盗取用户个人信息50亿条,并通过各种方式在网络黑市贩卖。近年来,随着大数据的发展,诸如此类的数据安全事件多不胜数。数据资产管理上,正在由传统分散式的人工管理向计算机集中化管理方向发展,数据的安全问题愈来愈受到人们的关注。

    三、DMBOK的数据治理框架

    DMBOK是由数据管理协会(DAMA)编撰的关于数据管理的专业书籍,一本DAMA 数据管理辞典。对于企业数据治理体系的建设有一定的指导性。注:DAMA 是数据管理协会的简称,是一个全球性数据管理和业务专业志愿人士组成的非营利协会,致力于数据管理的研究和实践。

    DMBOK将数据管理分为以下10个职能域:

    • 数据控制:在数据管理和使用层面之上进行规划、监督和控制。

    • 数据架构管理:定义数据资产管理蓝图。

    • 数据开发:数据的分析、设计、实施、测试、部署、维护等工作。

    • 数据操作管理:提供从数据获取到清除的技术支持。

    • 数据安全管理:确保隐私、保密性和适当的访问权限等。

    • 数据质量管理:定义、监测和提高数据质量。

    • 参考数据和主数据管理:管理数据的黄金版本和副本。

    • 数据仓库和商务智能管理:实现报告和分析。

    • 文件和内容管理:管理数据库以外的数据

    • 元数据管理:元数据的整合、控制以及提供元数据。

    四、数据治理框架的理解和解读

    DMBOK对企业级数据治理给出了框架性建议,但是任何指导性的框架文件都不是万能的。不同的行业、不同性质的企业、不同的信息化程度、不同的企业文化,其数据治理方案必须因地制宜,量身定制。我们常说:没有最好的解决方案只有更合适的解决方案。企业在实施数据治理的时候,应做好充分的分析和评估,切勿盲目跟风,避免出现数据治理收效甚微,还浪费了投资的窘境。

    笔者认为企业数据治理应考虑以下要素:

    1、数据治理的对象

    大家都在谈数据治理,但是到底哪些数据需要被治理?我们说数据治理不是治理全部数据,而是针对企业数据资产的治理。那么,问题来了,到底什么是数据资产?又如何识别数据资产?

    维基百科定义:数据资产属于普通个人和企业的数字财产,数据资产是无形资产的延伸,不具有实物形态。其本质是数据作为一种经济资源参与企业的经济活动,减少和消除了企业经济活动中的风险,为企业的管理控制和科学决策提供合理依据,并预期给企业带来经济利益。

    笔者认为,数据资产虽不具备实物形态,但是它必定是实物在网络世界映射的一种虚拟形态。对于企业而言,人、设备、产品、物料、软件系统、数据库、以及任何涉及到使用文件作为载体的各类数据,都属于企业的数据资产。

    我们虽然定义了数据资产,但是不同行业的数据治理侧重点也不同。数据治理要理解行业需求、企业诉求,在不同行业、不同企业应具有不同的差异化方案。企业在实施数据治理的时候,首先要进行数据资产的识别和定义,明确数据治理的对象和范围,做好数据治理的顶层设计!

    2、数据治理的时机

    这些年由于工作原因走访了一些企业,其经济情况不同、行业特点不同、信息化程度不同、数据治理情况也不尽相同。

    第一类企业:经济实力雄厚,信息化起步较早,信息化程度比较高,如:XX银行、国家电网,他们已形成了系统性的数据治理体系。

    第二类企业:有一定的经济实力、信息化程度相对较好,但是早期的信息化盲目建议,买了一堆的套装软件,建了一堆的系统,虽然系统或多或少都有使用,但效果不佳,谈起数据治理,客户自己都觉得头痛:企业到底都有哪些数据?这些数据都是分布在哪里?数据治理该如何入手?

    第三类企业:经济实力相对薄弱,也有信息化刚刚起步的企业,这些企业多数的业务还是靠纸质或线下模式,部分企业使用了财务软件或ERP系统,数据存放个人电脑或生产系统中,基本没有数据治理。我国的一些中小民型营制造企业多数处于这个水平。

    企业数据治理的时机该如何选择?是先有了数据再进行治理,还是先建设好数据治理体系再进行应用系统建设?针对上述不同类型的企业,其数据治理选择的时机和体系建设的设计绝对不能一概而论。

    对于第一类企业,已经有了相对完善的数据治理体系,更需要的是加强数据安全、数据应用、数据创新,稳固提升数据管理、数据应用和数据变现的能力;

    对于第二类企业单体架构的系统多,信息孤岛严重,一定存在数据多源、重复、不一致等问题,其数据治理已是迫在眉睫;

    对于第三类企业,在数字化的浪潮下,信息化虽然薄弱,但如果打好数据基础,未免不是企业改革创新,实现“弯道超车”的最佳时机。

    3、谁来实施、谁来主导

    企业常常有这样一个误区,很多人认为数据治理就是信息化部门的事情和业务部门无关。前边我们说过数据治理是对企业数据资产的治理,既然是资产,就一定要确权。企业数据资产的生产、使用应该有明确的责任部门,显然数据资产的生产及归属部门应该是业务部门,信息化部门最多也就是一个数据资产的托管部门而已。笔者也多次强调企业的数据问题,80%是业务和管理的问题,20%是技术问题。

    所以,企业数据治理是应有高层领导牵头,业务部门负责,信息部门执行,企业全员的参与。企业全员应培养起数据思维和数据意识,当然这是一个长期的过程,也是一件很不容易的事情,需要一点一滴的积累沉淀,并不断融入企业文化中。

    4、数据治理的内容

    数据治理是长期、复杂的工程,涉及到组织体系、标准体系、流程体系、技术体系和评价体系五方面的工作领域,包含了数据标准、数据质量、主数据、元数据、数据安全等多个方面内容。由于企业性质、业务特点、管理模式的不同,有必要建立符合企业现状和企业需求的数据治理框架,指导企业数据治理工作的开展。

    以下是笔者个人理解的数据治理框架内容,不足之处希望业内专家指正,期待与您的交流:

    组织体系:数据治理项目的实施绝非是一个部门的事情,不能在企业的单一部门得到解决。需要从整个组织考虑,建立专业的数据治理组织体系,进行数据资产的确权,明确相应的治理制度和标准,培养整个组织的数据治理意识。这需要 IT 与业务部门进行协作,而且必须始终如一地进行协作,以改善数据的可靠性和质量,从而为关键业务和管理决策提供支持,并确保遵守法规。

    标准体系:数据治理的标准体系是多个层面的,包括:国际标准、国家标准、行业标准、企业标准等。企业数据标准体系内容应涵盖:元数据标准、主数据标准、参照数据标准、数据指标标准等。数据治理的成效,很大程度上取决与数据标准的合理性和统一实施的程度。企业数据标准体系的建设应既满足当前的实际需求,又能着眼未来与国家及国际的标准接轨。

    流程体系:数据治理流程体系,为数据治理的开展提供有据可依的管理办法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度、流程等。建立数据的生产、流转、使用、归档、消除的整个生命周期管理的过程。企业应围绕数据治理的对象:数据质量、数据标准、主数据、元数据、数据安全等内容建立相应的制度和流程。

    评价体系:建立数据评价与考核体系是企业实施和贯彻数据治理相关标准、制度和流程的根本。建立明确的考核制度,实际操作中可根据不同企业的具体情况和企业未来发展要求建立数据的认责体系,设置考核指标和考核办法,并与个人绩效挂钩。考核指标包括两个方面内容,一方面是对数据的生产、管理和应用等过程的评估和考核指标,另一方面是数据质量的评测指标。

    技术体系:数据治理包括数据治理的工具和技术,总体应包括元数据管理、主数据管理、数据标准管理、数据质量管理和数据安全管理。

    元数据管理:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。借助变更报告、影响分析等应用,控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道,进一步提高各种数据的可信性、可维护性、适应性和可集成性。

    数据标准管理:数据标准适用于业务数据描述、信息管理及应用系统开发,可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准,在定义元数据实体或元素时进行关联。数据标准需要不断的补充完善、更新优化和积累,以便更好的支撑业务的开发和系统的集成。

    主数据管理:主数据管理是通过运用相关的流程、技术和解决方案,对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方,如用户、应用程序、业务流程等,创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据,被誉为是企业数据资产中的“黄金数据”,主数据管理是撬动企业数字化转型的支点,是企业数据治理最核心的部分。

    数据质量管理:建立数据质量管理体系,明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核,生产数据质量报告。通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理,从而促进数据质量的不断提升。

    数据安全管理:目前多数人都知道数据安全问题十分重要,但在现实中,数据安全却常常被忽视,只有出现了数据安全问题甚至事故时,人们才认识到要为数据安全做点什么了。数据安全应贯穿数据治理全过程,应保证管理和技术两条腿走路。从管理上,建立数据安全管理制度、设定数据安全标准、培养起全员的数据安全意识。从技术上,数据安全包括:数据的存储安全、传输安全和接口安全等。当然,安全与效率始终是一个矛盾体,数据安全管控越严格,数据的应用就可能越受限。企业需要在安全、效率之间找到平衡点。

    五、数据治理框架总结

    再次强调,企业实施数据治理需因地制宜,不论建立什么样的数据治理体系、采用什么样的数据治理技术,其目的都是实现数据治理目标,即:通过有效的数据资源控制手段,对进行数据的管理和控制,以提升数据质量进而提升数据变现的能力。数据治理体系和框架,只是企业数据治理的一个参考,不能照搬和套用,更不能为了治理而治理。

    扫描下方二维码

    添加好友,备注【交流群

    拉你到学习路线和资源丰富的交流群

    展开全文
    a934079371 2020-03-18 11:55:17
  • 1.57MB u013883025 2021-07-03 20:11:36
  • 1.86MB u013883025 2021-07-10 18:55:12
  • 而互联网、大数据、人工智能等技术手段应用的基础就是数据。 在国家政策支持和行业实际需求增长的情况下,政府部门、军队军工和大型企业通过搭建一系列的大数据系统、大数据平台,来提高自身的组织管理能力。由于...

    党的十九届四中全会《决定》在“优化政府职责体系”中,提出要“建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则”。而互联网、大数据、人工智能等技术手段应用的基础就是数据。

    在国家政策支持和行业实际需求增长的情况下,政府部门、军队军工和大型企业通过搭建一系列的大数据系统、大数据平台,来提高自身的组织管理能力。由于系统和平台建设趋于稳定,数据量也与日俱增,但是数据的质量却无法保证,要想进一步实现组织管理能力的智能化、智慧化,数据治理势在必行。

    什么是数据治理?

    (内容来源:《数据治理技术》吴信东,董丙冰,堵新政,杨威)

    至今为止,数据治理还没有统一标准的定义。IBM对于数据治理的定义是,数据治理是一种质量控制规程,用于在管理、使用、改进和保护组织信息的过程中添加新的严谨性和纪律性。DGI则认为,数据治理是指在企业数据管理中分配决策权和相关职责。

    数据治理的目标,总体来说就是提高数据质量,在降低企业风险的同时,实现数据资产价值的最大化,包括:

    • 构筑适配灵活、标准化、模块化的多源异构数据资源接入体系;

    • 建设规范化、流程化、智能化的数据处理体系;

    • 打造数据精细化治理体系、组织的数据资源融合分类体系;

    • 构建统一调度、精准服务、安全可用的信息共享服务体系。

    其次,我们还需理解数据治理的职能——数据治理提供了将数据作为资产进行管理所需的指导。最后,我们要把握数据治理的核心——数据资产管理的决策权分配和职责分工。

    由此,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利用进行评估、指导和监督(EDM)的过程,通过提供不断创新的数据服务,为企业创造价值。

    数据治理的现状

    信息协同受到阻碍:大部分组织的数据基础薄弱,存在数据标准混乱、数据质量参差不齐、各条块之间数据孤岛问题严重,对数据信息的共享,业务的有效协同形成阻碍。

    智慧场景严重缺失:智慧场景受限于数据规模和数据源种类的丰富程度,多数组织的数据应用刚刚起步,主要集中在舆情感知、辅助决策等有限场景,应用深度不够,应用场景缺失严重。

    数据治理认知模糊:大部分组织拥有庞大的数据量,由于数据治理认知模糊,未能建立起一个有效管理和应用数据的模式,在数据服务和数据应用方面也缺乏合规性的指导,难以找到一条释放数据价值的“最优路径”。

    数博数据治理平台

    平台利用多源异构业务数据的采集融合、存储组织和分析挖掘等技术,满足政府部门、军队军工和大型企业的组织业务信息管理需求,为后续深入数据分析和业务决策提供基础支撑。通过组织级的主数据及数据资源管理,构建领域概念体系、持续融合不同版本、不同结构、不同编码体系的数据、形成统一的覆盖全业务领域全部数据的数据中心,解决信息孤岛问题。

     

    1. 支持特征
    • 支持企业数据标准的开发和管理
    • 元数据管理和数据资源架构管理
    • 多源异构的数据资源采集
    • 大规模结构化和非结构化数据资源的存储组织
    • 基于主题的数据资源融合;基于规则的数据质量管理
    • 非结构化数据管理
    • 多级权限管理和全生命周期数据监控
    1. 应用场景
    • 数据共享交换

    由于各行业信息化发展速度过快,流转数据的类型多、数量多、目标地多、采集端多,对数据的安全性、完整性、准确性和鲜活性提出了较高要求。政府部门、军队军工和大型企业依托基础信息库数据内、外部流转,融合形成的数据可以通过数据共享交换为数据资源中心赋能,利用订阅、接口访问等方式将高质量、高权威的数据分发到应用部门内部或部门间的应用系统中。实现一对多、多对一、多对多等各类数据开放请求,确保数据在业务系统、外部政府机关、外部社会机构和基础信息库间传递的及时、准确、可靠。

    • 数据资产中心建设

    为满足国家和地方关于发挥大数据技术在政府治理、服务公众方面的工作要求,通过建设数据资产中心,采集、归纳、学习、分析各类业务数据,实现相关业务部门数据资源的传递、共享与交换,使数据资产中心的数据资源不断壮大,利用数据资产中心数据资源统计分析后的成果,形成以数据为支撑的社会治理能力,打通各业务系统间的数据壁垒,在实现数据统筹、业务协同、整合联动的基础上,为其他政府单位、社会公众和产业部门提供信息共享、数据开放等各类数据服务。

    • 多源异构数据集成

    根据数据中心的建设需求,利用丰富的采集系统适配多样化的数据采集接口,将不同来源的数据采集到原始数据库。针对所需数据采用合适的安全技术和清洗规则,确保数据安全,提升数据质量。最终实现将不同来源的数据统一采集到数据中心技术平台的原始数据存储库,实现多源异构数据的连接汇聚。

    • 数据资产盘点

    数据资产盘点是一个循序渐进、迭代上升的过程。旨在对数据资产进行分门别类的盘点、找出价值数据、过滤掉垃圾数据,制定数据资产管理应用方法,从而快速建立数据模型、响应前端应用需求;对数据标准进行有效管理,使数据保持一致性和统一性,以便进行有效的数据服务共享、提高数据质量,发挥出数据资产的最大价值,为政府部门、军队军工和大型企业决策分析提供有力支撑。

    “人工智能,数据先行”人工智能时代的魅力在于能够使产品和服务的价值最大化,但前提是需要利用庞大且宝贵的数据资产来挖掘其中的价值,而数据治理则可以减少数据挖掘所需要的时间,合理的数据治理能够建立规范且统一的数据标准,提高数据质量,实现数据资源在各组织机构部门的共享,推进数据资源的整合与服务,从而提升政府部门、军队军工和大型企业的信息化、智能化水平。

    展开全文
    qq_35063663 2020-04-01 11:44:19
  • 1.01MB weixin_38744962 2020-07-25 03:32:48
  • 3.42MB u013883025 2021-07-10 23:01:18
  • weixin_45727359 2021-07-27 00:30:49
  • 1001KB weixin_38662327 2021-07-08 00:29:05
  • kuangfeng88588 2019-05-08 14:58:56
  • 712KB u013883025 2021-07-10 21:07:17
  • weixin_37896608 2019-08-03 11:19:03
  • u014514254 2021-11-14 14:53:41
  • rlnLo2pNEfx9c 2021-08-03 00:07:57
  • 5星
    57.89MB goodxianping 2021-08-23 10:10:35
  • wuxintdrh 2021-04-08 10:55:36
  • 1.25MB testvaevv 2021-09-06 23:16:57
  • 1.83MB u013883025 2021-07-10 23:04:40
  • weixin_45942451 2021-11-16 11:55:20

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,169
精华内容 10,467
关键字:

数据治理智能分析