精华内容
下载资源
问答
  • 作者介绍刘庆会,主要负责普元大数据治理产品的实施,十年大型企业信息...声明:本文转自EAWorld(eaworld)公众号目录大纲:1、航空业数据治理现状2、航空业大数据治理的三个发展趋势3、规划企业数据架构的两种模式4
        

    作者介绍

    刘庆会主要负责普元大数据治理产品的实施,十年大型企业信息数据治理架构设计与建设经验,为多家大型金融机构、企业设计与规划数据管理整体框架和项目实施。对数据行业有着深入的研究和洞察,并在企业信息化平台建设、数据治理及大数据平台建设有着丰富经验。

    声明:本文转自EAWorld(eaworld)公众号


    目录大纲:

    1、航空业数据治理现状

    2、航空业大数据治理的三个发展趋势

    3、规划企业数据架构的两种模式

    4、规划企业数据架构的三个关键技术

    5、总结


    一、航空业数据治理现状


    目前航空行业数据治理已经逐步开展起来,驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会33条规定,银行业有银监会要求在2017年7月份开始实施报送数据标准化规范要求,这些外在监管要求促使了证券、银行必须开展数据治理方面的建设。而促使航空行业开展数据治理的主要因素是客户倒逼企业在做,服务行业现在都在做客户精准营销,航空业也不例外。


    这些年航空公司的信息化快速发展,积累了很多有价值的数据。但拥有数据,并不意味着拥有数据资产。


    640?wx_fmt=png&wxfrom=5&wx_lazy=1


    如何将企业的数据转化为数据资产?我们知道企业在日常运营过程中产生的数据,只是一些原材料,存在不可知、不可信、不可取等问题。要想将其转化为数据资产,需要借助大数据治理打通数据和信息的通道,从而为挖掘数据价值、业务创新提供决策支持,以满足客户的个性化服务的要求。


    通过对国内两家大型航空公司数据治理项目的实施以及中小航空公司数据治理的交流探讨,笔者总结出航空数据现状总体面临着散、乱、难问题,数据资产分布散、数据定义乱、数据管理难,这使得航空业大数据治理呈现出三个趋势。


    二、航空业大数据治理的三个发展趋势


    趋势1:集中管理企业数据资产


    针对分散在企业各个系统的数据资产,对企业数据资产进行盘点,实现对数据资产的统一集中管理。管理的内容包DB数据资产、接口数据资产、报表数据资产、指标标准和企业数据模型等。


    640?wx_fmt=png


    趋势2:提升企业数据洞察能力


    通过数据治理构建数据洞察能力趋势,举个例子说:小张是销售部门的数据分析员,现在需要做一个2017年“春运”的市场和销售情况分析。他知道需要航班日期、起落机场、机型、收入、成本等这些基本数据,并且这些基础数据来源于航班运控系统。但他想分析中加入航油、腹舱货运,天气对航班的影响。这些数据有没有?从哪里取?连他这个老员工都不清楚,就更不用说新员工了。


    通过大数据治理,提升企业对数据资产洞察能力,可以快速定位到需要的数据。


    640?wx_fmt=png


    趋势3:规划企业数据架构


    简单来说,数据架构就是“人对企业业务的表达、记录,并转化为计算机可处理的格式”,是连接数据与信息的桥梁,部分航空公司为了适应这个趋势,专门成立了数据架构部,负责建立维护管理企业整体数据架构。


    我们认为企业的数据架构,主要有三个组件构成,分别是数据标准、企业模型和数据存储结构,如下图所示:


    640?wx_fmt=png


    标准在最上层,是总体纲领,企业模型在中层,最下层是数据资源存储结构,层次是这样划分的。但在实际建立的过程中,是一个由下而上的方式,通常是在现有数据存储结构的基础上,设计企业数据模型,然后归并数据项,形成数据标准。


    通过大数据治理,可以规划统一、标准的数据架构,为企业信息化建设提供规范和标准,使得在业务层和应用层之间,做各个操作型应用的设计、开发;在各个操作型应用和数据层之间,做业务系统数据结构的设计以及数据集成;在分析型应用和数据层之间,做数据获取、分析,从而指导规范企业信息化建设。


    三、规划企业数据架构的两种模式


    规划企业数据架构,通常有两种典型的模式:

     

    模式一:从技术到业务,也可以称为Bottom-up模式。典型特征是先定义主题域,在从现有操作性数据结构出发,通过调研和访谈,规划数据架构,实现数据到信息的打通。


    模式二:从业务到技术,也可以称为Top-Down模式。特征是以业务流程为主线,串联业务单元、业务环节、业务活动。分析业务活动所需的实体、属性。通过调研访谈,确认最终业务用户的数据需求和KPI绩效考核标准。整合在一起,再结合现有的数据结构,规划企业数据架构,实现数据到信息的打通。


    640?wx_fmt=png


    两种工作模式没有好坏之分,需要根据企业的数据现状,采用适合自身的工作模式。


    从技术到业务模式的经典案例


    借助数据治理工具,实现对企业数据资产的盘点,盘点数据资产管理的对象包括数据从业务系统到数据仓库、集市、报表的流转加工关系。盘点的范围是以数仓为核心,构建业务系统到数仓、数仓到数据分析应用的全链路数据资产盘点。


    640?wx_fmt=png


    在数据资产盘点的基础参考同业案例或经验,划分数据主题域。在项目中我们借鉴达美航空经验确定了13个数据主题域,同时又分析了数仓的模型中2000多个实体,对现有系统的数据结构进行调研确认,从而构建了企业数据模型。


    640?wx_fmt=png


    在企业数据模型的基础上,对数据项进行归并、指标口径的标准化,抽象出数据标准层,形成统一数据架构,提升数据服务能力。


    从业务到技术模式的经典案例


    模式一以现有企业信息化系统数据结构为基础。模式二以业务流程切入,以业务环节中的获取信息为基础,汇总企业数据项的信息。


    下图是某航空公司飞机运行生命周期管理业务流程。从规划发展部做飞机引进计划,到飞机投入运营,再到飞机退出,每个业务环节都会产生业务数据。在梳理的工程中,会从业务部门收集业务流程的各环节涉及的数据集和数据项信息。


    640?wx_fmt=png


    然后对数据项进行整合,按照数据项使用的热度,频率、关联度等,整合数据项、代码、指标度量、维度等,在结合(国际/国内)同业经验,形成某业务域的数据架构。


    在构建企业统一数据架构过程中会遇到各种问题,在关于设备主题域数据项制定的过程中,就发现了一个飞机号B5917,却存在三个不同的叫法,有的系统叫飞机尾号、有的叫飞机号,还有的叫飞机设备尾号。总之,各系统存在数据项业务含义不统一的地方。在梳理过程中要弄清楚数据的来源,来源不唯一的情况下还要从业务角度划分数据的责任方。最终确定统一的名称和业务含义。


    下图是我们在某航空公司构建数据标准示例,我们可以看到,航空业数据标准主要包括指标标准、业务术语、基础编码和数据项。


    640?wx_fmt=png


    四、规划企业数据架构的三个关键技术


    通过合理规划企业的数据架构,可以打通数据与信息的通道。这里列出了3个关键技术,来帮助企业快速合理地规划企业数据架构,实现数据到信息的转换。


    关键技术1:自动化数据资产收集技术


    通过自动化数据资产收集,需要完成以下几件事:

    • 梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识;

    • 对数据资产形成统一的自动化管理,形成企业的元数据库;

    • 对企业数据资产形成多种视图,使数据资产能够对不同用户,有不同视角的展示。


    从一定程度上来说,元数据采集的全面性和准确性决定了自动化数据资产收集的成败,是否能够对大数据、数据仓库、关系型/非关系型数据库、数据模型、主流ETL工具等实现自动化的元数据采集是关键。


    640?wx_fmt=png


    关键技术2:数据资产自动分类实现技术


    通过元数据聚类能力,形成资产密度分类,结合已有的的模型体系进行归类和整合。将收集的元数据分类归集到信息模型上,形成多维度的、完整的模型体系,从而贯通业务技术。这里面需要元数据产品具备自动化的分类引擎以及可扩展的元模型管理能力。


    640?wx_fmt=png


    关键技术3:数据资产质量自动监控技术


    数据资产质量自动监控,要求能够从数据的准确性、完整性、及时性、一致性等六性的维度,对数据资产的质量进行管理,从数据问题定义、问题发现、问题处理、问题跟踪和问题评估统计5个环节,构建资产质量的闭环管理流程。


    640?wx_fmt=jpeg


    五、总结


    航空数据现状总体面临着数据资产分布散、数据定义乱、数据管理难等常见问题,集中管理数据资产、提升企业数据洞察能力、规划企业数据架构是航空业应用大数据治理的三大趋势。


    其实不只在航空行业,各个行业在将企业数据转化为数据资产的过程中,打通数据与信息的通道都是关键的一环。通过自动化收集、自动化分类、自动化数据质量监控等技术手段,可以辅助企业规划统一、标准的数据架构,最终为数据转化为信息(数据资产)提供可靠、可行的途径。

    640?wx_fmt=png

    人工智能赛博物理操作系统

    AI-CPS OS

    人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


    AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


    领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

    1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

    2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

    3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

    AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

    1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

    2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

    3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

    4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

    5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

    AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

    1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

    2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

    3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


    给决策制定者和商业领袖的建议:

    1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

    2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

      评估未来的知识和技能类型;

    3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

      发过程中确定更加明晰的标准和最佳实践;

    4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

      较高失业风险的人群;

    5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


    子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


    如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


    新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。



    产业智能官  AI-CPS


    用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链


    640?wx_fmt=png

    640?wx_fmt=png

    长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


    新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、智能金融”、“智能零售”、“智能驾驶”、智能城市新模式:“财富空间“工业互联网”、“数据科学家”、“赛博物理系统CPS”、“供应链金融”


    官方网站:AI-CPS.NET


    本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



    版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com




    展开全文
  • 描述: 图1:企业IT架构规划标准框架图片: 描述: 图2:企业IT架构规划过程图片: 美国IT架构规划专家Zachman在上个世纪的90年代初,就建立了企业IT架构标准框架(Zachman Framework),如图1。Zachman的模型分两个...
    描述: 图1:企业IT架构规划标准框架
    图片:
    描述: 图2:企业IT架构规划过程
    图片:

    美国IT架构规划专家Zachman在上个世纪的90年代初,就建立了企业IT架构标准框架(Zachman Framework,如图1Zachman的模型分两个维度:横向维度(5W1H),是企业IT架构的构成要素,IT架构的构成分为:业务架构、数据架构、应用架构与IT基础设施架构。因为数据是IT系统管理最核心资源,所以在上面的框架中,把数据放在了第一列,ZachmanIT架构规划方法论是数据趋动的方法论。纵向维度IT架构层次,从上到下(Top-down),按范围、概念、逻辑、物理,进行层层细化,最后形成相应的标准。细化到IT标准,才使IT架构规划工作真正落了地,IT架构才不会成为空中楼阁,才能真正指导IT系统的建设。

    Zachman的架构规划框架模型是国际上最为权威的企业IT架构规划模型,美国国防部、财政部等政府部门,在上个世纪90年代,率先基于这个框架进行了IT架构的规划工作,并细化制定了相应的IT标准,使政府部门的在规范的框架的指导下进行。在此基础上,美国的国标局制定了美国政府部门的IT架构规划的方法论体系。90年代中后期,美国的大部分企业都把IT架构规划,作为IT部门的核心工作来做,并且为了评估企业的IT架构规划能力,制定了分级别的IT架构能力的评估模型。近几年,国内企业也认识到了IT架构规划才是企业信息化围绕的核心,有些企业已引入ZachmanIT架构规划标准框架模型,并结合企业信息化的实际情况,制定了相应的IT架构规划的方法论,并着手进行IT架构规划工作,并取得了很大的成绩。

    企业IT架构规划的一般过程,如图2,每一步的具体内容说明如下:

    1.  确定愿景和原则:

    ²        确定IT架构业务、组织与IT系统范围,识别业务趋动力;

    ²        确定IT架构愿景/目标;

    ²        制定IT架构定义的原则;

    ²        识别IT架构相关需求;

    ²        业界IT架构最佳实践研究与学习。

    2.  现状描述分析:

    ²        搜集现有IT系统现状资料;

    ²        业务现状分析,识别现有IT系统对业务支撑上存在的问题。

    3.  目标架构定义:

    ²        引入最佳实践,并结合企业实际,定义目标IT架构,包括:数据、应用、基础设施架构。

         4.差距与改进点分析:

    ²        目标架构与现状的差距与改进点分析;

    ²        把具体IT需求纳入目标架构框架。

    5.  改进点优先级排序:

    ²         IT架构的改进点,以及具体需求进行优先级排序;

    6.  制定IT架构的实施计划:

    ²        确定向目标IT架构迁移的具体实施计划;

    ²        确定目标IT架构实施的推行组织。

    7.  持续改进优化

    ²        IT架构规划过程中,各个环节不断优化;

    ²        制定目标IT架构的持续改进计划;

    ²        制定IT架构的管理维护机制。        

     
    展开全文
  • 目录:一、航空业数据治理现状二、航空业大数据治理的三个发展趋势三、规划企业数据架构的两种模式四、规划企业数据架构的三个关键技术五、总结一、航空业数据治理现状目前航空行业数据治理已经逐步在开展起来,驱动...

    目录:


    一、航空业数据治理现状

    二、航空业大数据治理的三个发展趋势

    三、规划企业数据架构的两种模式

    四、规划企业数据架构的三个关键技术

    五、总结


    一、航空业数据治理现状


    目前航空行业数据治理已经逐步在开展起来,驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会33条规定,银行业有银监会要求在2017年7月份开始实施报送数据标准化规范要求,这些外在监管要求促使了证券、银行必须开展数据治理方面的建设。


    促使航空行业开展数据治理的主要因素是客户倒逼企业在做,服务行业现在都在做客户精准营销,航空业也不例外。这些年航空公司的信息化快速发展,积累了很多有价值的数据。但是拥有数据,并不意味着拥有数据资产




    那么如何将企业的数据转化为数据资产?我们知道企业在日常运营过程中产生的数据,只是一些原材料,存在不可知、不可信、不可取等问题。要想将其转化为数据资产,需要借助大数据治理打通数据和信息的通道。从而为挖掘数据价值、业务创新提供决策支持,以满足客户的个性化服务的要求。


    通过对国内两家大型航空公司数据治理项目的实施以及中小航空公司数据治理的交流探讨,我总结出航空数据现状总体面临着散、乱、难问题,数据资产分布散、数据定义乱、数据管理难。这使得航空业大数据治理呈现出三个趋势


    二、航空业大数据治理的

    三个发展趋势


    • 趋势1:集中管理企业数据资产


    针对分散在企业各个系统的数据资产,对企业数据资产进行盘点,实现对数据资产的统一集中管理。管理的内容包DB数据资产、接口数据资产、报表数据资产、指标标准和企业数据模型等。




    • 趋势2:提升企业数据洞察能力


    通过数据治理构建数据洞察能力趋势,举个例子说:小张销售部门的数据分析员,现在需要做一个2017年“春运”的市场和销售情况分析。他知道需要航班日期、起落机场、机型、收入、成本等这些基本数据,并且这些基础数据来源于航班运控系统。但是他想分析中加入航油、腹舱货运,天气对航班的影响。这些数据有没有?从哪里取?连他这个老员工都不清楚,就更不用说新员工了。通过大数据治理,提升企业对数据资产洞察能力,可以快速定位到需要的数据。




    • 趋势3:规划企业数据架构


    数据架构简单来说就是“人对企业业务的表达、记录,并转化为计算机可处理的格式”,是连接数据与信息的桥梁,部分航空公司为了适应这个趋势,专门成立了数据架构部,负责建立维护管理企业整体数据架构。


    我们认为企业的数据架构,主要有三个组件构成。分别是数据标准、企业模型和数据存储结构。如下图所示




    标准在最上层,是总体纲领。企业模型在中层,最下层是数据资源存储结构。层次是这样划分的,但在实际建立的过程中,是一个由下而上的方式。通常是在现有数据存储结构的基础上,设计企业数据模型,然后归并数据项,形成数据标准。


    通过大数据治理,可以规划统一、标准的数据架构,为企业信息化建设提供规范和标准,使得在业务层和应用层之间,做各个操作型应用的设计、开发;在各个操作型应用和数据层之间,做业务系统数据结构的设计以及数据集成;在分析型应用和数据层之间,做数据获取、分析,从而指导规范企业信息化建设。


    三、规划企业数据架构的两种模式


    规划企业数据架构,通常有两种典型的模式


    模式一:从技术到业务,也可以称为Bottom-up模式。典型特征是先定义主题域,在从现有操作性数据结构出发,通过调研和访谈,规划数据架构,实现数据到信息的打通。


    模式二:从业务到技术,也可以称为Top-Down模式。其特征是以业务流程为主线,串联业务单元、业务环节、业务活动。分析业务活动所需的实体、属性。通过调研访谈,确认最终业务用户的数据需求和KPI绩效考核标准。整合在一起,再结合现有的数据结构,规划企业数据架构,实现数据到信息的打通。




    两种工作模式没有好坏之分,需要根据企业的数据现状,采用适合自身的工作模式。


    • 从技术到业务模式的经典案例


    借助数据治理工具,实现对企业数据资产的盘点,盘点数据资产管理的对象包括数据从业务系统到数据仓库、集市、报表的流转加工关系。盘点的范围是以数仓为核心,构建业务系统到数仓、数仓到数据分析应用的全链路数据资产盘点。




    在数据资产盘点的基础参考同业案例或经验,划分数据主题域。在项目中我们借鉴达美航空经验确定了13个数据主题域,同时又分析了数仓的模型中2000多个实体,对现有系统的数据结构进行调研确认,从而构建了企业数据模型。




    在企业数据模型的基础上,对数据项进行归并、指标口径的标准化。抽象出数据标准层,形成统一数据架构,提升数据服务能力。


    • 从业务到技术模式的经典案例


    模式一以现有企业信息化系统数据结构为基础。模式二以业务流程切入,以业务环节中的获取信息为基础,汇总企业数据项的信息。


    下图是某航空公司飞机运行生命周期管理业务流程。从规划发展部做飞机引进计划,到飞机投入运营,再到飞机退出,每个业务环节都会产生业务数据。在梳理的工程中,会从业务部门收集业务流程的各环节涉及的数据集和数据项信息。




    然后对数据项进行整合,按照数据项使用的热度,频率、关联度等,整合数据项、代码、指标度量、维度等,在结合(国际/国内)同业经验,形成某业务域的数据架构。


    在构建企业统一数据架构过程中会遇到各种问题,在关于设备主题域数据项制定的过程中,就发现了一个飞机号B5917,却存在三个不同的叫法,有的系统叫飞机尾号、有的叫飞机号,还有的叫飞机设备尾号。总之各系统存在数据项业务含义不统一的地方。在梳理过程中要弄清楚数据的来源,来源不唯一的情况下还要从业务角度划分数据的责任方。最终确定统一的名称和业务含义。


    下图是我们在某航空公司构建数据标准示例,我们可以看到,航空业数据标准主要包括指标标准、业务术语,基础编码和数据项。




    四、规划企业数据架构的

    三个关键技术


    通过合理规划企业的数据架构,可以打通数据与信息的通道。我这里列出了3个关键技术,来帮助企业快速合理地规划企业数据架构,实现数据到信息的转换。


    • 关键技术1:自动化数据资产收集技术


    通过自动化数据资产收集,需要完成以下几件事:


    • 梳理全企业数据架构,对企业的数据模型、数据关系、数据处理有清晰化的认识。

    • 对数据资产形成统一的自动化管理,形成企业的元数据库。

    • 对企业数据资产形成多种视图,使数据资产能够对不同用户,有不同视角的展示。


    从一定程度上来说,元数据采集的全面性和准确性决定了自动化数据资产收集的成败,是否能够对大数据、数据仓库、关系型/非关系型数据库、数据模型、主流ETL工具等实现自动化的元数据采集是关键。




    • 关键技术2:数据资产自动分类实现技术


    通过元数据聚类能力,形成资产密度分类,结合已有的的模型体系进行归类和整合。将收集的元数据分类归集到信息模型上,形成多维度的、完整的模型体系,从而贯通业务技术。这里面需要元数据产品具备自动化的分类引擎以及可扩展的元模型管理能力。




    • 关键技术3:数据资产质量自动监控技术


    数据资产质量自动监控,要求能够从数据的准确性、完整性、及时性、一致性等六性的维度,对数据资产的质量进行管理,从数据问题定义、问题发现、问题处理、问题跟踪和问题评估统计5个环节,构建资产质量的闭环管理流程。




    五、总结


    航空数据现状总体面临着数据资产分布散、数据定义乱、数据管理难等常见问题,集中管理数据资产、提升企业数据洞察能力、规划企业数据架构是航空业应用大数据治理的三大趋势。其实,不只是在航空行业,各个行业在将企业数据转化为数据资产的过程中,打通数据与信息的通道都是关键的一环。通过自动化收集、自动化分类、自动化数据质量监控等技术手段,可以辅助企业规划统一、标准的数据架构,最终为数据转化为信息(数据资产)提供可靠、可行的途径。


    关于作者:刘庆会,主要负责普元大数据治理产品的实施,十年大型企业信息数据治理架构设计与建设经验,为多家大型金融机构、企业设计与规划数据管理整体框架和项目实施,客户包括国家开发银行、中信银行、北京银行、重庆农商行、攀枝花银行、国家电网、浙江电力、新奥能源以及中国东方航空、中国国际航空等。数据行业有着深入的研究和洞察,并对企业信息化平台建设,数据治理及大数据平台建设有着丰富经验。


    展开全文
  • 但是还是有许多中小企业是没有选择IT外包服务的,都是自己建设企业的网络,接下来给中小企业如何创建一个成功的网络架构规划和IT服务支持一点小小的建议。 1、选择合适的网络类型 通常情况下,对于不到十台左右...

    一般来讲,中小型企业都缺少专职的IT网络架构和IT服务人员,很多企业都会选择把这些服务外包出去,达到公司效益的最大化。但是还是有许多中小企业是没有选择IT外包服务的,都是自己建设企业的网络,接下来给中小企业如何创建一个成功的网络架构规划和IT服务支持一点小小的建议。

    1、选择合适的网络类型

    通常情况下,对于不到十台左右电脑的企业网络而言,工作组网络是最经济的选择。虽然您企业显然不能像在域网络上一样实现集中管理用户帐,或Windows设置,但也有第三方的解决方案,这对于非IT工作人员而言,通常是更为用户友好且人性化的。

    2、选择合适的网络设备类别

    就像选择一种合适的网络类型对于中小企业而言相当重要一样,其重要性同样适用于企业用户对于网络硬件设备的选择。IT服务提供商可能会建议安装高端的思科设备,其前期花费的成本更多,并在后期进行维护的过程中需要他们的服务,但这只是因为他们已经习惯了这种部署。

    3、选择合适的无线Wi-Fi网络安全方法

    虽然Wi-Fi安全的个人模式,技术上称为预共享密钥(PSK)最初是易于安装和使用的,但这并不是专为商业网络所设计的。这种Wi-Fi安全模式使您只能为Wi-Fi无线网络设置一个密码,让所有访问该网络的用户在连接时输入。这样的话,如果一名员工离职,除非该密码被更改,否则他们仍然有访问该网络的密码。同样适用于如果有人失去了Wi-Fi设备,而小偷将能够连接到该网络。

    4、不要完全依赖于Wi-Fi

    现如今无线网络是大多数企业所必备的,但有线网络对于桌面台式机也是不可或缺的。投资数据端口并添加到办公室,购买交换机,并将其连接到网络通常是值得的。让电脑通过线缆连接到网络有助于减少电波的拥塞,通常能够提供更快和更可靠的连接。使用Wi-Fi连接的电脑很容易受到来自邻近Wi-Fi网络的干扰,或者即使是您企业的网络,如果没有经过正确配置也会造成干扰。

    5、不要购买廉价电脑

    此外,非常廉价的电脑通常包括太少的USB端口,PCI插槽内,甚至其处理器是焊接在主板上的。这些缺点降低了添加外设和执行升级的能力,甚至是比较简单的功能,比如添加第二块显卡,以支持双显示器的能力。

    6、保持对电脑和软件的维护

    您企业应该保持对相关网络设备,计算机和软件的更新和维护,以确保最佳的性能,可靠性和安全性。电脑设备维护得越好,越有可能有助于员工提升工作效率,进而使企业的业务获益。有一个好的互联网安全套件,防止额外的恶意软件,并保持软件的更新,可以帮助减少网络病毒,和广告软件传播的机会,并延缓或停止恶意软件。

     

    展开全文
  • 企业数据湖与大数据 Lambda 架构

    千次阅读 2019-11-07 09:31:44
    1.Lambda架构背景介绍 2.大数据系统的关键特性 3.数据系统的本质 3.1.数据的本质 3.1.1.数据的特性:When & What 3.1.2.数据的存储:Store Everything Rawly and Immutably 3.2.查询的本质 4....
  • 企业IT架构规划思考

    千次阅读 2012-07-12 11:38:45
    中国银行业的“大集中”是IT架构发生历史性变化的典型例子。...随着银行业务的发展,对数据的要求发生了变化,从而出现了新的数据架构的考虑,因此,“大集中”开始成为主流。  但是,“大集中”没有解决所有的问
  • 企业数据标准规划、建设和应用

    千次阅读 2016-11-29 10:32:21
    今天我分享的内容,整体包括三个部分:第一部分主要介绍为什么要建标准,建设数据标准带来价值是什么;什么是数据标准,业界数据标准体系架构,数据标准具体表现形式是什么样...一、企业数据建设现状长久以来,大多...
  • 企业应用架构是指一整套软件系统的构建,通过合理的划分和设计组合在一起,支持企业方方面面的经营运作。 不论是传统企业,还是互联网公司,发展到一定阶段,都需要一整套体系化的应用架构来支撑其运转。良好的、...
  • 在BATJ等互联网大厂大肆推广中台建设成果的当下,各个行业的企业似乎都想做数字化转型,建设业务中台,但是中台到底是啥,需要我们提前了解和学习,本文是我学习张旭老师《数据中台架构企业数据化最佳实践》一书的...
  • 企业架构-数据服务总线思路

    千次阅读 2020-04-20 15:14:51
    数据服务总线是快速数据集市构建工具,提供企业内部以及跨企业间不同业务主题之间数据共享和同步服务,设计的目的是对最终业务数据进行预处理,以减少业务复杂度提高访问效率。 背景描述 在常规的业务系统中数据...
  • 企业应用架构模式之数据源模式

    千次阅读 2012-10-13 17:07:59
    一旦选择了领域层(见领域逻辑架构模式),就必须决定如何与数据源相联系,这时候的选择是以领域层的选择为基础的。一般里说有以下4种方法:表数据入口、行数据入口、活动记录、数据映射器。称之为数据架构模式。 ...
  • 大型企业网络架构

    万次阅读 多人点赞 2018-11-24 10:57:01
    可以看到,在大型企业网络架构中,有非常多的产品:交换机、路由器、防火墙、IDS、IPS、服务器等设备。 那么有很多人会问,有了防火墙为什么还要IPS和IDS呢? 防火墙较多的应用在内网保护(NAT),流控,过滤等...
  • 一、总线架构 维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。...在多维体系结构(MD) 的数据仓库架构中,主导思想是分步建立数据仓库,由数据集市组合成企业的...
  • 0 引言  信息技术的迅速发展促进了企业经营管理模式和企业生产模式的变革,促进了经济... 企业信息化规划企业战略制订的重点之一,以信息化带动工业化已成为当前企业发展的共识。然而,企业信息化工作中还存在很多
  • 信息爆炸的时代,很少有人能够耐心的读完冗长的文章,除非学术研究或者纯技术类文章。 对于我们发表的表达观点...我们想表达的一个观点是,数据对一个企业来说,真的很重要,重要到会决定一个企业的生死存亡。 IT
  • 数据中台架构详解

    千人学习 2019-04-19 14:13:24
    当今是数据时代,越来越多的企业开始重视并探索数据的价值,希望通过数据运营赋能业务、让数据成为企业业务增长的新能源。但在数据运营过程中,... 本次直播将深度揭秘企业数据中台的技术架构、数据架构、产品架构。
  • 一个运行了20多年的数据架构,必然有其合理性。也正是因为年代久远,存量过多,才导致举步维艰。在Cloud和5G时代,超密度网络集成和大数据洞察需求给电信供应商带来新的挑战,从数据仓库到数...
  • 全栈必备 面向数据架构

    千次阅读 2016-11-30 20:49:43
    数据是系统的核心,在面向服务的架构之外,可以考虑面向数据架构方式。面向数据的服务架构需要支持多数据源异构,支持动态数据和静态数据,既支持公有云部署又支持私有云部署,提供多种数据应用和数据产品......
  • 在实际工作中,我们经常听到“架构”和“架构师”这样的名词,并不新鲜...
  • 数据仓库架构

    千次阅读 2012-03-10 10:51:42
    对于数据仓库的架构方法,不同的架构师有不同的原则和方法,笔者在这里来总结一下当前常采用的...而独立的数据集市架构(Independent data marts)没有企业范围内一致的数据,很可能会导致信息孤岛的产生,除非在很小
  • 在一个企业中,可能数据部门在一个公司中组织架构中的位置,决定了部门的定位和一些做的事情,所以笔者认为,数据部门所处的组织架构数据价值实现是一个很重要因素。   问题:为什么传统BI没有达到今天...
  • 数据仓库体系架构

    千次阅读 2014-01-15 08:34:10
    数据仓库架构,是IT架构的一个分支,随着数据企业的核心作用的增强,数据仓库的架构日益重要。数据仓库架构由于其技术选择非常广泛,看上去复杂,不过背后有一套比较稳定的思路,这也是数据仓库架构设计的一个要点...
  • 但是如果站在企业级别就要统一考虑,这样在设计时就会规避好多问题,在技术/数据架构设计时,可以控制全局的复杂性,可重用性,可扩展,可管理性,下面是我想象中的一个企业的技术/数据架构逻辑图模型:
  • 经过几十年的发展业界已经涌现出了很多企业架构以及企业架构框架理论。企业架构创建的方法论,亦即企业架构框架,由于其具备标准化的特性,将被作为本章内容的重点。当然,即便企业架构框架具有其标准性的一面,也并...
  • IT基础架构规划方案

    万次阅读 2018-08-31 16:49:53
    IT基础架构规划方案一(网络系统规划) 背景   某集团经过多年的经营,公司业务和规模在不断发展,公司管理层和IT部门也认识到通过信息化手段可以更好地支撑公司业务运营、提高企业生产和管理效率。同时随着新建...
  • 笔者结合自身的实践经验,阐述如何基于“企业架构”思想,进行企业信息化的规划方法和落地过程。什么是“企业架构”?所谓“企业架构”,常规的解释是:基于业务导向和驱动的架构来理解、分析、定义、构建、集成、...
  • 《SOD框架“企业级”应用数据架构实战》是框架作者“深蓝医生”10年架构师经验的精华总结,同时又是 国内第一本探讨程序员行业“996”问题现状与解决方案的图书,也是探讨普通程序员生存现状,拜托繁琐的CRUD,如何...
  • IT基础架构规划方案一(网络系统规划) 背景 某集团经过多年的经营,公司业务和规模在不断发展,公司管理层和IT部门也认识到通过信息化手段可以更好地支撑公司业务运营、提高企业生产和管理效率。同时随着...
  • 数据仓库架构设计

    千次阅读 2009-01-23 12:27:00
    数据仓库架构,是IT架构的一个分支,随着数据企业的核心作用的增强,数据仓库的架构日益重要。数据仓库架构由于其技术选择非常广泛,看上去复杂,不过背后有一套比较稳定的思路,这也是数据仓库架构设计的一个要点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 395,976
精华内容 158,390
关键字:

企业数据架构规划