精华内容
下载资源
问答
  • 2021-05-12 22:58:21

    作者:随亦

    前述

    经过我和我的团队一年的不懈努力,基本完成了公司信息安全体系的初步建设,我设计的安全体系架构分为六大块:安全开发体系安全防御体系数据安全体系隐私合规体系资产管理体系安全管理体系,六大体系共同构成了完整的信息安全体系。

    完整的信息安全体系架构图:

    我设计的企业安全体系架构

    六大体系建设总结:

    企业安全开发体系建设总结
    企业安全防御体系建设总结
    企业数据安全体系建设总结
    企业隐私合规体系建设总结
    企业资产管理体系建设总结
    企业安全管理体系建设总结

    一、安全管理体系介绍

    安全管理体系是信息安全体系架构中的基础模块。从安全工程实施的角度来说,安全管理理论上是一个大概念,其涵盖的范围非常多,重要性与所产生的价值也远超技术安全,俗话说三分技术七分管理就是指这个。但单从安全体系架构的不同模块来讲,我这里的安全管理体系并没有那么高端,它在整个信息安全体系架构中扮演辅助角色,主要承担一些非技术的内容。

    在实践中,这里的安全管理体系根据实际情况已被狭义化和裁剪化,狭义化和裁减化之后,我将安全管理体系分为安全培训安全运营安全制度人员安全知识沉淀等五大块,接下来我将逐一展开论述。

    这里的安全管理体系属性偏辅助,优先级也不算高,不过其重要性却不可忽视,因此属于慢建设的部分。

    二、安全培训

    安全培训的目的一般是为了提高公司人员的安全素质,避免因人员自身的问题而带来安全风险。此前有机构调研得出,在信息安全的各个分支领域中,安全培训属于产出投入比(比重=产出/投入)最高的一个分支,在安全培训开展得当的情况下,简单的安全培训就能提高人员的安全意识,而人员的安全意识提升上来之后,很多安全风险就大大降低了。

    从某种程度讲,人员的安全意识是一个大概念,除了指例如设置复杂密码、离开座位要锁屏之类的琐事外,开发人员的安全编码意识也是一个方面,如果开发人员的安全编码意识强,代码逻辑中的各个环节就会添加校验,业务中的技术漏洞也会大大减少。

    在实践中,根据安全培训内容的不同,将安全培训分为安全意识培训安全技术培训两方面。

    2.1、安全意识

    安全意识培训的目的是提高公司员工的信息安全认知与防范意识,其面向的群体一般是公司所有员工。要开展安全意识培训,首先要做的是和培训的相关负责人搭上关系,了解清楚目前培训体系的具体情况,然后再视具体情况制定对应的培训计划。需要了解的情况如:

    1、是否有新员工培训,培训的周期是怎样的,能不能加课?
    2、新员工培训是否有考试,考试的形式是怎样的,是否可以加入安全意识考试?
    3、安全宣传的准备流程是怎样的,要不要审批,海报谁来设计,谁来负责落地?
    4、讲公开课的前期准备流程是怎样的,要不要审批,怎么做前期宣传?
    5、公司是否有考试系统,权限由谁管理,该系统是怎么使用的?

    了解完以上的具体情况后,接下来就可以制定计划并开展工作了,工作分为三块

    第一块:新员工安全意识培训

    1、第一步,确定新员工安全培训范围。这一步需要安全部门确定培训范围并撰写培训课件,培训课件内容要事先和培训相关负责人同步,双方确认无问题即可;

    2、第二步,确定新员工安全考试范围。这一步需要安全部门确定考试范围并编写考试试题,考试试题建议以选择题和判断题为主,不要出其他类型的题,以方便批阅;

    3、第三步,执行新员工安全培训。这一步需要安全部门参与到实际的现场培训中,讲解安全培训内容;

    4、第四步,执行新员工安全考试。按新员工培训结业考试的方式,将安全意识考试搭车进去,考核方式与新员工培训结业考试的考核方式一致,例如考试不通过不能毕业等;

    5、第五步,持久化该项目。安全部门应参与每一届的新员工培训,通过安全培训与考试,提高新员工的安全意识。

    第二块:安全意识宣传

    1、第一步,确定安全宣传的准备流程。一般情况下,安全部门只负责出内容,其他专业的事情需要让专业的人去做,例如宣传执行、海报设计、原料采购、摆放展位等等,因此,要做安全宣传,第一步应该是确定安全宣传的准备流程;

    2、第二步,启动流程。例如提海报设计需求给UED、提海报采购需求给行政、确定宣传海报摆放位置如大厅等;

    3、第三步,摆放宣传。海报设计完成并制作成实物后,由宣传执行部门摆放在预定的位置进行宣传。

    第三块:全员安全意识培训

    1、第一步,确定培训周期与考试周期。培训周期可以一季度一次,考试周期一般一年一次即可;

    2、第二步,确定安全培训范围。这一步需要安全部门撰写培训课件,培训课件内容要事先和培训相关负责人同步,双方确认无问题即可;

    3、第三步,培训前准备。这一步需要安全部门提请公开课审批,以及开展相关的宣传工作等;

    4、第四步,执行全员安全培训。这一步需要安全部门参与到实际的现场培训中,讲解安全培训内容;

    5、第五步,全员考试调研。这一步需要安全部门确定公司是否有考试系统,如果公司没有考试系统,则全员考试不开展。如果公司有考试系统,则申请相关权限,并与培训相关负责人沟通好考试事宜;

    6、第六步,确定全员安全考试范围。这一步需要安全部门编写安全意识考试题,建议以选择题和判断题为主,不要出其他类型的题,否则不好自动化批阅;

    7、第七步,执行全员安全意识考试。安全部门通过通过考试平台,向全员推送安全意识考试,并以固定时间间隔对未考试人员重新推送安全意识考试;

    8、第八步,安全培训后续工作。后续工作例如对于未参加考试的员工如何处置、对于考试不及格的员工如何处置等等。

    以上操作执行下来,员工安全意识这块的工作就算完成了。

    2.2、安全技术

    上一节所说的安全意识培训属于普惠式的安全培训,即适用群体是所有员工,并不会涉及专业知识。除了开展普惠式的安全培训外,还需要对技术人员进行安全培训,而对技术人员的安全培训则是需要涉及到专业知识的。

    安全技术培训实际上是SDL的第一部分,属于安全开发体系的内容,但在实践中,出于安全整体的考量,我将其划分到了安全管理体系下的安全培训里面。

    从培训周期来讲,安全技术培训由于受众群体较少,培训周期可以根据实际情况自行决定。从培训内容来讲,安全技术培训分为两块,一块是对技术人员的安全培训,另一块是安全部门内部的安全分享。

    对技术人员的安全培训一般包括:

    1、对产品部门的安全培训。对产品设计人员进行安全培训可以提高他们的安全素质,从而在设计产品时无需安全部门介入就能规避掉一部分安全风险,同时让产品设计人员知道哪些功能需要安全部门审计,哪些功能不需要安全部门审计,这样可以大大节约安全部门在产品需求上所耗费的时间和精力。

    2、对研发部门的安全培训。对研发部门的安全培训主要是安全编码培训,通过培训提高产品开发人员的安全编码能力,从而在编码时知道怎样规避常见的安全漏洞,进而提升产品的技术安全性,降低产品的技术安全风险。

    除对技术人员进行安全培训外,还有安全部门的内部安全分享,这里的内容就很多样化了,例如各自负责业务的详细说明、新安全技术的研究、新安全政策的研究、安全漏洞分享等等,组内分享比较随意,分享内容也可以根据实际情况自行决定。

    三、安全运营

    这里的安全运营也是一个小概念,它并没有通常所说的大安全运营那么高端(大安全运营是指:除了开发部署,一切皆运营),在实践中,我将这里的安全运营分为应急响应中心SRC安全影响力提升两大块。

    应急响应中心SRC

    实际上,我司是没有SRC的,我仅在这里谈谈我对SRC的一些想法。

    众所周知,随着公司的不断壮大,公司的影响力不断提升,肯定会有越来越多的白帽子关注到公司,如果这些白帽子发现的安全漏洞没有地方安放,这些漏洞就会流入未知的地方,对公司造成的威胁也将大大增加。因此,SRC应用而生,用来收集社会上白帽子提交的安全漏洞。

    建设SRC是需要一定时机的,首先公司影响力要足够大,大到有安全白帽子关注到,否则建设完SRC又让它常年在那里吃灰,是没有意义的;同时再加上有外部安全事件推动,在外部安全事件引起老板们的重视后,建设SRC的时机就成熟了。

    在SRC的建设历程中,我认为最难完成的一点应该是漏洞奖励的落地,因为这对于公司来说是一笔额外开支,老板们能否认可这笔开支的价值,就看缘分了。如果对白帽子提交漏洞不设奖励或奖励度低于公共漏洞平台,那白帽子为什么要将漏洞提到你的平台上呢?

    满足前置条件之后,剩余的工作应该是没有太大难度的,首先搭建一个SRC平台,之后就是运营的工作了,例如等待白帽提交漏洞,在漏洞提交上来之后,安全部门对漏洞做评估定级,之后安排奖励发放,并对漏洞做修复推进等等。当然,实际上可能会更复杂一些。

    安全影响力提升

    安全部门的影响力可以分为外部影响力和内部影响力,内部影响力是指在公司范围内的影响力,外部影响力是指在公司范围外的影响力。

    提升影响力的方式有很多,对于内部影响力来说,如安全培训、安全宣传、安全周或安全月活动等等,都是提升内部影响力的方式。对于外部影响力来说,开设公开的安全博客、定期更新安全文章、参加一些大会的演讲、赞助CTF比赛……等等,也都是提升外部影响力的方式。

    提升影响力对于安全部门来说是很有益处的,对外影响力高了,能汇集各路大牛加盟,大牛加盟能让影响力更高,从此走向正循环;对内影响力高了,则能更轻松的开展一些安全工作,少一些妨碍。

    四、安全制度

    安全制度即需要目标群体去遵守的信息安全相关的规章规范,该工作在实施时主要分为两步,第一步是安全部门编写安全制度或安全规范,第二步是推动这些安全制度落地,这里主要谈谈我对安全制度的一些看法。

    众所周知,制度是需要人来遵守的,但人是灵活的,会不会遵守这个制度,每个人有每个人的想法。那么一个制度如果要落地实施,就必须要有相对应的惩罚规则,并且惩罚规则必须要先落地实施。如果一个制度没有惩罚规则,或者惩罚规则没有实施落地,那这份制度基本就会成为纸上谈兵的空中楼阁,没有人会去遵守。

    再说到惩罚规则实施,实施惩罚需要有一个强有力的执行部门,在实践中,这个部门一般是人事部,如果人事部强势,违反规则就实名通报批评或进行更进一步的惩罚,那自然会形成一定的威慑力,大家就会开始关注这些规则的具体要求了。如果人事部不够强势,总是担心通报会动摇军心或影响犯错员工的形象等等,从而进行匿名通报或不通报,如此一来,不遵守这些制度的成本变得非常低了,长期以往会导致更多人不遵守公司的规章制度,公司的规章制度就会成为一纸空文。

    一般情况下,对于全公司的安全制度,如果有较为苛刻的条款的话,落地起来都有一定的困难,比如设置电脑密码复杂度这种,该类型的制度只能配合安全培训和安全宣传来贯彻,就实际情况来看,效果非常一般,目前也没有什么好的解决办法。但是对于面向小众群体的安全制度,落地情况就很可观了,比如敏感数据提取规范这种,对要提取敏感数据的需求,一律按照敏感数据提取规范来进行,制度落地相当于100%。

    总而言之,制度编写很简单,但制度落地,还是需要安全部门的长期努力。

    五、人员安全

    人员安全是指人本身的安全,它所涵盖的范围就非常广了,从公司的业务发展角度讲,其包括内鬼安全、公司外部人员安全、人员入职离职安全等等。

    内鬼安全

    内鬼动机一般包括系统破坏、数据窃取、内部欺诈、商业间谍、偶然间失常等。内部人员作案一般是一个持续过程,在这个过程中逐渐变化,一开始可能是“小偷小摸”,多次得手后,胆子越来越大,最后导致灾难性安全事件发生。内部人员并非指“纯粹”的内部人员,也包括生态上下游合作伙伴、外包、访客等任何具有内部访问权限的人。若要给内部人员下一个清晰定义,可从知识、访问、信任几方面来描述。

    抓内鬼,不是由单一的安全技术部门负责这么简单,而是由跨部门工作组负责,需要有组织保障。可能涉及信息安全、内部监察、内控、廉政、HR等部门,具体落在哪个部门取决于内部博弈,但一般企业内不会先设立这么一个组织再来开展活动,而是谁能干这件事,责任就落在谁头上。

    另外,这个团队需要高层授权,解决“谁来监视监视者”的问题。这个组的工作是保密的,因此需要做好信任管理,确保监视者会受到监视,因为这个组掌握的信息太多且太敏感。

    内鬼安全在实践中非常难以防范,目前来看对于内鬼安全除了加强思想教育以及发生事件后溯源追责,并没有好的解决方案,这个就不具体说了。

    公司外部人员安全

    公司外部人员有很多,例如外包人员、第三方驻场人员、外卖员、快递员等等,对于这些人员的管理主要涉及物理安全与权限安全。在实践中,对于像外包人员、第三方驻场人员这种和公司业务沾边的外部人员,除了限制其物理活动范围外,还应当做好业务权限管控,仅赋予相应的最小权限,防止公司业务信息泄露。而对于像外卖员、快递员这种不和公司业务沾边的外部人员,只需做好物理范围隔离即可,比如设置单独的快递收发室或外卖存放区等。

    人员入职离职安全

    对于人员入职这块,主要有以下三块:
    1、背景调查。这块主要由人事部进行执行;
    2、保密协议与竞业协议。协议的起草主要由法务部开展,协议的签署工作主要由人事部进行执行,在签署保密协议或竞业协议时,要注意协议的有效性问题;
    3、入职培训。入职培训中,应设置网络安全培训,这块主要由安全部门执行。

    对于人员离职这块,安全部门需要关注的就是防止离职人员造成公司业务信息泄露。从实际实施上来讲,主要是两块的内容,一块是在提出离职后,通过数据防泄露系统重点审查其办公终端历史数据,确保在整个工作期间内没有过信息泄露记录,若有信息泄露记录,则要进行面谈及信息确认,并重申保密协议的法律效力。另一块是离职员工的各个账号权限的回收清除,确保在离职后没有任何与业务有关的账号及权限。而对于人员离职产生的其他工作,则是其他部门的事情。

    六、知识沉淀

    公司是铁打的营盘流水的兵,安全部门也是,除了部门内的员工入职离职要做好知识传承外,部门内的同事之间协作也要做好知识传承,例如部署一个系统,具体是怎么部署的?运营一个系统,每期运营解决了哪些问题?测试一个系统,测试账号是什么?等等……

    实际上,不光是安全部门,任何一个团队若要长远发展下去,都离不开知识沉淀,知识沉淀是每一个团队都需要好好去做的事情。在实践中,知识沉淀即文档体系,将安全部门所有工作的记录和结果都以文档的形式记录下来,让每一个接手该工作的人都能够快速的熟悉原先的工作内容,从而在原工作基础上高效的向下开展新的部分,让安全团队始终保持较快的前进速度。

    七、总结

    安全管理体系是整个安全体系架构中的基础模块,属于重要但不紧急象限的部分。出于公司的实际情况考虑,这部分工作内容并没有设定很多,但基本能满足一个小团队的需求。实际中安全管理的方式也有很多,不同的团队有不同的管理方式,本文在此谨以抛砖引玉供大家参考。

    更多相关内容
  • TRS内容管理CIO标准的目标是为用户提供一个具有开放标准、丰富行业知识,能提供广泛协作功能的新一代内容管理平台框架,包括核心基础技术、应用支持平台和行业解决方案三个层次,全面覆盖企业内容管理基础设施架构到...
  • M.3060针对这些需求,提 出了NGN的总体管理原则、体系架构,为演进中的NGN运营支撑系统的规划、规范、开发、建设和部署提供了参考和借鉴。NGN是通信网的未来发展方向,关注NGN的标准化进展情况,同时也要关注NGN管理...
  • 十年精华总结,精编100份资料合集,包括但不限于: 企业架构:打造当代信息化建设管理的制高点...以数据为中心的安全体系架构 无服务器架构设计模式和最佳实践 云计算核心能力&企业上云参考架构 云原生架构白皮书等等
  • 随着数字经济时代不确定和信息技术进一步引领组织模式创新和生产方式变革,企业数字化转型的过程就是技术创新与管理创新协调互动,生产力变革与生产关系变革相辅相成,实现螺旋式上升、可持续迭代优化的体系性创新和...
  • 结合风电业务发展战略和信息化建设与管理需要,研究提出信息化标准体系总体架构,并对架构各组成部分进行细化,形成信息化标准体系框架,同时对标准管理流程进行梳理。开发信息化标准管理平台,为公司标准化主管部门...
  • 企业数据架构: 目的:描述数据应该如何组织和管理 元素:数据模型、数据定义、数据映射规范、数据流、结构化数据应用编程接口 依赖项:管理业务架构创建和需要的数据 角色:数据架构师、建模师、数据管理企业...

    目录

    4.1引言

    4.1.1业务驱动因素

    4.1.2数据架构成果和实施

    4.1.3基本概念

    4.2活动

    4.2.1建立企业数据架构

    4.2.2整合其他企业架构

    4.3工具

    4.3.1数据建模工具

    4.3.2资产管理软件

    4.3.3图形设计应用

    4.4方法

    4.4.1生命周期预测

    4.4.2图标使用规范

    4.5实施指南

    4.5.1就绪评估和风险评估

    4.5.2组织和文化

    4.6数据架构治理

    4.6.1数据架构治理活动

    4.6.2度量指标

    声明:未经许可,严禁抄袭。


    4.1引言

    架构是构建一个系统(如可居住性建筑)的艺术和科学,以及在此过程中形成的成果-系统本身。

    通俗讲,架构是对组件要素有组织的设计,旨在优化整个结构或系统的功能、性能、可行性、成本和用户体验。

    国际标准中,将架构定义为“系统的基本机构,体现在架构构成中的组件、组件之间的相互关系以及管理其设计和演变的原则。”

    架构设计工作在信息系统的不同层级(企业架构包括:基础架构、应用架构、业务架构、数据架构等)来开展。

    架构师就是通过自身专业技能,将难以理解或迷惑的内容定义和设计清晰,以便浅显易懂,这是架构师的价值之所在

    数据架构主要目标①有效地管理数据,以及有效地管理存储和使用数据的系统。

    本章主要从以下3个方面考虑数据架构(基本组成部分):

    1. 数据架构成果——不同层级的模型、定义、数据流,这些被称为架构的构件;
    2. 数据架构活动——用于形成、部署和实现数据架构的目标;
    3. 数据架构行为——包括影响企业架构不同角色的协作、思维方式和技能;

    为什么需要数据架构:数据架构是数据管理的基础。大多数组织的数据超出了个人可理解的范围,因此有必要爱不同抽象层级上描述组织的数据,以便更好地了解数据,帮助管理层做出决策。

    数据架构的作用:良好的企业架构管理有助于组织了解系统的当前状态,加速向期待状态的转变。实现遵守规范,提高效率的目标。

    数据架构的构件包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理范围。

    组织中的数据架构是指不同抽象层级主要设计文档的集合,主要包括数据的收集、存储、规划、使用和删除等标准。

    详细的数据架构设计文件是正式的企业数据模型,它包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物理数据模型也属于数据架构文件,但物理数据模型是数据建模和设计的产物,而不是数据架构的产物

    数据架构能完全支持整个企业的需求,它才是最有价值的。

    架构师设计的数据架构构件是非常有价值的元数据的重要组成部分。数据架构构件应该在企业级元知识库中被集中存储和管理。

    4.1.1业务驱动因素

    数据架构主要目标②在业务战略和技术实现之间建立起一座通畅的桥梁。

    数据架构在企业架构中主要职责是:

    1. 利用新兴技术带来的优势,从战略上帮助组织快速改变产品、服务和数据
    2. 将业务需求转换为数据和应用需求,为业务流程处理提供有效数据
    3. 管理复杂数据和信息,并传递至整个企业
    4. 确保业务和IT技术保持一致
    5. 为企业改革、转型和提高适应性提供支撑

    以上业务驱动职责是评判数据架构任务完成情况或价值的重要指标,这些指标直接影响数据架构工作的好坏评估。

    4.1.2数据架构成果和实施

    主要成果包括(P71——图4-1):

    1. 数据存储和处理需求
    2. 涉及满足企业当前和长期数据需求的结构和规划
    3. 战略性地为组织做好准备,快速发展其产品、服务和数据,以利用新兴技术中固有的商机

    架构师寻求一种能为组织带来价值的方式对组织的数据架构进行设计。这种价值主要通过合适的技术应用、有效运营、项目效率提升以及数据应用能力加强来体现。

    为了实现该目标,组织要求具有良好的设计和计划以及确保设计和计划能够被执行的能力。

    为了达到该目的,架构师需要定义和维护的具体事宜如下:

    1. 定义组织中的数据当前状态
    2. 提供数据和组件的标准业务词汇
    3. 确保数据架构和企业战略以及业务架构保持一致
    4. 描述组织数据战略需求
    5. 高阶数据整合概要设计
    6. 整合业务数据架构蓝图

    总体实施包括:

    1. 使用数据架构构件(主蓝图)来定义数据需求、指导数据整合、管控数据资产、确保数据项目投入与企业战略保持一致
    2. 与参与改进业务或IT系统开发的利益相关方合作,学习并影响他们
    3. 通过数据架构及通用的数据词汇,搭建业务数据语言

    4.1.3基本概念

    1.企业架构类型(P72——表4-1)

    企业业务架构

            目的:识别企业如何为消费者和其他利益相关方创造价值

            元素:业务模型、流程、功能、服务、事件、策略、词汇

            依赖项:制定其他架构的需求

            角色:业务架构师和分析师、业务数据管理员

    企业数据架构:

            目的:描述数据应该如何组织和管理

            元素:数据模型、数据定义、数据映射规范、数据流、结构化数据应用编程接口

            依赖项:管理业务架构创建和需要的数据

            角色:数据架构师、建模师、数据管理员

    企业应用架构:

            目的:描述企业应用的结构和功能

            元素:业务系统、软件包、数据库

            依赖项:依赖业务需求来处理指定的数据

            角色:应用架构师

    企业技术架构:

            目的:描述能使系统发挥功能和传递价值的实体技术

            元素:技术平台、网络、安全、整合工具

            依赖项:承载并执行应用架构

            角色:基础设施架构师

    2.企业架构框架(P73——图4-2)

    主要讲述了Zahman的6*6矩阵模型,可以完整的描述一个企业以及相互之间的关系。

    矩阵框架的两个维度是:问询沟通重新定义转换

    列中显示的是问询沟通(可以寻问任何实体的基本问题,将其转换成企业架构对应每个列的理解):

    1. 是什么——目录列,表示构建架构的实体
    2. 怎么做——流程列,表示执行的活动
    3. 在哪里——分布列,表示业务位置和技术位置
    4. 是谁——职责列,表示角色和组织
    5. 什么时间——时间列,表示角色和组织
    6. 为什么——动机列,表示目标、策略和手段

    每个对应列下行中的值显示其重新定义转换(是将抽象概念转变为具体的实例的必经步骤,如识别、定义、描述、规范、配置和实例[注:每一列中都对应自己的这些步骤,识别→实例])。

    矩阵中的每一行代表不同的角色,包括规划者、所有者、设计师、建造者、实施者和用户。

    每个角色对不同问题解决持有不同的视角。例如每个视角与“什么”列交叉。

    具体如下:

    1. 高管视角(业务背景)——定义不同模型范围的业务元素目录
    2. 业务管理视角(业务概念)——不同业务模型涉及的不同的业务概念间的关系
    3. 架构师视角(业务逻辑)——作为模型设计的架构师细化系统需求,设计系统逻辑模型
    4. 工程师视角(业务实体)——具体的模型建造者,优化和实施具体应用设计的物理模型
    5. 技术人员视角(组件程序集)——采用特定技术、脱离上下文语境的视角,并解释配置模型的技术人员如何使用、组装和实施配件组件
    6. 用户视角(操作类)——参与人员所使用的实际功能实例

    3.企业数据架构

    数据架构定义了对组织非常难重要元素的标准术语和设计。设计中包括业务数据描述,如数据的收集、存储、整合、移动和分布。

    当数据在组织中通过源或接口流动时,需要安全、集成、存储、记录、分类、共享的报表和分析,最终交付给利益相关方使用。在这个过程中数据可能被验证、增强、链接、认证、整合、脱敏处理及用于分析,直到数据被归档或清除。

    因此企业数据架构必须包括企业数据模型数据流设计

    1.企业数据模型是一个整体的、企业级的、独立实施的概念或逻辑数据模型,为企业提供通用的、一致的数据视图。

    企业数据模型包括数据实体(如业务概念)、数据实体间关系、关键业务规则和一些关键属性,它为所有数据和数据相关项目奠定了基础。

    2.数据流设计,定义数据库、应用、平台和网络(组件)之间的需求和主蓝图。数据流展示了数据在业务流程、不同存储位置、业务角色和技术组件间的移动。

    (1)企业数据模型

    企业数据模型包括通用的(企业范围的概念和逻辑模型)和特定于应用或具体项目的数据模型及其定义、规范、映射和业务规则。

    P75——图4-3显示了不同模型是如何关联的,以及概念模型如何最终与物理应用数据模型关联,其明显特征为:

    1. 企业主题域的概念概述
    2. 各主题域的实体和关系概述
    3. 归属与同一主题域的详细逻辑概述
    4. 具体到应用或项目的逻辑和物理模型

    各层级的模型是企业数据模型的组成部分。模型链接定义和管理了模型的纵向从上到下以及横向间的关联路径。

    纵向:不同层级模型间的映射

    横向:同一个实体和关系可能出现在同一层级的多个模型中(用于关联关系的,主外键)

    企业数据模型是由主题域模型相结合构建的。构建方法为自上而下,或自下而上:

    自上而下是从主题域开始的:概念模型→主题域模型→逻辑模型→逻辑数据模型——物理数据模型

    自下而上是现有逻辑数据模型向上提炼抽象而成。

    通常推荐2种方法相结合共同完成企业数据模型的设计工作。

    主题域识别的准则必须在整个企业模型中保持一致。通常常用准则包括:

    使用规范化,从系统组合中分离主题域,基于顶级流程(业务价值链)或基于业务能力(企业架构)从数据治理结构和数据所有权(或组织)中形成主题领域。

    (2)数据流设计

    数据流是一种记录数据血缘的数据加工过程。

    数据流映射记录了数据与以下内容的联系:

    1. 业务流程的应用
    2. 某个环境中的数据存储或数据库
    3. 网段
    4. 业务角色(描述哪些角色有职责创建、更新和删除数据)
    5. 出现局部差异的位置

    数据流用于描述主题域、业务实体,乃至属性层面的映射关系。

    数据流呈现方式有:
    1.二维矩阵(P78-图4-5)(横向是业务流程和纵向是主要实体)——通过矩阵图形能清晰地展现创建和使用数据的过程。

    采用矩阵的优势是可以清楚看出数据不是只在一个方向上流动的。通过矩阵可以明确流程中的数据获取职责及数据依赖关系,反过来可以促进流程的制定。

    2.数据流图

    4.2活动

    简化数据和企业架构所面临的复杂问题,解决方式:

    1.面向质量。专注与业务和IT开发周期内对数据架构进行不断改进。如果架构没有得到妥善管理,也会慢慢遭到损坏,逐渐变得越复杂和缺乏扩展性,从而给组织带来风险。对数据整合、数据复制以及“意大利面式”接口关系无法控制,使组织效率越来越低,降低数据真实性。

    2.面向创新。专注与业务和IT转换,致力于新的期待和机会。用创新性技术和数据使用驱动创新,成为现代企业架构的一种功能。

    运用这2种方法有不同的方法论;

    面向质量的方法与传统的数据架构工作保持一致,其中架构质量改进是逐步完成的。架构师需要掌握整体架构、将治理、标准化、架构发展作为长期目标进行持续投入。

    面向创新的方法通常不用面面俱到,可以应用未经广泛验证的业务逻辑和前沿技术。需要架构师与产品经理和业务设计者进行联系。

    4.2.1建立企业数据架构

    数据架构应该是企业架构的组成部分。如果没有企业架构,也可以构建数据架构团队,组织应该设计有助于明确目标和驱动数据架构的框架。该框架对数据架构实施路线图中的方法、范围和工作优先级产生影响。

    建立企业数据架构通常架构师包括以下工作(可串行或并行执行):

    1. 战略——选择框架,制定方法,开发路线图
    2. 沟通与文化——建立沟通机制,并激励积极参与者
    3. 组织——通过明确责任和职责来组织数据框架工作
    4. 工作方法——与企业架构保持一致,在开发项目中定义最佳实践并执行数据架构工作
    5. 结果——在总体路线图中产出数据架构产品

    企业数据架构也会影响项目和系统开发的范围边界,如:

    1. 定义项目数据需求——通过数据架构为企业提供每个项目数据需求
    2. 评审项目数据设计——通过评审来确保概念、逻辑和物理数据模型与架构一致,与企业长期战略一致
    3. 确定数据溯源影响——确保数据流在应用中的业务规则一致且可溯源
    4. 数据复制控制——复制,能够改善应用和便于获取数据的方法。数据架构治理能保证充分的复制控制(方法和机制)来达到所需的一致性
    5. 实施数据架构标准——为企业数据架构生命周期制定和实施标准。标准可以表示为原则、流程、指南和规划蓝图
    6. 指导数据技术和更新决策——数据架构与企业架构管理每个应用的数据技术版本、补丁和技术路线策略

    1.现有数据架构规范评估

    为了解现有架构,需要识别现有系统的一系列文件,并评估其准确性、完整性和详细程度。如需必要,还需要更新这些文件使其真实反应系统当前状态。

    2.开发路线图

    如果一个企业是从零开始开发的,那么一个最佳的体系结构将仅仅基于运行该企业所需的数据,优先级将有业务战略确定,决策可以不受过去的阻碍。

    企业架构路线图提供了一种管理这些依赖性(数据依赖关系)并做出前瞻性决策的方法。路线图包括(高层次里程碑事件、所需资源、成本评估、业务能力工作流划分)

    企业数据架构路线图描述了架构3-5年的发展路径,路线图和业务需求共同将目标架构变为现实。业务数据驱动路线图(P81——图4-7)可以从最独立的业务能力开始,再处理相互依赖程度较高的业务能力。按照顺序处理每个业务能力,遵循整体业务数据生成顺序。

    在理想中,建议从图中产品管理和客户管理能力开始路线图,然后从上到下解决每一步依赖关系。

    3.在项目中管理企业需求

    架构不应该受开发时间的限制。利用数据模型及其有关规范描述的组织数据架构必须足够灵活,并能适应未来需求。构建架构层级的数据模型不仅应有企业全局观,而且要有足够让企业内部完全清楚理解的定义。

    对获取、存储、分发数据的开发项目实施解决方案,需要以业务需求和企业数据架构的标准为基础。

    在项目级别上,通过数据模型定义需求的过程是从审查业务需求开始的。通常这些需求是特定于项目目标的,不会对企业产生影响。

    重要的是,数据架构师必须能够理解需求与其他整体架构的关系,当项目范围完成时,架构师应该决定:

    1. 规范中所描述实体是否符合标准
    2. 在需求中,哪些实体应该被包括在整体企业数据架构中
    3. 规范中的实体和定义是否需要扩大或加深以满足将来的趋势
    4. 是否更新数据架构或是否向开发指出了哪些可以重用

    企业数据架构项目项相关活动包括:

    1. 定义范围。保证范围和接口与企业数据模型一致。理解项目对整体企业数据架构的潜在贡献、项目的建模和设计、哪些现有组件应该或能被重用。
    2. 理解业务需求。获取数据相关需求,如实体、资源、可用性、质量和痛点,自己评估满足这些需求的业务价值
    3. 设计。形成详细的目标规范。包括:数据生命周期内的业务规则、验证结果的有效性、需要提供的时间、提升模型的扩展性和改进标准模型等
    4. 实施分为

            ①什么时候购买考虑购买支持逆向工程的软件、逆向数据库中的数据模型(如果可以,让供应商提供其数据模型)

            ②什么时候重用数据。建立应用数据模型与通用数据结构、现有流程和新流程之间的对比映射关系,来理解CRUD操作。

            ③什么时候构建。根据数据结构进行数据存储;根据标准或设计并评审通过的规范进行集成

    项目在企业数据架构角色依赖软件开发过程,采用的方式有3种:

    1. 瀑布式——作为整个企业设计的一部分,在连续阶段中理解需求和构建系统。但需确保能够从企业视角设计架构和考虑问题,以避免局限性
    2. 迭代方式——适合总体需求模糊的原型。这种方式在启动阶段至关重要,最好早期迭代中创建一个全面的数据设计
    3. 敏捷方式——敏捷模型能够提供高目标导向的模型,强调用户界面设计、软件设计和系统行为

    4.2.2整合其他企业架构

    事实上,数据架构可能会影响项目的范围,因此,最好把企业数据架构问题和项目组合管理进行整合 。

    企业数据架构师的工作应被包含在企业应用开发和整合计划中,同时将数据架构视图应用于目标应用场景以及该场景的路线图中。

    4.3工具

    4.3.1数据建模工具

    在管理所有层级数据模型的过程中,数据模型工具和模型库都是非常必需的。

    4.3.2资产管理软件

    资产管理软件用于管理数据资产目录,描述其内容以及跟踪它们之间的关系。

    由于通过数据资产管理软件盘点了IT资产,所以包含了关于系统及相关数据的元数据。在创建数据流或研究当前状态时,这些元数据非常有用。

    4.3.3图形设计应用

    可以用于创建架构设计图形、数据流、数据价值链和其他架构构件。

    4.4方法

    4.4.1生命周期预测

    架构设计可以是针对当前的、面向未来的、实施完成的及将要退役的产品。

    无论哪种情况,其工作成果都应该存档管理。

    1. 当前的——当前支持和使用的产品
    2. 部署周期的——未来1-2年部署使用的产品
    3. 策略周期的——未来2年后使用的产品
    4. 退役的——一年内,已经停用或打算停止的产品
    5. 优先的——被多数应用优先使用的产品
    6. 限制的——在一定应用中限制使用的产品
    7. 新兴的——将来可能部署研究和试行的产品
    8. 审核的——以评估的产品,评估结果不能用于以上的产品

    4.4.2图标使用规范

    使用图标来实现视觉转换,以达到提高可读性和便于理解的目的。

    具体使用规范如下:

    1. 清晰一致的说明
    2. 所有图表对象与说明相匹配
    3. 清晰一致的线条方向
    4. 一致的交叉线显示方法,交叉并非连接点
    5. 一致的对象属性,如大小、粗细、颜色等
    6. 线性对称

    4.5实施指南

    实施企业数据架构主要包含内容:

    1. 建立企业数据架构团队和举办问题讨论会
    2. 生成数据架构构件的初始版本,如企业数据模型、企业范围数据流和路线图
    3. 在开发项目中,形成和建立数据架构工作方式
    4. 提高组织对数据架构工作价值的认识

    实施可以从部分组织中开始,或从某些数据域中开始,如产品数据或消费者数据。认知和工作方式成熟后,可以逐步扩大实施范围。

    通常,从非常需要改进的主数据域开始建立企业数据架构,一旦被接受,发展到包括面向业务事件的数据中。

    4.5.1就绪评估和风险评估

    最明显的风险有:

    1. 缺少管理层支持
    2. 成功与否缺乏证据
    3. 缺乏管理者的信任
    4. 管理层不正确的决策
    5. 文化冲击
    6. 缺乏有经验的项目经理
    7. 单一维度视角

    4.5.2组织和文化

    组织架构实施的速度依赖于适应文化的程度

    以产出为导向,战略一致的组织能更好地适应架构实施。

    一个组织接受并实施数据架构的能力依赖于以下几个方面:

    1. 对架构方法的接受度(开发架构的友好性)
    2. 确认数据属于组织的业务资产,而不仅仅是IT的任务
    3. 放弃局部数据视角,接受企业级数据视角的能力
    4. 将架构交付成果整合到项目实施中的能力
    5. 规范数据治理的接受程度
    6. 立足企业全局

    4.6数据架构治理

    数据架构活动能直接支持数据模型不同层级的映射管理及控制数据。

    理想情况下,数据架构师和数据管理员对每个主题域,甚至每个主题域的实体都保持一致。而且,数据监督应该与流程监督保持一致。业务事件主题域应该与流程监督保持一致。每个实体通常与业务流程相对应。

    4.6.1数据架构治理活动

    1.项目监督,确保符合项目所需的数据架构活动、使用和提高架构资产

    2.管理架构设计、生命周期和工具。必须对架构设计进行定义、评估和维护

    3.定义标准,制定数据在组织内如何使用的规则、指南和规范

    4.创建数据相关构件,支持治理规范的构件

    4.6.2度量指标

    数据架构的衡量指标反映了架构目标:架构接受度、实施趋势、业务价值

    1.架构标准接受率

            可以测量项目与已建立的数据架构的紧密程度及项目与企业架构参与流程的遵循度,

    2.实施趋势,对跟踪架构改善组织实施项目能力的程度,分为:

            1.使用/重用/代替/废弃测量。决定使用新架构构件与重用、代替或废弃构件的比例。

            2.项目执行效率测量。测量交付时间和可重用构件及指导构件的交付改进成本。

    3.业务价值度量指标

    追踪向期待的业务效果和利益方向的发展过程:

            1.业务敏捷性改进,解释生命周期改进或改变的好处,改进延误成本的测量方法

            2.业务质量,测量业务案例是否按期完成

            3.业务操作质量,测量改进效率的方法

            4.业务环境改进,由数据错误减少而改变客户的保留率和在递交中当局评论的减少率

    声明:未经许可,严禁抄袭。

    展开全文
  • JavaEE体系架构

    2019-08-26 19:44:24
    认识JavaEE完整体系架构(转载):作者详细解释了J2EE的体系结构,将各部分分类说明,非常详细。 http://www.jizhuomi.com/software/644.html  JavaEE是一套使用Java进行企业级Web应用开发的大家一致遵循的工业...

    JavaEE知识体系结构图

     

    JavaEE体系结构图:

     

    认识JavaEE完整体系架构(转载):作者详细解释了J2EE的体系结构,将各部分分类说明,非常详细。

    http://www.jizhuomi.com/software/644.html

     

     JavaEE是一套使用Java进行企业级Web应用开发的大家一致遵循的工业标准。

      JavaEE平台提供了一个基于组件的方法来加快设计、开发、装配及部署企业应用程序。

      相较于Microsoft的.NET,Sun公司的Java*E和一系列标准、技术及协议更接近或更满足互联网在智能化Web服务方面对开放性、分布性和平台无关性的要求。

      JavaEE的13种核心技术规范:

      1、JDBC(Java Database)数据库连接

      JDBC是一组用于执行SQL的Java API ,为访问不同的数据库提供了一种统一的途径,几乎所有的关系型数据库厂商(DBMS)都提供了JDBC的服务或驱动。JDBC对数据库的访问也具有平台无关性。

    JDBC处理模型

      2、JNDI(Java Naming and Directory Interfaces)Java 的命名和目录接口

      JNDI是命名目录服务的抽象接口集合,为企业级应用提供了统一的标准化连接,使Java能够无缝地获取任何可目录化的企业信息。在JavaEE体系中,JNDI用来定位各种对象,包括EJB、数据库驱动、JDBC数据源及消息连接等。由于JNDI是独立于目录协议的,因此还可以用JNDI访问各种特定的目录服务,如LDAP(轻量目录访问协议)、NDS(服务器目录访问服务)。

    JNDI数据源  

      3、EJB(Enterprise JavaBean)

      EJB组件:JavaBean是在编程环境(IDE)中能够被可视化处理的可重用组件,是实现分布式业务逻辑的 Java 组件。我们在开发的时候可以利用这些组件,像搭积木一样建立面向对象的分布式应用。

      EJB容器:是EJB组件的运行环境,为部署EJB组件提供服务,包括事务、安全、远程客户端的网络发布、资源管理等。

      EJB服务器:管理EJB容器的高端进程或应用程序,并提供对系统服务的访问。

      调用EJB组件的应该称为EJB客户端,客户端可以运行在Web容器中。

    EJB

      4、RMI(Remote Method Invoke)远程方法调用

      RMI协议能够让在某个Java虚拟机上的对象,像调用本地对象一样调用另一个Java虚拟机中的对象上的方法。它使用了序列化方式在客户端和服务器端传送数据。RMI是一种被EJB使用的更底层的协议。(stub/skeleton层提供了客户程序和服务程序彼此交互的接口)

    RMI远程调用 

      5、Java IDL(Interface Description Language)/CORBA(Common Object Broker Architecture)Java 接口定义语言/公用对象请求代理程序体系结构

      IDL是用来描述软件组件接口的一种计算机语言。IDL通过一种中立的方式来描述接口,使得在不同平台上运行的对象和用不同语言编写的程序可以相互通信交流。

      6、JSP(Java Server Pages)

      JSP页面由HTML代码和嵌入其中的Java代码所组成。服务器在页面被客户端所请求以后对这些Java代码进行处理,然后将生成的HTML页面返回给客户端的浏览器。

      JSP可以使用Servlet提供的API,一般和JavaBean结合使用,从而将界面表现和业务逻辑分离。

    JSP

      7、Servlet

      Servlet是一种小型的Java程序,它扩展了Web服务器的功能。作为一种服务器端的应用,当被请求时开始执行。Servlet提供的功能大多与JSP类似,不过实现的方式不同。JSP通常是大多数HTML代码中嵌入少量的Java代码,而servlets全部由Java写成并且生成HTML。

      8、XML(Extensible Markup Language)可扩展标记语言

      XML是一种用于标记电子文件使其具有结构性的标记语言。它被用来在不同的商务过程中共享数据。XML的发展和Java是相互独立的,但是它和Java有着相同的目标,即平台独立性。通过Java和XML的组合,可以得到一个完美的具有平台独立性的解决方案。

      9、JMS(Java Message Service)Java 消息服务

      JMS是Java的消息服务,JMS的客户端之间可以通过JMS服务进行异步的消息传输。JMS用于和面向消息的中间件相互通信的应用程序接口(API)。它既支持点对点的域,有支持发布/订阅(publish/subscribe)类型的域,并且提供对下列类型的支持:经认可的消息传递,事务型消息的传递,一致性消息和具有持久性的订阅者支持。

      JMS消息系统带来的好处:1、提供消息灵活性;2、松散耦合;3、异步性。

    JMS点对点 

      10、JTA(Java Transaction API)Java 事务 API

      在JavaEE应用中,事务是一个不可或缺的组件模型,它保证了用户操作ACID(即原子、一致、隔离、持久)属性。对于那些跨数据源(例如多个数据库,或者数据库与JMS)的大型应用,则必须使用全局事务JTA。应用系统可以由JTA定义的标准API访问各种事务监控,JTA为JavaEE平台提供了分布式事务服务,它隔离了事务与底层的资源,实现了透明的事务管理方式。

    JTA 

      11、JTS(Java Transaction Service)Java 事务服务

      JTS是一个组件事务监视器。JTS是CORBA OTS事务监控的基本实现。JTS规定了事务管理器的实现方式。JTS事务管理器为应用服务器、资源管理器、独立的应用以及通信资源管理器提供了事务服务。

      12、JavaMail

      JavaMail是用于存取邮件服务器的API,它提供了一套邮件服务器的抽象类。不仅支持SMTP服务器,也支持IMAP服务器和POP服务器。

      13、JAF(JavaBean Activation Framework)

      JavaMail利用JAF来处理MIME编码的邮件附件。MIME的字节流可以被转换成Java对象,或者转换自Java对象。大多数应用都可以不需要直接使用JAF。

      JavaEE软件开发体系架构

      两层架构

      传统的客户服务器系统仅只简单地基于两层体系来构建,即客户端(前台)和企业信息系统(后台),没有任何中间件,业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说,综其只有一个特点——成本高。

      三层架构

      三层架构自上而下将系统分为表示层、逻辑层、持久层。

      表示层由处理用户交互的客户端组件及其容器所组成;

      业务逻辑层由解决业务问题的组件组成;

      数据层由一个或多个数据库组成,并可包含存储过程。

      这种三层架构,在处理客户端的请求时,使客户端不用进行复杂的数据库处理;透明地为客户端执行许多工作,如查询数据库、执行业务规则和连接现有的应用程序;并且能够帮助开发人员创建适用于企业的大型分布式应用程序。

    三层架构

      MVC

      在MVC模式中,应用程序被划分为模型层(Model)、视图层(View)、控制层(Controller)三部分。MVC模型就是把一个应用程序的开发按照业务逻辑、数据、视图进行分离分层并组织代码。MVC要求把应用的模型按一定的层次规则抽取出来,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑。模型层负责封装应用的状态,并实现功能,视图层负责将内容呈现给用户,控制层负责控制视图层发送的请求以及程序的流程。

      Servlet+JSP+JavaBean(MVC)这种模式比较适合开发复杂的web应用,在这种模式下,Servlet负责处理用户请求,JSP负责数据显示,JavaBean负责封装数据。

    MVC

      基于JavaEE架构模式下的MVC

      在这种架构模式下,模型层(Model)定义了数据模型和业务逻辑。为了将数据访问与业务逻辑分离,降低代码之间的耦合,提高业务精度,模型层又具体划分为了DAO层和业务层,DAO即Data Access Object,其主要职能是将访问数据库的代码封装起来,让这些代码不会在其它层出现或者暴露出来给其它层;业务层是整个系统最核心也是最具有价值的一层,该层封装应用程序的业务逻辑,处理数据,关注客户需求,在业务处理过程中会访问原始数据或产生新数据,DAO层提供的DAO类能很好地帮助业务层完成数据处理,业务层本身侧重于对客户需求的理解和业务规则的适应,总体说来,DAO层不处理业务逻辑,只为业务层提供辅助,完成获取原始数据或持久层数据等操作。

    基于JavaEE架构模式下的MVC

      JSP:JSP被用来产生Web的动态内容。这层把应用数据以网页的形式呈现给浏览器,然后数据按照在JSP中开发的预定的方式表示出来,这层也可以称之为布局层。

      Servlet:JSP建立在Servlet之上,Servlet是J2EE的重要组成部分。Servlet负责处理用户请求,Java Web项目的所有配置都写在了web.xml配置文件里,当项目运行的时候,web.xml会将http请求映射给对应的Servlet类。

      JavaBean:由一些具有私有属性的Java类组成,对外提供get和set方法。JavaBean负责数据,负责处理视图层和业务逻辑之间的通信。

      Service:业务处理类,对数据进行一些预处理。

      DAO:数据访问层,JDBC调用存储过程,从数据库(DataBase)那里获取到数据,再封装到Model实体类中去。

    展开全文
  • 嘉合智博管理系统架构人力资源管理体系 人力资源管理咨询是嘉合智博管理咨询业务的核心部分多年来通过数十个咨询案例 的运作积累了丰富的经验 一 基本思路 在人力资源管理体系的设计中我们注重企业战略企业文化与...
  • 企业大数据平台技术体系架构

    千次阅读 2019-03-26 11:19:50
    2015年国务院向社会公布的《促进大数据发展行动纲要》明确提出了大数据的基本概念:大数据是以...近几年来,随着企业积累的数据越来越多。如何利用大数据技术构建企业大数据平台,以充分体现大数据的价值,是各行...

    2015年国务院向社会公布的《促进大数据发展行动纲要》明确提出了大数据的基本概念:大数据是以容量大、类型多、存取速度快、应用价值高位为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。近几年来,随着企业积累的数据越来越多。如何利用大数据技术构建企业大数据平台,以充分体现大数据的价值,是各行各业一直在不断探索和追求的目标。那么,企业大数据平台技术体系架构究竟如何规划呢?笔者结合多年企业大数据平台建设经验,将企业大数据平台概括为6个主要环节。从数据源开始,依次为数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理。企业大数据平台技术体系架构,如下图所示:
    在这里插入图片描述
    数据采集层的主要目标是从数据源收集数量巨大、来源分散、格式多样的数据到企业大数据平台。一般采取实时数据增量采集和历史数据批量采集两种解决方案。实时数据增量采集在监控领域应用比较广泛,快速、高效收集数据源产生的实时数据,以便即时响应和处理;历史数据批量采集则是将数据源历史一段时间的数据全部抽取到企业大数据平台,数据采集存在一定的延迟,适合数据补采、周期性计算等实时性要求不高的业务应用场景。

    在这里插入图片描述
    数据处理层是从大量的原始数据中发现新知识、创造新价值、提升新能力的过程,是企业大数据平台建设的关键环节。数据处理层既要满足常规的统计分析和有价值的数据挖掘等离线历史大数据处理要求,还要兼顾时效性要求高的在线实时流数据处理要求。
    在线实时流数据处理要求数据实时采集、实时处理、实时反馈和实时输出,响应时间在秒级甚至于毫秒级。离线历史大数据处理通常是针对批量采集数据,数据处理量大,达到TB、PB级以上,数据处理周期以分钟、小时、天为单位。
    当然,对于实时增量数据,我们可以以增量方式处理分钟、小时、天为单位的统计数据,以提高系统处理效率。
    在这里插入图片描述
    数据存储层是大数据集合、主题数据、业务数据、基础数据等持久化的存储中心
    一般包括关系型数据库和分布式文件系统两种。关系型数据库用于存储主题数据、业务数据、基础数据等;分布式文件系统用于存储大数据集合。
    数据服务层是大数据对外共享发布通道。
    目前应用最多的是以服务接口的形式对外提供,或者以消息订阅推送的方式对外提供。
    数据展示层是企业大数据平台的图形用户接口。
    展现形式可以多样化,最典型的三种方式是:移动客户端、个人工作站和可视化大屏幕。数据质量管理是贯穿数据采集、数据处理、数据存储、数据服务和数据展现的全过程质量管理体系。
    结束语:企业大数据平台技术架构实现的关键是如何选择开源技术实现数据采集、数据处理、数据存储、数据服务和数据展现5个层次的应用,以及建设一套标准化的全过程的数据质量管理体系。

    展开全文
  • cpu架构之体系架构

    千次阅读 2021-01-15 14:47:20
    cpu架构之体系架构 1 现代CPU体系结构简介 现代的CPU基本上归为冯诺依曼结构(也称普林斯顿结构)和哈佛结构。 1.1 冯诺依曼结构 冯诺依曼结构(von Neumann architecture),也称普林斯顿结构,是一种将程序指令...
  • 全面风险管理体系架构

    万次阅读 2017-03-01 10:42:33
    风险管理与内控控制不是孤立存在于企业内的,它更多的是从一个独特的角度观察、检视企业管理的全部。风险管理与内部控制天然有着嵌入性的特征。虽然有专门的理论、方法、技术、工具,但正如所有管理一样,风险管理与...
  • 是指对企业事业信息管理系统中具有体系的、普遍性的问题而提供的通用解决方案,更确切的说,是基于业务导向和驱动的架构来理解、分析、设计、构建、集成、扩展、运行和管理信息系统。复杂系统集成的关键,是基于架构...
  • 对于J2EE体系架构的理解

    千次阅读 2020-08-10 09:03:36
    J2EE架构是使用Java技术开发企业级应用的一种事实上的工业标准,它是Java技术不断适应和促进企业级应用过程中的产物。Java平台有三个版本:适用于小型设备和智能卡的J2ME(Java 2 Platform Micro Edition)、适用于...
  • 体系文件架构 管理的主体 管理的深度 管理的幅度 体系管理者 即管理的主旨和内容 即管理跨度范围 体系文件 制/ 修订 评审 审核 批准 阶层 企业 体系部门 归口部门 模块/ 清单 逻辑关系 节点事项 动作步骤 标准/ ...
  • 企业元数据管理架构设计

    千次阅读 2021-12-03 09:12:13
    数据治理很火,在 DAMA 数据管理知识体系指南中,数据治理位于 “数据管理车轮图” 的正中央,如下图: 而元数据管理,正是十大数据管理领域其中很重要的一环。 数据资产治理的前提是要有数据,并且要求数据类型全...
  • IT基础架构和应用运维体系介绍 基础架构及应用运维服务总体方向 总体方向 通过标准化运营流程自动化监控管理工具培养专业化人才提供高质量的基础架构及应用运维服务提升服务品质降低运营成本 用微软.Net技术编写的...
  • 工业物联网的体系架构

    千次阅读 2021-05-06 15:41:26
    工业物联网的体系架构 典型的物联网系统架构共有3个层次。一是感知层,即利用射频识别(radio frequency identification, RFID)、传感器、二维码等随时随地获取物体的信息;二是网络层,通过电信网络与互联网的...
  • 第 PAGE 12 页 共 NUMPAGES 92 页 云计算咨询项目 云计算SLA体系设计 目 录 TOC \o "1-3" \h \z \u 一.... 平台服务目录规范 5 2.1 应用类型 5 2.2 应用架构 5 2.3 技术选型 6 2.3.1 操作系统要求 6 2.3.2 推荐操作系统
  • 导读:智能制造是基于先进制造技术与新一代信息技术深度融合,贯穿于设计、生产、管理、服务等产品全生命周期,具有自感知、自决策、自执行、自适应、自学习等特征,旨在提高制造业质量、效率效益和柔性...
  • IT服务管理领域中,ITIL(ITInfrastructureLibrary,IT基础架构库)已成为事实上的行业标准,它是从大量企业的IT服务管理经验中总结出来的最佳实践。随着信息化的飞速发展,信息系统已成为支撑企业运作不可缺少的一...
  • 丌基础架构和应用运维体系介绍 基础架构及应用运维服务总体方向 人 服务 流程 工具 总体方向 通过标准化运营流程自动化监控管理工具培养专业化人 才,提供高质量的基础架构及应用运维服务,提升服务品质 降低运营成本 ...
  • 架构师补给站之EA(企业架构)

    千次阅读 2020-09-08 21:54:12
    是指对企业事业信息管理系统中具有体系的、普遍性的问题而提供的通用解决方案,更确切的说,是基于业务导向和驱动的架构来理解、分析、设计、构建、集成、扩展、运行和管理信息系统。复杂系统集成的关键,是基于架构...
  • 各种体系架构图收藏

    万次阅读 2019-03-03 11:41:22
    该技术架构图是本人根据多年企业技术架构经验而制定,是企业技术的总架构图,希望对CTO们有所借鉴。 简单说明: 1.中间件基础运行环境是经过统一规划的以WebLogic、JBOSS为主的集群环境 2.企业集成平台是以基础...
  • 在CIO委员会提出了FEAF与联邦企业架构实施指南后,美国白宫的管理与预算办公室(OMB)接下了管理和协调联邦企业架构建设的责任,并于2002年成立了专门从事联邦企业架构开发的企业架构项目管理办公室(FEA-PMO)。...
  • IT基础架构和应用运维体系介绍...IT容灾管理体系框架;IT容灾技术选择;IT应用分级和分层;IT应用服务策略;关键活动;8;集团ERP系统架构;SAP BASIS职责;SAP标准三层系统架构;SAP集团及变更传输策略;变更/需求传输操作流程;S
  • 物联网的体系架构概述

    万次阅读 2020-07-20 15:52:23
    物联网的体系架构应包括如下内涵:网络体系架构、技术与标准体系、资源与标识体系、产业与应用体系、服务与安全体系。 (图) USN USN体系架构是由韩国电子与通信技术研究所在2007年瑞士日内网召开的ITU下一代网络...
  • 随着时代的快速发展,越来越多的朋友发现大多数系统都是建立在某些业务的需求上,并没有结合实际优先将企业架构做好,导致数据的一致性和可用性矛盾凸显出来。由于缺乏对数据整体设计的考虑也发现了更多的数据问题:...
  • 在IT系统的建设和管理中,敏态和稳态似乎不可协调的两个问题,那么在企业IT系统的管理中,如何根据需求去合理管控,今天将通过王璞老师在第七届数据技术嘉年华上的分享进行详细解读。本次分享重在讲解企业系统上云后...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 96,402
精华内容 38,560
关键字:

企业管理标准体系架构