为您推荐:
精华内容
最热下载
问答
  • 5星
    5.62MB heart_sun 2021-05-26 22:19:42
  • 5星
    118.57MB weixin_41581125 2020-12-28 22:51:59
  • 5星
    3.04MB qq_34715954 2021-06-05 13:33:35
  • 5星
    158B douluo998 2021-06-07 18:09:54
  • 5星
    91.31MB weixin_44510615 2021-07-09 17:18:52
  • 5星
    3.18MB lj_70596 2021-01-09 21:30:08
  • 5星
    63.45MB Zirich 2021-08-09 12:22:27
  • 5星
    20.5MB xiaohua1992 2021-02-23 15:07:51
  • 5星
    7.4MB qq_17695025 2021-08-07 10:41:00
  • 5星
    14.07MB qq_36749728 2021-06-08 10:22:27
  • 数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,2015年阿里提出“大中,小前台”的策略。2018 年因为“腾讯数据中台论”,中台再度成为了人们谈论的焦点。 2019年,似乎人人都在提数据中台,但...

    数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,2015年阿里提出“大中台,小前台”的策略。2018 年因为“腾讯数据中台论”,中台再度成为了人们谈论的焦点。

    2019年,似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据中台?数据中台的出现会给现有数据从业者们带来颠覆式的挑战吗?

    数据中台不是大数据平台!

    首先它不是一个平台,也不是一个系统,如果有厂商说他们有个数据中台卖给你,对不起,它是个骗子。

    要回答数据中台是什么,首先要探讨一下中台到底是什么。虽然没有明确的定义,但是作为理工直男,我们可以先把中台看作是一种中间层。既然是一种中间层,那么中台确实是一种十足技术用语,我们可以完全从技术角度来探讨了。

    我们可以应用 Gartner 的 Pace Layer 来理解为什么要有中间层,这样可以更好地理解中台的定位和价值。Pace Layer 里提到,可以按照事物变化的速度来分层,这样可以逐层分析并设计合理的边界与服务。

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    在数据开发中,核心数据模型的变化是相对缓慢的,同时,对数据进行维护的工作量也非常大;但业务创新的速度、对数据提出的需求的变化,是非常快速的。

    数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应力跟不上的问题。

    数据中台解决的问题可以总结为如下三点:

    1. 效率:为什么应用开发增加一个报表,就要十几天时间?为什么不能实时获得用户推荐清单?当业务人员对数据产生一点疑问的时候,需要花费很长的时间,结果发现是数据源的数据变了,最终影响上线时间。
    2. 协作问题:当业务应用开发的时候,虽然和别的项目需求大致差不多,但因为是别的项目组维护的,所以数据还是要自己再开发一遍。
    3. 能力问题:数据的处理和维护是一个相对独立的技术,需要相当专业的人来完成,但是很多时候,我们有一大把的应用开发人员,而数据开发人员很少。

    这三类问题都会导致应用开发团队变慢。这就是中台的关键——让前台开发团队的开发速度不受后台数据开发的影响。

    数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念。

    如下图所示:

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    DData API 是数据中台的核心,它是连接前台和后台的桥梁,通过 API 的方式提供数据服务,而不是直接把数据库给前台、让前台开发自行使用数据。至于产生 DataAPI 的过程,怎么样让 DataAPI 产生得更快,怎么样让 DATA API 更加清晰,怎么样让 DATA API 的数据质量更好,这些是要围绕数据中台去构建的能力。

    其实这些概念说多了是很虚的,那我们就结合阿里的例子来讲解。

    阿里数据中台详解

    1、阿里数据中台赋能业务全景图

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    在架构图中,看到最下面的内容主要是数据采集和接入,按照业态接入数据(比如淘宝、天猫、盒马等),把这些数据抽取到计算平台;通过OneData体系,以“业务板块+分析维度”为架构去构建“公共数据中心”。

    基于公共数据中心在上层根据业务需求进行建设:消费者数据体系、企业数据体系、内容数据体系等。

    经过深度加工后,数据就可以发挥其价值被产品、业务所用;最后通过统一的数据服务中间件“OneService”提供统一数据服务。

    2、阿里数据中台三大体系

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    经过多年实战,沉淀出了阿里云上数据中台内核能力框架体系:产品+技术+方法论。

    历经阿里生态内各种实战历练后,云上数据中台从业务视角而非纯技术视角出发,智能化构建数据、管理数据资产,并提供数椐调用、数据监控、数据分析与数据展现等多种服务。

    承技术启业务,是建设智能数据和催生数据智能的引擎。在OneData、OneEntity、OneService三大体系,特别是其方法论的指导下,云上数据中台本身的内核能力在不断积累和沉淀。在阿里巴巴,几乎所有人都知道云上数据中台的三大体系,如上图所示。

    OneData致力干统一数据标准,让数据成为资产而非成本;OneEntity致力于统一实体,让数据融通而以非孤岛存在;OneService致力于统一数据服务,让数据复用而非复制。

    这三大体系不仅有方法论,还有深刻的技术沉淀和不断优化的产品沉淀,从而形成了阿里巴巴云上数据中台内核能力框架体系。

    3、阿里数据中台及赋能业务模式支撑

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    阿里数据中台,经历了所有阿里生态内业务的考验,包括新零售、金融、物流、营销、旅游、健康、大文娱、社交等领域。

    数据中台除了建立起自已的内核能力之外,向上赋能业务前台,向下与统一计算后台连接,融为一体。

    4、数据中台六大数据技术领域

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    前文提到,在建设阿里数据公共层之初,规划了六大数据技术领域,即数据模型领域、存储治理领域、数据质量领域、安全权限领域、平台运维领域、研发工程领域。

    而在阿里数据公共层建设项目第二阶段完成存储治理领域,已经被扩大到资源治理领域,进而升级到数据资产管理领域,安全权限领域,升级到数据信任领域,因为很多工作已经在产品中实现,平台运维领域不再作为一个数据技术领域被推进,数据模型领域与数据质量领域还在持续推进中,不过增加了许多新的内涵,智能黑盒领域则是新起之秀。

    由此可见,数据技术领域不是一成不变的,而是随着业务的发展和技术的突破不断扩大、 升华的。

    那么,实时的数据中台怎么做?

    下面是实现实时数据中台的一种逻辑架构,方便你去理解,其实最关键的是实时模型那一层。

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    1、实时接入:

    不同类型的数据需要不同的接入方式,flume+kafka现在是标配,其他还有文件、数据库的DSG等等技术。比如运营商就有B域的订购、通话,O域的位置、上网等各类实时数据。

    2、计算框架:

    这里只列出一种,基于Kappa架构实现实时/离线一体化业务开发能力,相对于传统Lambda架构,开发人员只需面对一个框架,开发、测试和运维的难度都相对较小,且能充分发挥Flink流式计算框架一点执行、高吞吐、毫秒级响应、批流融合的特点。

    比如将流计算组件划分实时数据切片,批处理组件提供离线数据模型(驻留内存),两类数据在处理过程中实现批流关联。

    3、实时模型:

    跟数据仓库模型一样,实时模型肯定首先是面向业务的,比如运营商有流量运营、服务提醒、竞争应对、放好拉新、厅店引流、语音消费、运营评估、实时关怀、实时预警、实时洞察、实时推荐等一系列的实时场景,你总是要基于你的实时业务提炼出具备共性的数据模型要素。

    比如放号拉新中的外来务工实时营销,其中可能的触发场景是针对漫入到某个交通枢纽并驻留10分钟以上的用户进行营销投放,“在某个位置的驻留时长”这个公共要素可能就是一种可复用的实时模型。

    实时模型纵向可以划分为DWD和DW两层,DWD模型做的其实是针对各类实时数据做命名的标准化和过滤字段的操作,方便进行数据的标准化管理,DW模型这里分成了三大类:动态模型、事件模型和时序模型,每种模型适合不同的场景,同时需要采用与之适配的存储格式。

    动态模型:对实时的数据进行汇总统计,适合做实时的统计指标分析,比如实时的业务办理量,一般可存储于Kafka和Hbase。

    事件模型:把实时的数据抽象成一系列业务事件,比如从位置日志轨迹中记录用户的位置变更事件,从而可以触发LBS的位置营销,以下是典型的位置事件模型设计,一般可存储于MQ和Redis:

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    你也可以设计滑动窗口模型,比如保存最新一小时的分钟级的滑动窗口位置信息:

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    时序模型:主要保存用户的在线的时空位置等信息,可以基于业务场景需要进行各种快速的计算,比如非常方便的计算驻留时长,存储于Hbase或TSDB(时序数据库):

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    4、实时服务

    有了实时模型还不够,数据中台还需要提供图形化、流程化、可编排的数据开发工具,才能真正的降低实时数据开发成本。但由于离线和实时数据处理的技术手段不同,导致针对这两种类型的数据开发和管理大多是在不同的平台承载的。

    比如以前我们的离线数据模型是通过DACP平台管理的,但实时数据则游离在DACP平台之外,其往往属于应用本身的一部分,应用需要通过编写特定脚本去消费和处理流处理引擎中的原生数据,这种处理的门槛不仅高,而且资源浪费也挺严重,每个实时应用其实都是流数据的孤岛。

    站在应用的角度看,业务其实需要的是一个统一的数据开发管理平台,离线和实时数据应作为统一的对象进行管理,比如具备混合编排,混合关联等能力,用简单的类SQL定制化输出应用所需的各类数据,从而高效的对外提供实时/离线数据服务。

    我花10个小时,写出了小白也能看懂的阿里数据中台分析

     

    5、实时应用

    数据中台如果能支持实时数据的快速编排,根据我们的测算,其实时场景应用的数据开发、测试、部署周期会由0.5-1个月降低为1-2天,效益是很高的。

    阿里处理的数据量已达EB级,相当于10亿部高清电影的存储量。在 2016年双十一当天,实时计算处理的数据量达到9400万条/秒。而从用户产生数据源头采集、整合并构速数据、提供数据服务,到前台展现完成仅需2.5秒。

    "友盟+”是阿里把收购的几家数据公司整合升级后,组成的一家数据公司。这里仅以2017年“友盟+”对外公开的部分指标为例,其中的数据覆盖14亿部活跃设备、685 万家网站、135万个应用程序,日均处理约280亿条数据,这一切都建立在阿里强大的数据处理技术底座之上。

    如果实时数据足够多,场景足够丰富,建立实时数据中台的必要性还是非常高的。

    随着大数据内外运营的深入,我们发现这种需求越来越多,你会惊奇的发现,很多时候需求是随着你技术能力的加强而增加的,很多时候,技术就是第一生产力。我们很多负责变现的产品、运营经理应是深有体会的。

    从那个时候起,我就在想我们能否建立一个真正的实时数据中台,能够快速高效的创建海量的实时应用,从而将大数据的管理和应用水平提升到一个新的阶段,终于我们现在走到了这条路上。

    展开全文
    yuanziok 2019-11-04 10:21:26
  • 数据中台的由来 数据中台最早是阿里提出的,但真正火起来是2018 年,我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台...

     

    数据中台的由来

    数据中台最早是阿里提出的,但真正火起来是2018 年,我们能感受到行业文章谈论数据中台的越来越多。大量的互联网、非互联网公司都开始建设数据中台。为什么很多公司开始建设数据中台?尽管数据中台的文章很多,但是一千人眼里有一千个数据中台,到底什么是数据中台?数据中台包含什么?

    当企业需要数据化转型、精细化运营,进而产生大规模数据应用需求的时候,就需要建设数据中台。数据中台是高质量、高效赋能数据前台的一系列数据系统和数据服务的组合。数据中台包含数仓体系、数据服务集和BI 平台。

    1、是阿里拜访芬兰的一家公司—SupperCell,只有不到10个人,每个员工创造估值3.74亿
    ​
    2、淘宝遇到的问题:淘宝和天猫是两套完全独立的两套系统,但是却都包含了商品、交易、评价、支付、物流
    ​
    3、中台之前类似的思想
    SOA(方法):面向服务的架构(SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)进行拆分,并通过这些服务之间定义良好的接口和协议联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构件在各种各样的系统中的服务可以以一种统一和通用的方式进行交互。

     

     

    电商系统的四个发展阶段

    1、单一系统
    2、分布式系统
    3、平台化(服务业务,支撑作用)
    4、中台化(驱动业务,中枢作用)
    第一阶段:数据库节点:单一业务系统阶段
    第二阶段:数据仓库节点:处理分析报表的需求
    第三阶段:数据平台阶段:解决报表和BI的需求
    第四阶段:数据中台阶段:系统对接OLTP和OLAP

     

    中台长什么样?

    阿里的大中台,小前台

    沉淀共享服务,打破系统壁垒,业务快速创新

     

    滴滴的中台

     

    大数据中台解决的问题

    1. 到底什么是数据中台?

    2. 如何来建设数据中台?

    3. 数据中台有哪些应用价值?

     

    建设数据中台的背景

    1. 指标口径不一致造成数据不可信;

    2. 数据经常无法按时产出,影响工作效率;

    3. 敏感数据泄露,引发安全危机。

    最终的结果就是数据不好用,无法发挥应有的价值

     

    建设数据中台的复杂度

    • 客观上讲,数据中台的建设是一项系统性工程,从组织架构、支撑技术到流程规范,既要有宏观的顶层设计,又要有强有力的落地执行,所以对整个团队的要求会比较高;

    • 从主观上讲,这些企业本身数据建设经验不足,或者还处于比较初级的阶段,不知道数据建设中有哪些痛点,更不知道用什么样的技术手段和管理机制去解决这些问题。

     

    中台起源

    关键词:数据库,数据仓库,数据湖,大数据平台,数据中台

     

    数据存储起源:数据库

    1979年:Oracle 1.0 商用数据库发布 1996年:MySQL 1.0 发布,到2000年以后开始火起来。

    特点:数据库主要面向事务的增删改场景,一个数据库支撑多个简单单体应用,少量分析需求,借助数据库直接完成。但当数据增长较快,复杂的大量的分析需求,借助数据库做分析开始吃力。

     

    分析计算起源:传统数仓

    在 1991 年出版的《Building the Data Warehouse》中,数据仓库之父比尔·恩门(Bill Inmon)首次给出了数据仓库的完整定义,他认为:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不可修改的数据集合。

    数据仓库,聚合多个业务系统的数据,同时保存历史数据,进行大数据量的范围查询。

    Kimball 和 Inmon 是两种主流的数据仓库方法论,分别由 Ralph KimballBill Inmon 提出,在实际数据仓库建设中,业界往往会相互借鉴使用两种开发模式。

    Inmon 提出的建模方法自顶向下(顶是指数据的来源,在传统数据仓库中,就是各个业务数据库),基于业务中各个实体以及实体之间的关系,构建数据仓库。缺点是:构建成本高,适用于业务场景固定的业务(实体 和 关系)

    Kimball 建模与恩门正好相反,是一种自底向上的模型设计方法,从数据分析的需求出发,拆分维度和事实。优点是:适用于变化速度比较快的业务。(事实 和 维度)

    传统数据仓库,第一次明确了数据分析的应用场景应该用单独的解决方案去实现,不再依赖于业务的数据库。在模型设计上,提出了数据仓库模型设计的方法论,为后来数据分析的大规模应用奠定了基础。

     

    技术革命:大数据平台

    进入互联网,数据量开始暴涨,主要有以下两个变化:

    • 一个是数据规模前所未有。一个成功的互联网产品日活可以过亿,就像你熟知的微信,支付宝,头条,抖音等,每天产生几千亿的用户行为。传统数据仓库难于扩展,根本无法承载如此规模的海量数据。

    • 一个是数据类型变得异构化。互联网时代的数据除了来自业务数据库的结构化数据,还有来自 App、Web 的前端埋点数据,或者业务服务器的后端埋点日志,这些数据一般都是半结构化,甚至无结构的。传统数据仓库对数据模型有严格的要求,在数据导入到数据仓库前,数据模型就必须事先定义好,数据必须按照模型设计存储。

    所以:传统数仓应对这种场景吃力,开始涌现一些针对大规模海量数据进行分析处理的技术。

    2003年起,谷歌发表了 3 篇论文: 《The Google File System》 《MapReduce:Simplified Data Processing on Large Clusters》 《Bigtable:A Distributed Storage System for Structed Data》

    这三篇论文,提出了一种新的,面向海量数据分析的海量异构数据的统一计算和存储的方法,奠定了现代大数据,大规模并行计算的技术基础。Yahoo对此做了开源实现,就是现在的Hadoop。两个优势:

    • 完全分布式,易于扩展,可以使用价格低廉的机器堆出一个计算、存储能力很强的集群,满足海量数据的处理要求;

    • 弱化数据格式,数据被集成到 Hadoop 之后,可以不保留任何数据格式,数据模型与数据存储分离,数据在被使用的时候,可以按照不同的模型读取,满足异构数据灵活分析的需求。

    随着 Hadoop 技术日趋成熟,2010 年,Pentaho 创始人兼 CTO James Dixon 在纽约 Hadoop World 大会上提出了数据湖的概念,他提到:数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统。数据湖是按存储原始数据格式的数据存储,旨在任何数据可以以最原始的形态储存,可是结构化或者非结构化数据,以确保数据在使用时可以不丢失任何细节,一般以Hadoop系统存储为比较典型的解决方案,所有的实时数据和批量数据,都汇总到数据湖当中,然后从湖中取相关数据用于机器学习或者数据分析。

    易观在2018年,提出数据河的概念,避免“数据湖”成为“数据沼泽”,流动的“数据河”是关键。因为大部分使用数据湖的企业在数据真的需要使用的时候,往往因为数据湖中的数据质量太差而无法最终使用。数据只有流动起来,才可以不成为数据沼泽,湖泊只是暂存数据河流的基地。数据流动就意味着所有的数据产生,最终要有它的耕种者和使用者。要让数据有效流动起来,就要建立有效的“数据河”(Data River)。数据河(Data River)就是在由源头产生清晰干净的有效数据(去ETL化,数据源头业务就像生态水源一样,不让污水流下去),通过各个河流网,流向各个数据消费端的架构。

     

    数据工厂时代:大数据平台

    大数据平台是面向数据研发场景的,覆盖数据研发的完整链路的数据工作台。就是为了提高数据研发的效率,降低数据研发的门槛,让数据能够在一个设备流水线上快速地完成加工。

    大数据平台按照使用场景,分为数据集成、数据开发、数据测试……任务运维,大数据平台的使用对象是数据开发。大数据平台的底层是以 Hadoop 为代表的基础设施,分为计算、资源调度和存储等。

    数据存储:HDFS,HBase,Kudu等
    数据计算:MapReduce, Spark, Flink
    交互式查询:Impala, Presto
    在线实时分析:ClickHouse,Kylin,Doris,Druid,Kudu等
    资源调度:YARN,Mesos,Kubernetes
    任务调度:Oozie,Azakaban,AirFlow等
    ....
    数据收集,数据迁移,服务协调,安装部署,数据治理等

    大数据平台像一条设备流水线,经过大数据平台的加工,原始数据变成了指标,出现在各个报表或者数据产品中。

     

    数据价值时代:数据中台

    在应用大数据平台架构的时候,你可能遇到这么个问题:因为烟囱式的开发,不同数据应用可能存在相同应用指标,但是运营可能发现这些数据指标的结果不一致,因为不知道该用谁信任谁而导致运营对数据的信任下降。

    数据割裂的另外一个问题,就是大量的重复计算、开发,导致的研发效率的浪费,计算、存储资源的浪费,大数据的应用成本越来越高。

    • 如果你是运营,当你想要一个数据的时候,开发告诉你至少需要一周,你肯定想是不是太慢了,能不能再快一点儿?

    • 如果你是数据开发,当面对大量的需求的时候,你肯定是在抱怨,需求太多,人太少,活干不完。

    • 如果你是一个企业的老板,当你看到每个月的账单成指数级增长的时候,你肯定觉得这也太贵了,能不能再省一点,要不吃不消了。

    这些问题的根源在于,数据无法共享。

    2016 年,阿里巴巴率先提出了“大中台,小前台”战略,推出了数据中台。数据中台的核心,是避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用。之前,数据是要啥没啥,中间数据难于共享,无法积累。现在建设数据中台之后,要啥有啥,数据应用的研发速度不再受限于数据开发的速度,然后我们就可以根据需求场景,快速孵化出很多数据应用,这些应用让数据产生价值。

    总的来说,数据中台吸收了传统数据仓库、数据湖、大数据平台的优势,同时又解决了数据共享的难题,通过数据应用,实现数据价值的落地。

     

    数据中台适合企业

    大数据平台型企业的问题

    大量数据产品的出现,在不断提高企业运营效率的同时,也暴露出很多尖锐的问题,在我看来,主要有五点。

    • 指标口径不一致:主要原因:业务口径不一致、计算逻辑不一致、数据来源不一致。要实现一致,就务必确保对同一个指标,只有一个业务口径,只加工一次,数据来源必须相同。

    • 数据重复建设,需求响应时间长:解决数据复用的问题,要确保相同数据只加工一次,实现数据的共享。

    • 取数效率低:构建一个全局的企业数据资产目录,实现数据地图的功能,快速找到数据

    • 数据质量差:存储数据链路,及时发现数据质量问题,并恢复数据。

    • 数据成本线性增长:大企业烟囱式开发,导致一个企业拥有很多小数仓,不同数仓可能开发相同任务,导致资源浪费,而且也做不到淘汰低价值数据任务。所以解决方案的核心:解决数据重复建设,打通数据孤岛。

    因此:数据中台是企业构建的标准的、安全的、统一的、共享的数据组织,通过数据服务化的方式支撑前端数据应用。

     

    那么数据中台如何解决呢?

    • 由一个团队,负责所有指标的管控,明确每个指标的业务口径,数据来源和计算逻辑,消除指标二义性

    • 数据服务化,提高了数据应用接入和管理的效率

    • 对于非技术人员,数据中台提供了可视化的取数平台。你只需要选取指标、通过获取指标系统中每个指标的可分析维度,然后勾选,添加筛选过滤条件,点击查询,就可以获取数据。

    • 构建了企业数据地图,你可以很方便地检索有哪些数据,它们在哪些表中,又关联了哪些指标和维度

    • 数据只能加工一次,强调数据的复用性

    • 成本控制,研发了一个数据成本治理系统,从应用维度、表维度、任务的维度、文件的维度进行全面的治理

     

    什么样的企业适合建数据中台?

    数据中台的构建需要非常大的投入:一方面数据中台的建设离不开系统支撑,研发系统需要投入大量的人力,而这些系统是否能够匹配中台建设的需求,还需要持续打磨。另外一方面,面对大量的数据需求,要花费额外的人力去做数据模型的重构,也需要下定决心。

    所以数据中台的建设,需要结合企业的现状,根据需要进行选择。我认为企业在选择数据中台的时候,应该考虑这样几个因素。

    • 企业是否有大量的数据应用场景: 数据中台本身并不能直接产生业务价值,数据中台的本质是支撑快速地孵化数据应用。所以当你的企业有较多数据应用的场景时(一般有 3 个以上就可以考虑),就像我在课程开始时提到电商中有各种各样的数据应用场景,此时你要考虑构建一个数据中台。

    • 经过了快速的信息化建设,企业存在较多的业务数据的孤岛,需要整合各个业务系统的数据,进行关联的分析,此时,你需要构建一个数据中台。比如在我们做电商的初期,仓储、供应链、市场运营都是独立的数据仓库,当时数据分析的时候,往往跨了很多数据系统,为了消除这些数据孤岛,就必须要构建一个数据中台。

    • 当你的团队正在面临效率、质量和成本的苦恼时,面对大量的开发,却不知道如何提高效能,数据经常出问题而束手无策,老板还要求你控制数据的成本,这个时候,数据中台可以帮助你。

    • 当你所在的企业面临经营困难,需要通过数据实现精益运营,提高企业的运营效率的时候,你需要构建一个数据中台,同时结合可视化的 BI 数据产品,实现数据从应用到中台的完整构建,在我的接触中,这种类型往往出现在传统企业中。

    • 企业规模也是必须要考虑的一个因素,数据中台因为投入大,收益偏长线,所以更适合业务相对稳定的大公司,并不适合初创型的小公司。

    建设数据中台不能盲目跟风,因为它不一定适合你。

     

    如何建设数据中台

    方法论

    在 2016 年,阿里巴巴就提出了数据中台建设的核心方法论:OneData 和 OneService

     

    OneData

    OneData 就是所有数据只加工一次。

    数据中台就是要在整个企业中形成一个公共数据层,消灭这些跨部门的小数仓,实现数据的复用,所以强调数据只加工一次,不会因为不同的应用场景,不同的部门数据重复加工。

    如何实现:

    • 数据划分主题进行管理:表的命名,字段的命名等规范统一,做到见名知义

    • 数据格式和字段命名和定义规范化

    • 指标一致,不存在二义性:提供全局数据字典确保意义一致。

    • 数据模型复用

    • 数据完善

    OneData 体系的目标是构建统一的数据规范标准,让数据成为一种资产,而不是成本。资产和成本的差别在于资产是可以沉淀的,是可以被复用的。成本是消耗性质的、是临时的、无法被复用的。

     

    OneService

    OneService,数据即服务,强调数据中台中的数据应该是通过 API 接口的方式被访问。

    现阶段企业数据应用现状:

    • 数据量小的使用 MySQL:Hive数仓,Spark计算引擎的计算结果导出到MySQL

    • 数据量大的使用HBase + ElasticSearch:解决海量数据中的低延迟高效查询

    • 需要多维分析的可能需要 ClickHouse,Kylin,Greenplum:提供现在分析能力

    • 实时性要求高的需要用到 Redis

    因此,从不同的系统取数据,应用开发需要定制不同的访问接口。而且如果数据发生异常,还不能查出影响到下游应用的那些应用或者报表。所以当你想下线一张表的时候,就无法实施,造成了上线容易,下线难的囧状。

    而 API 接口一方面对应用开发屏蔽了底层数据存储,使用统一标准的 API 接口查询数据,提高了数据接入的速度。另一方面,对于数据开发,提高了数据应用的管理效率,建立了表到应用的链路关系。

    如何实现:

    • 屏蔽底层数据来源的不同:不同的数据来源,统一的数据出口

    • 实现包括权限,日志,监控等管控能力的数据网关:权限控制,统计分析,流量控制,成本控制等

    • 给用户屏蔽底层的物理数据模型,提供数据逻辑模型:动态拼接多张相同粒度的数据结构,简化接入复杂度

    • 提供无状态的,高性能和稳定可靠的数据服务

    OneService 体系的目标是提高数据的共享能力,让数据可以被用得好,用得爽。

     

    技术

    以网易数据中台为例:

     

    这个图完整地描述了数据中台支撑技术体系

    • 1、大数据计算、存储基础设施

      数据中台的底层是以 Hadoop 为代表的大数据计算、存储基础设施,提供了大数据运行所必须的计算、存储资源。

    • 2、工具产品

      在 Hadoop 之上,浅绿色的部分是原有大数据平台范畴内的工具产品,覆盖了从数据集成、数据开发、数据测试到任务运维的整套工具链产品。同时还包括基础的监控运维系统、权限访问控制系统和项目用户的管理系统。由于涉及多人协作,所以还有一个流程协作与通知中心。

    • 3、数据治理模块

      灰色的部分,是数据中台的核心组成部分:数据治理模块。它对应的方法论就是 OneData 体系。以元数据中心为基础,在统一了企业所有数据源的元数据基础上,提供了包括数据地图、数仓设计、数据质量、成本优化以及指标管理在内的 5 个产品,分别对应的就是数据发现、模型、质量、成本和指标的治理。

    • 4、数据服务

      深绿色的部分是数据服务,它是数据中台的门户,对外提供了统一的数据服务,对应的方法论就是 OneService。数据服务向下提供了应用和表的访问关系,使数据血缘可以延申到数据应用,向上支撑了各种数据应用和服务,所有的系统通过统一的 API 接口获取数据。

    • 5、数据产品和应用

      在数据服务之上,是面向不同场景的数据产品和应用,包括面向非技术人员的自助取数系统;面向数据开发、分析师的自助分析系统;面向敏捷数据分析场景的 BI 产品;活动直播场景下的大屏系统;以及用户画像相关的标签工厂

     

    组织

    数据中台提供的是一个跨业务部门共享的公共数据能力,所以,承担数据中台建设职责的部门一定是一个独立于业务线的部门。

    独立部门的最大风险是与业务脱节,所以我们对数据中台的组织定位是:懂业务,能够深入业务,扎根业务。数据中台要管理所有的指标,而每个业务线之间的指标既有差异,也有交叉,要理解指标的口径定义,就必须要了解业务的过程。同时,当我们要制定一些新的指标时,必须要了解各个业务线新的业务目标,指标的本质还是为业务目标服务的。

    综合来讲:

     

    • 数据产品部门:负责数据中台、数据产品的体系规划、产品设计、规范制定、应用效果跟进,指标口径的定义和维护(有的部门是由分析师管理)。

    • 数据平台部门:负责研发支撑数据中台构建的产品,例如指标系统、元数据中心、数据地图等。

    • 数据开发团队:负责维护数据中台的公共数据层,满足数据产品制定的数据需求。

    • 应用开发团队:负责开发数据应用产品,比如报表系统、电商中的供应链系统、高层看板、经营分析。

    数据中台的组织架构改革涉及原有各个部门的利益,所以这个是数据中台构建最难又不得不做的地方,必须要取得高层领导的支持和重视。所以需要:

    • 一把手牵头,全员共识;

    • 总体规划,分步实施;

    • 找准切入点,解决具体业务问题

     

    中台实现:元数据中心

    元数据

    数据中台的构建,需要确保全局指标的业务口径一致,要把原先口径不一致的、重复的指标进行梳理,整合成一个统一的指标字典。而这项工作的前提,是要搞清楚这些指标的业务口径、数据来源和计算逻辑。而这些数据呢都是元数据。

    元数据中心应该包括哪些元数据呢? 什么样的数据是元数据?

    元数据划为三类:数据字典、数据血缘和数据特征。

    数据字典描述的是数据的结构信息:表结构信息

    数据血缘是指一个表是直接通过哪些表加工而来。数据血缘一般会帮我们做影响分析和故障溯源。比如说有一天,你的老板看到某个指标的数据违反常识,让你去排查这个指标计算是否正确,你首先需要找到这个指标所在的表,然后顺着这个表的上游表逐个去排查校验数据,才能找到异常数据的根源。

    数据特征主要是指数据的属性信息:存储空间大小,数仓分层,访问热度,主题分类,关联指标等

     

    元数据技术

    根据我的经历和了解,业界比较流行的元数据产品技术主要有:

    • 开源的有 Netflix 的 Metacat、Apache 的 Atlas;

    • 商业化的产品有 Cloudera Navigator。

    关于开源的这两款产品,Metacat 擅长管理数据字典,Atlas 擅长管理数据血缘。

    Metacat 介绍:https://github.com/Netflix/metacat

     

    从上面 Metacat 的架构图中,你可以看到,Metacat 的设计非常巧妙,它并没有单独再保存一份元数据,而是采取直连数据源拉的方式,一方面它不存在保存两份元数据一致性的问题,另一方面,这种架构设计很轻量化,每个数据源只要实现一个连接实现类即可。

    Apache Atlas 介绍:http://atlas.apache.org/

    血缘采集,一般可以通过三种方式:

    • 通过静态解析 SQL,获得输入表和输出表;

    • 通过实时抓取正在执行的 SQL,解析执行计划,获取输入表和输出表;

    • 通过任务日志解析的方式,获取执行后的 SQL 输入表和输出表。

    第一种方式,面临准确性的问题,因为任务没有执行,这个 SQL 对不对都是一个问题。第三种方式,血缘虽然是执行后产生的,可以确保是准确的,但是时效性比较差,通常要分析大量的任务日志数据。所以第二种方式,我认为是比较理想的实现方式,而 Atlas 就是这种实现。

     

    对于 Hive 计算引擎,Atlas 通过 Hook 方式,实时地捕捉任务执行计划,获取输入表和输出表,推送给 Kafka,由一个 Ingest 模块负责将血缘写入 JanusGraph 图数据库中。然后通过 API 的方式,基于图查询引擎,获取血缘关系。对于 Spark,Atlas 提供了 Listener 的实现方式。

     

    网易元数据中心实现

    下图按照功能模块分为数据血缘数据字典数据特征

     

    元数据中心统一对外提供了 API 访问接口,数据传输、数据地图、数据服务等其他的子系统都可以通过 API 接口获取元数据。另外 Ranger 可以基于元数据中心提供的 API 接口,获取标签对应的表,然后根据标签更新表对应的权限,实现基于标签的权限控制。

     

    关键点

    元数据中心是数据中台的基石,它提供了我们做数据治理的必须的数据支撑,数据的指标、模型、质量、成本、安全等的治理,这些都离不开元数据中心的支撑。

    • 元数据中心设计上必须注意扩展性,能够支持多个数据源,所以宜采用集成型的设计方式。

    • 数据血缘需要支持字段级别的血缘,否则会影响溯源的范围和准确性。

    • 数据地图提供了一站式的数据发现服务,解决了检索数据,理解数据的“找数据的需求”。

     

    中台实现:指标管理

    指标是一种特定类型的元数据,公司的运营会围绕它进行工作,可以说,它是业务和数据的交汇点。指标数据能不能用,会影响他们的日常工作。而且元数据在指标管理、模型设计、数据质量和成本治理四个领域也都发挥着作用,而这些领域构成了数据中台 OneData 数据体系。

     

    为什么需要指标管理

    举两个例子:

    第一个:新用户

    • 市场部门认定新用户是首次下单并完成支付的用户;

    • 会员中心认定新用户是当日新注册用户。

    第二个:7日UV

    • 过去7日UV的平均值

    • 过去7日所有Vistor的去重数量

    定义不一致,口径不一致,计算逻辑就不一致。所以构建数据中台,需要提供全局一致的指标口径,输出完备统一的指标字典。

     

    常见指标问题

    一般进行烟囱式开发的企业都多多少少存在以下的指标问题:

    • 相同指标名称,口径不一致:比如"新用户销售额,7日UV"

    • 相同口径,指标名称不一样:比如"优惠券抵扣金额"和"优惠券消费金额"

    • 不同限定词,描述相同事实过程的俩个指标,相同事实部分口径不一致

    • 指标口径描述不清晰:比如"关单金额"

    • 指标命名难于理解:比如"转化率" 和 "ROI"

    • 指标数据来源和计算逻辑不清晰

     

    如何定义指标

    • 面向主题:为了提高指标管理的效率,你需要按照业务线、主题域和业务过程三级目录方式管理指标

    • 拆分原子指标和派生指标:统计周期、统计粒度、业务限定、原子指标,组成派生指标,所以原子指标可以定义为不能够按照上述规则进一步拆分的指标。比如:30 天内某商品的非会员购买用户数

    • 命名规范:规范统一化,通俗易懂化。

    • 关联的应用和可分析的维度

    • 分等级管理

     

    如何构建指标系统

    • 提供一个易于维护的规范标准化指标管理系统,具备查询,增删等功能。

    • 数据中台团队必须要有一个专门负责指标管理的人或者小组(一般不超过 3 个人),最好是数据产品经理来负责,如果你的公司没有这个职位,也可以让分析师承担。

    • 提供一个完备的指标创建流程:提交指标需求,需求评审,模型设计和数据开发,验证,上线,应用接入

     

    指标管理总结

    • 数据中台直接产出的核心指标必须实施强管理,由数据中台团队的专人或者小组负责,最好是数据产品经理的角色。

    • 指标的管理必须结合系统 + 规范的治理方法,明确每个角色的职责,通过系统化的方法实现。

    • 不同的两个指标描述的相同业务过程中的相同事实部分口径不一致,是指标梳理过程中最常见的问题,需要通过拆分原子指标和派生指标的方式解决。

     

    中台实现:模型设计

    大多数公司的分析师会结合业务做一些数据分析(需要用到大量的数据),通过报表的方式服务于业务部门的运营。但是在数据中台构建之前,分析师经常发现自己没有可以复用的数据,不得不使用原始数据进行清洗、加工、计算指标。

    烟囱式数据开发:数据模型无法复用,每次遇到新的需求,都从原始数据重新计算

     

    如何构建可复用模型

     

    大数据中台的数据模型:

     

    构建可复用模型的标准:数据模型可复用,完善且规范

    • 统计明细层完善度:统计DWD层表被跨层引用次数即可,次数越多,证明完善度越好

    • DWS/ADS/DM 层完善度:能满足多少查询需求。

     

    中台实现:数据质量

    现有的大数据平台,或者数仓项目,很难做到任务追踪和数据追踪。举一个例子。

    运营每天上班的第一件事,都是打开响应的数据运营系统,如果某天突然发现这个数据反常,需要数据开发部门核对,或者经过他们自己核对,发现数据的确算错已经投诉了。

    这样的例子中,可以得出几个结论:

    • 数据部门晚于业务方发现数据异常,被投诉后才发现问题。

    • 出现问题后,数据部门无法快速定位到数据异常的根源,排查用了较长的时间。

    • 故障出现在数据加工链路的上游顶端,出现问题没有第一时间报警处理,导致问题修复时,所有下游链路上的任务都要运行,修复时间成本非常高。

    这些问题最终导致了数据长时间不可用。这就是数据质量的问题

     

    数据质量问题的根源

    对于一个做数据开发的人来讲,遇见数据质量的问题(也就是算错了数据的问题)是经常性的。而,通常进行排查和数据恢复,都需要较长的时间,和较大的代价。在多次问题的复盘中,总结出以下规律:

    • 业务系统变更,包括表结构变更,源系统环境变更,源数据格式异常

    • 数据开发bug + 数据开发任务变更:忘了修改数据源,写死数据分区,数据格式异常

    • 物理资源不足:YARN上多租户争抢资源导致数据延迟产出

    • 基础设施不稳定:NameNode高可用失效导致数据读写功能异常

     

    如何提高数据质量

    想提升数据质量,最重要的就是“早发现,早恢复”:

    • 早发现,是要能够先于数据使用方发现数据的问题,尽可能在出现问题的源头发现问题,这样就为“早恢复”争取到了大量的时间。

    • 早恢复,就是要缩短故障恢复的时间,降低故障对数据产出的影响。

    具体实施:

    • 添加稽核校验任务:确保数据的完整性、一致性和准确性

    • 建立全链路监控:可以基于血缘关系建立全链路数据质量监控。

    • 通过智能预警,确保任务按时产出:延迟产出,异常任务等立即报警

    • 通过应用的重要性区分数据等级,加快恢复速度

     

    如何衡量数据质量

    对于数据治理做到什么程度,很难衡量,最好的办法就是量化。

    • 某个时间点以前核心任务的产出完成比,超过规定时间,没有完成产出则稽核校验失效

    • 基于稽核规则,计算表级别的质量分数。对于低于质量分数的表,分发到响应责任人进行改进。

    • 需要立即介入的报警次数。超过规定次数的需要立即介入

    • 数据产品 SLA。数据应用中的所有指标在规定时间内产出。如果没有,则计算不可用时间,不可用时间越短,证明SLA越好

     

    中台实现:成本控制

    企业数据中台追求的是:高效,质量和成本。简单来说就是:快,准,省。所以能不能合理控制成本,也是决定数据中台项目成功与否的关键。

    如果老板问你:

    • 今年大数据中台预算 5000W,都用来支撑什么业务了?

    • 你们都做了哪些优化成本的举措呢?效果怎样?

    正常来说,数据中台的成本,是按照人力,物力,按照机器数量和电费来算的,又不是按照数据应用来算的,来自老板的这种灵魂拷问,还真是不好回答。但是一个公司的资源都是有限的,不可能无限增加,所以这些资源肯定都需要确保应用在公司的核心战略上产生价值。所以数据中台刚好又是一个高消耗支撑部门,所以如果想展现自己的价值,至少要做到两方面:

    • 支撑好业务,获得业务部门的认可

    • 精简架构,控制成本,为公司省钱

     

    成本陷阱

    根据经验,可以总结优化的地方还是挺多,如果都做到位,可以节省一半资源。相信很多小伙伴已经基本中招。

    • 数据上线容易,下线难,什么没有下线机制。

    • 低价值的数据应用消耗了大量的机器资源。

    • 烟囱式的开发模式导致数据加工重复。

    • 数据倾斜导致资源分配利用不均衡

    • 未设置数据生命周期,导致过期数据长期占用磁盘资源。

    • 调度周期设置不合理,未形成闲忙搭配得当。

    • 任务指定资源参数配置不当

    • 数据为压缩存储

    甚至还可以再列举一些。

     

    精细化成本管理

    • 全局资产盘点

    1、精细化成本管理的第一步,就是要对数据中台中,所有的数据进行一次全面盘点,基于元数据中心提供的数据血缘,建立全链路的数据资产视图。
    ​
    2、数据成本计算:一张表的成本 = 每个加工任务的计算资源成本 * m + 上有依赖表的存储资源成本 * n
    ​
    3、数据价值计算:给使用人数,使用频率,数据应用数,老板等因素加权计算
    • 发现问题

    1、持续产生成本,但是已经没有使用的末端数据(“没有使用”一般指 30 天内没有访问):没有使用,却消耗了资源
    ​
    2、数据应用价值很低,成本却很高,这些数据应用上游链路上的所有相关数据:低价值产出
    ​
    3、高峰期高消耗的数据:高成本的数据
    • 治理优化

    1、对于第一类问题,应该对表进行下线
    ​
    2、对于第二类问题,我们需要按照应用粒度评估应用是否还有存在的必要,如果没有,则删除。
    ​
    3、第三类问题,主要是针对高消耗的数据,又具体分为产出数据的任务高消耗和数据存储高消耗,分配到非高峰期运行即可。
    • 治理效果评估

    1、最简单粗暴的标准:省了多少钱
    ​
    2、下线了多少任务和数据;这些任务每日消耗了多少资源;数据占用了多少存储空间。
    ​
    3、将上述节省资源换算成钱,这就是你为公司省的钱。

     

    中台实现:数据服务化

    数据服务解决的问题

    数据接入效率低

    为了保障数据的查询速度,需要引入中间存储

    • 数据量小:MySQL

    • 低延时:Redis

    • 数据两大:HBase

    • 多维分析,数据量大:GreenPlum

    不同中间存储提供的 API 接口不一致,导致使用复杂度提高。维护困难。

    解决方案:提供统一的 API 接口,为开发者和应用者屏蔽不同的中间存储和底层数据源

     

    数据服务解决的问题

    • 中间存储中的数据无法复用

    • API接口根据应用高度定制化,也无法复用

    • 数据服务暴露的不是数据,而是接口

    • 数据服务具备限流功能,使得不同应用共享数据成为可能

     

    不确定数据应用在哪里

    • 数据和应用的链路关系是断的

    • 数据出现问题,不知道影响了哪个应用,无法优先恢复

    • 下线数据,不知道下游还有没有应用访问

    • L数据服务维护了数据应用和数据中台表的链路关系,建立全链路血缘

     

    数据部门的字段更变导致数据应用变更

    • 汇总层模型根据需求不断优化是最频繁出现的事情

    • 对应用开发来说,底层表变更简直就是噩梦

    • 数据服务解耦了数据应用和数据,修改

    • 数据服务的映射关系即可实现字段变更

     

    数据服务解决方案

    为所有的数据应用提供统一的 API 接口服务

    表现在:

    • 接口规范化定义

    • 数据网关

    • 链路关系的维护

    • 数据交付

    • 提供多样中间存储

    • 逻辑模型

    • API 接口

    • API 测试

    数据服务实现了数据中台模型和数据应用的全链路打通,解决了任务异常影响分析和数据下线不知道影响哪些应用的难题;

    基于相同主键的物理模型,可以构建逻辑模型,逻辑模型解决了数据复用的难题,提高了接口模型的发布效率;

    展开全文
    zhongqi2513 2020-08-28 11:17:11
  • 中台概念着实火了一把,继去年购买了“数据中台”的百度搜索指数后,昨天我又购买了“业务中台”的百度指数,可能是由于刚刚购买,全量数据还没有统计汇总出来,所以当我们在百度指数,搜索业务中台的时候,目前...

    中台概念着实火了一把,继去年购买了“数据中台”的百度搜索指数后,昨天我又购买了“业务中台”的百度指数,可能是由于刚刚购买,全量数据还没有统计汇总出来,所以当我们在百度指数中,搜索业务中台的时候,目前只有 4 月 6 日的数据。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    即便如此,我们依旧能从这张图能清晰地看出,中台、数据中台的热度在 2019 年 5 月份开始崛起,在年底达到顶峰,已经持续超越了数字化转型的关注度。

    在本篇文章,我不去重复中台的各种概念和定义:中台是企业级能力复用平台。

    从另外一个角度,历经了企业 BPR,ERP 实施等传统项目,再到现在的云计算、大数据、等数字化项目,在一个从业二十年的 IT 老兵的眼中,中台的崛起可能不仅是“能力复用”,它所代表的意义是更丰富和巨大的。

    在我的认知中,“中台”这个概念的火爆不是昙花一现,更不是机缘巧合,它是中国企业信息化发展的必由之路,是本土企业信息化历史上的一个里程碑,它有以下两个代表性:

    1、“中台”是国人自主提出并孵化成一个市场的原创概念

    从 1999 年靠写程序挣了人生第一笔工资开始,我所接触到的所有的 IT 领域的概念,基本上全都是“舶来品”,中国的企业信息化市场的关键概念,包括大数据、云计算、移动互联网、Web、J2EE、EAI、SOA、ESB、ERP、商务智能、数据仓库等无一例外,都是从海外由咨询公司或者大型厂商引入的,而中国的企业信息化历程就是由这一个个关键概念牵引着前进的。

    理论指导实践,好的理论能够统一愿景,领导行业的方向。好的概念能够让行业统一认知,形成共识,从而更快的规模化发展,比如云计算、大数据、ERP 这些概念,教育了众多企业的高管,构建起了中国数字化的基石。

    在我的记忆里,中台是第一个由国人自己提出,持续被关注,不断走高成为现象级企业信息化领域的概念。

    同时,通过行业的不断讨论和迭代,“中台”这个概念,已经像云计算、大数据一样,逐渐成为了一个独特的市场领域,众多的中台创业公司不断涌现,国内企业都在思考并且实践如何建设中台,巨大的市场需求正在形成。

    虽然到目前为止,中台的概念在中国以外的市场落地的案例还不多,但是作为国人自主提出,并且已经孵化成一个市场的原创概念,中台这两个字,已经创建了太多的第一,这两个字足以在中国的信息化历史上画上闪亮的一笔。

    2、“中台”代表着本土企业数字化转型理论的一个丰碑

    在中台以前,中国的企业信息化领域出的书大部分都是偏实操和工具类的书籍,而介绍企业级架构、方法论的原创书籍不多。

    对比美国的IT界,很多软件大拿非常擅长总结抽象理论体系,比如敏捷、演进式架构、微服务这些体系就是 Martin Fowler 和 Neal Ford 这样的软件巨匠提出并升华到企业架构级别的。

    所以,中台概念的崛起,绝对是中国企业信息化领域的一个里程碑式的事件,它对于企业信息化已经带来并且还在持续带来巨大的推动作用。

    当我回顾这个里程碑事件的时候,我隐约感觉到了一个模糊的关联,这些关联随着思考不断的深入,随着与同行们不断的碰撞越来越清晰,中台的本质是什么,它的发展将何去何从?

    中台的崛起是从“服务化”到“去 ERP 化”

    10 年前,阿里掀起了一场声势浩大的“去 IOE”活动,其本意是,在阿里巴巴的 IT 架构中,去掉 IBM 的小型机、Oracle 数据库、EMC 存储设备,代之以自研或在开源软件基础上开发的系统。

    站在技术的视角看“去 IOE 化”的过程,就是将原来的中心化的、封闭的 Oracle 商业数据库软件替换为去中心化的、开放的开源数据库软件,将原来封闭的 IBM 的主机、EMC 的高端存储设备替换为以 X86 为代表的云化硬件设备。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    对应到典型 IT 架构的层次,去 IOE 化都是在企业的基础架构层面,包括应用基础架构的工作,也就是从 IaaS 到 PaaS,而应用层并没有太大变化。

    但是,当我们看中台的概念的时候,我们发现,中台要解决是两个方面的问题:业务中台和数据中台。业务中台通过抽象,封装可复用的逻辑,提升企业的响应力,而数据中台通过打通企业的数据,构建自学习服务的数据能力,让企业更智慧,一个是应用层, 一个是数据层,也就对应到 Application 和 Data。

    行业里普遍比较认同中台的构建就是业务数据化,数据业务化,也就是围绕微服务架构的过程。

    但是如果我们把业务中台和数据中台与过去二十年的信息化历程关联到一起,我们会发现中台的建设可以分为两个阶段,第一个阶段是“服务化”,第二个阶段是“去 ERP 化”,而最终对于企业来讲追求的是用新的数字化技术去替换遗留的 ERP 系统的过程。

    企业中台实施第一个阶段:服务化

    目前很多企业所实施的中台,主要的工作是将遗留的后台系统,比如 ERP/MES/CRM 的公共部分进行拆解复用,形成类似于交易中心、用户中心,订单中心这样的微服务集合供前台调用,从而保证逻辑的一致性同时更快的响应前台的变化。

    这个阶段,中台以“通用能力服务化”为核心。如下图所示,左边是业务中台,业务中台将后台的通用业务能力,比如用户接口、订单接口、支付接口等统一抽象成微服务提供给多个业务前台使用,从而保证前台业务数据化的过程的标准化、统一化,提升了业务数据化的一致性和准确性,同时也加快了前台的响应速度。

    右边是数据中台,数据中台从后台获取全域数据,并且通过结合人工智能的算法技术挖掘产生业务洞察,并提供唯一的数据查询和统计服务给到业务前台和业务中台,从而驱动业务朝智能化转型,优化现有业务同时转型和创新业务。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    整个这个过程,都是业务响应需求的发展,进行微服务改造的过程。下面我们以一个最典型的订单服务为例来仔细剖析这个过程,从而阐述业务中台和数据中台的关系以及他们的业务价值。

    下图是一个典型的电商订单服务的流程,用户在某电商自营 APP 下一个产品订单,这个应用负责把订单数据保存到数据库里。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    随着这个企业的发展,该电商企业拓展了多个渠道,构建了其他的 APP,提供给用户使用。

    于是,用户下订单就有了两个方法,分别在不同的应用里,比如自营 APP 和微信小程序,这样最典型的两个渠道。而真实的情况可能是一个电商企业会有非常多的渠道,有自营的,还有代运营的,还有线下的 POS 系统,还有合作伙伴通过 API 接入的,多个应用会同时创建订单。

    这样的情况下就会出现多个应用都会创建订单。

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    这样带来的问题很明显:

    1. 用户体验不佳,一个用户不能看到在不同渠道的订单。
    2. 数据一致性差,订单数据分散在不同的应用系统中,数据不一致,同步复杂。
    3. 维护困难,当一个订单逻辑发生了变化,所有的应用逻辑都要重写,带来的很大的维护工作量,响应慢。

    在这种情况下,如何解决这些问题呢?

    为了解决订单数据一致性的问题,一般会在 OrderDB_1 和 OrderDB_2 之间做同步更新,从而保证用户能看到自己的全部订单。

    为了能够掌握全局的销量情况,企业会构建数据仓库系统,将不同系统的数据都通过 ETL 的方式抽取到数据仓库中进行分析,这就是 OLAP 的过程。但是由于数据量比较大,处理过程复杂,往往 OLAP 都是 T+1 以上的响应速度,也就意味着,比如企业要想看所有渠道的销量分析报表,只能看到一天以前的,而不能看实时的数据,如下图所示。

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    上图的橘黄色箭头表示在线交易处理流程,是生成数据的过程,而绿色箭头表示在线分析处理流程,是抽取处理分析的过程。

    这是典型的数据仓库和商业智能的场景,而这样的数据利用的问题也是很明显的:

    1. 数据分析不实时,不能够实时出报表。
    2. 数据仓库往往都是单体架构,受限于数据的处理计算能力,扩展能力不强,往往只能分析一个阶段的数据。
    3. 响应慢,ETL 的过程依赖于预设的分析主题设计,当要分析的数据结构发生变化时需要重新设计抽取逻辑,导致响应慢。

    以上是现在很多企业现存的典型的应用和数据利用场景,在这个基础之上,业务部门提出了更高的需求,比如如何能够实现精准营销,如何能够实现动态的价格?

    这就是数据中台和双中台的典型用例和业务价值所在,下面我们用三个典型场景用例来阐述中台服务化的价值。

    下图是典型的数据中台的业务场景:精准营销。

    利用分布式的数据架构替换传统的数据仓库,将 ETL 的过程更换成 ELT 的过程,结合批流一体的架构,保证数据的全面覆盖,源数据抽取,实时数据和历史数据并存。

    在这个基础上,数据中台借助机器学习等算法能力,构建精准营销模型,能够供前台业务应用直接调用,而不需要做成报表以可视化的形式提供给业务人员,业务人员根据自己的经验在去做手工的用户运营。当用户在访问商品清单的时候,根据用户画像、产品销量等全域数据,实时生成最新的产品推荐,通过数据中台的 API 推荐给用户。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    这是一个典型的数据智能化的过程,通过数据中台整合了企业相关应用系统的全域数据,通过分布式存储和计算能力,结合人工智能技术和算法,为业务系统提供直接可调用的实时数据和智能服务。

    业务中台的典型场景用例:订单生成

    实现智能化,是所有的企业希望达到的目标,但是智能化对于数据的质量要求很高,而多个分别创建订单服务,导致的问题很明显,而且随着前台应用系统的不断增多,业务数据化的过程越来越复杂,导致数据与真实的业务出现了很多的不一致和偏差。

    同时,随着业务变化的速度越来越快,同时维护多个订单服务的工作量很大,响应速度越来越慢,这就要求对于所有的订单服务进行抽象、复用和包装,这就是业务中台出现的原因。

    如下图是最简单的业务中台的服务,也就是订单中心的服务,所有的前台应用当需要创建订单的时候,统一调用业务中台的订单服务,由这个服务统一生成产品订单,从而保证了订单逻辑的一致性和维护的高响应性。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    双中台的典型场景用例:动态价格

    数据中台不仅为前台应用直接提供调用服务,并且也能够为业务中台提供数据和智能的服务。

    下图是典型的双中台协作的场景用例:动态价格。

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    这个场景在很多需要实时计算动态价格的业务中存在,比如机票预订和滴滴打车的下单服务中,每一个订单的价格都是实时根据当前的数据计算生成的。

    如上图所示,业务中台统一为不同的应用提供订单生成服务,而在生成订单的过程中,需要根据不同用户的情况,动态计算一个价格。这种情况下,业务中台就需要调用数据中台中的动态价格计算模型。

    这个模型从分布式数据网格(Data Mesh)中获取产品、用户等历史数据,同时获取实时的订单数据,最终计算出最优的价格,返回给业务中台的订单服务。

    而这个动态价格的智能服务可以同时被业务中台和其他业务前台所调用,所以,数据中台是同时为业务中台和业务前台提供数据和智能服务的。

    部分企业目前所实施的中台,都是和以上三个业务用例类似的场景,就是将一些共有业务流程做服务化改造,从而变成可以被前台快速调用的业务服务,提升业务的响应力,让业务更智慧。

    当我们看双中台服务化的过程时,不可避免地要面对很多已经有了后台系统,特别是已经有了套装 ERP 软件的情况。这个时候,我们要解决的就不仅仅是服务化几个核心能力的问题,而是以 ERP 为代表的遗留企业架构和以中台为代表的新兴企业架构的博弈问题了,这时候,中台的实施就进入了第二个阶段。

    企业中台实施的第二个阶段:“去 ERP 化”

    十几年前,我作为早期做 BPR(业务流程再造)和 ERP(企业资源管理系统)的顾问,经历了原来以进销存为核心、系统分散数据不拉通的蛮荒阶段。那时候的企业对于 ERP 的追捧,就和现在追捧中台一样。

    当时要解决的问题是将企业的流程梳理清晰,做到资源的集约化管理,从本质上讲也是解决流程复用、业务能力化的问题,只不过那时的技术实践方法是套装软件,通过 Oracle EBS 或者 SAP ECC 这样的商业闭源软件,开箱配置后使用,用国外成熟标准化的流程来驱动企业的业务。

    曾几何时,ERP 是企业现代化管理制度的代表,上了 ERP 表示企业流程优化、资源集约化的成功,但是经过了十几年的发展,原来的 ERP 系统已经不足以满足当今企业的诉求,主要原因如下:

    套装 ERP 软件的弊端

    • 商业软件,响应慢大部分的 ERP 系统是商业软件,是按照 License 来授权的,企业只有使用权,这就导致当企业的业务发生变化的时候,需要找到原厂进行重新配置或者新开发,响应比较慢。
    • 封闭架构,不开放套装 ERP 软件是封闭架构,技术不开放,导致企业无法对它进行大的功能上的扩展,只能像打补丁一样,构建一些外挂,而且效果往往都很不好。
    • 单体架构,弹性不够过去的套装 ERP 软件一般都是巨型单体架构,天生的弹性不够,不能够满足持续增长的性能需求。
    • 昂贵的升级和维护成本套装 ERP 软件的升级和维护成本一般来说都很贵,导致有的的企业抱怨,不上 ERP 会死,但是上了 ERP,费用太高,负担很重。

    过去,企业使用套装 ERP 的核心原因是需要复制和遵循 ERP 软件里内置的那些业务流程,在某种角度上讲,过去 ERP 系统的实施其实是“买流程送软件”

    但是,中国的企业已经建立了适应中国市场特色的组织结构和业务流程体系,而且互联网的快速普及,导致原来静态,标准化的业务流程已经不足以支撑企业的快速响应。

    这种情况下,一些领先的企业对于 ERP 这样的核心业务系统的价值诉求从原来的固化流程到了快速响应前台市场变化的新阶段。

    而与此同时,ERP 这样的以流程为核心的组织形式也转向平台化的组织形式,而这也是中台的核心理念。

    企业组织结构从流程式协作走向平台式协作

    ERP 的实施过程中,会制定很多的流程、岗位、职责,从而让多个部门能够在统一的流程下有机的协作起来,我把这种组织形式叫流程式协作,如下图所示:

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    这样的好处是,在预设好的业务流程、分工职责下,不同的部门做各自的事情。比如研发部门就关注产品的先进性,采购部门就关注采购的低成本,生产部门就关注产品的高质量,我们默认为只要各个部门按照制定的流程和 KPI 协作,就可以实现企业的业务战略。

    但是,我们会发现,这个图是从企业内部视角来看的,并不是从客户价值视角来看的,天然把企业分成了外部和内部。

    而随着互联网的出现,外部竞争格局越来越复杂,企业需要围绕客户价值来组织经营,一些领先的企业倡导,所有组织单元和业务部门都要产生客户价值。

    但是 ERP 时代的流程式协作就在客户价值之间构建了一堵无法逾越的墙,因为研发部门只关注技术的先进性,不关注客户是否买单,而采购部门只关注低成本,不关注技术的先进性。每一个流程节点和业务部门重点关注的是给自己设定的 KPI,而不是客户价值,导致局部利益大于全局利益。

    如何打破这堵墙?

    这不是一个简单的事情,从原有的遗留系统,特别是 ERP 这样的套装软件中区解耦业务流程,做服务化改造本身是一个很复杂的工作,并且在改造的过程中,牵一发而动全身,很多企业会发现,最终的结果就是会将原来的单体 ERP 系统拆解成为分布式的,去中心化的 ERP 微服务集合,我称这个阶段为“去 ERP 化”阶段。

    中台建设对于一些已经有 ERP 系统的企业来说,就是“去 ERP 化”,将中心化的单体 ERP 系统拆解成分布式、微服务架构的开放平台,而不仅仅是“能力复用平台”。

    在这样的业务开放平台的基础上,能够打破企业内外部的边界,让所有的业务部门从后端走向前端,通过中台支撑敏捷前台,创造客户价值,我们把这样的协作形式称为“中台时代的平台式协作”。

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    ERP 系统的典型场景是流程的复用,定义业务流程模板,然后把一套业务流程尽可能的复制到不同的业务领域和客户需求上,从而实现资源调度的集约化,是典型的计划型经济的思路,强调标准化和资源的复用节约。

    而在 VUCA 的市场环境下,企业面临的是客户越来越多样化,个性化的需求,越来越强调以客户为中心去动态的组织资源为客户提供服务。

    这就要求后台业务系统能够更加灵活的支撑前台不断变化,个性化的客户需求,这和 ERP 系统的核心理念及本质是相违背的。

    这种情况下,原来的 ERP 系统必须要将以流程为独立单元的模块拆解为以客户价值为独立单元的模块。

    同时,这样的转变也带来一个巨大的挑战,就是如何给员工打绩效。

    原来 ERP 时代的员工绩效比较直接清晰,就是将业务流程绩效分解到每一个岗位,比如完成率、审批率等。

    但是,当转变成以客户为核心的时候,如何度量绩效呢?

    企业希望每一个业务节点,所有的参与方都可以对齐到客户价值,用产生的客户价值来度量贡献,这样能够更直接的激励员工。

    这是一个很好的愿景,但是实现起来是困难的,那就是对于一些后端赋能型的业务单元,如何将它们关联到直接的客户价值上,这里就需要利用全域的数据分析、建模,通过敏感性分析等算法技术来实时计算,这也就是数据中台所需要提供的能力。

    总的来讲,对于那些拥有 ERP 系统的企业来讲,中台实施的深水区必然涉及到要重构原有 ERP 系统,因为传统 ERP 和中台的核心理念是冲突的,所以我用“去 ERP 化”作为企业中台实施第二个阶段的名称,不意味着一定是要抛弃 ERP 软件,而表示要将传统的以资源计划为核心,以集约化为目的的业务系统转型为以客户为中心的业务中台。

    “去 ERP 化”的过程一般会分为两个步骤,由于篇幅原因,这里我们简单介绍一下:

    一、将相对比较独立的真正的企业后台,比如财务,人力资源这些模块保留在后台 ERP 系统,其他的业务模块基本上都会从单体架构变成分布式的微服务架构,如下图所示:

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    这个拆解重构的过程,最重要的一个标准就是将原来的 ERP 流程拆解出可独立提供业务价值的微服务。

    在这个阶段,我们认为,偏后端的 ERP 模块,比如财务、人力资源,还是会保留的,拆解的目的不是为了微服务而微服务,是为了能够对齐和提供客户价值。

    二、一切应用云化,应用与数据分离。

    在第一步的基础上,我们展望未来,会发现有一个趋势:最终,一个个的单体架构的后端系统都会随着云计算、大数据处理技术的发展,变成一个个的可独立运行的微服务。

    企业的后台系统会被分解成一个个的分布式的微服务架构,能够被管理、被编排、被治理,每一个微服务有自己基于云的数据存储,物理上是分布式的。

     

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    小结

    我用下面这张图来概括中台发展的三个阶段,最终我们发现,对于那些已经有 ERP 系统的企业来讲,中台的建设本质就是利用微服务架构构建开放业务平台来替换闭源单体架构的 ERP 系统的过程。

    你知道数据中台,但你不知道它和ERP、数据仓库背后的关系

     

    中台的构建过程是企业转型的过程,是企业从流程为核心走向以客户为核心的转型,是企业从以人的经验驱动走向数据智能驱动的转型。

    中台概念的崛起和落地代表了中国部分领先企业逐渐走入了企业管理体系的无人区,已经没有以前的西方先进管理经验可以照搬,需要的是快速试错和高速响应的能力。

    而这一切,也许要从“去 ERP 化”开始,让我们和过去的 ERP 说一声“珍重”。

    展开全文
    yuanziok 2020-04-20 11:25:09
  • 什么是中台系统?它是如何诞生的?它长什么模样?我们为什么需要它?一串串的问题不禁浮现在我们的脑海,今天我们就带着这些问题,一起走进中台。  1、中台诞生  任何一个软件系统都是通过帮助客户解决问题来...

    什么是中台系统?它是如何诞生的?它长什么模样?我们为什么需要它?一串串的问题不禁浮现在我们的脑海,今天我们就带着这些问题,一起走进中台。

      1、中台诞生

      任何一个软件系统都是通过帮助客户解决问题来实现价值的。针对不同的需求会建立不同的软件项目。

      这些软件项目包含客户端的应用和后台管理配置的应用。久而久之就形成了固定的“前台”和“后台”系统,而且大家都在乐此不疲地开发着类似的业务系统。

      但是,时间一长大家就发现了,这些系统中有一些部分大同小异,在做第二个项目的时候并不用将所有的功能重写,可以把之前项目中那些共有的模块拿出来,稍作修改就可以在新项目中应用了。这就是中台的雏形。

      转动的齿轮

      抽象和解耦是软件开发铁律,同样也适用于中台系统。中台系统就是将“后台”系统中那些针对技术,业务,组织的通用“模块/服务”从原来固定的项目中抽离出来,并且使之能够成为一个自治的服务提供给更多的“前台”使用。

      中台就是“前台”和“后台”之间联动的齿轮,也是:

      调节器:前台业务变化快,后台系统相对比较稳定,中台就是他们中间的速度调节器。

      加速器:新业务上马,接入中台即刻享受服务,不用 0 开始。

      稳定器:前台业务多如牛毛,后台数据排山倒海,而中台提供各式各样的接口对接两者使用户享受稳定可靠的服务。

      

      “中台系统”犹如齿轮,带动“前,后台系统”飞速转动

      2、中台的分类

      中台是一种能力的抽象,这种能力可以是业务能力,技术能力,数据能力甚至是组织能力。我们可以从不同的维度对其进行分类。

      

      中台分为如下几类:

      业务中台

      技术中台

      数据中台

      组织中台

      ①业务中台

      业务是根本,特别是用户的核心业务。对于中台来说需要针对业务进行颗粒度划分。例如:客户服务,结算中心,订单中心。

      如果业务发生变化需要对上述服务进行拆解,例如:将结算中心拆解成支付服务和核销服务。

      这样的分类和拆解是为了更好的支持前台,给前台业务提供更多的可能性,从而为用户组合出更多的使用场景。

      这类平台的提供者一般在某一个行业深耕多年,积累大量的行业知识。

      

      业务中台:根据业务对服务进行划分

      ②技术中台

      作为技术人员接触过最多的就是技术中台,通常我们会将服务进行拆解通过微服务的方式重新组织。

      每个微服务都是自我治理的,通过服务注册,服务网关,服务跟踪的方式让他们形成一个整体。

      技术中台的划分通常分为两个维度,第一个是基础服务,这些服务针对整个系统来说相对通用,如:日志服务,安全服务等等。

      第二个就是业务服务,这些服务都针对每个业务模块做划分,通常这些服务会根据业务的变化或者增量进行更新或者横向扩展。

      这类平台的提供者,一般都是科技型企业,涉及过多个行业,对基础组件和模块的应用得心应手,往往他们设计出来的中台架构性能和可靠性方面比较优秀。

      

      技术中台:利用微服务,DevOps 给前台提供支撑

      ③数据中台

      数据的获取通常需要经过数据采集,数据清洗/过滤,数据存储,数据归档几个步骤,最后才能通过数据服务的形式展现给用户。

      特别是针对客户端来说,同时通过数据中台提供的服务来获取数据的。数据中台会根据不同的业务场景,生成不同的数据服务,满足客户的需要。

      提供类似平台的企业进入 IT 信息化的时间比较早,积累了一大批数据,通过对数据的整合和分析可以助力业务发展。

      

      数据中台:让前端不用关心数据处理过程,只专注于“数据服务”

      ④组织中台

      中台是需要人来实现的,如何组织好这些人就显得尤为重要了。如果要谈谈组织中台,那么就要先说说下面几种组织结构。

      职能型:每个部门各司其职,虽然都是一个老板管,但是部门之间的界限明确。

      每次有了项目就从各个部门抽调人员,当项目完成以后人员都回到各自的部门当中。

      如果再有新的项目就再次抽调。这种方式沟通成本高,责权不清,出现问题以后容易踢皮球,对用户需求的反应相对较慢。

      

      职能型:根据职能对组织进行划分

      矩阵型:随着互联网的兴起,矩阵型的组织结构也悄然兴起。把人员从原来的部门中完全剥离出来成立专门的项目,并且指定项目经理。

      人员汇报的线路也从原来的部门经理换成了项目经理。而项目经理又对 CTO 直接负责,这样的结构相对简单,实用性较强,避开了职能型组织结构的一些缺点。

      

      矩阵型:从职能部门中抽取合适的人形成独立的组织

      产品型:随着产品意识的不断提升,人们不再拘泥于之前的矩阵型组织结构了,于是加入了产品和产品经理,更重要的是把客户也纳入到组织当中。

      让客户参与产品决策,验收测试,增加用户的参与感,做到产品为客户所用。用户自己设计,测试出来的产品他想说不好都难。

      

      产品型:在职能型的基础上,让组织围绕产品和用户工作

      随着组织中台的不断发展,我们的组织结构也慢慢从职能型向矩阵型,产品型进行过渡。

      3、中台的生命周期

      任何事物都有自身的运转规律,中台系统也不例外。首先我们需要满足使用者在某种场景中的需求,通过对需求的转化我们知道需要通过哪些功能或者系统来实现。

      这些功能或者系统是否已经在中台系统中存在?如果存在是否需要进行优化或者拆分,如果不存在是否做成可以有通用性的模块?

      在定义了以上几点以后,再进行设计,编码调试,集成测试。最后,发布给客户去验证业务的可行性。

      如果发现问题再回到需求的原点重新走一次上面的过程,周而复始,直到满足客户的需求为止。

      

      “需求”,“实施”,“验证”不断循环,直到满足用户的需求

      4、中台的作用

      大家既然对中台有了一定的了解,那我们再从两个维度来看看中台的作用。虽然上面已经介绍了很多关乎作用的例子,但是我们还是希望从两个维度来归纳总结一下。

      ①快速切入市场

      在中台出现之前,我们进入每个行业是比较困难的。在了解业务的基础上需要搭建基础的业务模块。

      现在不需要了,有了中台策略的加持即使对一些行业不太了解也能够从容应对。

      在 BAT 中已经有染指汽车制造,航空航天等专业性很强的行业了,靠的就是中台能力的输出。
          ②专业人员融入系统

      有了中台系统,那么就离不开行业中的专业人员。行业中的专业人员,协助中台系统打磨各个业务模块,通过 PASS 平台打造行业自身的应用。让业务和技术更好的融合,产生化学作用。

      ③定义平台规则

      现在阿里的钉钉就把用户,服务提供商,经销商都拉到了一个平台上了。通过阿里平台的能力,将钉钉打造成企业服务的中台,让多方从中受益。

      

      业务方面:通过满足市场需求,提高专业化程度,打造平台战略,逐步升级

      5、技术方面的作用
            ①服务重用

      不要重复造轮子是我们始终面对的问题,中台的初衷就是抽离通用的部分,让更多人能够享受他们。

      ②服务进化
    技术会跟随业务的进化而进化,每一次进化都是一次技术的沉淀。以前这些技术进化是不可见的,现在新的项目也可以通过中台系统享受这些技术的进化。

      ③快速响应
    由于中台系统针对服务进行颗粒化处理,让每个服务都有独立性,可以针对业务的需求对服务进行横向扩展,从而提高服务的响应时间。

      ④数据积累

      长年累月的数据积累,特别是对业务数据的积累,能够帮助我们带来商业价值。

      ⑤提高效率

      不用从无到有去搭建整个项目架构,也大大缩短了给用户的交付时间,高效的组织结构也促进了交付质量,提高了用户的满意度。

      

      技术方面:服务重用,服务进化,快速响应,数据积累,提高效率相辅相成

      6、如何建立自己公司的中台

      不管是阿里的“中台,前台”战略,还是华为的“平台炮火支撑精兵作战”战略,仿佛都离我们很远。

      有人说:“中台系统就是大公司的事情,我们做好自己手上的项目就好了。”这话对也不对!

      中台系统确实需要具备一定规模以后才能产生,只有项目足够多,行业足够丰富,资源充足的情况下可以实行。

      这些都是中小公司无法做到的,但是,作为我们可以利用中台策略的思维来优化我们的开发,产品,项目甚至是组织。

      从业务方面,我们是否能够把自己专精行业的业务进行一个模块划分,让用户可以自由选择需要的业务模块,提高我们业务适配的灵活性。

      从技术方面,我们是否能够总结一下哪些模块,服务可以从系统中解耦出来成为单独的服务,甚至可以单独部署做到真正的自治。以后搭建技术框架的时候就好像搭积木一样方便可靠。

      从组织方面,由康威定理可以得出什么样的组织结构直接影响这个组织结构生产的软件。

      我们是否还在遵循传统的职能型的方式在推进项目。是否可以考虑以客户为中心的开发模式,让开发人员更加贴近客户,为客户创造价值。

      中台对于个体来说意味着什么?

      前面提到了中台的定义,中台的作用以及对中小公司的思考。那么对于我们个人而言中台又意味着什么呢?我们可以在其中做些什么呢?这里我分享一下自己的想法。

      如果说淘宝网整个就看成一个大中台来说,它提供了各式各样的服务,接口,数据,为商家和消费者创造交易的环境。那么我们把淘宝网可以看成一个“面”。

      那么对于商家来说,他需要利用一些营销工具,聘请一些模特拍照,利用一些物流信息为自己送货。商家可以看成一条“线”。

      那些提供营销工具,拍照服务,物流服务的供应商就可以看成“点”。

      对于我们而言,可能无法成为“面”,但是可以通过“面”的支持去做“线”和“点”。

      再把眼界扩大一点,到微信小程序,支付宝小程序,钉钉应用,都是有发挥空间的。

      

      供应商,商家,平台,构成“点”,“线”,“面”的有机整体

      7、总结

      中台是 IT 信息化过程中经验总结的产物,他是前人归纳总结出来的方法论,也是解决问题的思路。

      它把这些经验和方法从具体的场景中抽离出来,为的是服务于更多的场景。

      我们可以从业务,技术,数据,组织多个维度来看待它。它不仅仅可以应用到企业,对个人的发展也是有帮助的。

      转载说明:本文转载自:51CTO、架构师技术联盟等,如有侵权请联系相关工作人员。

    展开全文
    jiangjiang_jian 2019-11-11 10:44:47
  • lifetragedy 2019-06-25 15:37:59
  • zhangziliang09 2020-07-30 09:12:05
  • yinghe_one 2018-10-18 13:59:04
  • weixin_40679412 2019-09-26 22:11:06
  • qq_32727095 2021-03-16 13:48:38
  • u012562943 2019-04-23 11:01:41
  • u012921921 2020-05-17 22:51:51
  • yinghe_one 2018-11-06 13:14:20
  • toafu 2018-11-23 10:34:53
  • sinat_26811377 2019-08-22 20:23:14
  • yingshuanglu2564 2019-09-21 11:54:35
  • acelit 2019-09-09 13:23:58
  • weixin_31368913 2021-02-27 07:48:31
  • dQCFKyQDXYm3F8rB0 2019-06-07 21:26:20
  • qq_44907926 2021-09-06 00:05:21
  • weixin_42893650 2019-08-21 14:42:44
  • qq_32727095 2021-03-16 09:06:22
  • WindyQCF 2020-05-24 14:00:44
  • xinshucredit 2019-04-08 15:17:16
  • whh306318848 2020-04-04 23:09:41
  • drdongshiye 2019-06-26 09:04:17
  • qq_41332396 2018-10-17 11:21:35
  • liuhuiteng 2019-08-06 09:37:04
  • liulongtao_llt 2020-04-09 15:21:53
  • itfly8 2020-04-21 08:00:00

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 359,217
精华内容 143,686
关键字:

中台写的能力