1、领域名词解释

稳定性（Reliability）、可用性（Availability）、可维护性（Maintainability），是三个有关联的概念、合称RAM，较为容易混淆，因此本需要特别说明一下。依据《ISO IEC 25010-2011 SQuaRE》标准，可将稳定性理解为”应对故障（faults)的能力、对用户而言是可用的，被性能、可用性、可维护性等因素影响。“ 稳定性并不纯粹、搞混淆RAM是很正常的，但治理故障这一点很清淅。

本文对高可用的定义是：能应对大流量的稳定性。因此实施方案当中也涉及SLA等指标的运营。

2、稳定性治理的三种思想

什么是交易长期坚持的高可用方向？故障涉及方方面面，高可用的方法也是种类繁多，我们需要几条基本方法去指导高可用长期的治理方向，我们有三种视角去看待高可用这件事：可用性计算公式、复杂系统理论、交易技术事故定级规范。从不同的视角看待事情，会导致不同的分析路径。

1.可用性计算公式—亚马逊

第一种理解可以从可用性计算公式(Availability Estimate)入手，涉及两个变量：故障概率、故障时长，增大MTBF、减小MTTR。主要包含减少故障发生概率、减少故障恢复时间、制造故障发生概率（可控的）三个方法。为什么会需要人为制造故障发生概率？因为故障发生相应频次较低，没有办法很好地提前发现故障，而制造故障本质则能帮助解决。减少故障发生概率是know unnkown的做事, 制造故障发生概率是unkown unkown的做事。

AvailabilityEstimate=MTBF/(MTBF+MTTR)。MTBF：theMeanTimeBetweenFailure，MTTR：MeanTimetoRecover

从这三个策略推导的一些主要方法如下图示，参考了亚马逊《AWS Reliability Pillar 2019》。

可用性公式拆解的稳定性原则(灰色部分源自《AWS Reliability Pillar 2019》)

2.复杂系统理论—Netflix

分布式系统具备复杂系统的一般特征，可以复杂系统理论来研究与指导分布式系统，该想法来自Netflix《Mastering Chaos—A Netflix Guide to Microservices》的启发。Netflix在业内有一系列产生重大影响的稳定性开源产品，包含Hystrix、Chaos Monkey、Zuul、aws-autoscaling等。

依据《What is a Complex System(James Ladyman etc.)》论文对复杂系统定义的研究，复杂系统的特征之一是系统主要维护 “无序性（disorder） vs. 鲁棒性（robust order）”这对矛盾的平衡稳定。当系统突破临界值、就会产生更大的disorder。从这对矛盾出发、有两个思路：既可以通过模拟环境增加无序性、激化矛盾，也可以增加稳定性能力鲁棒性、减少矛盾。

复杂理论的原则可概括为：随机、依赖和规模是影响系统稳定性的三大因素，分治、自治、反馈是守正之法，无序是出奇之法。从该原则推导的主要方法如下图所示。

复杂系统理论拆解的稳定性方法（灰色部分源自《Mastering Chaos—A Netflix Guide to Microservices》）

3.交易技术事故障驱动—蚂蚁金服

影响事故定级的因素主要是两大类：资金损失、体验损失。

从避免资金损失、体验损失这两个策略归纳的一些主要方法，如下图所示。鉴于蚂蚁金服在金融领域的行业影响力，主要参考了蚂蚁金服TRaaS技术风险防控平台、将高可用与资金安全相结合。资金安全也是影响系统稳定性的一个重要因素。

交易事故拆解的稳定性方法（灰色部分源自《蚂蚁金服 TRaaS 技术风险防控平台》）

3、稳定性的方法设计

3.1、设计挑战

什么构成了交易可用性的挑战？归纳成四点：故障的随机性(软硬件、网络故障等)，系统规模（交易链路长、外部依赖关系多），系统变化(节假日流量、功能迭代发布)，以及交易故障产生的重大影响。前三点是引发系统故障的重要因素，如下图所示。

影响稳定性的三个因素（依据复杂系统理论）

这三个因素也决定了稳定性需要长期运营、没办法一劳永逸（更本质的说法是系统的熵增所决定）。这意味着像Amazon、阿里等这样的大公司，即使有了专业的SRE团队、稳定的技术产品体系，体系化地做稳定性这件事，也无法说 "it's enough！" 只要有业务需求迭代、只要有变化、只要系统存在，就需长期去做运营。

3.2、系统全景图

交易可用性方向如下图，主要思路如下：

1）用分治与隔离的思路、将复杂系统变成N个相对简单的子系统，简化系统的规模、降低模块间的依赖关系、降低长链条比例。这点在系统架构阶段要重点关注。

2）每个子系统，需要具备健康反馈能力、能够时实感知故障，并且实现对故障的自愈，以应对故障的随机性。

3）为了减轻故障频次低难以验证稳定性的问题，也为了防止系统处于临界状态（一个小问题，引发大故障），需要随时的随机的在生产环境做故障演习，以及压测。对于故障演习，以前大家不够重视，这是一个很强的演进驱动力，在系统越早期做、成本及风险越低。

4）不同故障对业务的影响不一样，我们可以通过柔性可用等方式减少影响、保障用户核心体验。针对交易业务重点关注全域的资金链条。

5）我们不仅需要构建系统的稳定性能力，同时也要把控好整个研发流程，包括成本收益、架构设计、持续交付、组织保障、故障处理机制等。有一个源自阿里运维的数据，有60%~80%的故障源自发布变更。

4、稳定性子项交付成熟度—衡量标准。

对交易高可用结果的定量，以各团队对技术故障数量为考核标准。对交易高可用建设过程的定量，主要涉及两方面：具体要做什么事、这些事又怎么定量。本文参考阿里运维参考汽车自动化的分类方法，从功能完善度、自动化程度两个维度定义了交易高可用成熟度等级，见下表。本文的自适应容量、自适应故障参考自《企业级 AIOps 实施建议》，混沌工程参考自《AWS混沌工程成熟度分级标准》，监控告警参考自《stack state监控成熟度模型》。

2019年Q3Q4主要实现绿色表示的目标，2020年实现全覆盖。

=>更多文章请参考：《中国互联网业务研发体系架构指南》

=>更多行业权威架构案例及领域标准、技术趋势请关注微信公众号：

要建立一个均衡的平台

──任正非在公司秘书业务培训班上的讲话

在座的各位都是秘书，从事着秘书的工作。怎样做一个合格、称职的秘书，来适应华为公司超大规模的发展，是我们这次学习的目的。

做一个秘书，首先要具备做一个基本文员的条件。如果你没有达到做一个基本文员的标准，我认为秘书是做不好的。

我们公司过去最好的秘书是张燕燕，她是公司最早的秘书。人们常常怀念张燕燕时代，就是她十分投入地服务，人们对她印象很深。她的秘书工作做得相当不错，因为她个人，无论是在品德上、技能上、管理上都出类拔萃。譬如打字，当年她打字是非常非常快的，好多人都比不过她。她参加公司的管理，也做了大量的工作。虽然现在她在做公司的副总裁，但她依然刻苦钻研业务，如进出口业务、物料采购等。

从秘书成长为公司的副总裁，张燕燕为公司的发展作出了她应有的贡献！你们以后也可以私下和张燕燕交流交流。

我们公司秘书的前途在哪儿呢？我认为在你们手里。

华为公司要大规模地推行网络化的管理、矩阵管理，推行计算机体系化管理，怎么个管法呢？秘书在这里面起了很大的作用！经理们主要是对一些宏观的、重要的、更需要平衡思维的方面进行决策，更多的事则由秘书在公司允许的一个误差范围内来处理，因为日常的交流与管理，不一定非要经理亲自来做。如果象公司这样一个大的信息系统都由经理来处理，你说他能有多大水平？所以单就秘书工作而言，这是一个重要的岗位。可是现在有很多秘书，只会打字，我看就很有必要加以提高。

应该说，我们华为公司的秘书系统是比较庞大的，可能中国很少有这样的公司，有一百四、五十个秘书人员，而且文化素质总的都是比较高的，基本上都是本科以上，如果大家都能把握到发展的脉搏的话，那发展前途还是十分大的。

作为秘书，你要主动地服务。主动地服务，并不是要你成为一个中心，我们全公司都为你服务，这是不可能的。秘书的主动性，是一个很重要的因素。你要做一个合格的秘书，是不容易的。这是我说的第一点。

第二点，就是“善解人意”，这是秘书的一个最重要的原则，是必须好好把握的。

善解人意，通俗地说，就是人家想做啥，你就把这个事情准备好；或者是人家说了这句话，你就把它整理成一个有条理的东西。

当然，要做到善解人意，你必须拓宽你的知识面。如果你不精通天文地理，不通晓古往今来的历史，不了解世界科技发展的现状，你怎么可能善解人意？这是从大的方面讲；从小的方面讲，华为公司有什么重大决策，有什么样的规划、计划……公司发了这么多的文件，你是否认真去读过、思考过？

另外，你还要努力寻找彼此间共同的语言，如何才能与经理产生共同的语言，你琢磨过了吗？

这些都是你达到善解人意的前提条件。否则，你就不能善解人意。既然不能善解人意，则要你这个秘书又有何用呢？你一定要理解你的领导要做什么？与周边的关系需要你的领导来解决什么？你的领导应该向周围扩散什么？公司的这个运行火车里头有什么在运行？你只有把握住了这个脉搏，才可能成为一个好秘书。

我记得张燕燕做秘书的时候，石油部的领导对她有过很好的评价。他对我说：“你的这个秘书，特别能善解人意。你想做什么事，她在电话里就帮你处理了，但是你并没有交待她做什么事。”

因此我认为对一个秘书来说，不要仅仅满足会打字，还要经常阅读公司的文件。公司的很多文件发下去，首先是到你们手里，并没有说不给你们看，那么你们不学习便是你们自己的问题了。公司的文件要学习，古往今来的历史要学习，天文地理要学习，世界科技发展的潮流要学习，我们客户的投诉要学习……这些都是很重要的信息源。你只有学通了这些东西，并加以掌握，才有可能善解人意。善解人意了，助手的工作不就做成了吗？就可以起助手的作用了嘛！

第三，秘书要善于归纳。

我觉得秘书的差距有时是很大的，其差距就在归纳上。

以前我讲完话以后，我的秘书很快就能归纳成一篇文章。其实，文章里有些话我并不就是这么说的，而且在说话过程中，废话一定也不少，这是口语嘛！所以，这就要求秘书善于归纳总结给我看。如果我觉得需要改动的很少，那我就认为这个秘书的水平高，她能够理解、善解人意、善于归纳。

有一些秘书用录音机一录音，送给我的便是这样一个录音稿。我想这个录音稿若是发表在报刊上，那一定很“臭”！肯定是很“臭”的！因为演说词与文字稿毕竟是有很大区别的。至少它的条理性并不是很强。

你们经理的思维有很多可能是创造性的思维。他有时在会上只讲一、两句，就不说了，因为在座的都是他比较了解的人，一句话、二句话，就可以达到相互间的默契，就会达到相互间应用的交流。但是作为秘书，不能把他的两个字、一句话简单地写上去，那样很多人会读不明白，这个会议的主题是什么都不清楚。因此，要把这些关键、重点的字眼加以发挥，用文字准确地表达出说话者或指示者本人的意思。说话者或指示者的意思错了，那由他本人负责，但是作为秘书要把他本人的意思准确地翻译出来。

所以，对一个秘书而言，首先要博览，然后要善于归纳。没有归纳，就掌握不住重点，就没有力量。我认为这是一个很重要的因素。

第四，公司要重视文档建设。

文档建设很重要的工作是由秘书来完成的。大家知道，开发部有些部门的文档建设做得比较好，我就提出来了，每年我们愿意出几千万购买开发部的文档！就是我们重视到这个程度，但是否我们所有的经理都给予了相应的重视呢？不一定的。

如果文档未做好，对我们这样的公司来说，是非常危险的。对一个发展非常快的公司，对一个人员结构经常变的公司，如果没有大量的文档建设的话，是非常危险的，甚至会走到破产的边缘！

比如说我们的万门机，如果我们没有良好的文档建设，没有记录下我们所走过的历程，当主持万门机工作的同志们一升官，走掉了，或者调到其它部门，过几个月请他回来说一说万门机的情况，可能也说不清楚了。在此情况下，我们只能重做万门机的软件。大家知道我们的200号就是重做了一次软件的。因为许国平出了车祸，当时文档建设还不是很好，为了200号能够出去，我们又相当于重做了一次文档。可见这个软件的重要性有多大呀！

有了良好的文档建设，我们就能跟着前人的脚印前进，去理解他们的思维，接收下他们的系统，从而增加产品系统的可继承性。

你们知道，我们公司现在不仅仅是在卖一台机器，而在有的地方卖支撑网了。

那么支撑网是什么东西呢？就是说我们一个一个大交换机要用一个网联接起来，网的结构有信令网、同步网、交换网。可以想象，一旦这些支撑网停下来，就等于整个国民经济停下来！──火车不能走了，走了就要撞车了……──那么我们进入到这样一个高的层次以后，越往后走，胆子就越来越小而不是越来越大。胆子能否大起来，就取决于文档建设。

美国纽约到新泽西州的7号信令网出了故障，瘫痪了7个小时。美国的AT&T、贝尔实验室，这么大的公司，做了这么久的工作，也出了这样的故障！不能说我们华为公司就不会出故障。谁也没有这个胆量拍这个胸口。关键在，出了这个故障以后，我们公司有没有能力在七个小时内排除几千公里的支撑网的技术故障，这里很重要的方面是查看档案，在发现这个问题以后，尽快翻阅我们的历史档案，在这个问题上我们是怎么考虑的？当时的考虑与今天运行的网是否有冲突？有，就尽快把这个软件修改了，然后弥补。可见，文档工作的重要。

第五，要进行秘书系统整顿。

公司要大规模发展，还要进行整顿。如果我们不提高自身的素质，便不能打赢一场大规模的战争。

我们公司的办公体系要条理化、规范化、制度化，起点从哪开始？从秘书开始。只有秘书工作条理化、规范化、制度化后，才能带动其它方面进步。“牵一发而动全身”嘛！

将来秘书工作规范化、制度化是一个很重要的工作。我们公司下阶段要引进美国的MRPⅡ软件，这个管理软件一旦引进，我们公司大量的经理们就消失了，我们的干部队伍就减少了很多，没有这么复杂了。由计算机取代了这项工作，但实际上秘书队伍会更庞大、服务性队伍会更庞大。因此你们现在提高自己的水平，对公司的发展也是有巨大的意义的。现在我们为什么要对秘书进行评定、进行考核？就是要推动我们公司下一阶段的规模发展。

我们现在市场对抗的公司就是美国的AT&T、法国的阿尔卡特、德国的西门子等几家公司，可见我们的对抗力量已经进入国际状况。但是我们公司仍然是一家比较小的公司，公司的能量发挥还不够。公司是建立在我国整个管理平台还比较低的基础上的，什么都要靠自己摸索。而且，我们很快要推行矩阵管理，要否定掉宝塔式管理、层层管理这种形式。推行矩阵管理之后，秘书的工作更是纵横交错，公司要形成多个权力中心、受理中心，中心的权力会一步步分配到最原本的机构和单位上去，那么管理和操作这些系统，对秘书的要求会更高。

我们公司有很多人到国外访问过，你们可以把他们请来作报告，象郑宝用、张燕燕等，没有一个人不对国外的秘书系统作出高度的评价，包括我自己。不论是欧美、还是日本等，它们的秘书系统发挥得相当出色。反观我们的秘书系统，则还比较混乱、低效。所以我认为今天通过这个培训、通过这个提升，使得我们对公司的经营水平提升一步。这次对你们也要考核、定级，也关系到你们的切身利益，所以你们认真学习、出好成绩也是很重要的。

在公司秘书系统里尚没有博士一级的人员，但硕士有不少了，作为秘书系统承担公司发展的重担，现在还是很不够的。我们公司有一部分是畸形发展，不够均衡，过去比较重视技术和市场。这两个部门较受重视、干部也强一点。现在要建立一个均衡的系统，秘书在这里起非常重要的调节作用，很多事情没有必要由经理和经理碰头来完成。我们实行矩阵管理以后，多个权力中心之间的秘书可以相互协商，形成初步意见，报至经理办公会批准，形成一个决议，这个决议对全公司进行指导。

象我们这样大小的公司，在美国可能年销售额3～5亿美元，而我们才2亿美元，能量还未充分发挥，其中相当多的是无效劳动。如果秘书能有效地相互沟通，无效劳动是可以减少的。所以，我们公司要进行现代化的管理，秘书是一个相当大的平台。

我们今年要花大资金从国外购买计算机管理网络系统──这个网络系统本来我们也曾开发了，但它的弹性不够，随着公司的大发展，就把这个平台撕开了，撕开了以后，一直在修补，使我们不能有效地利用起这个系统──这个软件回来后，其中有很大的工作是由秘书来完成、是由秘书先来消化的，可能是由秘书先把经理培训会了；也可能是先对经理们进行系列培训。我认为，推行新的管理系统，秘书将会起到非常重大的作用！

最后一点，对秘书的希望。

大家知道，现在全国程控交换机并不是供不应求，而是供过于求。而华为公司则是供货不已，而且还要限制卖！在这种低潮之下，我们还有这种能量，那么，96、97、98年三年将是华为公司超大规模发展的三年。在这大跃进的三年中，如果我们不乱，则在很大程度上取决于秘书系统不乱，有条不紊。

华为公司的整体水平在提升，如果我们的秘书跟不上趟，则你们就拖了公司很大的后腿。

我认为，通过这次考核，工作应有调整，即使工资级别的确定，也要参考一下其实际表现和这一次的学习成绩。这些都应有所参考。当然以后还要多次考试、多次学习，那么大家都争取好成绩吧！将来我们也开放一些高级秘书的位置，把高级秘书的条件公布出来，招标嘛！可以用内部招标的形式来解决。

我希望大家一定要学习好，认真考核；同时对大家的评定要客观、要公正。至于对个别同志的工作要调整，也不要有什么意见。为了明天更大规模的发展作好准备，每个人的能力有大也有小，只要能够到一个你能发挥工作作用的地方，我认为就非常有意义了。

我们在座的人都很年轻，你们的可培养性很强。在目前的发展形势之下，我认为我们的秘书队伍总的说来是非常可爱的，为公司的发展作出了很大的贡献。但我们必须正视我们，同世界各国相比，我们还有差距，还须不断地学习、不断地提升。大家不要寄望于这一、二次培训，这一、二次考试上，每一天、每一时、每一刻都是学习的机会！古人云：“三人行，必有我师焉。”希望你们抓紧时间、抓住机遇、不断学习、努力进取，为公司的发展作出自己应有的贡献！