论软件的可靠性设计

摘要

        2019年11月，我所在的软件公司承接了某保险集团下健康险服务实施管理系统的开发工作，本人有幸参与该项目，并担任系统架构师职务，主要负责软件架构设计和可靠性设计的工作。该项目是基于集团内网，为全国各省市地区分支机构的健康险专员提供7*24小时的不间断服务。笔者以该项目为例，先简单介绍几种目前比较主流的软件可靠性设计技术，然后讨论可靠性设计技术在项目中的具体应用。项目组结合软件可靠性设计与应用的原则，结合此前类似系统的设计经验，决定对软件系统采用软件容错的N版本程序设计技术，对消息通讯、分层架构模块进行负载均衡设计。经过项目组九个多月的努力，本系统已顺利开发完成，于2020年7月投入生产环境使用。自上线以来未出现重大故障，取得客户和公司领导的一致好评。

正文

        近年来，随着互联网行业的迅猛发展，公司业务的不断扩张，需求的快速变化以及用户量的持续增加，传统的业务系统已无法满足这样迅猛的业务数据量。在2019年11月，我所在的软件公司承接了某保险集团下健康险服务实施管理系统的开发工作，本人有幸参与该项目，并担任系统架构师职务，主要负责软件架构和可靠性设计的工作。笔者以该项目为例，先简单介绍几种目前比较主流的软件可靠性设计技术，然后讨论可靠性设计技术在项目中的具体应用。项目组结合软件可靠性设计与应用的原则，结合此前类似系统的设计经验，决定对软件系统采用软件容错的N版本程序设计技术，对消息通讯、分层架构模块进行负载均衡设计。

项目概述

        随着信息技术的蓬勃发展，传统业务系统已无法满足日益增长的业务工作量，对传统系统进行升级改造迫在眉睫。健康服务实施管理系统（Health Service Implementation Management System HSIMS），为企业健康险工作人员提供实时、高效、方便的线上办公服务，如此便利的2B业务系统间接的为健康险消费群体提供了更快更好的产品使用体验。HSIMS系统的建设，充分表现了健康险产品的整个生命周期，系统划分为产品管理、服务管理、协议管理、健康卡管理、供应商管理、服务实施管理、服务反馈管理等多个业务模块。在实际使用时，由健康险专员全程操作，根据岗位职能的不同各自负责不同的业务模块，从而达到高效稳健的业务协作，促进企业的进一步发展。限于篇幅，在此我们不再详细介绍各个模块的具体功能。

        HSIMS稳定可靠的运行也是作为一项重要的验收指标。下面，我将首先介绍几种目前比较主流的软件可靠性设计技术，然后详细介绍HSIMS的分析和设计过程中所采用的可靠性设计技术及其原因。

可靠性设计技术

        一般来说，被认可的且具有应用前景的软件可靠性设计技术主要有容错设计、检错设计和降低复杂度设计等技术。其中常用的软件容错技术主要有恢复块设计、N版本程序设计和冗余设计三种方法，主要适用于软件失效后果特别严重的场合，恢复块设计就是选择一组操作作为容错设计单元，从而把普通的程序块变为恢复块。一个恢复块中包含有若干功能相同、设计差异的程序块，每一时刻有一个程序块处于运行状态，一旦某程序块出现故障，则用备份程序块予以替换。N版本程序设计的核心是通过设计出多个模块或不同版本，对于相同初始条件和相同输入的操作结果进行多数表决（防止因其中某一软件模块／版本的故障而提供了错误的服务，以实现软件容错）。冗余设计的思路来源于硬件系统，但有所不同。软件冗余设计技术是采用多种不同路径、不同算法或不同实现方法的模块或系统作为备份，在出现故障时进行替换，维持系统的正常运行。；检错设计主要应用于无需在线容错的地方或不能采用冗余设计技术的部分；降低复杂度设计的思想就是在保证实现软件功能的基础上，简化软件结构，缩短程序代码长度，优化软件数据流向，降低软件复杂度，从而提高软件可靠性。除此之外，还有故障树分析（FTA)、失效模式与效应分析（FMEA)等硬件可靠性技术也应用到了软件可靠性设计领域之中。

影响可靠性要点

        项目启动后，在架构设计工作的开始阶段，我们便意识到软件的可靠性设计对项目有着重要的影响。由于保险系统的复杂性与特殊性，对软件可靠性有着较高的要求，要提高软件产品的可靠性指标，首先要分析影响软件产品可靠性的因素。一般来说影响产品可靠性的原因有如下几点： 

        1、运行环境，软件可靠性定义是相对于运行环境而言的，同样的软件在不同的运行环境下其可靠性是不一样的。不同的用户，操作习惯不同，会影响软件的可靠性。软件的可靠性是软件缺陷和用户的可预测性的一个复杂函数。

        2、软件规模，也就是软件的大小。一个只有几百行代码的软件和一个几千万行代码的软件是不能相提并论的。

        3、软件内部结构，结构对软件可靠性的影响主要是软件的复杂程度，一般来说，结构越复杂的软件，所包含的软件缺陷数就可能越多。在进行软件设计时就要有意识地采用各种降低复杂度的架构策略，如模块化设计，分层设计等等。分而治之的方法是最好的降低复杂度的方法。 

        4、软件的开发环境和开发方法，软件工程表明，软件的开发方法对软件的可靠性有显著地影响。例如，与非结构化开发方法相对，结构化方法可以明显减少软件的缺陷数。

        5、软件的可靠性投入，软件在生命周期中的可靠性投入包括可靠性设计、可靠性测试、可靠性管理和可靠性评价等方面投入的人力、资源、资金和时间等。

可靠性设计应用

        笔者根据系统本身的特点，结合以上五个影响软件可靠性的因素，对系统做了以下几点可靠性设计：

• 运行环境方面，使用了微服务组件配合实现可靠性，其中包括：
  1. eureka注册中心：通过定时的心跳信息号推送，让注册中心管理各个微服务的健康状况，保证服务间的调用都是基于良好的服务状态。
  2. Apollo配置中心：全局统一配置，提供配置文件统一管理能力，实现各微服务的统一参数配置以及版本管理，大大降低了手动配置的不稳定性，提升系统可靠性。
  3. Zuul网关：通过使用网关进行请求的转发，对于请求失败或请求异常的情况及时记录日志，统一返回合适的响应报文。
  4. Hystrix熔断组件：当请求多次访问被异常阻塞时，系统会启用熔断机制，将该接口挂起修复，直到其恢复正常再次启用。
  5. Zipkin链路跟踪：提供服务调用和数据库调用的链路跟踪，一个请求可能需要调用很多个服务，而内部服务的调用复杂性，决定了问题难以定位。所以微服务架构中，必须实现分布式链路追踪，去跟进一个请求到底有哪些服务参与，参与的顺序又是怎样，从而达到每个请求的步骤清晰可见，出现问题时可以很快定位问题点，便于运维人员及时处理。
• 模块划分方面，在项目启动初期，我已经协调架构组和需求组慎重评估对于业务模块的划分，在保证业务划分的基础上也要考虑模块结构不能太复杂，对于业务繁重的模块要考虑部署多个服务实例或者拆分出公共部分简化模块。
• 定期培训，要求需求测试人员对于测试案例要有足够多的反向案例，开发人员在开发过程中可以更多的进行预防性开发，以提高各自功能的可靠性。

遇到的问题及解决方案

        在项目推进的过程中，针对可靠性设计还遇到了比较严峻的问题。当集成测试和验收测试都通过后，按照流程顺利的搭建了生产试运行环境，其硬件配置、软件依赖版本均为最终的生产参数。试运行期间出现了严重的服务宕机情况，排查问题加问题修复共计耗时三个小时，最终问题点是因为试运行环境上的某个软件依赖冲突，导致整个服务启动失败。最后经过项目组内部讨论决定延期两周上线，在所有集成测试和验收测试环境完全仿照试运行的服务器配置进行集中的回归测试。两周时间内排查出其余问题点并全部解决。针对这种上线前因为环境问题导致的服务崩溃问题，项目组内部开会讨论分析原因，最终提出可以采用Docker的方式避免这样的问题，Docker可以实现虚拟机隔离应用环境的功能，并且开销比虚拟机小。这样可以很大程度解决环境移植的过程中服务可靠性的问题。

        通过本次项目，对于软件可靠性设计有了更加深刻的经验，尤其在最后试运行期间出现的问题更是对我们项目组的一场挑战，相信经过这次项目的开发与实施，项目组内每位同事都受益匪浅。

质量和可靠性的区别

质量：产品特性满足要求的程度，可以以参数衡量。
可靠性：产品维持质量的持久程度，无法以参数衡量。

产品寿命和产品个体故障之间的关系

产品寿命和产品个体故障之间均为一种统计数据，产品寿命重在“统计平均”这个概念。比如在同一批产品里，购买了一个产品，寿命为1年，当你使用了2个月后就出现了故障，是否就可以说明这个产品的寿命存在问题。这是不可以的，因为这是个体故障而不是产品寿命。在一批产品中平均寿命在1年，而个体故障是有概率的。
在产品寿命中，需要提供一些制造商做产品寿命的数据：测试数量，测试温度，测试时间，出现几台故障。

硬件研发中不可忽略的墨菲法则

墨菲法则

• 任何事情都没有表面看起来那么简单。
• 所有的事都会比你预计的时间长。
• 会出错的事情总会出错—只要发生过一次故障，那么这个故障最终会在客户端爆发。
• 如果你担心某种情况发生，那么它就更有可能发生。

硬件电路设计中提高可靠性的两个主要方法

控制功耗
降额：每个元件都有偏差，在产品设计中温度，功率都需要预留。一般降额30%。

板内电路测试与系统测试的关系

问：系统测试（包括可靠性相关测试）通过，但板内某测试项目未通过，产品测试是否算通过？
当然不能算通过， 因为有时候，即使你的板内测试未通过也不会影响你的系统测试，例如纹波噪声超过你的标准之类的。

关注温度变化引起的电路特性改变

例如户外监测设备在数据传输时，低温环境下无法正常工作。
在设计时，详细阅读芯片手册，需要注意。

• 一般内核芯片，MOS管，I/O口速率<3G的都使用的是CMOS工艺的器件，内阻与温度成正比。
• 一般模拟信号，I/O速率>3G使用TTL工艺的器件，内阻与温度成反比。

关注温度变化引起的电路特性变化

• 在阅读数据手册时，必须关注参数随温度变化的图表，按设备工作温度范围中最坏情况设计。
• 在原理图检查阶段时，芯片内部的上拉和下拉电阻情况需要特别关注。
• 芯片内部的判决门限会随着温度改变，因此从可靠性设计而言，需留足够裕量。

最重要的是距离门限的裕量

• 从门限裕量的角度分析设计中潜在的问题：纹波噪声，温升，信号串扰等。

稳态和瞬态冲击对电路的应力及其差别

• 在数据手册中需要关注数据参数是稳态要求还是瞬态要求。

针对可靠性，电路设计需要特别关注的关键点是什么？

• 在功能，性能的基础上，在电路设计中，可靠性在一下层面提出了新要求：

1：器件个体之间的偏差。
2：温度等环境因素的影响。
3：客户端可能出现的各种情况。

电阻选型要点

• 电阻的几个重要参数：阻值，类型，额定功率，精度。
• 电阻比较容易被忽略的参数：感性，温度稳定性，功率-温度曲线。

电阻选型要点

薄膜电阻VS绕线电阻
（寄生参数：容性。感性小）

• 适合薄膜电阻的场合：高频带；额度功耗低；电压低。
• 适合绕线电阻的场合：额定功耗高；耐高温；阻值随温度变化非常小。在10M频带以下。

精度和温度稳定性

• 精度：在选择电阻时，需要将电阻精度范围计算进去。对于对电阻分压精度要求很高的电路下，需要列出误差最大和最小情况下的值。
• 温度稳定性：当输出电压的温度系数比基准源的温度系数大，且差异不大时，一般选取电阻的温度系数与基准源的相同或相近（但要小于输出电压的温度系数）。

额度功率和额度温度
一颗额度功率未0.1W的电阻，额定环境温度为155°。实际功率为0.07W，降额30%。
问：实际工作环境温度为100°，降额30%，是否可行？

• 首先第一步需要看该电阻的功率与温度的变化。一颗额定功率为0.1W的电阻，在实际工作环境为100的时候，功率是多少？这里举一个例子：该电阻在100°环境下，额定功率已经降额38%左右，为0.06W左右，再降额30%，则0.04W，低于实际功率0.07W。所以在实际选型时，需要注意这个点。
  

上拉电阻的阻值，功耗与抗干扰能力

• 如图：右端是芯片端，左边为上拉电阻。我们知道，当没有3.3V时芯片该引脚未高阻态，当有3.3V时，引脚处于高电平。当上拉电阻很大的时候，未通电是，上拉电阻也可以认为是高阻态状态，从而产生了左端高阻态，右端也是高阻态，则中间就形成了悬空的线，那么这条线就很容易变成天线。
• 解决方案：中间这条线要尽量短，则在PCB阶段将电阻放置离芯片近。

• 还需要注意一种情况。有些芯片厂商在手册中会注明引脚的上拉电阻大小。如果电阻太大，则驱动电流太小，导致芯片无法正常启动。

0欧电阻的用处

• 做兼容性设计
• 放一个小阻值电阻在电路上作为电流测量的备选电路
• 不同地之间的短接方式
• 配置电路。

电容在电路板上所起到的作用

• 理解两类电容在PCB上起到的作用，以及电容和电源的关系，PCB设计要点

• 一般在设计上，芯片的每对电源地之间都加一个1uF的电容，电容要贴近引脚，另感性小，容值要够大。一般电容可以放置芯片下方。即使不在芯片下方，在同一层也可以，只要满足电容阻抗控制在芯片所需要的阻抗，即电源和地之间的阻抗。

优点：高频能量补偿。缺点：电容太大导致瞬态电流大。

• 一般情况下0402的1uF电容的频带比0603的1uF宽。在选择封装小的电容，容值越大越好。选型时考虑：价格和电压
  电容的阻抗：Z=1/jwc，C越大，阻抗越小。

大容值电容的选型和计算实例

大电容的选型技巧

• 容值的确定计算
  由公式可知C为电容容值，△V为电压变化最大值，P为供电给负载的最大功率；△t为大电容外为开关电源无法响应时间。
  △t如何得出：
  由开关频率得出。例如500KHZ的相应速度为50Khz，响应延迟为20us左右。这就是开关电源无法相应时间。
  即在公示中只有C为未知数，所以可以得出电容容值。但是计算出的容值必须留有一定的余量。
  假如你使用的是钽电容，则实际容值=理论值x1.2。陶瓷电容，实际容值=理论值x1.2x（1+误差值）。
  

• ESR确定
  在计算ESR时，需要考虑的是ESR上的电压。Vesr。
  一般△VESR<<△V，一般小于1/5△V即可。
  即ESRx△V=△V
  △V=1/2xImax。
  即可计算出ESR值。

• 纹波电流
  纹波的控制需要做到3点：
  1，Iripple＞△I
  2，ESR足够大
  3，选择大电容

• 实际工作电压离电容的额定电压越小，则电容容值衰减越小。

小容值电容的选型

• 对电源地的电容：补偿
• 对高频超标的场合：某一个频带噪声大时，选择对应频点的电容。
  L为电容贴装感性。
  

电容选型与应用中的可靠性问题

陶瓷电容潜在的可靠性问题
-----避免采用陶瓷电容的8个场合------

• 需要精密容值的场合
  模拟电路中RC------容值偏差大。
• 电源入口需要大容值电容的场合
  陶瓷电容ESR小，容值大导致冲击电流大。
• 对微弱能力极端敏感的场合
  陶瓷电容的外壳是有碳酸钡组成，所以电容本身会产生△V，影响到电容充电放电时的微弱信号电压。
• 需要ESR零点保证的电源稳定性场合
  陶瓷电容小ESR，输出电源无法稳定。
  输出电源稳定的3种办法：1，ESR增大。2，输出导线减短。3，电容增大。
• 有长线缆供电的设备的电源入口
  有谐振峰存在。在长距离传输中，导线上有寄生电容，输入端有电容，从而形成一个低通滤波器。而在输入端会形成谐振峰，可能会导致入口被打坏。
  
• PCB存在变形可能的场合
  由于电容的封装原因，当PCB板卡产品了应力差时，可能会导致电容产生裂缝，从而在长时间中空气和水分的不断侵蚀，最后短路。一般在螺丝钉附近的电容会产生应力差。
• 对压点效应导致的啸叫敏感的产品
  一般是在谐振点比较接近产生的啸叫。
• 高可靠性产品

一般来说电容的容值随工作电压的增大产生大幅度的衰减。

电源的输出电容的ESR时其形成低频零点，从而输出稳定。

增大电容容易产生尖峰电流。

R，L，C的关系：增大ESR，或减小感值或增大电容都是解决输出电压稳定的方案

铝电解电容潜在的可靠性问题

-----------避免使用铝电解电容的6个场合-----------

• 存在交流能力的场合
  铝电解电容存在极性。
• 需要承受极限低温，电容作为滤波方式工作
  当处于低温环境是，电解电容中的电解质形成固态，导致ESR增加。而充放电形成的△I，因为ESR的增加形成△V，从而不能滤波。当然不是在滤波方式工作是可以的。
• 需要承受机械冲击的场合
  容易断裂。
• 噪声以高频段为主的场合
  铝电解电容的感值较大，一般在1M以内。所以无法率高频。
• 元器件库存积压太久
  导致电解液耗尽。
• 需要较高寿命的场合
  寿命差，电容越大，额定电压越大，寿命越低。

钽电容潜在的可靠性问题

--------避免采用钽电容的5个场合---------

• 对成本敏感
• 对爆裂形成的火花敏感
  钽电容容易爆炸
• 供货紧急的产品
  一般钽电容很少人使用
• 很容易产生冲击电流和冲击电压的场合
  容易产生分解反应和氧化反应容易升温爆炸。
• 交流场合

电感，磁珠应用中的可靠性问题

电感磁珠的作用是在线路中增加障碍，可以是线路优先使用近的电容，让电容很好的滤波。一般近的电容形成一阶滤波，电感磁珠产生二阶滤波

• 电感感值
  L与N2正相关。即增大绕线则增大电感。

电感，磁珠的差异

磁珠解决高频中电感无法解决的器件。

• 磁珠N小，一般在一匝以内。则C小，L小，则F大，可以解决高频滤波。

• 电感，磁珠中的电流。

• 在电感芯片中一般存在2个电流：Irms均方根电流和Isat保护电流。均方根电流与温度有关，一般仅做参考。Isat电流为保护电流，任意情况下都不能大于该电流。

以上内容均为个人总结，也许存在错误，读者自己判断。如有转载，请注明出处。

0、总结
0.1、此文将如何提高产品的可靠性分为3个方向内容：器件可靠性、设计可靠性、制造可靠性；
0.2、产品的可靠性设计是一个非常复杂的工程，此文只是设计一个框架，具体内容持续改进、增加中……

1、器件可靠性
    a、元器件的采购尽量选择大牌的供应商；
    b、做好物料的来料检验工作；
  c、确认产品的使用环境。例如在海上使用，考虑加三防漆。在轨道交通行业，考虑产品的防震问题，不同的使用环境，考虑的重点不一样；
    d、考虑产品的EMC、安规等级，优先参考产品标准＞产品类标准＞通用标准；

2、设计可靠性
2.1、系统设计（DFMEA）
系统设计（DFMEA）包括功能FMEA、硬件FMEA、软件FMEA。基于系统设计的故障模式与失效分析DFMEA流程如下：
    a、列出各个接口的单一故障分析表，其中包括电气接口、信息接口、机械接口、环境接口；
    b、对a中列出的单一故障进行DFMEA分析。
2.2、容差设计
容差设计在嵌入式系统里面可理解为WCCA（Worst Circuit Condition Analysis，最坏电路情况分析）。
2.3、元器件降额设计
2.4、热设计
2.5、EMC、安规设计
2.6、机械结构可靠性设计
2.7、软件可靠性设计

3、制造可靠性
3.1、过程FMEA（PFMEA）
3.2、环境应力筛选
3.3、可靠性制造准则
制造过程中需要遵循生产的一些准则，例如焊接时需要带接地手环等。

产品的可靠性设计如下图所示：

参考内容：
1、《嵌入式系统可靠性设计技术及案例分析 第二版》 武晔卿
2、GJB/Z 1391-2006  故障模式、影响及危害性分析指南
3、GB/T 7826-2012  系统可靠性分析技术 失效模式和影响分析（FMFA）程序