精华内容
下载资源
问答
  • 灰度测试

    千次阅读 2021-02-04 14:59:48
    1. 灰度测试的概念 “灰色”,黑与白之间的过渡。灰度测试就是版本正式全面上线之前,由部分用户使用体验新功能的一种产品测试方式。 2. 灰度测试的步骤 1)明确目标 为什么要做灰度测试,要达成什么目标? 2)...

    1. 灰度测试的概念

    “灰色”,黑与白之间的过渡。灰度测试就是版本正式全面上线之前,由部分用户使用体验新功能的一种产品测试方式。

    2. 灰度测试的步骤

    1)明确目标

    为什么要做灰度测试,要达成什么目标?

    2)选择策略

    用户规模,发布频率?

    3)用户选择

    具备某些特征的用户

    4)系统部署

    部署新系统;

    部署用户行为分析系统;

    设置分流规则?

    运营数据分析;

    5)发布总结

    用户行为分析报告;社会意见;

    最终输出产品改进方案;

    6)产品优化

     

    3. 灰度测试工具

    1)自研灰度测试工具

    2)三方工具

    业务适配性差;

     

     

     

     

     

     

     

     

    展开全文
  • 灰度发布和灰度测试

    万次阅读 多人点赞 2019-08-27 10:30:06
    灰度测试是什么意思?如果您对互联网软件开发行业了解不多,您可能对这个词不太熟悉。事实上,灰度测试是指如果软件要在不久的将来推出新功能,或者进行重大修改,你必须首先做少量的试验工作,然后慢慢增加数量,...

    灰度测试是什么意思?如果您对互联网软件开发行业了解不多,您可能对这个词不太熟悉。事实上,灰度测试是指如果软件要在不久的将来推出新功能,或者进行重大修改,你必须首先做少量的试验工作,然后慢慢增加数量,直到这个新功能覆盖所有系统用户,即新功能上的黑白之间都有灰色,因此这种方法通常也称为灰度测试。

    灰度测试又名金丝雀发布、灰度发布,一种在黑白之间发布平滑过渡的方式。可以对其执行A/B测试,也就是说,一些用户继续使用产品功能A,并且一些用户开始使用产品功能B,如果用户不反对B,则逐渐扩大范围并迁移所有用户到B来。灰度测试可以确保整个系统的稳定性,并且可以在初始灰度级找到并调整问题以确保其影响度。

    灰度期:灰度发布开始到结束期间的这一段时间,称为灰度期。
     

    灰度测试是什么意思
     

    灰度测试有什么作用?

    灰度测试可以及早获得用户的反馈,改进产品功能,提高产品质量,允许用户参与产品测试,增强与用户的互动,并减少受产品升级影响的用户范围。

    灰度测试步骤:

    1、定义目标

    2、选定的策略:包括用户规模,发布频率,功能覆盖,回滚策略,运营策略,新旧系统部署策略等。

    3、过滤用户:包括用户特征,用户数,用户常用功能,用户范围等。

    4、部署系统:部署新系统,部署用户行为分析系统(web analytics),设置流量规则,运营数据分析和微调流量规则

    5、发布总结:用户行为分析报告,用户问卷,社交媒体意见收集和产品功能改进列表

    6、产品完善

    7、新一轮灰度测试或完整发布

    测试方法

    灰度测试似乎与互联网公司的常见A/B测试相似。外国人似乎没有灰度测试的概念。根据维基百科中A/B测试的定义,A/B测试也称为:A/B/N测试,多变量测试,因此实质上灰度测试可视为A/B测试的特例。只不过为了术语上不至于等同搞混淆,谈谈自己理解的两者的差异。

    灰度发布是对某一产品的发布逐步扩大使用群体范围,也叫灰度放量。A/B测试重点是在几种方案中选择最优方案。

    灰度测试的要点注意

    1、精确的流量分发控制

    这是一切的核心。从运行和维护风险控制的角度来看,有必要在一个精确的范围内控制受影响的流量。在上线前就知道哪部分用户会有问题,而不是真出问题谁受到影响都不知道。一个常见场景是新版本只允许公司内的员工访问它,然后推送到一个城市再到一个省。

    从产品的角度做A/B测试,需要控制测试样本,其中用户是版本A,哪个用户是版本B,应该在发布后修复,而不是一会访问A,一会访问B。传统的负载均衡器策略只能实现粗略的比例分配,并且没有细粒度的流量规则控制。理想的灰度发布系统应具有非常细粒度的流量规则,例如匹配Android用户,匹配特定区域中的用户,甚至组合多个条件以匹配特定人员。

    2、监控系统的支撑

    准确的流量分配只是第一步,获得关键指标的多个版本更为重要。对于操作和维护,可能需要查看系统级指示器,例如错误率,吞吐量,延迟和CPU内存消耗这些系统层面指标。对于产品,可能是由于pv,uv等业务指标的变化。这些需要能够收集和显示数据,以方便后续决策:完全推送还是回滚?使用方案A或B?否则,灰度版本不会带来更多业务推广,也不能帮助您更好地了解业务状态和用户行为。

    3、灵活的发布系统

    从以上描述可以看出,灰度发布不是短暂的过程并且可能持续很长时间。例如,主要框架或系统更新可能会持续很长时间。有可能整个服务在几个月内都是新旧并存,甚至可能需要分别进行两个版本的迭代。从产品的角度来看,它可能更灵活。很可能在线上有五到六个程序来收集数据。每天有了一些新想法都要上一些小版本看效果,每个版本上线后可能都要再各自做优化调整观察效果。这种情况可能线上就永远不会有一个统一的版本灰度反而是个常态来应对不断变化的需求和挑战。

    而发布系统也需要做相应的调整,不在把每个服务看成一个单一版本的运行体,只在更新的短时间内出现多版本共存,只允许全量推和回滚这种粗粒度策略。相反,多版本共存应被视为正常状态,允许迭代每个版本,并且可以在版本之间区分相应的监视日志信息,从而可以将灵活的发布系统与灵活的灰度策略相结合。

    以上就是关于灰度测试的一些介绍,希望对大家有所帮助!

    展开全文
  • 分级测试,就是说对测试进行分级,区分什么重要、什么不重要,做区别对待。 之所以需要区别对待,我总结有两个原因。 一个是因为资源上的限制,时间、人力,让我们没有条件来做无差别覆盖。 二是本身的限制,在...

    这个“常见”,是说当我们经历多了之后,会发现这个概念其实很常见,在当前你所处的这个人群中,发现大家都挂在嘴上。

    在最开始的测试学习中,其实很少提到这些概念,在职业生涯的前期,也很少需要考虑这些概念。

     

    分级测试一般用在系统测试阶段。

    分级测试,就是说对测试进行分级,区分什么重要、什么不重要,做区别对待。

    之所以需要区别对待,我总结有两个原因。

    一个是因为资源上的限制,时间、人力,让我们没有条件来做无差别覆盖。

    二是本身的限制,在测试阶段,提测质量往往是不尽人意的,只能是层层深入去做测试。

    然后如何去分级呢,从测试周期角度来看,我们有看到有冒烟测试、第一轮测试、第二轮测试、回归测试(有些周期里会有第三轮测试),而从本质上去看呢,这些不同阶段测试执行的标准,其实是测试用例的分级。

    那么,如何来对测试用例进行分级呢?

    从编写用例的时候,我们会有这么一个根据操作的顺序来编写用例:

    基本的功能点,或叫常规操作——>复合操作功能点,关键的组合功能,扩展操作——>前两者以外的,性能、压力等,称为异常操作——>根据经验,进行的探索性操作

    我们按重要性,又有一个分级:

    非常重要:该功能是后续很多功能的前置功能,若是该功能失败,后续很多功能都无法运行。

    重要:该用例对应的功能使用频次较高,为主要功能

    一般:该用例对应的功能使用频次较低,功能稳定,出现问题影响不大

    次要:功能稳定、发生错误的可能性很小或者危害很小

    这两种方式,前者划分会比较清晰。

     

    然后说灰度测试。

    灰,就是介于白和黑之间,就是并非是测试人员、也并非直接发布到线上让所有用户看到。

    灰度测试,其实已经不在常规测试方法里了。

    它的出发点,是发布了一些东西,但不确定效果和稳定性,所以先放一部分特定用户进来。

    所以测试过程,并不是由测试人员进行的,而是真实用户,观看效果的,包括技术、客服、运营,都会一起参与。

    这个测试方法,是公司层面(往小了说是项目组层面,有些项目组配套会齐全)进行的行为。

    一般执行这种测试,有两种办法:

    1、软件自带灰度测试发布功能;

    2、使用第三方工具进行,比如iOS平台的TestFlight

    灰度测试具体执行步骤如下:

    1、确定自己的目标;

    比如发现稳定性问题、发现品质问题、发现前后转化效果对比;

    2、选择策略;

    包括用户规模、发布频率、功能覆盖度、回滚策略、运营策略、新旧系统部署策略(就是如何发布);

    3、对用户进行筛选;

    根据前两者,确定用户画像;

    4、部署系统;

    部署新系统(灰度要测试的系统),部署用户行为分析系统,设定分流规则,运营数据分析,分流规则微调;

    5、发布总结;

    用户行为分析报告、用户问卷调查、社会化媒体意见收集、形成产品功能改进列表;

    6、产品完善;

    7、新一轮灰度发布或完整发布;

     

    最后说AB测试。

    AB测试和灰度测试很相似,但是有本质上的区别。

    灰度测试发布的新系统,是一种预发布、预测试,是上线之前,如果没问题,新系统会覆盖旧系统。

    所以灰度测试本质上是一种上线前的测试,收集用户反馈。

    比如网龙的《魔域》,就有一个给玩家玩的测试服,会提前发布版本,用户在里面能够比其他服务器玩家提前体验到新的游戏内容。

    而AB测试,是说通过软件自身,让不同用户面前,对同一个软件功能展现两种不同的方式,进行效果对比获得用户反馈。

    AB测试本质上,是上线后的测试,收集用户反馈。

     

    展开全文
  • 灰度发布(灰度测试)灰度发布(灰度测试)概念灰度发布的意义灰度发布流程灰度测试的要点注意1、精确的流量分发控制2、监控系统的支撑3、灵活的发布系统 灰度发布(灰度测试)概念 如果软件要在不久的将来推出一个...

    灰度发布(灰度测试)概念

    如果软件要在不久的将来推出一个全新的功能,或者做一次比较重大的改版的话,要先进行一个小范围的尝试工作,然后再慢慢放量,直到这个全新的功能覆盖到所有的系统用户,也就是说在新功能上线的黑白之间有一个灰,这种方法也通常被称为灰度测试。类似于我们通常所说的内测。

    灰度测试就是将自己的产品首先拿出来给一部分目标人群使用,通过她们的使用结果和反馈来修改产品的一些不足,做到查漏补缺,完善产品的功能,使产品的质量得到提高。这样产品尽早的与用户接触能为以后产品的正式发布打下基础。

    灰度发布,又名金丝雀发布,或者灰度测试,是指在黑与白之间能够平滑过渡的一种发布方式。

    在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。

    在这里插入图片描述

    灰度发布是对某一产品的发布逐步扩大使用群体范围,也叫灰度放量。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。

    灰度发布的意义

    现在的许多互联网产品的用户规模都是非常大的,版本更新也比较频繁,每当有新版本进行更新或者上线的时候,新的版本都是要承受非常大的压力,而灰度测试则可以很好的规避这种存在可能性非常大的风险问题。

    灰度发布能及早获得用户的意见反馈,完善产品功能,提升产品质量,让用户参与产品测试,加强与用户互动,降低产品升级所影响的用户范围。

    灰度发布流程

    灰度期:灰度发布开始到结束期间的这一段时间,称为灰度期。
    在这里插入图片描述

    • 1、定义目标
      选用了灰度发布这个方法,就首先要确定目标是什么,比如通过让一部门用户先使用产品,从而通过试用结果和用户的反馈来找出产品的不足,从而想办法来提升产品的品质,还有的除了这个目的之外可能还想要借此机会来推广自己的产品。

    • 2、选定策略
      根据产品的规模和功能的多样性来确定互联网灰度发布试用用户的规模和发布的频率,这样才可以提高用户的参与度,全方位的试用产品,这样才能反馈出一个比较全面的结果。包括用户规模、发布频率、功能覆盖度、回滚策略、运营策略、新旧系统部署策略等。

    • 3、筛选用户
      用户的选择一定要具有代表性,要选择一部分的新用户和一部分的老用户来交替使用产品,还有就是选择的用户要具有敢问好问的精神,善于发现才能发现问题。选择完用户就是产品系统的部署,然后就是对用户参与的结果进行数据分析,找出产品存在的问题。对用户的筛选包括用户特征、用户数量、用户常用功能、用户范围等。

    • 4、部署系统
      部署新系统、部署用户行为分析系统(web analytics)、设定分流规则、运营数据分析、分流规则微调。

    • 5、发布总结
      用户行为分析报告、用户问卷调查、社会化媒体意见收集、形成产品功能改进列表

    • 6、产品完善

    • 7、新一轮灰度发布或完整发布
      上述步骤全都完成之后,互联网产品的灰度发布就基本上是完成了,后续最重要的事情就是全身心的投入对产品的改进中,对产品的不足进行完善,如果产品的漏洞比较大,可以进行再一轮的灰度发布,如果只是一些小问题,那么在修改之后就可以正式的发布了。

    灰度测试的要点注意

    1、精确的流量分发控制

    流量分发控制是一切的核心。从运行和维护风险控制的角度来看,有必要在一个精确的范围内控制受影响的流量。在上线前就知道哪部分用户会有问题,而不是真出问题谁受到影响都不知道。一个常见场景是新版本只允许公司内的员工访问它,然后推送到一个城市再到一个省。

    从产品的角度做A/B测试,需要控制测试样本,其中用户是版本A,哪个用户是版本B,应该在发布后修复,而不是一会访问A,一会访问B。传统的负载均衡器策略只能实现粗略的比例分配,并且没有细粒度的流量规则控制。
    理想的灰度发布系统应具有非常细粒度的流量规则,例如匹配Android用户,匹配特定区域中的用户,甚至组合多个条件以匹配特定人员。

    2、监控系统的支撑

    准确的流量分配只是第一步,获得关键指标的多个版本更为重要。对于操作和维护,可能需要查看系统级指示器,例如错误率,吞吐量,延迟和CPU内存消耗这些系统层面指标。对于产品,可能是由于pv,uv等业务指标的变化。这些需要能够收集和显示数据,以方便后续决策:完全推送还是回滚?使用方案A或B?否则,灰度版本不会带来更多业务推广,也不能更好地了解业务状态和用户行为。

    3、灵活的发布系统

    灰度发布不是短暂的过程并且可能持续很长时间。
    例如:主要框架或系统更新可能会持续很长时间。有可能整个服务在几个月内都是新旧并存,甚至可能需要分别进行两个版本的迭代。从产品的角度来看,它可能更灵活。很可能在线上有五到六个程序来收集数据。每天有了一些新想法都要上一些小版本看效果,每个版本上线后可能都要再各自做优化调整观察效果。这种情况可能线上就永远不会有一个统一的版本灰度反而是个常态来应对不断变化的需求和挑战。

    而发布系统也需要做相应的调整,不在把每个服务看成一个单一版本的运行体,只在更新的短时间内出现多版本共存,只允许全量推和回滚这种粗粒度策略。相反,多版本共存应被视为正常状态,允许迭代每个版本,并且可以在版本之间区分相应的监视日志信息,从而可以将灵活的发布系统与灵活的灰度策略相结合。

    展开全文
  • 软件介绍: NoiseTest是一款用于测试显示器灰度信号的测试工具,绿色的小软件不用安装,解压后直接打开EXE主程序即可使用,可自定义测试灰度色阶,内置几种不同的灰度信号。ALT F4关闭软件
  • 概述 spring cloud gray是作者公司(掌门1对1) 内部孵化的出来的...服务灰度测试 主要作用是为了拦截和筛选;拦截不符合条件的请求,筛选出符合条件的请求 调用关系图 灰度配置 请求参数version为v1.0才可以请求服务
  • 多版本灰度测试 调用关系图 灰度配置 添加版本号 在服务A上配置版本号为eureka.instance.metadata-map.version=v3 灰度策略配置 添加版本信息 配置决策 _g_t_header__为特定标识,后期做优化,真实的key为source...
  • 灰度发布,又名金丝雀发布,或者灰度测试,是指在黑与白之间能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,...
  • 数据分析:灰度测试

    2021-08-13 10:58:36
    灰度测试 目的 主要是 用于产品的发布 理解 在某项产品或应用正式发布前,选择特定人群试用,逐步扩大其试用者数量,以便及时发现和纠正其中的问题。 如何进行灰度测试 选择用户 经典用户:普通大众用户。代表产品...
  • 灰度测试是什么意思呢?如果对互联网软件研发行业不太了解的话,可能对这个词还是很陌生的,其实灰度测试就是指如果软件要在不久的将来推出一个全新的功能,或者做一次比较重大的改版的话,要先进行一个小范围的尝试...
  • 灰度测试是什么意思

    千次阅读 2021-09-08 07:43:07
    本文章,百度+论坛+知乎等处查询,了解灰度测试,方便学习。本文章只限学习。文章可能内容多,我进行了网上查询终结,还需细看整理,如有重复内容请见谅,我也正在了解,方便手机携带查看。 灰度测试就是指如果软件...
  • 多版本灰度测试 服务灰度测试 功能基本能满足需求,但是不够丰富,例如缺少按照百分比灰度放量测试、灰度兜底等功能。其次配置相对繁琐,社区不是特别活跃,案例较少,如果有bug需要做好自行修复准备
  • 一段小插曲 前段时间产品改版,产品经理为了... ...当时我听这种需求确实有点懵,总感觉不好做,产品经理就说了句,先用灰 度测试一下,听完我就学到了这个“灰度测试”术语,网上研究了一下这个术语,顺便把这个...
  • 灰度测试或者AB测试,这个概念我相信大家都不陌生了,也是互联网公司常见的迭代方式。最近公司有个很老的SDK项目,完全的面向过程方式,很难维护和管理,所以决定在此基础上对此SDK项目进行重构,使用面向对象风格...
  • 微信正在灰度测试这个功能,你们有被测试到吗?这个功能就是群直播功能,这个功能在8.28号就被爆出来了,这个功能在群聊里面点击+然后滑动第二页就能看到,如果我们看不到这个功能就是说明我们没...
  • iOS App 使用TestFlight 进行灰度测试

    千次阅读 2018-09-07 11:52:42
    前段时间收到百度地图,高德地图还有京东的TestFlight 的测试邀请,感觉对线上测试挺方便就琢磨了一下,步骤如下 1.批量生成邮箱在App Store Connect 添加到TestFlight 出,生成邀请链接 2.和服务器定义好一个借口...
  • 灰度测试研究

    2021-06-01 17:34:27
    目录 一、什么是灰度测试 二、灰度测试阶段 三、灰度测试作用 四、灰度测试内容 一、什么是灰度测试 ...灰度测试介于版本发布前的黑,与正式发布后的白之间,因此叫做灰度测试。 二、灰度测试阶段 灰.
  • 灰度测试:把用客户机ip作为key去查询redis,如果得到的结果与local_ip不同,则代表该客户不具备权限,给他返回正式资源;否则,则代表该用户在测试名单中,为他返回测试资源。 测试结果 首先清空redis: 然后测试...
  • 上线前的最后一公里:灰度测试

    万次阅读 2017-02-06 11:23:45
    背景介绍 ...手机百度灰度测试 一、概述 灰度作为手机百度项目迭代中的固化环节,通过不断提升问题发现和定位能力,以及灰度的精细化进程,在手百的线上测试和质量保证方面发挥越来越大的作用。手百灰
  • 为了让开发者们灵活管理小程序版本,减少小程序新版本发布时出现缺陷对线上用户体验造成影响,开发者在发布新版时,可先进行灰度测试。 同时可逐步扩大灰度范围,当灰度测试用户无明显问题反馈后,对版本进行...
  • 里面包含测试仅限开发测试用途的Dicom图片,灰度图片和彩色图片各一张(彩图有已经转换为BMP的效果图)
  • 什么是灰度测试 A/B测试系统的一个常用场景是App/小程序/后端服务精细化运营过程中的上线迭代管理,通常被称为灰度测试或者灰度上线。 详细来说,如果软件产品要在不久的将来推出一个全新的功能,或者做一次比较...
  • 灰度发布,又名金丝雀发布,或者灰度测试,是指在黑与白之间能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,...
  • 目前公司的流程方面非常的混乱。对于测试和开发的效率影响极大。存在问题是1....因此我们就需要规范发布流程和建立灰度测试的流程。 因为我们的主打产品是c/s架构。因此我们利用客户端做了版本隔离的第一...
  • 灰度测试,在2020年下半年软考高项中,丢分了。整理一份知识点。 以下转载自:https://zhuanlan.zhihu.com/p/124912164 灰度测试就是指如果软件要在不久的将来推出一个全新的功能,或者做一次比较重大的改版的话,...
  • 图像标准测试灰度图片

    热门讨论 2013-03-20 21:41:53
    图像处理领域的标准测试图片,灰度图50张。基本都为标准的256*256图片。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 52,881
精华内容 21,152
关键字:

灰度测试