订阅移动开发RSS CSDN首页> 移动开发

应用生与死:移动测试究竟该怎么搞?

发表于2015-02-11 08:33| 次阅读| 来源CSDN| 0 条评论| 作者CSDN

摘要:移动测试一直被开发团队所轻视,可你却不得不承认它存在的必要性,几乎关系到一个应用的生死。本期圆桌论坛,Testin CEO王军与CTO徐琨,及e袋洗CTO岑永洪等一起探讨移动应用测试本质,及移动应用测试究竟该怎么搞。

测试行业伴随着IT产业发展了数十年,但依旧面临着众多问题。尤其是在移动应用当中,测试工作总会被开发团队所轻视,可最后却又成了不容忽视的沉重包袱。不过也因此,各种云测试工具平台才有了用武之地,代替开发者进行测试,并提供测试报告和优化建议等。但面对现在市场上各式各样的测试服务,你真的了解它吗?


这次,Testin CEO王军与CTO 徐琨,及e袋洗CTO岑永洪等O2O行业创业者,一起探讨关乎移动应用生死的测试是怎么一回事,以及它的未来发展。

提问:大部分App都处于开发者知道Bug在哪,只是还未来得及改的状态,而真正需要专门测试的则是那些运行很久的App。那么,像你们这样的测试公司主要做的是哪些?

王军:开发者面临的第一个是App兼容性测试,解决你在实验室开发环境中没有办法去测试的性能、兼容性,包括iOS、Android;第二个是App崩溃分析,解决的是App在运行过程中有崩溃、闪退,这种开发人员无法自己判断的技术问题;第三个就是众测,App在真实使用环境中的体验测试和Bug探索。

用户体验方面,比如一个应用进行版本更新时,新版与旧版哪个更好用是产品设计人员和开发人员无法内部搞定的,只有找用户进行测试,最终的较为高端的才是Bug。而像O2O应用,特别是牵扯到钱的,如果出现用户体验问题将是一个巨大的灾难。所以,不久之后,Testin会进一步开发出API,实时掌握用户使用App的体验及性能,不过Testin并不知道这个用户的ARPU值、支付和订单,却可以把这个用户的体验性能信息反馈给你,当App崩溃时,比如支付不了,无法定位或其他环节失败时,告诉你什么时间、地点、网络环境下、这个用户使用什么终端发生了什么问题等具体的情况。

其实这是手游开发者CP最关心的事,Testin最开始帮游戏厂商做,游戏说打到第几关,为什么不玩,在哪个环节失败,因为游戏是很苛刻的,用户绝对用脚投票。但现在,O2O对这个需求更强,小到钱的问题,大到用户的人身安全,这都是很关键的,这些信息以后都会开放出来。

提问:最近看到一种很有效的方式,前端客服或销售人员在与客户接触,发现问题时立即反馈,同时相关的研发人员手机会收到提醒,将相应的问题解决并反馈到前端。这样的高效手法,有什么样的要求与难度?

王军:这种使用场景,第一要求实施性很强;第二接触环境很复杂。首先公司已经发展到一定规模,其次用户和质量体系已经很完善。但是这个时候,众测怎么帮分享客户解决问题,也是要沟通的一点。比方说刚才问题,做的兼容测试、风控分析,解决重点客户的质量问题,把用户统计变成用户质量分析,那完全不一样。众测这件事过去我们是做为一个企业内部给企业客户提供的,现在我们把它变成一个公共平台,把各个公司测试专家,以及自身的测试专家把它能力拿出来为所有开发者提供服务,这个事情往下做是不是可做,有没有前景,希望我们怎么做,还有没有可能说各位起个头,在初期阶段。

提问:如果应用测试都是那些专职的人来做的话,那么他们会不会存在一些盲点?

徐琨:这个会按需驱动,以后可以打包,比如功能遍历是一块,然后在功能遍历之外,再做Bug探索,Bug探索更多的是找一些没有用过这个App的人,然后制定模块来做,来防止专职人员的盲点。功能遍历的话,更多的是专业的来做,因为这样效率更高。未来会把整个服务整合到一起,包括金融支持。

提问:一般来说,自动测试和人工测试出来的Bug类型,有什么区别?以后你们会不会有自动化的测试?

徐琨:自动化的测试,更多的是信息崩溃和反馈,而人工测试可以发现功能上的问题,比如图标消失,或1+1=2,结果你输出的是错误的,这些都很难用自动化来测出来。自动化的测试是指,安装是否成功,卸载是不是顺利,跑的时候,我们能不能进入到这个页面上,这些简单的兼容式的,可以由自动化来做。

王军:Testin的自动化测试已经有了积累,比如Bug工具跟踪,Bug日志的分析。其实我刚才想了,今天O2O解决的是众多的闲散社会人员,把他们的力量聚合在一起,成为中国最大的人才平台。为供需双方提供一个平台, 可能只是分享还不算是O2O,它是为O2O服务的工具。我觉得我们也是O2O,把专家能力变成O2O的东西。

提问:测试中性能监测是怎样的一个情况,它的重要性如何?

王军:性能监测就是我们把基础数据给开发商,他们拿数据做用户画像的对应关系,跟他的CRM接起来,这个时候就会判断出,什么样的客户在什么时候出现问题了。而这个就相当于是我们从质量问题延伸到了商业智能这块。说一个很简单的道理,比如微微拼车,有一些情况在北京市从来不发生。一旦出北京到河北了,拼车出现问题了,这个时候可能App用不起来,原因不是APP本身的问题。也许可能在某一个地方没有部署好或是那个地方网络出问题了。有些事情不会关系到整个服务的完成,有些时候却很重要,涉及到支付和安全,恰巧在那个时候出现了翻车,或者是其它的这种灾害,你总得有一个记录,而这个时候恰恰数据丟了。所以我们可以通过这种情况,输出一半数据,另一半的数据秘钥掌握在运营者手上,他可以根据他的用户数据库,将信息衔接起来。

岑永洪:O2O方面,开始大家都是覆盖业务,但这个阶段过后,一定会愈发注重性能监测。原因是,到那个时候大家都是在同等条件下,拼的就是谁的服务更强。也就是在同样的环境下,哪家的应用能用或更加好用。现在已经不是当初的圈地时期,领域中最关键的已经是服务品质。而性能监控能够反映出你产品的运营能力,从而进行不断地完善,以满足现在用户体验的高需求,留住更多的用户。

提问:应用有生有死,不可能无穷无尽的冒出来,到一定程度的时候,用户数就稳定了,那么下一步怎么提升自己企业的价值?

王军:我们都有这样的担心,但是我估计最后终会找到一条路。我们未来都是这样的,不过首要的是先把自己关注的领域做好,建立一个能够持续提供并能够持续增长的服务。如果我们这三年来只做测试,那估计我们这个企业就没有生存的价值了。

岑永洪:作为一个App的用户,从需求上看,现在所谓提供云技术服务的公司也好,创业者也好,包括大的平台,客户的心理应该是一样的,大家都是企业,不管是小团队还是企业,都希望是个整合提供商,提供一系列的服务。可以给App装一个SDK,但肯定不是很想在App里装多个SDK。一个集成的SDK,比如说推送服务,基础崩溃的检测服务,或者性能的检测,就是APM这块,以及一些运营的服务,都在相互交叉的做。其实在做应用的用户心中,更希望能有一家企业能够将这些服务一次性承包,如果实现这一点,将会具有超强的杀伤力。

CSDN:现在来看,每个企业还是有自己的边界,并不是所有的事情都能面面俱到。那Testin是如何把握这个界限,是否有其他发展的想法?

徐琨:Testin的目标是,最后能把这个测试服务真正变成一个第三方,大家都能接受这个概念。纯粹的云主机的市场,阿里云占到90%的市场。我觉得Testin把测试这个事情先不说90%,能影响到开发者即可以了。先做到这个层级,再说后面的事情,SDK更多的还是把整个的质量服务做完整。

王军:越有想法诱惑太大,有的时候你突然感觉你可以尝试了,那风险就来了。所以这个是很慎重的。 所以,各个企业之间要多多合作。作为行业媒体类是否能够给我们一些建议和帮助,帮助我们也是帮助整个行业。

圆桌各家交流:对以后测试发展的建议

提问:我的建议就是能不能从测试人员这块入手,像这种注册的,让更多的测试人员来参加进来,在测试人员当中有一个口碑效应,但似乎现在还没有供交流的平台。

徐琨:这倒是真的,目前开发人员和测试者之间还没有一个交流的平台,我们今年会着手做这个事情,包括他们的成长,交流。因为之前没有做过,Testin只是一个工具。我们众测做了很长时间。其实他们有一些需要沟通,需要成长的东西,确实没有这样一个平台 。这个测试社区其实是最后一个非常真诚的建议,过去我们更强调服务本身,没强调服务提供的对象也需要情感生活,也需要社交。

提问:你们现在站在一个很好的位置,但危机感也很强,如果有一些新的模式出来的话,首先可能会取代你,其次就是资本压力会非常大,最后云测试之所以不能成功,就是缺乏一种很愉快的沟通工具,比如视频,在线,同传,达到社交模式的60%到80%的效果,如果形成工具,是非常可观的。

王军:其实我们的工具在APM里会记录,就像你记录一个步骤和流程。为什么我们现在测试完全是黑盒呢?黑盒就是我测没测你不知道,你看不到路径。但是我们现在把探针放进去,后面会把APM的路径放进去,让他测一部分,都会记录下来,测试的情况怎么样,反馈如何,通过数据统计,你可以看到我真的测试了,发现Bug以后,你就知道解决问题就可以了。手游就是这样,我们把基本的游戏全玩通,到达支付那个环节。一个手游,熟手跑完15分钟,这是我们完全按点走的,最后以数据呈现。需要做的就是把你刚才说的这些东西,以数据的形式呈现出来。

至于视频我们分两种情况,也没有完全采用。因为视频在手游的测试占的资源太多,很多手游都跑不动。但是在应用里面这个可能是必须要做的,虽然你不一定看,也不一定关注测试的过程,但你会明确的知道应用是真的经过测试了,这一点对开发商来说是蛮重要的一点。

(文/刘璐璐 责编/唐小引)

0
0