精华内容
下载资源
问答
  • 众包测试

    千次阅读 2014-07-23 08:48:26
    什么是众包测试? 众包(CrowdSourcing)的含义是一种分布式的解决方案和生产模式,见于 2006 年 6 月《连线》(wired)的一篇《众包的崛起》:企业利用互联网将工作分配出去、发现创意或解决技术问题。企业可以...

    什么是众包测试?

    众包(CrowdSourcing)的含义是一种分布式的解决方案和生产模式,见于 2006 年 6 月《连线》(wired)的一篇《众包的崛起》:企业利用互联网将工作分配出去、发现创意或解决技术问题。企业可以利用志愿者大军的创意和能力——这些志愿者具备完成任务的技能,愿意利用业余时间工作,满足于对其服务收取小额报酬,或者不计报酬。

    众包测试的特点非常鲜明,在以下四个方面具有无可比拟的优势:

    • 快速迭代:采用“短平快”的流程,尽量把问题暴露在上游。
    • 极低成本:在某些产品的测试成本上,与其雇佣一个高级测试人员来编写 Python 自动化测试用例,还不如众包给一百个普通用户进行人肉测试。(后者甚至是免费的)
    • 获取需求:通过接近用户,可以获得最真实的用户需求。“智慧并非来自研究伟大的学说,而是来自观察平凡的事物。”
    • 树立品牌:通过组织社区,参与者会感到一种品牌建设的血缘关系,具有极高的黏性。



    怎么满足用户需求?

    “每一个以色列空军的学生都会定期被送往陆军接受锻炼,目的就是让他们了解地面部队对空军抱以何等的期望。”

    用以色列空军的这个故事来诠释“开发者”与“用户”的关系,感觉恰到好处。这也是小米比魅族更高明的地方:小米论坛和魅族论坛天天都有人嚷嚷着各种需求,但 M8 和 M9 的固件需求必定要 J.Wong 拍板才能实施,小米手机的固件需求可以让用户投票来实施。

    民间卧虎藏龙,随时都有高手出现,譬如钓鱼的姜子牙,讨饭的韩信,卖鞋的刘备。所以论坛是“众包测试”最常见的载体。小米称这种方式叫“用户的温度感”:先了解用户抱以何等的期望,然后再用一定的手段来满足他们。

    这比大公司里冗繁的“需求文档”要有趣得多。




    PS.
    几个众包测试的好处。包括:

      ● 可以接触不同的平台、语言和人

      ● 从现实世界中获取真知灼见,并不是只从测试用例的结果中获得

      ● 同时由数百人完成测试

      ● 即时的快速反馈

      Fred Beringer有类似的看法,他说自己是众包的粉丝,众包测试有助于解决问题:

      ● 需要更多灵活的、不同的硬件环境,主要是为了做一致性测试和性能测试

      ● 需要确保适当的、灵活的测试容量,以便能够应对紧迫的发布时间表。

      因此,众包测试似乎是一个有趣的概念,它可以帮助组织利用公众的各种力量。就像Israel所说的那样:

      如果众包测试真的受到亲睐(我相信它会的),它会加速解构过程,并随之改写产品的交付过程。

    展开全文
  • 众包测试的威力

    2015-09-12 21:57:33
    在互联网长利用众多的注册测试人员进行软件测试,有关众包测试的介绍。大家可以学习。
  • 摘 要: 众包测试是指将软件测试任务外包给一组自由的真实测试人员,这些测试人员可在真实世界的用户条件下帮助验证软件。 通过这种方法来确保软件质量,可使公司收集真正的见解和反馈,并快速,廉价地发现缺陷。由于...

    移动应用众包测试综述

    摘 要: 众包测试是指将软件测试任务外包给一组自由的真实测试人员,这些测试人员可在真实世界的用户条件下帮助验证软件。 通过这种方法来确保软件质量,可使公司收集真正的见解和反馈,并快速,廉价地发现缺陷。由于其廉价,快速,高效的特性,众包测试正在成为一种新兴的软件测试方法,在软件工程界得到普及。随着移动设备的日益普及,繁杂多样的设备型号和日益复杂的测试环境正在让移动软件测试的测试成本大大提高,因此,众包测试作为一种省时高效的测试方法正逐渐成为移动应用测试领域的“宠儿”。但是,移动众包测试作为一种刚刚兴起的测试方法还面临着诸多挑战和问题,例如如何自动评估测试报告质量,如何为众包测试人员提供测试自动化方案等。本文将从几个方面介绍众包测试最新的自动化技术,工具和算法。

    Abstract: Crowdsourcing testing refers to the outsourcing of software testing tasks to a group of free real testers who can help verify software under real-world user conditions. By ensuring software quality in this way, companies can gather real insights and feedback and discover defects quickly and cheaply. Due to its low cost, fast and efficient characteristics, crowdsourcing testing is becoming a new software testing method, which is popular in the software engineering field. With the increasing popularity of mobile devices, the test cost of mobile software testing is greatly increased due to the variety of device models and increasingly complex test environment. Therefore, crowdsourcing test, as a time-saving and efficient testing method, is gradually becoming the “favorite” in the field of mobile application testing. However, as a new testing method, mobile crowdsourcing testing still faces many challenges and problems, such as how to automatically evaluate the quality of test reports, and how to provide test automation solutions for crowdsourcing testers. This paper will introduce the latest automation technology, tools and algorithms of crowdsourcing testing from several aspects.

    Key words:: crowdsourcing test; quality evaluation; automatic analysis; intelligent assistant tool; data set preprocessing.

    ​ 随着移动设备的普及和移动应用的迅猛发展,移动应用测试规模也随之呈现爆炸式增长的状态,使用常规的测试技术验证移动应用程序遇到了诸多问题和挑战。首先,由于移动设备和平台的多样性和多元化,测试人员测试程序的成本大大提高。其次,传统的测试方法难以进行大规模的面向用户的性能和可用性测试。为了解决这些问题,软件工程界提出了移动众包测试作为移动应用测试的解决方案。

    ​ 移动众包测试是指将软件测试任务外包给一群自由的移动用户测试人员,他们可以在真实的用户环境下帮助验证软件,任务发布者通过这种方式收集用户真实反馈,发现软件缺陷,确保软件质量。移动众包测试主要有三种类型的参与者:众包工人,众包平台和任务发布者。与传统的测试技术相比,移动众包测试有以下几个好处[1]:1. 成本低廉,2. 测试规模大,3. 面向用户的测试环境,4. 容易进行并发测试。

    ​ 但是,移动众包测试在实践中也存在着很多问题和局限。首先,在实践中,众包工人往往需要在给定的较短时间内完成众包任务,而完成任务的数量影响着众包工人的报酬。因此,众包工人很可能会提交尽可能多的报告而不主动过滤出重复的内容。这些因素导致了众包测试比传统测试具有更高的重复率。其次,对于移动应用程序,由于截图易于获取以及在移动设备上输入长文本的困难,测试人员更倾向于使用屏幕截图和简短的描述来描述缺陷和错误。文本描述的缺乏阻碍了将基于文本分析的测试报告处理技术应用于移动众包测试的想法的实现。如何对众包测试报告进行自动化分析处理,如何开发高效的算法和工具来辅助移动众包测试,成为近几年移动软件测试领域研究的热门和重点。

    ​ 为了对研究问题进行系统的分析、总结和比较,我们首先在IEEE, ACM, Springer, Elsevier和CNKI等论文数据库中进行检索,检索时采用的主要英文关键词包括“mobile app test”,“crowdsourced test”, “quality assessment”和“automatic test”等;然后,对检索出的论文,通过人工审查方式移除掉与研究问题无关的论文,并通过查阅相关论文的参考文献和相关研究人员发表的论文列表来进一步识别出遗漏的论文;最终,我们选择出与该研究问题直接相关的高质量论文共23篇(截止到2020年10月).从选择出的论文所发表的会议和期刊来看,绝大部分论文发表在软件工程领域的权威会议或期刊上,例如ICSE会议(21篇)、ESEC/FSE(或FSE)会议(13篇)、ISSRE会议(5篇)、TSE期刊(16篇)、IST期刊(7篇)和JSS期刊(4篇)等.

    ​ 本文重点对众包测试报告的自动化分析和移动众包测试流程自动化的已有研究工作进行综述。具体来说本文第1节对移动众包测试流程和众包测试报告分析过程的研究框架进行总结,第2节对已有的移动众包测试报告自动化分析处理算法进行介绍,第3节对众包测试其它自动化智能辅助工具和算法进行介绍和总结,第4节对未来一下值得关注的研究方向展开初步思考。

    1 研究框架

    移动众包测试流程框架

    移动众包测试流程如图1所示,

    	众包测试平台作为第三方,为任务请求中和众包工人提供在线系统。公司和组织作为任务请求方,在众包测试平台上发布测试任务和正在测试的软件。此外,他们还设置了关于测试资源、环境和技术需求的约束要求。基于这些要求,平台可以为这些任务匹配合适的众包工人,反之,众包工人也可以找到感兴趣的任务。众包工人完成测试任务后,将结果以测试报告的形式交给众包测试平台。
    

    移动众包测试流程
    ​ 图1:移动众包测试流程

    移动众包测试报告分析过程

    移动众包测试报告分析过程如图2所示,具体步骤为:

    ​ 1. 报告分类,主要对有效测试报告进行分类,对描述真实错误的测试报告进行聚类。

    ​ 2. 重复报告检测,对包含相似错误的报告践行检测和筛选。

    ​ 3. 报告优先级排序,从错误大小和错误修正的角度调整不同众包测试报告的优先顺序。

    ​ 4. 报告重构,对众包测试报告进行摘要,生成和增强,以帮助开发人员快速了解报告中描述的缺陷。

    移动众包测试报告分析流程

    ​ 图2:移动众包测试报告分析流程
    本文将从移动众包测试流程和众包测试报告分析流程对应的某些阶段提出自动化分析处理算法和框架。

    2 测试报告自动化分析处理

    ​ 质量评估和报告排序一直是移动测试报告自动化分析的研究重点.近几年,随着深度学习的发展和计算机算力的提升,软件工程领域越来越关注使用深度神经网络进行测试报告自动化分析的研究.同时计算机视觉的迅猛发展使得学术界更加希望从屏幕截图中获得更多信息以帮助测试报告的分析.本节将从自动化质量评估,报告优先级排序,屏幕截图的检测和分析三个模块来对众包测试测试报告的自动化分析的已有研究进行总结

    2.1 自动化质量评估

    ​ Yuchan Liu[7]等人提出一种对移动应用众包测试报告自动化评分的 CTRAEA 算法,该算法主要从测试报告缺陷优先级和测试报告描述规范性两个方面综合评估考量得到众包测试报告的得分。在报告缺陷优先级方面,该算法使用MMDBK聚类算法,即改进的k-means算法得到缺陷的类型和数量,并根据众包工人历史可信度权重评估缺陷各类型严重等级。在报告描述规范性方面,算法定义了文本长度,可读性,动作词,对象词,否定词,模糊词,界面元素等7个可量化指标,使用Xin Chen提出的离散型度量函数将指标离散化,计算各测试报告的规范性得分。最后综合两者计算出每个测试报告最终评分。实验结果表明,CTRAEA 自动化评估算法评估 测试报告的分数与标注得分平均相对误差为 9.24%,由此可见 CTRAEA 算法准确高效。

    ​ 为了帮助测试人员能在有限的资源范围内对测试报告进行检查,Xin Chen等人提出了TERQAF框架用于移动众包测试自动化质量评估的方法,该方法采用形态指标,词汇指标,分析指标和关系指标等可量化指标来衡量测试报告的理想属性并确定文本内容的指标值。TERQAF框架由预处理器,阶跃变化函数和分类器组成,首先使用NLP技术对文本信息进行处理并生成文本向量。生成文本向量后,通过阶跃变化函数将每个可量化指标离散化,然后利用分类器通过汇总所有指标的离散值来预测报告的质量。在移动应用程序的5个众包测试数据集上进行的实验表明,TERQAF能够准确预测测试报告的质量,准确率高达88.06%,并优于基线的23.06%。同时,实验结果还表明,四大类可测量指标对TERQAF评价检测报告质量有积极影响。

    2.2 报告检测和优先级排序

    ​ Qasim Umer【6】等人提出了一种基于卷积神经网络(CNN)的自动方法来进行bug报告的优先级排序。 这种方法的关键在于利用卷积神经网络将文本向量和文本情感与错误报告的优先级联系起来. 与现有的神经网络相比, 卷积神经网络能更好地处理长期依赖关系,且不存在爆炸梯度问题. 具体步骤如下: 首先,应用NLP技术对文本信息进行预处理,并且使用word2vector建模方法, 根据每个错误报告中单词的句法和语义关系将文本信息映射为向量。 其次,他们使用enti4sdfor存储库对错误报告执行特定的情绪分析,将每个bug报告输入到分布式语义模型中,计算其情绪值。 最后,他们训练了一个基于CNN的分类器,该分类器使用3层卷积层对输入的的文本向量和情绪值进行卷积操作,生成新的特征,然后对特征进行池化操作得到更有价值的特征。为了评估这一方法的优劣性, Umer使用Bugzilla的四个开源项目R进行跨项目验证。评估结果表明,这种方法明显优于最新方法,并将F1平均分提高了近24%。

    ​ Neda Ebrahimi[2]等人提出了一种基于堆栈跟踪和隐马尔科夫模型进行bug报告检测的方法,该方法不仅可以检测重复的错误报告,还可以将传入的错误报告自动分类到不同的组。这种方法主要包括四个步骤,首先,从每个bug报告中获取堆栈跟踪,将得到的堆栈跟踪分成适当大小的重复组。然后为每个重复组构建和训练HMM模型,生成的HMM用于对传入的bug报告进行分类,最后,将每个输入bug报告的堆栈跟踪与训练后的HMMs进行比较,并根据生成的分数进行分类。将该方法应用于firefox和GNOME数据集进行评估后可以发现对于firefox,MAP(平均精度)高达76.5%,对于GNOME,MAP最高可达73%。结果表明堆栈跟踪和马尔科夫模型是大量bug报告库中检测和分类重复bug报告的强大组合。

    ​ Junjie Wang[3]等人提出了一种重复检测方法SETU,该方法结合了ScrEenshots和TextUal描述中的信息来检测重复的众包测试报告。该方法分为三个阶段,特征提取,相似度计算和重复检测。在特征提取阶段,对于屏幕截图主要提取图像结构特征和图像颜色特征,对于文本信息主要使用TF-IDF和词嵌入技术来提取关键字。在相似度计算阶段,计算查询报告与每个待处理报告之间的四个相似度得分,并获得屏幕截图相似度和文本相似度。在重复检测阶段,将屏幕截图的相似度作为过滤器,报告达到一定阈值之后再使用文本相似度检测重复报告。为了评估SETU方法的有效性,使用百度众包测试平台验证SETU在12个项目上的调查研究表明,SETU实现的召回率@1为0.44到0.79,召回率@5为0.66到0.92,显著优于现有的方法。

    2.3 屏幕截图检测分析

    ​ Liu[13]等人提出一种全自动技术为测试报告的屏幕截图生成描述性单词,旨在解决移动众包测试报告文本信息匮乏的问题。该技术框架包括两个主要阶段:模型构建阶段和应用阶段,在模型构建阶段,首先使用空间金字塔匹配(SPM)技术来测量屏幕截图的相似性,并应用自然语言处理技术来分析测试报告的文本描述,以获得加权关键字。 然后借助关键字和相似度矩阵,将这些屏幕截图汇总起来,并进一步为每个图像集群建立语言模型。 在应用阶段,利用生成的这些语言模型将屏幕截图生成描述性关键单词。通过对工业众包项目的1000多个测试报告的实验结果表明,该技术有望为开发人员更好地理解众包测试报告提供帮助。

    3 其它移动众包测试工具和算法

    ​ Rui Hao[7]等人提出一种利用重复报告来丰富错误描述并提高检查报告效率的方法------CTRAS,CTRAS能够根据文字信息和屏幕截图自动汇总重复报告,并进一步将重复的测试报告汇总为一份综合的测试报告。 CTRAS主要由聚合器和汇总器组成,聚合器用于计算测试报告之间的距离,并将重复报告聚合到不同的组中。汇总器是CTRAS的核心组件,对于每个重复的测试报告组,汇总器通过主报告识别,生成补充报告,形成并生成最终报告这三个主要步骤来最终汇总重复报告。为了验证CTRAS,我们使用了从12个工业众包项目中收集的5000多个测试报告进行了定量研究。 实验结果表明,在自动检测重复报告方面,CTRAS的平均精度为0.87,优于Jensen Shannon散度法下基于Max-Coverage和MMR的经典汇总方法。

    ​ 为了解决移动应用众包测试报告质量参差不齐和文本信息较少的难题,Chen[9]等人提出了测试报告增强框架(TRAF)的新框架来解决该问题。TRAF框架主要由预处理器,增强器和可视化工具这三个组件构成,其中最重要的组件是增强器,主要功能是环境增强,输入扩充和描述扩充。环境信息主要属性有设备类型,操作系统和分辨率,算法主要通过进行字符串匹配来采用数学-联合运算来实现扩充。输入扩充主要基于TF-IDF统计加权技术,选择权重最高的topK个关键词并添加到主测试报告作为参考,达到扩充主测试报告的目的。描述扩充主要基于图的算法从重复报告中提取有价值的句子,首先基于句子构造多个测试报告的依存关系图,然后选择最高TF-IDF权重的句子以增加主测试报告的描述。实验结果表明,TRAF框架可以引用相关输入,使被检报告的NDCG平均提高98.49%,平均准确率达到88.65%,并能从重复描述中识别出有价值的句子,从而使被检测试报告的准确率达到83.58%。

    4 未来的挑战和期望

    ​ 当前,在众包测试报告的自动化分析方面,很多研究人员已经从早期的文本匹配演变为尝试使用机器学习甚至是深度学习的方法,重点也从最初的字符特征变为关键字特征和语义特征[8]。计算机视觉的发展和众包测试报告独有的丰富的截图信息让研究人员将更多的目光放到图像信息的获取和分析上。除此之外,研究人员还通过使用更多的模型方法来增强报告分析的准确度,例如卷积神经网络,抽象语法树,自然语言模型等。未来随着人工智能和深度学习的发展,众包测试报告自动化分析流程一定会越来越完善和精确。

    ​ 对众包平台来说,如何加强与众包发布者之间的任务衔接,如何加强对众包工人行为的监控,对众包工人失信行为的记录和管控,是加快众包测试流程的关键,也是一大挑战。

    References:

    [1] Tao Zhang, Jerry Gao, Jing Cheng,SOSE: Crowdsourced Testing Services for Mobile Apps,2017

    [2] Neda Ebrahimi , Abdelaziz Trabelsi , Md. Shariful Islam , Abdelwahab Hamou-Lhadj , Kobra Khanmohammadi. Information and Software Technology: An HMM-based approach for automatic detection and classification of duplicate bug reports, 2019

    [3] Junjie Wang , Mingyang Li , Song Wang , Tim Menzies, Qing Wang. Information and Software Technology: Images don’t lie: Duplicate crowdtesting reports detection with screenshot information,2019

    [4] Song Huang, Hao Chen, Zhanwei Hui, Yuchan Liu, 2020 IEEE 20th International Conference on Software Quality, Reliability and Security (QRS): A Survey of the Use of Test Report in Crowdsourced Testing,2020

    [5] Ying Liu, Tao Zhang, Jing Cheng. ACM International Conference Proceeding Series: Survey on crowd-based mobile app testing,2019

    [6] Qasim Umer, Hui Liu, and Inam Illahi. IEEE Transactions on Reliability: CNN-Based Automatic Prioritization of Bug Reports,2019

    [7] Rui Hao, Yang Feng, James A. Jones2, Yuying Li1, Zhenyu Chen. International Conference on Software Engineering: CTRAS: Crowdsourced Test Report Aggregation and Summarization,2019

    [8] 刘语婵,姚 奕,黄 松,骆 润. 移动应用众包测试报告自动化评估算法设计,软件导刊,2020

    [9] Xin CHEN, He JIANG, Zhenyu CHEN, Tieke HE, Liming NIE. Frontiers of Computer Science: Automatic test report augmentation to assist crowdsourced testing,2019

    [10] Ying Liu, Chunyan Ma, Zhanwei Dong, Tao Zhang, Jing Chengand Jie Zhang. Journal of Physics: Conference Series: Research on Defect Priority Classification of Crowdsourcing Testing for Mobile Applications,2020

    [11] Yuan ZHAO1, Yang FENG1*, Yi WANG2*, Rui HAO1, Chunrong FANG1* & Zhenyu CHEN1. Science China Information Sciences: Quality assessment of crowdsourced test cases,2020

    [12] Ke Mao, Mark Harman, and Yue Jia. International Conference on Automated Software Engineering: Crowd intelligence enhances automated mobile testing,2017

    [13] Liu, Di, Zhang, Xiaofang,Feng, Yang,Jones, James A. 25th IEEE International Conference on Software Analysis, Evolution and Reengineering, SANER 2018: Generating descriptions for screenshots to assist crowdsourced testing, 2018

    展开全文
  • 全国大学生测试大赛众包测试盘点   在众多有关测试比赛中都存在众包测试众包测试俗称黑盒测试,在我个人看来大同小异。黑盒测试在比赛中大概占分比例为30%,无论在移动应用测试比赛还是web网页端夹杂的黑盒测试...

      在众多有关测试比赛中都存在众包测试,众包测试俗称黑盒测试,在我个人看来大同小异。黑盒测试在比赛中大概占分比例为30%,无论在移动应用测试比赛还是web网页端夹杂的黑盒测试都是占这个比例。其中,黑盒测试的标准要求无非是编写规范测试用例,BUG缺陷报告。其中测试用例包括:用例序号,用例标题,前置条件,测试步骤,以及预期结果。额外补充的是,我实习的还需要填写包括测试环境(开开发版本、测试版本、正式版本)、测试人、测试时间、测试机型等等。BUG缺陷报告主要有BUG标题,BUG描述以及BUG截图。(在公司中使用的是teambition管理,其实只要开发者能看懂就行)

      下面总结下测试用例如何规范编写以及一些例子。

    测试用例规范编写:

    1.用例标题:描述清楚该用例所要达到的测试目的,不是单纯的描述所在模块,也不是描述 Bug。

    正确:测试是否可以新增日程; 验证“我的管理”模块能否正常进入。

    2.前置条件:用例必须清晰地描述此用例所需的前提条件。

    正确:1、用户已成功登录系统; 2、用户已进入“我的管理”模块

    3.测试步骤:测试步骤要连贯,操作表述要清晰,并且无疑义。

    正确:1、点击“新增日程”按钮; 2、在弹出的时间框内选择时间;
    3、点击“下一步”按钮; 4、在文本框内输入日程信息; 5、点击“确定”按钮。

    4.预期结果:测试步骤执行后,结果是可预判的,每一个测试用例都应有相应的预期结果 且预期结果可以被验证。
    正确:新增日程成功并给出合理提示。

    BUG缺陷报告规范编写:

    1.Bug标题:Bug 标题要简洁陈述,切中要害。使用一两句话描述清楚出现 Bug 的页面、 出现 Bug 的关键操作、Bug 的现象三个要点
    正确:在新增日程页面,点击“新增日程”按钮无反应; 新增日程页面,直接点击“新增日程”按钮后控制台报错

    2.Bug描述:。复现步骤要按自己的实际 操作写清楚每一步,并按序号排序。
    正确:1、点击我的管理-日程管理; 2、点击“新增日程”按钮; 3、点击后系统无反应

    3.Bug截图:提交 Bug 报告需要上传截图,并进行标识。 (红框圈出所在位置)

    下面是一些BUG的程度以及例子。

    较轻:不影响操作功能,但影响用户体验等优化的问题。如:错别字、界面格式不规范等。
    一般:功能存在缺陷但不影响系统整体使用。如:加载时间长、边界值错误、删除失败。
    严重:功能设计与需求严重不符、重要模板功能丧失类问题。如系统主要功能丧失、程序无故退出等。
    紧急:阻塞性问题,造成系统崩溃、死机、死循环等。如:网站无法打开、整个模块无法使用等。

    展开全文
  • 这里写自定义目录标题众包测试报告问卷 众包测试报告问卷 为了研究缺陷报告质量评估的各因素权重,辛苦大家帮忙填写一下~ https://www.wjx.cn/vj/rvh8dfS.aspx

    众包测试报告问卷

    为了研究缺陷报告质量评估的各因素权重,辛苦大家帮忙填写一下~
    https://www.wjx.cn/vj/rvh8dfS.aspx

    展开全文
  • 管理众包测试

    2017-07-19 19:00:00
    众包测试是一种很独特的测试方式,它能让真实的用户或者测试人员,在真正的应用环境下参与到测试的过程中来。Maja Schreiner 表示,这种测试方式帮助瑞士电信公司(Swisscom)在开发过程早期就及时地发现了缺陷,...
  • 基于图像理解的众包测试报告抽样分析 摘 要众包测试可以通过模拟真实使用场景的方式提供真实用户反馈达到全面可靠的错误检测缺陷报告是描述软件缺陷的重要软件构件由于程序员很难编写没有任何缺陷的程序所以在软件...
  • 生成测试需求是众包测试的一项重要任务。在传统的众包测试中,部分人工生成的测试需求内容不够明确,单个测试需求中涉及多个功能点,不易于众包工人理解。为了解决需求生成问题,我们开发了基于自动化测试结果派生...
  • 什么是众包测试(Crowdsourced testing)

    千次阅读 2019-01-01 20:49:37
    什么是众包测试(Crowdsourced testing) 众包测试(Crowdsourced Testing)是软件测试的一个新兴趋势,它利用了众包和云平台的优势、有效性和效率。它不同于传统的测试方法,因为测试是由来自不同地方的许多不同的...
  • TRS 毕设:基于图像理解和文本分析的移动应用众包测试报告选择系统
  • 借助众包工人的力量,众包测试能够模拟各种真实的使用场景,并检测出各种bug。同时,随着测试报告数量的增加,我们需要检测和分类大量的众包测试报告,这是一项非常耗时的工作。常用的测试报告处理工具,如较为知名...
  • 允许用户测试4种众包测试的应用程序:计数(您看到了多少),二项式试验(通过失败),非负整数计数(每个试验具有0或更多),测量试验(例如气温)。 Wiki可以在找到 可以通过Wiki访问JavaDocs。 这些文件位于...
  • 众包测试(Crowdsourced testing)利用众包的有效性和效率,把网络和云经济结合起来,是一种强大的组合。这可以成为游戏规则的变革者吗? Israel Gat提到,软件测试过程可以分割成两部分: 开发团队的单元测试...
  • 众包测试中的游戏化

    2014-08-07 10:07:13
    众包测试中的游戏化 Mahesh Gudipati有超过10年的测试经验,参与过不少不同领域的项目。他在数据仓库/BI测试,需求预测测试,大数据测试和产品测试方面有丰富的经验。他在多个ETL/DW测试项目中实现了自动化...
  • 尤其是在碎片化的app世界,各种各样的设备类型以及场景使得普通实验室环境下的测试难以穷尽,于是利用群众的力量来共同完成测试的众包测试应运而生,Applause就是这个领域的突出玩家之一。近日这家众包app测试公司又...
  • 众包测试(Crowdsourced testing)利用众包的有效性和效率,把网络和云经济结合起来,是一种强大的组合。这可以成为游戏规则的变革者吗?  Israel Gat提到,软件测试过程可以分割成两部分:  ● 开发团队的单元...
  • 由于Android系统版本的分化原因,...360全景拍照应用的TeliportMe公司也推出了一个免费的Android应用众包测试平台Applover。通过这个平台,开发者可以将自己开发的应用众包给大量的Android用户测试使用,这些用户的
  • 图 2 使用不同分类算法模型下,我们的方法CURES 取得了显著的有效性,同时对比看来,采用朴素贝叶 本研究做出以下贡献: 我们研究众包测试报告分类的问题并揭示其局部偏差,这与先前研究中的传统或开源问题报告分类...
  • 在创建个人报告之前,需下载“需求文档”,了解测试需求; 尽量完善测试用例,有助于最后的评分; 填写Bug报告时,必须选择对应的三级页面标题(若无,选择“其他”),对于没有选择页面标题的Bug报告一律计“0分...
  • 在软件开发的时候,不论你在什么样的团队,所有参与的成员有相同的信念是... 有三种类型的测试,每一种测试都被使用在当今的行业中,并且每种测试的都依赖于许多不同的关键因素有效的工作。 以下举例的不同类型测试...
  • 去年冬天,有一家在全球各地拥有上百万用户的流媒体公司,需要将其应用软件在100多种不同的设备上进行强度测试。为此,该公司采用了一款小工具,称为Applause。当时,他很快从五个大洲的78个国家召集
  • 众包测试在我看来就是一  我成为测试人员数年,在很多时候负载测试常常让我感觉如芒刺在背。它需要花很长时间来实现一个定制的解决方案,但现代的方法模拟负载又并不是行之有效的。众包测试在我看来就是一种负载测试;...

空空如也

空空如也

1 2 3 4 5 ... 7
收藏数 121
精华内容 48
关键字:

众包测试