精华内容
下载资源
问答
  • 大数据测试

    2021-01-21 20:36:51
    二、大数据测试策略 三、大数据应用测试步骤 四、架构测试 五、性能测试 六、性能测试策略 七、性能测试基础准备 八、必备的测试环境 九、总结 一、什么是大数据 大数据是指无法在一定时间范围内用传统的...

    目录

    一、什么是大数据

    二、大数据测试策略

    三、大数据应用测试步骤

    四、架构测试

    五、性能测试

    六、性能测试策略

    七、性能测试基础准备

    八、必备的测试环境

    九、总结


    一、什么是大数据

    大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。

    对于大数据的测试则需要不同的工具、技术、框架来进行处理。

    大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。

    需要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

     

    二、大数据测试策略

    大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。

    当然在大数据测试时,功能测试和性能测试是同样很关键的。

    对于大数据测试工程师而言,如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

    因为大数据高效的处理测试速度,它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

    我们来看下大数据处理的三个特性:大批量、实时性、可交互。

    另外,数据质量也同样是大数据测试的一个重要维度。

    因此在进行应用程序测试之前,必须确保数据质量,并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验,例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

     

    三、大数据应用测试步骤

    下面我们一起看看大数据应用的测试过程是怎么样的。

     

    整体而言,大数据测试大体可以分为三大步骤:

    步骤一,数据预处理验证
    在进行大数据测试时,首先要预hadoop前验证数据的准确性等等。

    我们数据来源可能是关系数据库、日志系统、社交我那个落等等,所有我们应该确保数据能正确的加载到系统中

    我们要验证加载的数据和源数据是一致的

    我们要确保正确的提取和加载数据至hdfs中

    步骤二,Map Reduce验证 在进行大数据测试时,第二个关键步骤是“Map Reduce”验证。在本阶段,我们主要验证每一个处理节点的业务逻辑是否正确,并验证在多个运行后,确保:

    Map Reduce过程工作正常;数据聚合、分离规则已经实现;数据key-value关系已正确生成;验证经过map reduce后数据的准确性等特性。

    步骤三,结果验证 在本阶段主要验证在经过大数据工具/框架处理后,生成的最终数据的成果。

    主要验证:验证数据转换规则是否正确应用;验证数据的完整性和是否成功持久化到目标系统;验证无数据损坏。

    四、架构测试

    Hadoop处理海量数据是非常的消耗资源的,良好的架构是确保大数据项目成功的基础。糟糕的涉及会导致性能急剧的下降,进而使得系统无法满足我们的需要,因此我们需要,或是说至少在Hadoop环境下进行性能测试、故障恢复测试,以应改进效率和应对可能的最糟糕的情况。

    性能测试是一个复杂的工作,它贯穿整个测试周期,需要关注内存、CPU、网络等等指标。

    故障恢复测试则是验证数据处理过程中可能出现的故障,为做好意外的恢复做好相应的应对措施。

    五、性能测试

    大数据性能测试主要包含以下几个部分:

    数据提取、存储效率

    在本阶段,我们主要验证大数据应用从源数据中提取、加载数据的效率。

    一是验证单位时间内数据的提取、加 载效率。

    二是验证数据持久化至mongodb等库的效率等等

    数据处理

    在本阶段,我们验证map reduce任务的执行效率,重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标,例如存储至HDFS读写效率等等,同样也会涉及在内存中处理效率,即我们的处理算法效率等等

    子组件性能

    大数据处理,一般都会需要综合利用各种组件来辅助处理,所以我们也是需要关注这些辅助组件的性能

    六、性能测试策略

    大数据应用性能测试涉及海量的结构化和非结构化的数据,与我们平时所面对的业务系统有所不同,所以我们需要针对大数据应用制定特定的测试策略,以应对海量的数据。

     

    1、在性能测试前需要先初始化大数据集群环境

    2、梳理和设计大数据性能测试场景

    3、准备大数据性能测试脚本

    4、执行并分析测试结果(如果指标异常,则调优相应的组件并重新测试)

    5、优化配置

    七、性能测试基础准备

    在大数据性能测试时,需要准备相关的基础工作,如下:

    数据准备,我们需要在不同的节点准备什么量级数据?

    日志预估,在测试过程中,可能会生成多大的日志,日志的可能增量是什么样的?

    并发,在测试时,可能会有多少线程并发读和写?

    超时设置,应对设置怎样的连接超时?查询超时?写超时等等?

    JVM参数,如何设置最优的jvm参数,heap size、GC机制等等

    Map Reduce,我们应该选择什么样的sort、merge等算法?

    消息队列,消息队列长度会怎么样?等等

    八、必备的测试环境

    大数据测试不同于常规的应用测试,你应该具备以下一些基础环境:

    拥有足够的存储设备来存储和处理大数据

    拥有集群来做分布式节点和数据处理

    至少拥有足够的cpu、内存来确保有高性能的处理基础

    九、总结

    随着大数据工程和数据分析逐步的进入新的阶段,大数据测试将成为必然,也必定成为未来的一个热门的职业方向

    大数据处理必须是批量的,实时的、可交互的

    大数据应用测试的三大阶段:数据验证、Map Reduce 验证、数据处理结果验证。

    架构测试也是非常重要的一个测试类型,糟糕的架构可能直接导致您的大数据项目的失败

    性能测试三大节点:数据提取、存储效率;数据处理效率;子组件工作效率。

    大数据测试不同于传统的测试,不仅仅是类型、策略的不同,工具等具体技术都会有区别

    大数据因其复杂性,其测试所面临的挑战也会不同于传统的测试

    大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一

     

    展开全文
  • 当涉及到大数据测试时,性能和功能测试是关键。在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。处理可以是三种类型:批量、实时、交互。...
  • 大数据测试简述

    2017-02-07 17:34:24
    大数据测试类型 3 大数据测试步骤 3 Step 1:数据阶段验证 3 Step 2:"MapReduce"验证 4 Step 3:输出阶段验证 4 架构测试 4 性能测试 4 性能测试方法 4 性能测试参数化 5 大数据测试 VS 传统数据库测试 5 测试环境...
  • 大数据测试资料.zip

    2021-08-13 10:32:21
    资源包含内容: 1、大数据测试方法 2、大数据测试工具 3、大数据测试质量 4、大数据测试总结 5、接口自动化框架设计思想
  • 大数据测试步骤有哪些,卓码测评小编就简单分析下大数据相关的内容,以及如何做好大数据测试工作。 什么是大数据测试大数据测试涉及数据创建,存储,检索和分析,在处理数据的时候,通过验证大数据功能性能测试...

    近几年随着大数据、云计算等概念的广泛普及,人们对于大数据的认识程度也越来越高,实际上人们的生活中也无时无刻不在应用着大数据,每一次扫码付款,每一次网上下单购买行为,都与大数据相关。

    而与大数据相关的大数据测试也逐渐成为测试人员的工作之一,大数据信息如何进行测试呢?大数据测试步骤有哪些,卓码测评小编就简单分析下大数据相关的内容,以及如何做好大数据测试工作。

    • 什么是大数据测试?

    大数据测试涉及数据创建,存储,检索和分析,在处理数据的时候,通过验证大数据功能性能测试发现系统可能存在的无用数据、数据编码错误或者节点配置错误等数据质量问题。

    • 大数据测试步骤有哪些?

    大数据测试步骤与其他类型的测试比如功能测试、性能测试等测试步骤大同小异,具体步骤如下:

    1. 测试需求分析;测试需求分析越细致越有利于后面测试工作的开展,分析要测试的大数据类型。
    2. 测试计划制定;第二步就是制定详细的测试计划,准备好数据,做好人员分工安排进度安排等工作。
    3. 编写测试用例;第三步就是怎么做大数据测试了,针对功能测试非功能测试编写测试用例进行测试。
    4. 执行测试;执行测试用例,记录测试过程中发现的测试问题。
    5. 测试结果分析;
    • 怎么做好大数据测试?

    大数据测试不同于传统的测试,不仅仅是类型、策略的不同,工具等具体技术都会有区别,需要足够的存储设备来存储和处理大数据,要想做好大数据测试,以下几点需要注意:

    1. 检查数据质量;数据导入导出等步骤中,可能因为复制不正确或者其他操作对数据质量产生影响,所以需要测试过程中做好数据质量检查工作。
    2. 制定好测试方案;制定完善的测试方案包括数据诊断数据监控等。
    3. 配置好测试工具、测试环境等。数据测试天生就是有自动化属性的,模式化强,所以大数据测试过程中的测试工具非常重要。配置完善的自动化测试环境对大数据测试有很大帮助,建议企业可以通过第三方测试机构执行,比如卓码软件测评。
    • 大数据测试相关机构推荐

    目前国内大数据测试相关的机构比较少,业务也不是很成熟,可以找靠谱的第三方测试机构咨询下,比如卓码软件测评。提供项目验收测试、成果鉴定测试、产品确认测试、功能测试性能测试等多种测试。

    展开全文
  • 大数据测试功能性测试.docx
  • 随着数据工程和数据分析技术的不断进步,大数据测试不可避免。 大数据是用于大量结构化或非结构化数据的术语,这些数据有可能提供一些信息。谈论大数据时,具体的数据量无从告之,但通常都是拍字节(Petabytes)和艾...

    近两年互联网行业动不动就喊着“大数据”的口号,大数据的诞生让很多企业节省人力物力实现精准营销获得丰厚利润。随着数据工程和数据分析技术的不断进步,大数据测试不可避免。

    大数据是用于大量结构化或非结构化数据的术语,这些数据有可能提供一些信息。谈论大数据时,具体的数据量无从告之,但通常都是拍字节(Petabytes)和艾字节(Exabytes)数量级的。如此大量的数据很难集成。大数据,活泼的快速移动数据,有助于更好地了解客户和产品,从而带动业务增长。尽管有许多技术可用,技术人员仍然很难找出从哪里开始。

    大数据测试

    测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。

    大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。当然在大数据测试时,功能测试和性能测试是同样很关键的。对于大数据测试工程师而言,如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。因为大数据高效的处理测试速度,它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

    大数据处理的三个特性:1)大批量 2)实时性 3)可交互。另外,数据质量也同样是大数据测试的一个重要维度。

    因此在进行应用程序测试之前,必须确保数据质量,并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验,例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

    大数据应用测试大体可以分为三步骤:

    在这里插入图片描述

    步骤一:数据阶段验证

    大数据测试的第一步,也称作pre-hadoop阶段该过程包括如下验证:

    1)来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统。

    2)将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配。

    3)验证正确的数据被提取并被加载到HDFS正确的位置。

    该阶段可以使用工具Talend或Datameer,进行数据阶段验证。

    步骤二:"MapReduce"验证

    大数据测试的第二步是MapReduce的验证。在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:

    1)Map与Reduce进程正常工作。

    2)在数据上实施数据聚合或隔离规则。

    3)生成键值对。

    4)在执行Map和Reduce进程后验证数据。

    步骤三:输出阶段验证

    大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件,同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:

    1)检查转换(Transformation)规则被正确应用。

    2)检查数据完整性和成功的数据加载到目标系统中。

    3)通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏。

    总结:

    1)大数据测试不同于传统的测试,不仅仅是类型、策略的不同,工具等具体技术都会有区别。

    2)大数据因其复杂性,其测试所面临的挑战也会不同于传统的测试。

    3)大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一。

    展开全文
  • 大数据测试方案,介绍了测试方法、测试类型、测试要求及部分测试用例,包含:大数据数据集成工具测试方法、大数据存储与处理系统功能测试要求,大数据分析系统测试要求等。
  • 大数据测试脑图

    2018-10-08 18:42:36
    关于大数据测试方法的总结,包括稳定性测试、性能测试、数据准确性测试的方法
  • 大数据测试用例

    2017-08-30 12:01:52
    关于大数据测试的用例,可以作为参考资料,内容详细
  • 大数据测试用例模板下载
  • 大数据测试挑战 自动化 大数据的自动化测试需要有技术专长的人员。此外,自动化工具未配备处理测试期间出现的意外问题 虚拟化 它是测试的整体阶段之一。虚拟机延迟会在实时大数据测试中产生时序问题。在大数据中...

    大数据测试挑战

    自动化

    大数据的自动化测试需要有技术专长的人员。此外,自动化工具未配备处理测试期间出现的意外问题

    虚拟化

    它是测试的整体阶段之一。虚拟机延迟会在实时大数据测试中产生时序问题。在大数据中管理图像也是一个麻烦。

    大数据集

    需要验证更多的数据,需要更快的速度;需要自动化测试工作;需要能够跨不同平台进行测试。


    大数据性能测试挑战

      多样化的技术:每个子组件属于不同的技术,需要孤立测试

      特定工具的不可用性:没有单个工具可以执行端到端测试。例如,NoSQL可能不适合消息队列

      测试脚本:需要为测试场景和测试用例设计高水的脚

      测试环境:由于数据量大,需要特殊的测试环境

      监控解决方案:存在可监控整个环境的有限解决方案

      诊断解决方案:需要定制解决方案来开发性能瓶颈区域


    大数据测试总结

             随着数据工程和数据分析的进一步发展,大数据测试是不可避免的。大数据处理可以是批处理、实时或交互。

             测试大数据应用的3个阶段:数据分段验证、“MapReduce”验证、输出验证阶段。

             架构测试是大数据测试的重要阶段,因为设计不当可能会导致前所未有的错误和性能下降。

             大数据的性能测试包括验证:数据吞吐量、数据处理、子组件性能。

             大数据测试与传统数据测试在数据,基础设施和验证工具方面非常不同。

             大数据测试的挑战包括虚拟化,测试自动化和处理大型数据集。大数据应用程序的性能测试也是一个问题。

    展开全文
  • 大数据测试技术研究

    2015-02-27 22:26:48
    大数据测试技术研究
  • 大数据测试关注点

    2020-11-23 17:48:40
    大数据测试大数据测试大数据测试重点关注hadoop生态系统组件测试工具ETL测试主要流程分析业务及需求测试计划+用例设计+数据准备静态代码CR测试执行测试要点功能测试性能测试安全测试 大数据测试重点关注 hadoop...
  • 前言:分享下业务测试用例模版与大数据测试用例模板 业务测试用例模版与大数据测试用例模板一、业务测试用例模板二、业务测试用例模板 一、业务测试用例模板 需要下载模板请点击:业务测试用例模板下载 二、业务...
  • 大数据测试策略

    2020-04-10 11:20:51
    作为一名开发,可能会被问到大数据测试类相关的知识。虽然可能性不大,但是楼主就被问到了一次,当时那个尴尬呀 大数据处理的三个特性: 大批量 实时性 可交互 另外,数据质量也同样是大数据测试的一个重要维度。 ...
  • 在对大数据分析平台研究的基础上,根据国内外大数据测试的研究现状和在交通信息大数据分析平台测试中遇见的问题,对大数据测试技术进行了深入研究。首先分析了大数据测试的特点和难点,分析了在Hadoop处理过程各个...
  • 有关大数据测试

    2019-09-24 03:53:55
    当涉及到大数据测试时,性能和功能测试是关键。 在大数据测试中,QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快,所以它需要高水平的测试技能。 大数据应用程序的测试更多的是去验证...
  • 大数据测试内容

    2021-03-07 13:33:09
    当涉及到大数据测试时,性能和功能测试是关键。 数据质量也是大数据测试的一个重要因素。它涉及检查各种字段,如准确性、重复性,一致性 数据处理可以是三种类型: 批量 实时 交互 测试方面: 验证其数据处理:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 198,917
精华内容 79,566
关键字:

大数据测试