精华内容
下载资源
问答
  • 十步法原则解决数据质量问题

    千次阅读 2019-08-21 14:06:38
    1.1 数据质量 数据的一组固有属性满足数据消费者要求的程度。 1)数据固有属性 真实性:即数据是客观世界的真实反映 及时性:即数据是随着变化及时更新的 相关性:即数据是数据消费者关注和需要的 2)高质量数据...

    一、相关概念

    1.1 数据质量

    数据的一组固有属性满足数据消费者要求的程度。

    1)数据固有属性

    • 真实性:即数据是客观世界的真实反映
    • 及时性:即数据是随着变化及时更新的
    • 相关性:即数据是数据消费者关注和需要的

    2)高质量数据满足要求(消费者角度)

    • 可得的,当数据消费者需要时能够获取到;
    • 及时的,当需要时,数据获得且是及时更新的;
    • 完整的,数据是完整没有遗漏的;
    • 安全的,数据是安全的,避免非授权的访问和操控;
    • 可理解的,数据是可理解和解释的;
    • 正确的,数据是现实世界的真实反映。

    1.2 数据质量管理

    数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

    二、评估维度

    任何改善都是建立在评估的基础上,知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。常见的以下维度:

    1)完整性

    完整性,是指数据信息是否完整,是否存在缺失情况。数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。记录的完整性,一般使用统计的记录数和唯一值个数。完整性的另一方面,记录中某个字段的数据缺失,可使用统计信息中的NULL的个数进行审核。一般空值的占比基本恒定,同样可以使用统计的空值个数来计算空值占比,如果空值的占比明显增大,很可能这个字段的记录出现了问题,信息出现缺失。总而言之,完整性可用记录数、均值、唯一值、空值占比等指标来衡量。

    2)规范性

    规范性,是指记录是否符合规范,是否按照规定的格式存储(例如标准编码规则)。数据规范性审核是数据质量审核中比较重要也是比较复杂的一块。规范性检验主要是检验数据和数据定义是否一致,因此可以通过合规记录的比率来衡量。比如取值范围是枚举集合的数据,其实际值超出范围之外的数据占比,比如存在特定编码规则的属性值不符合其编码规则的记录占比。

    3)一致性

    一致性,是指数据是否符合逻辑,数据内单项或多项数据间存在逻辑关系。一致性检验,存在逻辑关系的属性之间的校验,比如属性A取某定值时,属性B的值应该在某个特定的数据范围内,都可以通过合规率来衡量。

    4)准确性

    准确性,用于度量哪些数据和信息是不正确的,或者数据是超期的。准确性可能存在于个别记录,也可能存在于整个数据集上。准确性和规范性的差别在于规范性关注合规,表示统一,而准确性关注数据错误。因此,同样的数据表现,比如数据实际值不在定义的范围内,如果定义的范围准确,值完全没有意义,那么这属于数据错误。

    数据的准确性可能存在于个别记录,也可能存在于整个数据集。如果整个数据集的某个字段的数据存在错误,这种错误很容易发现,利用平均数和中位数也可以发现这类问题。当数据集中存在个别的异常值时,可使用最大值和最小值的统计量去审核,或者使用箱线图也可以让异常一目了然。

    还有几个准确性的审核问题,字符乱码的问题或者字符被截断的问题,可以使用分布来发现这类问题,一般的数据记录基本符合正态分布或者类正态分布,那么那些占比异常小的数据项很可能存在问题。如果数据并没有显著异常,但仍然可能记录的值是错误的,只是这些值和正常值比较接近而已,这类准确性检验最困难,一般只能与其他来源或者统计结果进行对比来发现问题。

    5)时效性

    数据从产生到可以查看的时间间隔,也叫数据的延时时长。某些实时分析和决策需要用到小时或者分钟级的数据,这些需求对数据的时效性要求极高,所以及时性也是数据质量的组成要素之一。例如定义某张表在每月最晚达到的日期是几号。

    6)唯一性

    唯一性,用于度量哪些数据是重复数据或者数据的哪些属性是重复的。即对存在于系统内或系统间的特定字段、记录或数据集意外重复的测量标准。

    7)合理性

    合理性,是从业务逻辑角度判断数据是否正确。评估方面可参照规范性、一致性做法。

    8)冗余性

    冗余性,是指多层次数据中是否存在不必要的数据冗余。

    9)获取性

    获取性,是指数据是否易于获取、易于理解和易于使用。

    三、影响因素

    影响数据质量的因素主要来源于四方面:信息因素、技术因素、流程因素和管理因素。

    1)信息因素

    产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质(如:数据源规格不统一)得不到保证和变化频度不恰当等。

    2)技术因素

    主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据维护等方面的内容。

    3)流程因素

    是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。

    4)管理因素

    是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致的管理缺失或者管理缺陷。

    四、解决质量问题方法

    可以遵从下面的十步法原则(此部分摘自御数坊公开材料)。

    4.1 定义业务需求与方法

    找出有哪些业务受到数据质量问题的影响,或者由于数据质量的改进将会为企业带来更好的业务效益的需求,评估这些业务需求并按照重要等级排序,作为本次数据质量提升的目标与范围。只有明确了业务需求与方法,才能确保要解决的数据质量问题是与业务需求相关的,从而真正的解决了业务问题。

    4.2 分析信息环境

    细化已定义的业务需求,识别出业务需求与数据、数据规范、流程、组织和技术(如系统、软件等)之间的关联信息,定义信息生命周期,确定数据来源及范围。通过分析信息环境,不仅可以为后续的原因分析提供帮助,也可以使我们对数据问题及现状有一个更全面、直观的理解与认识。

    4.3 评估数据质量

    从相关数据源提取数据,围绕已定义的业务需求,设计数据评估维度并利用相关工具完成评估,将数据质量评估结果以图表或报告形式准确的表达出来,使相关领导或业务人员都能够清晰的、直观的了解实际的数据质量情况,确保数据问题是与业务需求相关的,并能够得到相关领导或业务人员的重视与支持。

    4.4 评估业务影响

    了解低质量数据是如何影响业务的,为什么这些数据很重要,如果改善这些问题会带来哪些业务价值。评估方式的复杂度越高所花费的时间越长,不过与评估效果却并不一定成正比,所以在评估业务影响时也要注意方法的选择。另外,要将业务影响评估结果及时归档,这样,随着时间的推移即便问题被淡化,也能够有迹可查。

    4.5 确定根本原因

    在纠正数据问题之前要先确定其根本原因,产生问题的根源有很多。不过,有些问题的发生仅是表象,并不一定是导致错误数据的根本原因,所以在分析的过程中,要不断的去追踪数据进行问题定位,确定问题最早出现的根本原因;或者多问自己几遍“WHY”以弄清楚问题的根本原因,进而使问题得到有效的解决,达到治标又治本的效果。

    4.6 制定改进方案

    通过前面几步详细的问题分析及原因确定,在这一步则可以有针对性的制定出合理的数据质量改进方案,包括对已知数据问题的改进建议及如何预防未来类似错误数据的发生。

    4.7 预防未来数据错误

    根据解决方案的设计,预防未来错误数据的发生。

    4.8 纠正当前数据错误

    根据解决方案的设计,解决现有数据问题。这一步更多是”脏活累活”,但对于最终质量目标的达成至关重要。

    4.9 实施控制监控

    实施持续的监测,确定是否已经达到预期效果。

    4.10 沟通行动和结果

    对结果和项目进展情况沟通,保证整体项目的持续推进。

    五、数据质量产品设计

    5.1 数据产品价值

    • 完整检核标准梳理方法及指标规则模板。
    • 自动化的检核处理及问题通知机制,达到无人值守。
    • 提供全面的数据分析机制,加速问题解决。
    • 规范的问题管理流程及制度,精确管理问题每个阶段。
    • 完善的质量问题解决共享机制,实现数据治理的闭环管理。

    5.2 处理问题流程

    • 确定规则:数据质量指标
    • 发现问题:数据质量检核
    • 提出问题:质量问题告警
    • 解决问题:质量问题分析
    • 归纳问题:问题管理流程

    5.3 主要功能模块

    1)质量评估

    提供全方位数据质量评估能力,如数据的重复性、关联性、正确性、完全性、一致性、合规性等,对数据进行体检进而识别和理解数据质量问题。有评价体系作为参照,需要进行数据的采集、分析和监控,为数据质量提供全面可靠的信息。在数据流转环节的关键点上设置采集点,根据系统对数据质量的要求,配置相应的采集规则,通过在采集点处进行质量数据采集并进行统计分析,就可以得到采集点处的数据分析报告。

    2)检核执行

    提供配置化的度量规则和检核方法生成能力,提供检核脚本的定时调度执行和第三方调度工具的调度执行功能。

    3)质量监控

    系统提供报警机制,对检核规则或方法进行阀值设置,对超出阀值的规则进行不同级别的告警和通知。

    4)问题管理

    对数据问题进行流程处理支持,规范问题处理机制和步骤,强化问题认证,提升数据质量。通过质量评价体系和质量数据采集系统,可以发现问题,之后还需要对发现的问题及时作出反应,追溯问题原因和形成机制,根据问题种类采取相应的改进措施,并持续跟踪验证改进之后的数据质量提升效果,形成正反馈,达到数据质量持续改良的效果。

    在源头建立数据标准或接入标准,规范数据定义,在数据流转过程中建立监控数据转换质量的流程和体系,尽量做到在哪发现问题就在哪解决问题,不把问题数据带到后端。

    5)质量报告

    系统提供了丰富的API可进行定制化数据质量包括开发,另外系统内置了常用质量报告。

    6)质量分析

    提供多种问题分析能力,包括血统分析,影响分析,全链分析,定位问题产生的根源。

    作者:韩锋

    首发于作者个人公号《韩锋频道》,欢迎关注。

    来源:宜信技术学院

    展开全文
  • 器的质量,一些小机房的话带宽以及防御的话都是比较小的满足不了业务需求的。 3.资质:看IDC公司是否有正规的ISP丶ICP丶企业资质以及官网,可以通过工商局丶 天眼查等正规途径查看该公司到底基本信息。 4.售后...
  • 在业务层面,数据质量问题不仅会影响单点业务的正常开展,还会影响与该业务相关的其他业务顺利开展;在决策层面,数据质量问题会直接影响到管理层的决策依据是否准确、客观。  高校各类业务较多,应用系统繁杂,在...

      不论是高校还是其他行业,管理信息系统数据质量的重要性不言而喻。在业务层面,数据质量问题不仅会影响单点业务的正常开展,还会影响与该业务相关的其他业务顺利开展;在决策层面,数据质量问题会直接影响到管理层的决策依据是否准确、客观。

      高校各类业务较多,应用系统繁杂,在系统建设过程中往往会忽视数据质量的重要性,没有采取足够的措施,导致随着系统和数据的逐步深入应用,数据质量问题一点点暴露出来,比如数据的有效性、准确性、一致性等。最坏的结果就是用户感觉系统和数据是不可信的,最终放弃了使用系统,这样也就失去了建设系统的意义。

      从高校数据质量管理工作进展情况来看,在思想上目前还没有引起高校CIO的足够重视,在管理制度、技术措施等方面还没有开展更多有效工作。数据质量是一个非常复杂的系统性问题,解决数据质量问题应该从数据质量管理制度、应用系统建设、数据质量监控三个方面开展,并且三者要有机结合形成联动,单靠某一方面的努力是不够的。我们要清楚一点,再完美的系统都存在数据质量问题,数据质量监控只是一种必不可少的补充手段,已经到了解决问题的下游。本文主要介绍一种基于规则库的数据质量自动监控平台实现方法及其在推动数据质量管理方面的重要作用。

    监控平台架构

      数据质量监控平台主要包括三个部分:数据层、功能层和应用层,平台架构如图1所示。

     

      1.数据层

      数据层定义了数据质量监控的对象,主要是各核心业务系统的数据,如人事系统、教学系统、科研系统、学生系统等。

      2.功能层

      功能层是数据质量监控平台的核心部分,包括数据质量检查规则的定义、数据质量检查规则脚本、检查规则执行引擎、数据质量检查规则执行情况监控等。

      3.应用层

      数据质量检查结果可以通过两种方式访问:一种是通过邮件订阅方式将数据质量检查结果发给相关人员,另一种方式利用前端展示工具(如MicroStrategy、Cognos、Tableau等)开发数据质量在线分析报表、仪表盘、分析报告等。前端展示报表不仅能够查看汇总数据,而且能够通过钻取功能查看明细数据以便业务人员能够准确定位到业务系统的错误数据。

     

    数据质量监控规则库是监控平台的核心,用来存放用户根据数据质量标准定义的数据质量检查规则脚本,供监控引擎读取并执行,同时将检查产生的结果存放到监控结果表中,表1是监控规则表的数据结构,其中的核心字段解释如下:

      system_flag:系统标识,用来标记监控规则属于哪个业务系统。

      scan_rule:监控规则,是可执行的SQL脚本,监控规则主要分两类,一类是单纯的数据校验规则,如检查是否为NULL、是否与字典表一致等;另一类是业务校验规则,有些数据从数据库角度出发是没有问题的,但是不一定符合业务逻辑,如项目的结项时间早于立项时间等。

      scan_rule_desc:监控规则描述信息,用来准确说明监控规则脚本的检查内容、检查逻辑等信息,供业务人员和技术人员详细了解监控规则含义。

      scan_object:监控对象,用来说明监控规则检查的数据对象或业务实体。

      check_type_name:检查类型名称,指监控规则检查数据质量的哪一种问题,如完整性、有效性、准确性、唯一性、一致性、合理性。

      scan_period:扫描周期,指该监控规则执行的频率,如每天、每周、每月。

      status:规则状态,指该监控规则是否启用,1表示启用,0表示关闭,监控引擎不会执行已经关闭的规则。

      last_scan_date:最近扫描时间,记录该规则上一次执行时间,用来和扫描周期联合计算当前时间该监控规则是否可执行。

      output_result:输出结果,指监控规则执行后输出的内容,让数据质量管理人员准确知道是什么数据存在问题,方便在业务系统中查找、修改。

      scan_scope:扫描范围,指监控规则扫描哪些业务数据,有并不是所有的业务数据都需要去检查,扫描范围在监控规则脚本中也有相应的体现。

      rule_level:规则级别,指该监控规则对应的数据质量问题对业务的影响程度,一般可分为高、中、低三个级别,高级别的数据质量问题必须在第一时间解决,否则会影响业务的正常开展。

      module_name:系统模块名称,指监控规则对应业务系统中哪个功能模块,主要用来将问题数据按系统功能模块来分类。

      charger_email:数据质量负责人邮箱,可以将该规则检查的结果发生到负责人邮箱中,方便查看问题数据。

      表2是监控结果表的数据结构,该表用来存放某监控规则在相应的扫描时间点检查出来的结果数据,通过scan_rule_id与监控规则表相关联就能知道结果数据的详细信息。

      表3是监控规则库中教学系统相关的一些监控规则实例,由于排版问题只列出规则的核心字段。

    监控引擎

      监控引擎是数据质量监控平台的发动机,负责执行监控脚本并产生监控结果,监控引擎是一个可供调度程序定时执行的存储过程,需要部署在一个具有读取其他业务库的数据库用户下,监控引擎执行流程如图2所示,具体执行过程说明如下:

      1.通过调度程序定时触发监控引擎执行,监控引擎可以根据实际情况灵活设置调度时间,一般设置在凌晨调度,减少对业务系统的影响。

      2.监控引擎顺序读取规则库中的数据质量检查规则,判断规则是否有效、判断规则是否满足扫描周期。满足条件后执行检查规则,并将检查结果输出到结果表中。

      3.一条规则执行完成后,更新该规则的last_scan_date(最近扫描时间)字段。

      4.将监控规则执行是否成功记录到日志表,尤其是执行失败的规则,并将日志发送给系统管理员,以便及时修复问题。

      5.执行完最后一条规则结束监控引擎的一次运行,同时将检查结果以报告的形式发送给相关业务人员。

    监控结果展现

      数据质量监控结果可以通过两种方式提供给相关业务人员,一种是在线可视化展示,业务人员可以随时直观地了解数据质量整体情况和详细情况,便于整改问题数据;另一种是通过邮件方式定期为业务人员推送数据质量报告。图3是用数据可视化工具Tableau开发的数据质量结果汇总仪表盘,通过该仪表盘可以查看当天每个系统、每条规则数据质量情况,通过钻取功能可以查看明细数据,方便准确定位具体的问题数据,以便在业务系统中修改。

      图4是数据质量变化趋势仪表盘,该仪表盘可以展示每个系统、每条规则近30天数据质量变化趋势,有助于业务人员了解业务系统数据质量的变化情况,并采取相应的整改措施。

      本文介绍的数据质量监控平台具有灵活部署、规则库动态扩展、调度按需配置等特点,技术人员根据具体数据问题可以灵活地自定义监控规则,对系统运行中发现的数据质量问题进行统一监控和管理。数据质量监控平台是解决数据质量问题的有效手段之一,为技术人员和业务人员提供了一个了解数据质量的便捷途径,能够有效地支持业务人员整改问题数据。高质量的数据不仅能够支撑日常业务顺利开展,还能够为决策支持系统的建设打下良好基础,该平台将成为打造绿色数据生态环境的有力支撑工具。

     

    展开全文
  • 这几天看了看《硝烟中的Scrum和XP...但是,哪些问题属于内部质量呢?  作者并没有详细的论述这个问题。下面,我列出了一些常见的场景和划分。你怎么看待这个问题呢?  外部质量  ● 可扩展性  我一直认为,一个...

     这几天看了看《硝烟中的Scrum和XP》,其中作者将产品质量分为两种——“外部质量”和“内部质量”。作者认为,在项目工期紧的时候,外部质量是可以妥协的。而内部质量是不容妥协的。但是,哪些问题属于内部质量呢?

      作者并没有详细的论述这个问题。下面,我列出了一些常见的场景和划分。你怎么看待这个问题呢?

      外部质量

      ● 可扩展性

      我一直认为,一个没有明确的目标的可扩展性设计往往会变成过度设计。因此,我觉得可扩展性相关的质量问题应该作为外部质量看待。敏捷中强调 做的刚够就好。

      ● 功能不完整的实现

      有些时候,对某个功能模块的实现中存在 明显的 功能不完整。这一点我认为也是外部质量。因为,我们采用迭代式开发的目的就是可以逐渐的完成这个功能。但是,我认为这种功能不完整应该是 显而易见 的。否则,我认为就属于内部质量中的“逻辑严整性”和“语义清晰性”的问题了。

      ● 性能

      性能优化往往会牺牲架构的简单性和代码的可维护性。而且,我个人认为从实际的产品角度来看,性能只有“能够接受”和“不能接受”的差别,而没有“好”和“不好”的差别。因此,我认为它是产品是否能够验收的一个重要指标。但不是一个我们应该时刻关注的质量问题。

      内部质量

      ● 代码规范

      混乱的代码意味着更加难以维护。划分外部质量和内部质量的一个重要标准是:对产品的可维护性有很大影响的质量问题应该称之为内部质量。因此,我认为代码规范为“内部质量”。

      ● 设计和实现的逻辑严整性

      例如:你设计了一个集合类,就应该确保集合的基本增删改操作正确。你可以在集合的删除操作中抛出“NotSupportException”或断言错误以标示该集合是一个只增集合。但是,你不能通过忽略删除方法的实现来达到同样的目的。

      另外一个逻辑严整性问题的例子是:Equals方法和GetHashCode方法实现上。你可以同时不实现这两个方法。如果实现,就一定要实现正确。不能因为目前没有需求将该对象作为Hashtable的Key,而忽略GetHashCode的实现。

      一个逻辑上不严整的设计往往会对将来使用该模块的开发人员造成误导。 最终造成可维护性问题。因此参考上面的原则,我认为这一条应该归为“内部质量”。

      ● 语义清晰性

      这一条和“逻辑严整性”类似。不能在方法命名等地方出现语义上的不清晰。对将来的使用者造成误导。

      关于划分原则的思考

      ● 对产品未来可维护性有影响的点应该归为内部质量

      正因为“可维护性”往往是一个不易被觉察的问题,我才觉得可维护性是团队最应该关注的质量问题。是不能够放弃的底线。相对而言,“可扩展性”和“可维护性”如此相似,却恰恰相反,它看起来如此美妙。但,过度设计往往都是因为对“可扩展性”的追求而导致的。它反而是我们程序员应该时刻警惕的东西。

      ● 内部质量往往比较虚,而那些清晰明确的问题或目标个人认为归为“外部质量”比较好。

      人的精力是有限的,正因为这种有限性,让我们需要建立一些简单的原则来帮助我们将精力放在更重要的问题上。尽可能减少我们关注的范围,会让我们在这个范围内做的更好。因此,我觉得应该尽可能的将那些显而易见的问题排除出“内部质量”问题之外。这样,我们才能够更好的控制“内部质量”。那些显而易见的问题,其实,往往都不是问题。

      ● 性能

      这一点我一直很犹豫,因为往往一个不好的架构会导致难以修复的性能问题。但是,就这个话题而言。我还是更加倾向于将性能看做是外部质量。因为它往往是显而易见的。产品的Master,Customer等等很多人会关注与这个问题上。很多时候,在产品前期准备的时候就已经提出了明确的性能要求。因此,它是一个重要的产品测量点,但是,不是“内部质量”。

    最新内容请见作者的GitHub页:http://qaseven.github.io/

    展开全文
  • 软件质量控制

    千次阅读 2017-02-21 20:20:05
    软件质量控制 1、质量控制  软件质量控制对开发过程中的软件产品的质量... 问题1:软件质量控制应该注意哪些方面?  建议:  (1)在整个软件生命周期中都该进行质量控制;  (2)不同阶段活动
     
    

    1、质量控制

      软件质量控制对开发过程中的软件产品的质量特性进行连续的收集和反馈,通过质量管理配置管理等机制,使软件开发过程向着既定的质量目标发展。质量控制是质量管理的的路标和动力,质量管理是质量控制的执行机制。

      问题1:软件质量控制应该注意哪些方面?

      建议:

      (1)在整个软件生命周期中都该进行质量控制;

      (2)不同阶段活动不同,应采用不同的技术;

      (3)综合使用“预防性”和“检测性”技术。

      问题2:软件质量控制技术有哪些类型?

      建议:

      (1)预防性技术:通过为过程、产品和资源设立标准等途径,来避免在产品开发过程中产生缺陷;

      (2)检查性技术:用于发现和纠正缺陷,甚至分析产生缺陷的原因。

      问题3:软件质量控制一般有哪些方法?

      建议:

      (1)目标问题度量法:通过确定软件质量目标并连续监视这些目标是否达到来控制软件质量;

      (2)风险管理法:设别和控制软件开发过程中对软件质量危害最大的因素;

      (3)PDCA质量控制法:PDCA是一个基于统计方法的迭代过程,已被作为国际标准。

      问题4:软件质量控制的准则有哪些?

      建议:

      (1)制定明确的改进质量目标,满足客户需要;

      (2)持续改进过程以提高质量和生产率,降低成本;

      (3)消除恐惧,让员工更有效地工作

      (4)消除领域障碍,建立团队精神;

      (5)不以口号要求零缺陷、高效率;

      (6)进行培训,为所有人建立学习和自我提高机制。

      2、质量目标

      为了达到质量控制,测试团队不但需要明确软件的功能,还要明确软件应达到什么样的质量标准,即制定软件的质量目标。为了达到这些目标,在开发过程的各个阶段进行检查和评价。在质量评价时,需要有对质量进行度量的准则和方法,但更重要的是,需要在软件生存期中如何使用这些准则和方法的质量保证步骤及提高该项作业生产率的工具。

      问题1:制定合理的质量目标需要从哪些方面考虑?

      (1)适应性:必须制定能适应各种用户要求、软件类型和规模的质量标准,并能够度量;

      (2)易学性:不需要特殊技术,软件技术人员人人都容易掌握;

      (3)可靠性:对同一个软件的评价,评价的人或场合可能不同,但评价结果必须一致;

      (4)针对性:不是在检查时才改进质量,而必须从设计阶段起就确立质量目标,在各个阶段实施落实;

      (5)客观性:要从各种不同角度加以评价,并将评价结果定量地表示,使得人人都能理解;

      (6)经济性:考虑如何才能把质量度量和保证所需要的费用控制在适当的范围内。

      问题2:测试团队,需要重点关注哪些质量指标?

      建议:

      (1)测试设计覆盖率

      (2)测试执行覆盖率

      (3)各阶段缺陷密度

      问题3:测试过程中,需要关注哪些测试缺陷密度?

      建议:

      (1)测试计划评审缺陷发现密度

      (2)测试策略/方案评审缺陷发现密度

      (3)测试用例评审缺陷发现密度

      (4)系统测试缺陷发现密度

      (5)集成测试缺陷发现密度

      (6)验收测试缺陷密度

      3、同行评审

      在软件开发过程中邀请同行对工作产品进行审查,以图尽早查找出工作产品缺陷,进行质量控制的一种质量活动。需要前期准备、计划,安排好时间进度表,而且越早开展对项目越有价值。

      问题1:常见的评审有哪些形式?

      建议:

      (1)审查:由公正的、接受过正式评审技术培训的组织者引导进行的同行检查;

      (2)走查:又称走读,由产品的设计者或开发人员引导开发组成员和其它相关组成员浏览软件工作产品;

      (3)分发:又称轮查,产品的设计者或开发人员将要评审的工作产品共享或分发,评审人员以修订标记或批注的方式将意见直接添加到工作产品或其复件上。

      问题2:评审过程中常见的问题?

      建议:

      (1)项目进度紧张,开发人员没有时间进行评审;

      (2)评审力度不够,评审发现的有效问题太少;

      (3)评审会议中过多争论占用大量时间;

      (4)评审专家与作者,或者多位评审专家之间的评审意见不一致;

      (5)评审发现问题修改后,评审人员跟踪不充分。

     问题3:项目进度紧张,专家没有时间进行评审怎么办?

      建议:

      (1)将评审活动的时间、需要的评审专家写入项目计划;

      (2)通过“正式渠道”协调评审专家资源,并得到承诺;

      (3)评审开始前提前1-2天通知评审专家。

      问题4:如何可以提高测试评审的效果,达到预期的效果?

      建议:

      (1)评审前可以使用Checklist、代码检视工具等进行自检活动;

      (2)考虑知识结构、观点角度等方面,选择合理评审专家;

      (3)必要时安排介绍会议,向相关专家介绍被评审对象;

      (4)充分安排好足够预审时间。

      4、漏测预防

      漏测是指软件产品的缺陷在某一阶段未被发现而遗漏到了后续阶段、经效果评估后,将有效的预防措施纳入到流程或相关预防平台中,制定改进措施和跟进实施。

      问题1:哪些环节容易发生漏测?

      建议:

      (1)需求分析,如需求分析遗漏、需求分析特性理解错误、需求变更未及时跟踪;

      (2)策略漏测,如组网考虑不全面、继承特性考虑不全、性能稳定性考虑不全面;

      (3)设计漏测,如用例描述不规范准确、用例观察点遗漏、功能交互遗漏、异常考虑不全面等;

      (4)执行漏测,如用例执行构造数据不全面、没有严格按步骤执行用例、测试技能或经验不足等。

      问题2:漏测分析需要做哪些工作?

      建议:

      (1)选择问题,选择有代表性的漏测问题;

      (2)分析根因,进行漏测问题的根因分析;

     (3)改进实施,制定改进措施并跟进实施;

      (4)补充测试设计,共性问题要跟踪多版本闭环;

      (5)成果固化,经效果评估后,将有效的预防措施纳入到流程或相关预防平台中。

      问题3:有哪些方法,可以进行漏测预防?

      建议:

      (1)测试策略和测试方案充分考虑各业务逻辑之间的交互和影响;

      (2)测试用例设计时,充分考虑功能点与其他模块之间的交互和影响;

      (3)充分考虑修改问题单、需求变更是否引入新的问题;

      (4)参考优秀实践和经验案例;

      (5)每次缺陷分析完要有总结,把容易漏测的形成测试经验checklist,并组织学习。

      5、发散测试

      发散测试,顾名思义就是不以某个标准或者框框作为约束的一种测试,发散测试准确来说应该叫具备发散思维的探索性测试。为了提高测试执行覆盖率,在严格按照用例测试执行后,通常需要进行发散测试,这里包括自由测试和交叉测试。

      问题1:发散测试,需要关注哪些方面?

      建议:

      (1)重点模块和核心流程,需要安排多人进行交叉测试;

      (2)根据2/8原则,对发现缺陷高的模块,需要重点安排人力交叉测试;

      (3)了解用户场景,按照用户常常使用的实际场景进行发散测试;

      (4)识别异常场景,模拟可能发生的各种异常场景进行发散测试;

      (5)遵循规范原则,根据规范组织测试,如协议规范、设计规范和接口规范等。

    展开全文
  • 质量水平未达到质量要求肯定是个问题,而低等级不一定是个问题。精确是对精密程度的度量。准确是对正确性的评估。现代质量管理方法承认以下几方面的重要性: 客户满意 预防胜于检查。预防错误的成本通常远低于在检查...
  • 质量属性概念

    千次阅读 2020-05-10 16:20:10
    • 不精确的需求会造成很多问题。 “我的系统一定要是快速的/安全的/可扩展的” • 系统的质量属性必须是精确的/可度量的: “它必须能够从最初100个地理上分散的节点扩展到1000个节点,而不会增加安装和配置的工作...
  • 研发质量管理---(1)质量管理总结

    万次阅读 多人点赞 2018-03-21 21:16:14
    目录第一章 质量管理知识•质量管理体系•技能知识•业务知识第二章 质量管理技能•过程改进•质量策划•过程跟踪和控制•度量及数据分析•问题风险识别与管控•成本控制与效率提升第三章 心得体会本人毕业后干了两...
  • 数据质量管理十步流程

    千次阅读 2016-12-30 17:21:18
    1定义业务需求和方法  明确数据质量管理的重点、时机和目标,来指导整个项目期间的所有工作。 目标:  1.... ... 2.... 1....已知现存的数据质量问题  3.企业的需求(以及任何对当前信息环境有帮助的
  • 提高 Java 代码质量

    千次阅读 2017-01-22 21:30:04
    质量代码中往往缺陷更少!确保高的 Java 代码质量有两个步骤:尽早并经常地编写各个层次的测试用例,以及持续的监测质量状况。那么我们又该如何实践呢?本专题汇集了大量来自代码质量专家们的专业经验、最佳实践...
  • Java高质量面试总结

    万次阅读 多人点赞 2020-03-15 16:43:41
    质量的Java面试面试考察内容和方式基础知识深入考察 面试 一般都是由浅到深去问,思路是: 先考察基础是否过关 再通过深度考察是否有技术热情和深度 同时可能会提出一些质疑和挑战来考察候选人能否与有不同意见的...
  • 软件中的质量属性(一)

    万次阅读 2017-06-30 09:55:59
    开发高质量的软件是一件极具挑战的工作。其中一个重要的原因就是对于“质量”的定义各不相同,变化莫测。 杰拉尔德温伯格在他的四部...可是如何评价软件的质量是一个令人头疼问题,于是他们采用了量化指标,根据用户反
  • 如何评价代码质量

    千次阅读 2015-03-17 14:18:32
    软件作为一种商品,也存在质量高低之分,从哪些方面来评价软件的质量状况呢? 代码是软件的元素,软件是产品的灵魂,所以评价代码质量的标准源于评价产品质量的标准。 产品服务于用户,用户的评价体现了代码的...
  • 软件项目质量管理

    千次阅读 2015-03-16 23:02:04
    质量管理主要包括三个过程:质量计划制定、质量保证和质量控制。 质量计划:是质量管理的第一过程域,它主要指依据公司的质量方针、产品描述以及质量标准和规则等制定出来实施方略,其内容全面反应用户的要求,为...
  • 华为 QOS服务质量基础知识总结

    万次阅读 多人点赞 2020-12-14 00:52:33
    QOS服务质量 你知道的有多少?
  • 视频直播质量的评测和实现分享

    千次阅读 2016-11-09 15:12:02
    有一个古老的英语谚语叫A picture is worth a thousandwords,一张图片所传递的信息远超文字,那么一段视频所传递的信息,又远超一张...视频直播中会出现哪些质量问题 这些质量问题是怎么由来的 基于这些质量问题,我
  • 5.BUG可能属于的模块 6.BUG的标题 7.BUG的描述 8.BUG的截图 9.BUG的状态 10.BUG的错误类型(数据,界面。。。。) 为什么是好的Bug报告? 如果您的错误报告是有效的,那么它得到修复的机会就会更高。因此,修复bug...
  • 如何评估开发代码质量

    千次阅读 2018-02-28 09:54:52
    总体思路:如何评估开发代码质量--&...Bug多的问题一直存在,终于在4.6.0版本发布后问题爆发了,项目上线后线上版本出现了十几个问题,后期针对问题又紧急发布了一个新版本修复问题。针对情景中小A遇到的问...
  • 有一个古老的英语谚语叫A picture is worth a thousandwords,一张图片所传递的信息远超文字,那么一段视频所传递的信息,又远超一张图片。...视频直播中会出现哪些质量问题 这些质量问题是怎么由
  • 漫谈数据质量监控

    万次阅读 2017-06-17 21:50:36
    本篇分享一些和数据质量监控相关的内容。数据质量监控是一个在快速发展的业务中最容易被牺牲和忽略的功能,但是它确实至关重要的。 假设你做了100个业务,一旦有其中一个业务在某个时间段出现了数据异常,这个异常...
  • 软件质量保证测试

    千次阅读 2019-01-06 17:25:32
    1.软件是计算机程序、规程以及可能的相关文档和运行计算机系统需要的数据。包含4个部分,即计算机程序、规程、文档和软件系统运行所必需的数据。软件与硬件完全不同的特征:1、软件是...软件质量保证(Software Qual...
  • 六西格玛质量管理慕课答案

    千次阅读 2020-04-18 00:05:13
    六西格码质量管理慕课答案 目录 第一章 第二章 第三章 第四章 第五章 第一章 1.质量的好坏由________来评判。 A.产品或服务的提供者 B.产品或服务的接收者 C.质量管理机构 D.质量认证机构 答案:B 2....
  • 图像质量评价概述(评估指标、传统检测方法)

    万次阅读 多人点赞 2018-07-07 18:26:17
    一、概述在图像信息技术被广泛应用的情况下,对图像质量的评估变成一个广泛而基本的问题。由于图像信息相对于其它信息有着无可比拟的优点,因此对图像信息进行合理处理成为各领域中不可或缺的手段。在图像的获取、...
  • 在上一篇博客《(更新视频教程)Tensorflow object detection API 搭建属于自己的物体识别模型(2)——训练并使用自己的模型》中,有很多读者提出各种问题,也有不少热心读者在评论区进行了讨论,为了方便读者查询...
  • 数据仓库的数据质量

    千次阅读 2011-08-31 22:20:41
    (一)数据质量的衡量标准、好处和问题   数据质量的好坏是决定一个数据仓库成功的关键,但是需要从那些方面衡量数据仓库中数据的质量呢? 可以从下列方面衡量系统中的数据质量:  准确性:存储在系统中的关于...
  • 空气质量指数(AQI)分析与预测

    千次阅读 多人点赞 2019-12-27 23:04:28
    近年来,空气质量问题日益严峻,备受关注。对收集的有关空气质量指数相关的数据进行一个简单的分析。 一、背景 Ⅰ数据来源 数据来源于网络,数据下载,提取码:lrm8 Ⅱ 数据背景 该数据集是指2015年某些城市...
  • 生成式对抗网络的基本原理 ...本节将从初始版本的GAN出发,通过学习GAN的原理,对比GAN与其他几种生成式模型的异同,以及分析原始GAN中存在的问题,以获得对GAN的深度理解。 知识点 生成模型、自编码器(AutoEncod
  • 本文根据汪广盛先生在【DQMIS 2020第四届数据质量管理国际峰会】现场演讲内容整理而成。 图1.1 DAMA(国际数据管理协会)中国区主席 汪广盛 演讲嘉宾介绍 -- 汪广盛 国际数据管理协会(DAMA)中国区主席,...
  • 图像质量评价的两个方法

    万次阅读 2016-07-11 15:46:36
    视觉信息是人类获取信息的最主要途径,它...在数字图像的获取、处理、编码、存储、传输和重建的每一个步骤中,通常都会对图像的质量产生影响,如何评价图像质量成为图像处理、计算机视觉领域的一个基本而又富有挑战的
  • 主要是从测试工作的角度,对几个测试相关的维度进行分析,说明它们是如何影响项目质量的。这6个维度是作者自己的总结,这六个维度也只是和功能测试有关,至于系统的性能、可靠性、可用性如何度量 首先,我们要明确...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 64,963
精华内容 25,985
关键字:

哪些属于质量问题