精华内容
下载资源
问答
  • 数据质量评估标准
    万次阅读
    2018-05-31 21:44:55

    数据质量是保证数据应用的基础,它的评估标准主要包括四个方面,完整性、一致性、准确性、及时性。评估数据是否达到预期设定的质量要求,就可以通过这四个方面来进行判断。

    完整性

    完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量更为基础的一项评估标准。

    数据质量的完整性比较容易去评估,一般我们可以通过数据统计中的记录值和值进行评估。例如,网站日志日访问量就是一个记录值,平时的日访问量在 1000 左右,突然某一天降到100了,需要检查一下数据是否存在缺失了。再例如,网站统计地域分布情况的每一个地区名就是一个值,我国包括了32个省和直辖 市,如果统计得到的值小于32,则可以判断数据有可能存在缺失。

    一致性

    一致性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式。

    数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑。规范指的是,一项数据存在它特定的格式,例如手机号码一定是13位的数字,IP地址一定 是由 4个0到255间的数字加上”.”组成的。逻辑指的是,多项数据间存在着固定的逻辑关系,例如PV一定是大于等于UV的,跳出率一定是在0到1之间的。

    一般的数据都有着标准的编码规则,对于数据记录的一致性检验是较为简单的,只要符合标准编码规则即可,例如地区类的标准编码格式为“北京”而不是“北京市”,我们只需将相应的值映射到标准的值上就可以了。

    准确性

    准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅只是规则上的不一致。更为常见的数据准确性错误就如乱码。其次,异常的大或者小的数据也是不符合条件的数据。


    数据质量的准确性可能存在于个别记录,也可能存在于整个数据集,例如数量级记录错误。这类错误则可以使用较大值和最小值的统计量去审核。

    一般数据都符合正态分布的规律,如果一些占比少的数据存在问题,则可以通过比较其他数量少的数据比例,来做出判断。

    当然如果统计的数据异常并不显著,但依然存在着错误,这类值的检查是更为困难的,需要通过复杂的统计分析对比找到蛛丝马迹,这里可以借助一些数据分析工具,那么具体的数据修正方法就不在这里介绍了。

    及时性

    及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。及时性对于数据分析本身要求并不高,但如果数据分析周期加上数据建立的时间过长,就可能导致分析得出的结论失去了借鉴意义



    更多相关内容
  • 经过笔者多方求证,整理了数据质量评价的六大标准,整理成ppt格式,供大家方便使用。
  • 数据仓库中数据质量评价标准

    千次阅读 2020-06-07 17:33:42
    2、数据评价标准框架 说明: 规范性:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。 完整性:按照数据规则要求,数据元素被赋予数值的程度。 准确性:数据准确表示其所描述的真实实体(实际...

    1、数据质量的定义

    数据质量是指在特点情况下,数据的特性满足明确的和隐含的要求的程度。

    2、数据评价标准框架

    数据质量
    说明:

    规范性:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。

    完整性:按照数据规则要求,数据元素被赋予数值的程度。

    准确性:数据准确表示其所描述的真实实体(实际对象)真实值的程度。

    一致性:数据与其他特定上下文中使用的数据无矛盾的程度。

    时效性:数据在时间变化中的正确程度。

    可访问性:数据能被访问的程度。

    3、数据质量评判标准详解


    3.1 规范性评价指标

    在这里插入图片描述

    3.2 完整性评价指标

    在这里插入图片描述

    3.3 准确性评价指标

    在这里插入图片描述

    3.4 一致性评价指标

    在这里插入图片描述

    3.5 时效性评价指标

    在这里插入图片描述

    3.6 可访问性评价指标

    在这里插入图片描述

    4、数据质量评价过程

    在这里插入图片描述

    展开全文
  • 数据质量评价指标的框架和说明,国标文件,仅做管理参考用!!!
  • 数据质量六大评价标准

    千次阅读 2021-08-07 16:53:58
    数据质量六大评价标准 经过笔者多方求证,数据质量公认的六大评价标准为:完整性、有效性、及时性、一致性、准确性、唯一性。

    数据质量六大评价标准

    经过笔者多方求证,数据质量公认的六大评价标准为:完整性、有效性、及时性、一致性、准确性、唯一性。
    在这里插入图片描述

    展开全文
  • 4.电子病历分级评价数据质量评估具体要求-2021年修订.pdf
  • 而最近我们在所进行的数据治理项目的过程中就对数据质量标准和质量规则进行了梳理,数据的质量是从六个维度进行衡量,每个维度都从一个侧面来反映数据的品相。 根据检验复杂的程度由低到高,这六个维度分别是:完整...

    做过大数据的伙伴应该都清楚,数据的质量是直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题,还会影响着企业经营管理决策;错误的数据还不如没有数据,因为没有数据时,我们还会基于经验和基于常识的判断来做出不见得是错误的决策,而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。

    而最近我们在所进行的数据治理项目的过程中就对数据质量标准和质量规则进行了梳理,数据的质量是从六个维度进行衡量,每个维度都从一个侧面来反映数据的品相。
    根据检验复杂的程度由低到高,这六个维度分别是:完整性、及时性、唯一性、一致性、规范性和准确性。

    在这里插入图片描述
    那么,相应的每一个检核维度又可以参考以下的质量规则来对数据进行校核:
    完整性

    • 空值或者无效:检查字段是否为空;检查数值是否为0
    • 记录数异常:检查源表和目标表的记录条数是否一致

    及时性

    • 时间切片缺失:检查是否有缺失日期数据

    唯一性

    • 存在冗余:检查是否有重复数据(技术主键和业务主键)

    一致性

    • 映射异常:源表和目标表中直接映射的字段值相同
    • 无法关联:检查外键是否正确
    • 违反交叉验证规则:数值交叉校验规则和特定值交叉校验规则

    规范性

    • 违反码值规范:值域约束——代码表值域约束
    • 违反格式规范:日期格式是否正确;利用通用格式规则对字段进行检核,如身份证

    准确性

    • 值域异常:值域约束(指定有业务含义的数值值域和文本值域)
    • 时序波动异常:单一维度分布稳定性校验(维度/度量);环比数据相比正常

    最终,在根据实际的业务情况对数据质量规则进行梳理完成之后,就可以输出一个数据质量校核规则梳理的文件(可以是Excel格式)。

    展开全文
  • 图像质量评价数据集CSIQ
  • 标准的总体框架包含5方面要素,分别为:组织机构及人员,制度建设,系统保障和数据标准数据质量的监控、检查与评价,数据的报送、应用和存储。5方面要素下共有15项原则,每项原则下有若干具体标准,共61条标准
  • 2019年版 电子病历系统应用水平分级评价标准(含评价项目、评价基本要求、评分标准和数据质量评估项目表).pdf
  • 在采煤工作面布设了随采地震监测系统后,为了自动筛选实时不间断传输回地面的巨量地震数据,利用采煤机积极割煤时,各接收道收到的信号相关性强,反之则弱这一特点,提出了一种自动定量化评估随采地震数据质量的方法...
  • '附件3_《人工智能医疗器械质量要求和评价 第2部分:数据集通用要求》征求意见稿.pdf' '附件4_《人工智能医疗器械质量要求和评价 第2部分:数据集通用要求》编制说明.pdf' 宫颈癌标准诊断简介.docx 宫颈癌智能阅片...
  • 数据质量评价规则指标体系管理规范标准方案材料 本规范明确了数据质量描述的基本原理,详细说明了识别及报告数据质量信息的基本方法,规范了数据质量控制的基本原则与方法。数据清洗规则样例\数据集市建设、数据质量...
  • GB/T 36100-2018 机载激光雷达点云数据质量评价指标及计算方法,新国标,共享给大家。 里面详细记录的机载激光雷达点云评价的相关指标和计算方法,包括点密度、旁向重叠度、对质量检查有知道意义。 希望有更好的...
  • 结合电子病历系统功能应用水平分级评价方法与标准,解读标准中的细则和要求,并通过实际案例中对数据质量的治理和要点进行分析。十分不错的资源
  • 数据质量仪表板(DQD)项目的目标是设计和开发开放源代码工具,以公开和评估观测数据的质量。 介绍 该软件包将针对OMOP CDM实例(当前支持v5.3.1和v5.2.2)运行一系列数据质量检查。 它系统地运行检查,根据预先...
  • 但如何针对数据进行质量评价呢,可以参照2018年颁布的推荐性国家标准《GB/T 36344-2018 信息技术 数据质量评价指标》进行评价。 1.1. 数据质量评价指标 《GB/T 36344-2018 信息技术 数据质量评价指标》从如下6个方面...
  • 数据质量评估方法

    万次阅读 2019-01-17 16:48:46
    数据质量评估方法数据质量评估方法数据质量评估具体检测的内容数据完整性检测数据准确性检测数据有效性检测数据时效性检测数据一致性检测数据质量评估流程 数据质量评估方法 数据质量评估体系主要参考以下指标: ...
  • 通用数据质量评估模型及本体实现 通用元数据管理工具用户使用手册 银行监管统计数据质量管理良好标准 元数据管理(中国电信) 元数据及数据质量介绍 中信银行数据质量元数据管理平台用户操作手册 DAMA_DMBOK_数据...
  • 数据质量评估框架.pdf

    2019-07-03 11:15:39
    数据治理 资产盘点 监控质量标准数据治理 资产盘点 监控质量标准 数据治理 资产盘点 监控质量标准
  • 为指导行业数据安全治理能力建设,帮助企业发现数据安全治理能力不足,促进行业数据安全治理能力发展,需要推出数据安全治理能力评估标准及配套评估方法。本文件以数据全生命周期的安全治理能力建设为切入点,关注...
  • 数据质量评估的六个主要维度 DAMA版权所有, 翻译修订by大数据庞涛13811850730 摘要 本文描述了评估数据质量的六个方面,由英国DAMA工作组制作 定义评估数据质量的维度 背景 ‘数据质量维度’这个词已经被广泛的...
  • 世界土壤信息服务 (WoSIS) 提供经过质量评估标准化的土壤剖面数据,以支持大尺度水平的数字土壤测绘和环境应用。自 2016 年 7 月发布第一个“WoSIS 快照”以来,许多新的土壤数据与我们共享,在 ISRIC 数据存储库...
  • 到目前为止,国际上既没有形成系统化的数据质量评估标准,也没有建立完整的数据质量评估体系。通过对国际和国内数据质量相关内容的研究,分析了大型企业对数据质量的需求,提出了一个数据质量元模型框架结构,构建了...
  • 打理好企业数据资产,可以为企业带来准确及时的决策和有效的行动,为企业的业务分析预测和决策提供有力的支持,让企业在市场中用前瞻性的决策找到的新的盈利点和商业模式,利用数据资产来获取或增强市场竞争优势,给...
  • 数据质量评估维度及检测项 数据质量直接影响数据的价值,这里主要介绍一些业界主流的六大评估维度,分别是完整性,唯一性(独特性),一致性,准确性,有效性,时效性。以及我们在设计DQC的时候可以用什么检查规则...
  • 第一,监管对监管数据要求的变化体现在:数据的粒度不再限于指标类数据,需要账户级、交易级的明细数据,对字段级数据有日益明确的数据质量标准,一旦发现问题,要求快速响应及时整改。第二 ,内部精细化管理依托于...
  • 本文详细介绍了针对数据标签(事实类、模型类、预测类),通过标签质量量化的方式对每一维标签根据不同的指标进行质量评分,最终分别划分出优\中\差三类标签输出。
  • 提出了机载软件数据质量的定性评价方法,按照机载软件对于数据的需求及相关工业标准要求,总结了层次化的机载软件数据质量评价参数。根据不同安全关键等级的数据需求,提出了针对性的数据质量确认、验证方法及其实现...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 120,021
精华内容 48,008
关键字:

数据质量评估标准

友情链接: c_sources.rar