精华内容
下载资源
问答
  • 针对这个问题,提出一种基于SNMP的脏数据处理模型,摆脱了原有SNMP脏数据处理需要源目的节点对间流量大规模测量的限制.基于交替投影方法,对此模型提出求得L0范数最小的稀疏脏数据处理方法.该算法降低了网络测量开销和...
  • 数据分析 --- 如何处理脏数据

    千次阅读 2021-03-19 20:31:33
    一、脏数据 种类: 缺失数据:可以通过填充平均值、按比例填充随机数等方法处理,若有备份数据,直接将...二、脏数据的常规处理方法 结构化 需要对数据进行缩减,将其变为可测量、可分析的结构 如将用户评论中的好、

    一、脏数据

    种类:

    • 缺失数据:可以通过填充平均值、按比例填充随机数等方法处理,若有备份数据,直接将备份数据引入即可
    • 重复数据:去除重复部分即可
    • 错误数据:可以通过以下三种方式解决:

    1.通过对数据区间进行限定,排除明显异常的数据
    2.通过系统的内部逻辑结构查找不符合格式的数据
    3.通过建立匹配规则,匹配不统一的数据

    • 不可用数据:正确,但无法直接使用,可以通过文本函数将其进行拆分(如日期数据)

    二、脏数据的常规处理方法

    • 结构化

    需要对数据进行缩减,将其变为可测量、可分析的结构
    如将用户评论中的好、不好、中等,进行数量化,好:2,中:1,差:0

    • 规范化

    通过将数据规范化,将脏数据中合格的部分筛选出来,如:将日期数据2020-01-01规范化,可以筛选出年份、月份、日期

    • 可关联

    数据之间应该有关联性,通过相互关联的数据可以将脏数据定位
    如:销售数据中出现了一笔非常大的交易额,若想查看它是否正常,
    应当把交易额与客户姓名、购买日期、订单号、单价等相关联,
    当查找这个异常的脏数据时就可以十分清楚的定位到相关信息,看是否正常。

    三、数据处理要遵循的原则

    • 约束输入
      让用户输入数据时,按照一定的规范格式进行输入,如限定必填项、提供下拉列表、格式错误提醒等,表单的设计要细致化

    • 规范输出
      要让同一个指标在每张报表的表述相同,如地名北京,不能在一张表中是北京,另一张表中就是beijing
      要对各种数据在数据库中备份,以确定原始数据的格式是怎样的,若要变动时,可以依据备份数据进行变动
      对于备份数据的输出可以通过表格、图形进行展示,以便查阅。

    展开全文
  • 脏数据处理例子

    万次阅读 2018-08-14 15:38:40
    这是个真实的案例,对于数据量很少的单据可以随时丢弃脏数据,但是如果是软件管理系统里含有大量数据的表单,直接丢弃就不好了。见下图 货代海运信息录入资料图 举例说明,我们在给一个供应链客户做的一张工作单...

    故事起因:多人同时操作一个工作单据,保存时间有先后,后保存的数据覆盖了前面保存的数据。网上找到文章都是讲并发处理的原理,没人提到数据丢失后的处理。

    这是个真实的案例,对于数据量很少的单据可以随时丢弃脏数据,但是如果是软件管理系统里含有大量数据的表单,直接丢弃就不好了。见下图

    货代海运信息录入资料图

    举例说明,我们在给一个供应链客户做的一张工作单,里面涉及的服务同时有两种(海运和陆运),其中:

     1. 安排海运工作的文员A记录海运的信息;

     2. 安排陆运工作的文员B记录陆运的信息;

    但是非常不幸的是,两人几乎在同一时间段打开了同一张工作单据,分别录入自己负责的信息,然后保存(A在前,B在后),之后A在查看单据的时候就叫起来了:天啦,我辛辛苦苦的数据不见了!

    聪明的你一定想到了,文员B在打开工作单输入“陆运信息时,“海运”信息全是空的,最后保存时把A的数据给覆盖了(导致A的“海运”数据不见了),原理图如下:

     

    A和B打开单据时,数据是一样的

    你也许会嗤之以鼻:切,不就是并发没处理好,导致数据覆盖么。这点小问题,秒秒钟搞定的事。

    这种典型的数据并发操作问题,技术上的解决方案也是一搜一大把,归结为两种:

    1. 悲观锁:任何一个人打开编辑此单据,标记为锁住,其它人等不得打开编辑,直至它被解锁。

    2. 乐观锁:任何人都可以打开单据,可以编辑,保存时通过版本号校验,不通过者视为脏数据,提示数据已更新,不能保存。

    鉴于我们的项目是基于WEB的,第一种直接否掉了,第二种实现起来,代码也不难。

    我把以上的技术一分析,给她们回复:“我们有了解决方案,谁先保存谁赢,后面才保存的同学,系统说你来晚了,不好意思,你的数据要重新录咯”。So easy,小问题嘛,很容易解决滴。

    -------------------- 剧情反转的分割线------------------ 

    可没料到,文员A跳起来对我们说:“ 你们的系统就是狗屎!我花了半个小时辛辛苦苦输入的几十个数据,因为我保存晚了,说没了就没了,你TM在逗我?!”。

    咦?我感觉到被妥妥的打脸了,想想人家说得很有道理。数据录入多的人,需要的时间也更长,保存的时间当然会靠后,按我的处理方法,吃亏的是最辛苦的人。原理图如下:

    好吧,我道歉,我再想想办法。

    And, 作为一个伸手党,我开始在百度上找相关的处理方法,尝试了无数关键字去查找,讲数据库并发冲突原理的有一堆文章,可是就是没人考虑过数据丢失的人的感受,没有人讲如何处理脏数据,没有人!

    你们这些宅男IT狗(包括我啊),你们不知道做运输公司、货代、报关企业里接单录单的妹子是多么需要有人多为她们想想,如何才能高效录入单据和节约时间的么?

    在和组里小伙伴经过激烈的讨论后,最终采取的方案是:

    把用户输入的临时数据在刷新前先保存起来,刷新后在页面提示其可以恢复之前的未保存的数据,有冲突的数据做提示。

    技术实现

    1. 如果后台提示是版本号不一致的问题,将用户所填的数据保存到浏览器 localstorage;

    2. 刷新页面后,判断当前单据是否有缓存数据,如果有,则提示“你有未保存数据,是否恢复?”;

    3. 选择“是”, 恢复数据到页面中,并做冲突提示,从localstorage删除数据缓存;

    4. 选择“否”,不恢复数据,从localstorage删除数据缓存;

    根据此做出方案,录单文员那边表示这个功能棒棒哒。哟吼,问题就此解决咯。文员和IT狗又可以愉快的玩耍了,么么哒!

    结论

    即将丢失的脏数据也许花费了用户大量的时间去录入,我觉得这个脏数据缓存处理非常重要和必要,看情况多想想就会提供多些价值。IT开发人者要么是觉得过于简单没在意,要么是开发者没有进一步想这个问题,这是非常不好的。我认为每个人的时间和效率都是无比珍贵的,希望同学们不要浪费你的用户的时间。

    既然如何处理这个脏数据问题在网上没人提到(或是我没找到),那么我就把它记录下来,以助后人。


    参考链接:https://www.jianshu.com/p/9eaaff7ac935
     

    展开全文
  • 数据治理——如何处理脏数据

    千次阅读 2018-12-21 15:31:31
    一、“脏数据”分类以及处理方法  数据缺失:缺一些记录,或者一条记录里缺一些值(空值),或者两者都缺。原因可能有很多种,系统导致的或人为导致的可能性都存在。如果有空值,为了不影响分析的准确性,要么不将...

           随着企业越来越懂得如何使用大数据,大数据不再只是任何人都能进入的沙箱,它是真正的工作负荷,需要围绕它进行治理控制。

    一、“脏数据”分类以及处理方法

           数据缺失:缺一些记录,或者一条记录里缺一些值(空值),或者两者都缺。原因可能有很多种,系统导致的或人为导致的可能性都存在。如果有空值,为了不影响分析的准确性,要么不将空值纳入分析范围,要么进行补值。前者会减少分析的样本量,后者需要根据分析的计算逻辑,选择用平均数、零、或者等比例随机数等来填补。如果是缺一些记录,若业务系统中还有这些记录,则通过系统再次导入,若业务系统也没有这些记录了,只能手工补录或者放弃。

           数据重复:相同的记录出现多条,这种情况相对好处理,去掉重复记录即可。但是怕就怕不完全重复,比如两条会员记录,其余值都一样,就是住址不一样,这就麻烦了,有时间属性的还能判断以新值为准,没有时间属性的就无从下手了,只能人工判断处理。

           数据错误:数据没有严格按照规范记录。比如异常值,价格区间明明是100以内,偏偏有价格=200的记录;比如格式错误,日期格式录成了字符串;比如数据不统一,有的记录叫北京,有的叫BJ,有的叫beijing。对于异常值,可以通过区间限定来发现并排除;对于格式错误,需要从系统级别找原因;对于数据不统一,系统无能为力,因为它并不是真正的“错误”,系统并不知道BJ和beijing是同一事物,只能人工干预,做一张清洗规则表,给出匹配关系,第一列是原始值,第二列是清洗值,用规则表去关联原始表,用清洗值做分析,再好一些的通过近似值算法自动发现可能不统一的数据。

          数据不可用:数据正确,但不可用。比如地址写成“北京海淀中关村”,想分析“区”级别的区域时还要把“海淀”拆出来才能用。这种情况最好从源头解决,即数据治理。事后补救只能通过关键词匹配,且不一定能全部解决。

    二、BI对数据的要求

           结构化:数据必须是结构化的。这可能是句废话,如果数据是大段的文本,比如微博,那就不能用BI做量化的分析,而是用分词技术做语义的分析,比如常说的舆情分析。语义分析不像BI的量化分析一样百分百计算准确,而是有概率的,人的语言千变万化,人自己都不能保证完全理解到位,系统就更不可能了,只能尽可能提高准确率。

           规范性:数据足够规范。这么说比较含糊,简单来讲就是解决了上述各类脏数据的问题,把所有脏数据洗成“干净数据”。

           可关联:如果想将两个维度/指标做关联分析,这两个维度/指标必须能关联上,要么在同一张表里,要么在两张有可关联字段的表里。

    三、数据治理的原则

          简单来说,约束输入,规范输出。

    约束输入:你永远想不到用户会输入哪些值,所以别给用户太多发挥的空间,做好约束工作。该用户填写的,系统必须设置为“必填”;值有固定选项的,一定用列表让用户选,别再手工输入;系统在录入提交时就做好检查,格式不对,值不在正常范围内,直接报错的情况必须让用户重新输入;设计录入表单时尽量原子化字段,比如上面说的地址,设计时就分成国家、省、市、区、详细地址等多个字段,避免事后拆分;录入数据保存的数据表也尽量统一,不要产生有大量相同数据的表,造成数据重复隐患。

    规范输出:老板看不同人做的报表,同一个“收益率”指标,每张报表的值都不一样,老板的内心一定是崩溃的,不知该骂谁,只能全骂。排除计算错误的情况,一般都是统计口径不一致造成的。所以要统一语义,做一个公司级别的语义字典(不是数据库的数据字典)。所有给人看的报告上的指标名称,都要在语义字典中备案,语义字典明确定义其统计口径和含义。不同统计口径的指标必须用不同的名词。如果发现一个词已经在语义字典中有了,就必须走流程申请注册一个新词到语义字典。

     

     

    参考文献:

    http://www.cyzone.cn/article/142251.html

    展开全文
  • 脏数据清洗实践方案

    千次阅读 2020-11-22 12:44:26
    无论对于数据仓库/数据湖/数据中台,都会存在大量的脏数据,当我们在使用一张数据表时,发现其中出现大量的重复数据,活着其中的字段信息对应错误,原本ID:101 对应的name时YY,但实际存储的是XX,这种脏数据的...
    • 一、概述

      • 无论对于数据仓库/数据湖/数据中台,都会存在大量的脏数据,当我们在使用一张数据表时,发现其中出现大量的重复数据,活着其中的字段信息对应错误,原本ID:101 对应的name时YY,但实际存储的是XX,这种脏数据的场景就不举太多例子了肯定很常见。那么我来总结一个解决方案。

    • 二、解决方案

      • 现在有一张表t_1(按天分区全量),我们某一天发现t_1出现了概述中的提到的脏数据情况,那么我们大多数第一反应就是去找t_1_上游表,反馈给这个表的负责人(思路没问题)。但是当出现t_1_上游表不归属你负责,或者没办法修改的时候怎么办呢?还得保持业务数据继续?

        • 第一步、我们要做的就是及时止损,首先排查是不是可以在t_1中进行简单清理,比如说清洗或者去重(剩余的业务数据问题,不是当前视角侧不能修改的可以先放在,稍后会提到);

        • 第二步、我们要保留t_1表,并且创建t_1_temp表(与t_1结构一样,暂时在t_1被修复前使用t_1_temp);

        • 第三步、我们统一修改t_1下游表,为依赖t_1_temp(直在t_1被修复好为止);

        • 第四步、我们生成t_1_badcase表(我们用此记录还剩多少条问题数据待解决)与t_1_待修正n(待修正表直接提供给上游表负责人或者相关业务的负责人,请求帮忙修复中间的错误数据),

    展开全文
  • 强烈推荐:大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!作者:王知无By 暴走大数据场景描述:Flink在处理实时数据时,假...
  • sql脏数据

    2019-07-29 10:29:43
    1.什么是脏数据 源系统中的数据不在给定的范围内或对于实际业务毫无意义,或是数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑。 数据库中常见的并发操作所带来了一致性问题包括:丢失的修改,...
  • datax因为脏数据降速问题解决

    千次阅读 2020-11-30 16:47:06
    一言以蔽之:datax可能会因为脏数据太多导致频繁回滚操作,进一步让jvm内存触发gc,让速度降低到0,可以在sql语句中规避脏数据的写入来规避 1.问题 datax使用类型转换触发jvm gc然后降速至0失去响应。 ->脏数据为...
  • datax修复\N脏数据

    千次阅读 2020-09-18 21:04:53
    下载datax源码 修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class 加上一个判断,因为在hdfs中,null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中 ...
  • 脏数据清洗

    千次阅读 2016-07-20 15:11:08
    脏数据产生原因 脏数据影响范围 脏数据分析处理
  • 数据处理(一):数据质量分析

    千次阅读 2019-04-09 10:24:02
    数据处理(一):数据质量分析 导入数据 空值分析 异常值分析 数据特征分析 数据质量分析是数据挖掘中数据准备过程中的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础。数据质量分析...
  • 如何清洗第一行的脏数据?每个用户有多少个订单? (分组);每个用户一个订单平均是多少商品?一个订单有多少个商品? 一个用户有多少商品?进行用户对应的商品数量 sum求和; 一个用户平均一个订单有多少个商品? 每...
  • 【 什么是脏数据,缓存中是否可能产生脏数据,如果出现脏数据该怎么处理?】 大家好,我是IT修真院上海分院第10期的学员许东杰,一枚正直纯洁善良的java程序员,今天给大家分享一下,修真院官网java(职业...
  • DataX读Oracle到ODPS脏数据少列问题

    千次阅读 2018-08-29 20:40:42
    同事用DataX同步数据到ODPS(MaxCompute)的时候,出现了脏数据。 1,找到该条脏数据的主键,值得一提的是,有些时候配置的JSON,主键的顺序在比较靠后的位置,所以需要把主键放在前面。这样报错日志,才会把主键...
  • 脏数据的处理是数据挖掘过程中,最重要的数据处理过程,直接影响模型结果。
  • 在Oracle数据库中消除脏数据

    千次阅读 2014-09-23 14:04:17
    前几天做了一个网站,为了测试在数据库中造了几个数据,但是怎么测试怎么不行,报错
  • 如何处理已产生的脏数据?有那么多预防脏数据产生的方法,但相信脏数据的产生还是在所难免的。脏数据一旦产生,导致的系统行为也是不可预测的,可能无足轻重,也可能暴露非常严重的缺陷。该如何应对产生的脏数据呢?...
  • Pandas处理脏数据”.ipynb
  • 解决mybatis二级缓存读问题

    千次阅读 2019-03-08 19:43:40
    解决mybatis二级缓存读问题 mybatis的二级缓存很鸡肋,很多人都放弃掉,但是放弃就会有新的麻烦 1.如果用springCache来玩,你挨个挨个的去标注解?吃力吃苦受累还不讨好,因为注解分散在无数个类里的无数个方法...
  • kettle进行数据的简单处理

    千次阅读 2017-07-04 15:46:04
    kettle 数据处理
  • 在sqlserver中读 with(nolock)的使用

    千次阅读 2019-09-18 15:35:10
    脏数据所指的就是未提交的数据。也就是说,一个事务正在对一条记录做修改,在这个事务完成并提交之前,这条数据是处于待定状态的(可能提交也可能回滚),这时,第二个事务来读取这条没有提交的数据,并据此做进一步...
  • 数据处理流程

    万次阅读 多人点赞 2019-02-21 16:53:13
    数据处理流程 1. 数据处理流程 网站流量日志数据分析是一个纯粹的数据分析项目,其整体流程基本上就是依据数据的处理流程进行。有以下几个大的步骤: 1.1 数据采集     &...
  • Spark的RDD的包装(称为SafeRDD),使捕获和分析在处理过程中由于数据集中的无效/脏记录而引发的异常变得容易,这是懒惰的人处理脏数据现实的方式。
  • java脏数据怎样处理- -是修改数据的隔离级别吗。。。。。。。。
  • redis分布式事务脏数据问题

    千次阅读 2019-10-20 15:54:21
    1、通过redisson处理redis分布式事务锁 redis分布式事务存在的问题? 当一个redis master宕机了,在进行主从复制的时候又来了一个事务,这时候新的master又好了,这种情况就出现了两把分布式事务锁。 处理...
  • ,指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就...
  • 在使用多线程进行大量数据操作的时候,采用设置mysql唯一标识的方式来解决脏数据,多线程的目的是为了效率,如果加锁之后就等于失去了使用多线程的意义 第一步:CREATE UNIQUE INDEX index_t_keywords_library_...
  • 脏数据-异常值处理

    千次阅读 2018-07-25 11:40:00
    脏数据-缺失值处理 公众号后台回复关键字即可学习 回复  爬虫  爬虫三大案例实战 回复  Python  1小时破冰入门 回复  数据挖掘  R语言入门及数据挖掘 回复  人工智能  三个月入门人工智能 回复  数据分析师...
  • Excel数据清洗之5种重复值处理方式

    千次阅读 2019-06-09 20:20:43
    1、菜单删除法 使用菜单栏中的“删除重复值”功能,在弹出的选项框中勾选要删除的重复字段,如果只勾选“号码”...这里介绍了5种处理重复值的方法,各有优缺点,我们只有掌握了它们的优缺点,才能更好地使用它们。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 112,049
精华内容 44,819
关键字:

脏数据处理