精华内容
下载资源
问答
  • 2022-03-19 10:39:09

    那些年遇到的杂七杂八时间数据:

    数据问题
    数据类型处理后格式
    HH: MM(:后面有空格)HH:MM
    HH.MMHH:MM
    HHMMHH:MM
    HH:MMHH:MM
    808:00
    606:00
    2121:00
    2222:00

    def replaceTime3(time:String):String={
          var ansTime = time
          if(time.contains(":"))
          {
            val time1=new SimpleDateFormat("HH:mm")
            val time2=new SimpleDateFormat("HH:mm")
            val t: Date =time1.parse(time)
            ansTime=time2.format(t)
          }
          else if(time.contains("."))
          {
            val time1=new SimpleDateFormat("HH.mm")
            val time2=new SimpleDateFormat("HH:mm")
            val t: Date =time1.parse(time)
            ansTime=time2.format(t)
          }
          else if(!time.contains(":")&&(!time.equals("8"))&&(!time.equals("21"))&&(!time.equals("6"))&&(!time.equals("22")))
          {
            val time1=new SimpleDateFormat("HHmm")
            val time2=new SimpleDateFormat("HH:mm")
            val t: Date =time1.parse(time)
            ansTime=time2.format(t)
          }
          if(time.equals("8"))
            ansTime="08:00"
          if(time.equals("6"))
            ansTime="06:00"
          if(time.equals("21"))
            ansTime="21:00"
          if(time.equals("22"))
            ansTime="22:00"
          ansTime
        }

    更多相关内容
  • 无论是做机器学习还是做数据分析,都离不开获取数据后的第一步-数据清洗工作。据统计,数据清洗工作占据整个工作时间百分之50左右,有的甚至能达到百分之70。下面我将介绍我进行数据清洗得思路流程。 数据清洗整体...
  • 关于数据清洗的步骤及方法的理解

    万次阅读 多人点赞 2018-12-05 00:01:12
    数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的...

    数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的书籍也不少。

    (美亚搜data cleaning的结果,可以看到这书还挺贵)

    我将在这篇文章中,尝试非常浅层次的梳理一下数据清洗过程,供各位参考。

    照例,先上图:


    预处理阶段

    预处理阶段主要做两件事情:

    一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。

    二是看数据。这里包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,使用人工查看方式,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。

    第一步:缺失值清洗

    缺失值是最常见的数据问题,处理缺失值也有很多方法,我建议按照以下四个步骤进行:

    1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略,可用下图表示:

    2、去除不需要的字段:这一步很简单,直接删掉即可……但强烈建议清洗每做一步都备份一下,或者在小规模数据上试验成功再处理全量数据,不然删错了会追悔莫及(多说一句,写SQL的时候delete一定要配where!)。

    3、填充缺失内容:某些缺失值可以进行填充,方法有以下三种:

    • 以业务知识或经验推测填充缺失值
    • 以同一指标的计算结果(均值、中位数、众数等)填充缺失值
    • 以不同指标的计算结果填充缺失值


    前两种方法比较好理解。关于第三种方法,举个最简单的例子:年龄字段缺失,但是有屏蔽后六位的身份证号,so……

    4、重新取数:如果某些指标非常重要又缺失率高,那就需要和取数人员或业务人员了解,是否有其他渠道可以取到相关数据。

     

    以上,简单的梳理了缺失值清洗的步骤,但其中有一些内容远比我说的复杂,比如填充缺失值。很多讲统计方法或统计工具的书籍会提到相关方法,有兴趣的各位可以自行深入了解。

    第二步:格式内容清洗

    如果数据是由系统日志而来,那么通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:

    1、时间、日期、数值、全半角等显示格式不一致

    这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。

    2、内容中有不该存在的字符

    某些内容可能只包括一部分字符,比如身份证号是数字+字母,中国人姓名是汉字(赵C这种情况还是少数)。最典型的就是头、尾、中间的空格,也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。

    3、内容与该字段应有内容不符

    姓名写了性别,身份证号写了手机号等等,均属这种问题。 但该问题特殊性在于:并不能简单的以删除来处理,因为成因有可能是人工填写错误,也有可能是前端没有校验,还有可能是导入数据时部分或全部存在列没有对齐的问题,因此要详细识别问题类型。

    格式内容问题是比较细节的问题,但很多分析失误都是栽在这个坑上,比如跨表关联或VLOOKUP失败(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人)、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了,把日期和年龄混了,so……)。因此,请各位务必注意这部分清洗工作,尤其是在处理的数据是人工收集而来,或者你确定产品前端校验设计不太好的时候……

    第三步:逻辑错误清洗

    这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据,防止分析结果走偏。主要包含以下几个步骤:

    1、去重

    有的分析师喜欢把去重放在第一步,但我强烈建议把去重放在格式内容清洗之后,原因已经说过了(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人,去重失败)。而且,并不是所有的重复都能这么简单的去掉……

    我曾经做过电话销售相关的数据分析,发现销售们为了抢单简直无所不用其极……举例,一家公司叫做“ABC管家有限公司“,在销售A手里,然后销售B为了抢这个客户,在系统里录入一个”ABC官家有限公司“。你看,不仔细看你都看不出两者的区别,而且就算看出来了,你能保证没有”ABC官家有限公司“这种东西的存在么……这种时候,要么去抱RD大腿要求人家给你写模糊匹配算法,要么肉眼看吧。

    上边这个还不是最狠的,请看下图:

    你用的系统里很有可能两条路都叫八里庄路,敢直接去重不?(附送去重小tips:两个八里庄路的门牌号范围不一样)

    当然,如果数据不是人工录入的,那么简单去重即可。

    2、去除不合理值

    一句话就能说清楚:有人填表时候瞎填,年龄200岁,年收入100000万(估计是没看见”万“字),这种的就要么删掉,要么按缺失值处理。这种值如何发现?提示:可用但不限于箱形图(Box-plot).

    3、修正矛盾内容

    有些字段是可以互相验证的,举例:身份证号是1101031980XXXXXXXX,然后年龄填18岁,我们虽然理解人家永远18岁的想法,但得知真实年龄可以给用户提供更好的服务啊(又瞎扯……)。在这种时候,需要根据字段的数据来源,来判定哪个字段提供的信息更为可靠,去除或重构不可靠的字段。

    逻辑错误除了以上列举的情况,还有很多未列举的情况,在实际操作中要酌情处理。另外,这一步骤在之后的数据分析建模过程中有可能重复,因为即使问题很简单,也并非所有问题都能够一次找出,我们能做的是使用工具和方法,尽量减少问题出现的可能性,使分析过程更为高效。

     

    第四步:非需求数据清洗

    这一步说起来非常简单:把不要的字段删了。

    但实际操作起来,有很多问题,例如:

    • 把看上去不需要但实际上对业务很重要的字段删了;
    • 某个字段觉得有用,但又没想好怎么用,不知道是否该删;
    • 一时看走眼,删错字段了。


    前两种情况我给的建议是:如果数据量没有大到不删字段就没办法处理的程度,那么能不删的字段尽量不删。第三种情况,请勤备份数据……

    第五步:关联性验证

    如果你的数据有多个来源,那么有必要进行关联性验证。例如,你有汽车的线下购买信息,也有电话客服问卷信息,两者通过姓名和手机号关联,那么要看一下,同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆,如果不是(别笑,业务流程设计不好是有可能出现这种问题的!),那么需要调整或去除数据。

    严格意义上来说,这已经脱离数据清洗的范畴了,而且关联数据变动在数据库模型中就应该涉及。但我还是希望提醒大家,多个来源的数据整合是非常复杂的工作,一定要注意数据之间的关联性,尽量在分析过程中不要出现数据之间互相矛盾,而你却毫无察觉的情况。

    以上,就是我对数据清洗过程的一个简单梳理。由于能力所限,难免挂一漏万,请各位不吝赐教,感谢。

    展开全文
  • python数据清洗

    2018-07-22 19:22:13
    本资源部分参考《干净的数据 ——数据清洗入门与实践》,但更多的都是个人撰写。
  • 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件...

    数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。

    数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。

    主要类型

    残缺数据

    这一类数据主要是一些应该有的信息缺失,如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库

    错误数据

    这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不可见字符的问题,只能通过写SQL语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。

    重复数据

    对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。

    数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。

    以上是百度百科的答案,以下才是我的理解。

    总之:

    数据清洗ETL是指对过来的数据进行处理成干净的数据。

    主要的步骤有以下几个:

    首先是需要接收数据

    然后还有可能涉及到数据格式的转换,logstash是将结构化的数据转换成json格式的数据的一种方式

    另外如果是进行离线数据处理的话还需要存储过来的脏数据,脏数据一般是存储在HDFS上的。离线一般使用MapReduce进行数据的清洗工作

    如果是流式处理框架的话需要接收数据,去进行处理的。我们一般在流式处理框架中是使用kafka进行数据的接收,然后用sparkstreaming充当消费者进行数据的处理的。同时在这个sparkstreaming中进行数据清洗工作。

    数据清洗之后就是干净的数据了,需要进行存储,由于数据的量比较大,因此又需要进行存储,一般会选择hdfs进行数据的存储处理。

    之后数据就算是入库了,需要进行分析或者进行可视化或者进行AI模型训练等。

    这就是数据处理过程的大概流程。

    其中数据清洗阶段需要做的工作就是将这些脏数据进行处理,弄成干净的数据。具体怎么做呢?那么何为脏数据呢?

    脏数据包括:

    1、重复数据

    2、残缺不全的数据,也就是数据中有一部分段或者该字段的一部分丢失了

    3、错误数据,就是某一些字段或者一些字段对应的值明显是错误的。

    那么针对于这些值应该怎么处理呢?

    不同的数据,用途不同,处理的方式也是不一样的。一般的处理方式式删除掉,过滤掉,就是下一次存入数据库的时候不进行存车这些数据;还有就是将残缺的数据进行补齐,当然在补齐的时候是需要有一定的规则的,常见的方式式进行对这个值及其前后值去请均值;

    如果是重复数据的话,那么使用distinct进行去重;

    如果是不太全的数据,后期还需要进行做机器学习模型训练,那么就需要非常大量的数据,而当数据量又不太大的时候需要进行处理加工的,常见的方式就是进行前后值取平均值、和它前边的数据保持一致,和后边的数据进项保持一致等。

    如果是错误数据是需要进行纠正错误的,比如将错误的值进行纠正等。

    如果数据只是单纯的进行可视化,那么就是不让数据在前端展示就好了,这个时候错误数据处理的方式就有以下几种:

    一个是在接口去库里进行查询的时候,做个判断,如果是不符合要求的数据,那么就不要查询这个字段的数据,这个是最后的最笨的办法,其实还有比较聪明的办法,就是在数据第二次入库之前,进行etl数据清洗,将脏数据处理就好了。这个就是ETL做的工作了。

    展开全文
  • 这是一份python数据清洗思维导图,参加数学建模竞赛时朋友共享给我的,共享给大家,一起学习
  • kettle数据清洗

    2018-09-18 16:48:30
    利用kettle工具进行数据清洗,按照条件去除不需要的内容
  • 数据清洗相关论文

    2019-03-12 19:24:19
    大数据的数据清洗方法研究_谭晖 电网运行数据清洗规则研究_周毅博 基于N_Gram算法的数据清洗技术_马平全 基于动态可配置规则的数据清洗方法_朱会娟 数据清洗下的改进半监督聚类入侵检测算法研究_周志平 基于关联数据...
  • 数据清洗指南.pdf

    2020-05-22 11:01:10
    讲述了人工智能领域的数据清洗的各种指导和方法:数据缺失、混乱、重复怎么办?最全数据清洗指南!要获得优秀的模型,⾸先需要清洗数据。这是⼀篇如何在 Python 中执⾏数据清洗的分步指南。
  • 数据挖掘过程中数据清洗的研究.pdf
  • mapreduce项目 数据清洗

    2018-10-10 17:00:19
    mapreduce基本数据读取,通俗易懂。 此项目情景为,遗传关系族谱。 (爷爷 、父母 、孩子) 经典案例
  • MapReduce--->实现简单的数据清洗需要的数据文件
  • 数据清洗资源

    2018-03-25 16:32:34
    文件为数据质量和数据清洗。文件为数据质量和数据清洗。文件为数据质量和数据清洗。文件为数据质量和数据清洗。文件为数据质量和数据清洗
  • 数据清洗讲义

    2017-10-13 14:29:37
    数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗 数据清洗
  • 开源数据清洗工具,github,官网由于墙的原因,无法下载,共享到CSDN,方便大家下载。
  • 这篇文章主要分享了一个Pandas数据清洗题目,针对该问题给出了具体的解析和代码演示,一共两个方法

    一、写在前面

    大家好,我是吒吒。前几天在Python技术交流群有个小伙伴问了一道Python清洗数据的问题,这里拿出来给大家分享下,一起学习下。

     

    如何才能把pandas serise里乱七八糟的字符清理干净呢?

    二、解决过程

    这里给出了一个示例的代码,使用了applylambda和正则表达式,一气呵成,只需要稍微修改下,匹配自己的数据就可以了。

    df['主营业务']=df['主营业务'].astype('str').apply(lambda x: re.sub('[0-9+,,.。…、“”^_?::’‘''""()();;【】!!*?]+', '', x))
    

     

     

    不过这个是通用的,也会把数字干掉,如果想适配自己的数据,还需要稍微修改下。

     

    这样问题就完美解决了,另外的话,遇到特殊字符什么的,都可以优先使用re.sub或者replace()函数,事半功倍。

    三、写在最后

    这篇文章主要分享了一个Pandas数据清洗题目,针对该问题给出了具体的解析和代码演示,一共两个方法,顺利解决了问题。相信肯定还有其他方法的,欢迎大家积极尝试,如果有好方法,记得也分享给我噢,大家一起学习交流!我这里有整理一套新手学习Python的路线及资料,可以扫名片找我的小助手领取

    展开全文
  • 数据清洗》期末考试模拟题

    千次阅读 2021-11-21 10:06:47
    数据清洗》期末考试模拟题,选择,判断,填空,简答。
  • 这是由中国工信出版社集团、人民邮电出版社联合出版的由美国的MeGan Squire著作任政委翻译的《干净的数据 数据清洗入门与实践》,这是关于数据清洗的知名书籍,个人也是怀着敬仰之心细读全书,获益匪浅,分享给大家...
  • wider_face数据清洗

    2018-07-30 15:25:42
    用来将wider_face的数据集的标签清洗,防止出现段错误,训练中断的问题
  • 本书将帮助您重塑数据清洗的观念,让数据清洗不再是一件苦差事,而是高质量、有品位、时尚和高效的标志
  • 数据清洗】总结

    千次阅读 2019-08-24 00:35:10
    写在前面(201908): 数据质量问题往往会影响到工作效果,我们学习现代工具后,很容易就建立起一个初步的模型。但是真正的工作是如何优化它,...这里先参考相关材料,记录下常规的数据清洗方法,并持续更新。 内容...
  • 博文中python数据清洗所用到的源数据,包括在线杂货店订单数据、摩托车的销售情况数据、关于淘宝母婴产品的用户消费行为的数据集
  • python数据清洗Pandas指导手册,有详细的方法使用事例,可以通过IPython Notebook打开
  • 总结:数据清洗的一些总结

    千次阅读 2017-08-25 14:31:54
    前言 在整理项目的时候发现清洗过程是一个非常细节的过程,几乎贯穿始终,也是后续步骤特征提取等的...五个步骤教你数据清洗数据清洗基本概念标准化矩阵 协方差矩阵 相关系数矩阵数据挖掘数据预处理之:异常值检测数据
  • 爬取到数据到数据库之后,怎么进行数据清洗和进行去重上传的 =============================解答一下============================= 数据清洗: 数据清洗概念就是去从,检查数据一致性,处理无效值和缺失值等)删除...
  • Haw数据清洗和抓取工具

    千次下载 热门讨论 2016-07-28 08:53:41
    其功能最适合的领域,是爬虫和数据清洗。 Hawk的含义为“鹰”,能够高效,准确地捕杀猎物。 HAWK使用C# 编写,其前端界面使用WPF开发,支持插件扩展。通过图形化操作,能够快速建立解决方案。 GitHub地址:...
  • 评论情感分类训练数据集,已完成清洗标注,分成四类,csv格式文档,二十万条数据清洗而成: 0:喜悦 1:愤怒 2:厌恶 3:低落
  • 数据清洗

    千次阅读 2020-08-18 16:32:04
    我如何清洗数据 我怎样发掘数据的根本规律 第二讲 数据管理前的必备工作 所需数据的大概样貌(教育回报) 1.时间:跨期,尽可能新 2.地点:有全国代表性 3.群体:至少包含劳动年龄人口 4.变量:劳动收入、教育程度、...
  • 1.1数据清洗的背景 1.1.1数据质量概述 数据质量是指在业务环境下,数据符合数据消费者的使用目的,能满足业务场景具体需求的程度。在不同的业务场景中,数据消费者对数据质量有各自不同的观点。从适用性角度来说,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 113,424
精华内容 45,369
关键字:

关于数据清洗