精华内容
下载资源
问答
  • 关于数据清洗的步骤及方法的理解

    万次阅读 多人点赞 2018-12-05 00:01:12
    数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的...

    数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的书籍也不少。

    (美亚搜data cleaning的结果,可以看到这书还挺贵)

    我将在这篇文章中,尝试非常浅层次的梳理一下数据清洗过程,供各位参考。

    照例,先上图:


    预处理阶段

    预处理阶段主要做两件事情:

    一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。

    二是看数据。这里包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,使用人工查看方式,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。

    第一步:缺失值清洗

    缺失值是最常见的数据问题,处理缺失值也有很多方法,我建议按照以下四个步骤进行:

    1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略,可用下图表示:

    2、去除不需要的字段:这一步很简单,直接删掉即可……但强烈建议清洗每做一步都备份一下,或者在小规模数据上试验成功再处理全量数据,不然删错了会追悔莫及(多说一句,写SQL的时候delete一定要配where!)。

    3、填充缺失内容:某些缺失值可以进行填充,方法有以下三种:

    • 以业务知识或经验推测填充缺失值
    • 以同一指标的计算结果(均值、中位数、众数等)填充缺失值
    • 以不同指标的计算结果填充缺失值


    前两种方法比较好理解。关于第三种方法,举个最简单的例子:年龄字段缺失,但是有屏蔽后六位的身份证号,so……

    4、重新取数:如果某些指标非常重要又缺失率高,那就需要和取数人员或业务人员了解,是否有其他渠道可以取到相关数据。

     

    以上,简单的梳理了缺失值清洗的步骤,但其中有一些内容远比我说的复杂,比如填充缺失值。很多讲统计方法或统计工具的书籍会提到相关方法,有兴趣的各位可以自行深入了解。

    第二步:格式内容清洗

    如果数据是由系统日志而来,那么通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:

    1、时间、日期、数值、全半角等显示格式不一致

    这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。

    2、内容中有不该存在的字符

    某些内容可能只包括一部分字符,比如身份证号是数字+字母,中国人姓名是汉字(赵C这种情况还是少数)。最典型的就是头、尾、中间的空格,也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。

    3、内容与该字段应有内容不符

    姓名写了性别,身份证号写了手机号等等,均属这种问题。 但该问题特殊性在于:并不能简单的以删除来处理,因为成因有可能是人工填写错误,也有可能是前端没有校验,还有可能是导入数据时部分或全部存在列没有对齐的问题,因此要详细识别问题类型。

    格式内容问题是比较细节的问题,但很多分析失误都是栽在这个坑上,比如跨表关联或VLOOKUP失败(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人)、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了,把日期和年龄混了,so……)。因此,请各位务必注意这部分清洗工作,尤其是在处理的数据是人工收集而来,或者你确定产品前端校验设计不太好的时候……

    第三步:逻辑错误清洗

    这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据,防止分析结果走偏。主要包含以下几个步骤:

    1、去重

    有的分析师喜欢把去重放在第一步,但我强烈建议把去重放在格式内容清洗之后,原因已经说过了(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人,去重失败)。而且,并不是所有的重复都能这么简单的去掉……

    我曾经做过电话销售相关的数据分析,发现销售们为了抢单简直无所不用其极……举例,一家公司叫做“ABC管家有限公司“,在销售A手里,然后销售B为了抢这个客户,在系统里录入一个”ABC官家有限公司“。你看,不仔细看你都看不出两者的区别,而且就算看出来了,你能保证没有”ABC官家有限公司“这种东西的存在么……这种时候,要么去抱RD大腿要求人家给你写模糊匹配算法,要么肉眼看吧。

    上边这个还不是最狠的,请看下图:

    你用的系统里很有可能两条路都叫八里庄路,敢直接去重不?(附送去重小tips:两个八里庄路的门牌号范围不一样)

    当然,如果数据不是人工录入的,那么简单去重即可。

    2、去除不合理值

    一句话就能说清楚:有人填表时候瞎填,年龄200岁,年收入100000万(估计是没看见”万“字),这种的就要么删掉,要么按缺失值处理。这种值如何发现?提示:可用但不限于箱形图(Box-plot).

    3、修正矛盾内容

    有些字段是可以互相验证的,举例:身份证号是1101031980XXXXXXXX,然后年龄填18岁,我们虽然理解人家永远18岁的想法,但得知真实年龄可以给用户提供更好的服务啊(又瞎扯……)。在这种时候,需要根据字段的数据来源,来判定哪个字段提供的信息更为可靠,去除或重构不可靠的字段。

    逻辑错误除了以上列举的情况,还有很多未列举的情况,在实际操作中要酌情处理。另外,这一步骤在之后的数据分析建模过程中有可能重复,因为即使问题很简单,也并非所有问题都能够一次找出,我们能做的是使用工具和方法,尽量减少问题出现的可能性,使分析过程更为高效。

     

    第四步:非需求数据清洗

    这一步说起来非常简单:把不要的字段删了。

    但实际操作起来,有很多问题,例如:

    • 把看上去不需要但实际上对业务很重要的字段删了;
    • 某个字段觉得有用,但又没想好怎么用,不知道是否该删;
    • 一时看走眼,删错字段了。


    前两种情况我给的建议是:如果数据量没有大到不删字段就没办法处理的程度,那么能不删的字段尽量不删。第三种情况,请勤备份数据……

    第五步:关联性验证

    如果你的数据有多个来源,那么有必要进行关联性验证。例如,你有汽车的线下购买信息,也有电话客服问卷信息,两者通过姓名和手机号关联,那么要看一下,同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆,如果不是(别笑,业务流程设计不好是有可能出现这种问题的!),那么需要调整或去除数据。

    严格意义上来说,这已经脱离数据清洗的范畴了,而且关联数据变动在数据库模型中就应该涉及。但我还是希望提醒大家,多个来源的数据整合是非常复杂的工作,一定要注意数据之间的关联性,尽量在分析过程中不要出现数据之间互相矛盾,而你却毫无察觉的情况。

    以上,就是我对数据清洗过程的一个简单梳理。由于能力所限,难免挂一漏万,请各位不吝赐教,感谢。

    展开全文
  • 数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件...

    数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。

    数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。

    主要类型

    残缺数据

    这一类数据主要是一些应该有的信息缺失,如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来,按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库

    错误数据

    这一类错误产生的原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不可见字符的问题,只能通过写SQL语句的方式找出来,然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。

    重复数据

    对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来,让客户确认并整理。

    数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤,是否修正一般要求客户确认,对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉,对于每个过滤规则认真进行验证,并要用户确认。

    以上是百度百科的答案,以下才是我的理解。

    总之:

    数据清洗ETL是指对过来的数据进行处理成干净的数据。

    主要的步骤有以下几个:

    首先是需要接收数据

    然后还有可能涉及到数据格式的转换,logstash是将结构化的数据转换成json格式的数据的一种方式

    另外如果是进行离线数据处理的话还需要存储过来的脏数据,脏数据一般是存储在HDFS上的。离线一般使用MapReduce进行数据的清洗工作

    如果是流式处理框架的话需要接收数据,去进行处理的。我们一般在流式处理框架中是使用kafka进行数据的接收,然后用sparkstreaming充当消费者进行数据的处理的。同时在这个sparkstreaming中进行数据清洗工作。

    数据清洗之后就是干净的数据了,需要进行存储,由于数据的量比较大,因此又需要进行存储,一般会选择hdfs进行数据的存储处理。

    之后数据就算是入库了,需要进行分析或者进行可视化或者进行AI模型训练等。

    这就是数据处理过程的大概流程。

    其中数据清洗阶段需要做的工作就是将这些脏数据进行处理,弄成干净的数据。具体怎么做呢?那么何为脏数据呢?

    脏数据包括:

    1、重复数据

    2、残缺不全的数据,也就是数据中有一部分段或者该字段的一部分丢失了

    3、错误数据,就是某一些字段或者一些字段对应的值明显是错误的。

    那么针对于这些值应该怎么处理呢?

    不同的数据,用途不同,处理的方式也是不一样的。一般的处理方式式删除掉,过滤掉,就是下一次存入数据库的时候不进行存车这些数据;还有就是将残缺的数据进行补齐,当然在补齐的时候是需要有一定的规则的,常见的方式式进行对这个值及其前后值去请均值;

    如果是重复数据的话,那么使用distinct进行去重;

    如果是不太全的数据,后期还需要进行做机器学习模型训练,那么就需要非常大量的数据,而当数据量又不太大的时候需要进行处理加工的,常见的方式就是进行前后值取平均值、和它前边的数据保持一致,和后边的数据进项保持一致等。

    如果是错误数据是需要进行纠正错误的,比如将错误的值进行纠正等。

    如果数据只是单纯的进行可视化,那么就是不让数据在前端展示就好了,这个时候错误数据处理的方式就有以下几种:

    一个是在接口去库里进行查询的时候,做个判断,如果是不符合要求的数据,那么就不要查询这个字段的数据,这个是最后的最笨的办法,其实还有比较聪明的办法,就是在数据第二次入库之前,进行etl数据清洗,将脏数据处理就好了。这个就是ETL做的工作了。

    展开全文
  • 关于数据清洗的常见方式

    千次阅读 2019-08-15 16:29:45
    1.探索性分析探索性分析部分,对于整个数据来讲是获得对数据一个初步的认识以及对先验知识的一个探索分析过程,在我做相关数据挖掘的过程中,主要是利用python相关的科学...
        



    1. 探索性分析

     

    探索性分析部分,对于整个数据来讲是获得对数据一个初步的认识以及对先验知识的一个探索分析过程,在我做相关数据挖掘的过程中,主要是利用python相关的科学计算库进行数据初步的探索,例如数据类型,缺失值,数据集规模,各特征下的数据分布情况等,并利用第三方绘图库进行直观的观察,以获取数据的基本属性与分布情况,另外,通过单变量分析与多变量分析,可以初步探索数据集中各特征之间的关系,以验证在业务分析阶段所提出的假设。

     

     

     

    2. 缺失值

     

    数据集中缺失值的获取方法可以直接通过pandas的自带的多种方法获取,在大多数数据集中缺失值都普遍会存在,因此,对于缺失值的处理好坏会直接影响到模型的最终结果。如何处理缺失值,主要依据在缺失值所在属性的重要程度以及缺失值的分布情况。

     

    ①.在缺失率少且属性重要程度低的情况下,若属性为数值型数据则根据数据分布情况简单的填充即可,例如:若数据分布均匀,则使用均值对数据进行填充即可;若数据分布倾斜,使用中位数填充即可。若属性为类别属性,则可以用一个全局常量‘Unknow’填充,但是,这样做往往效果很差,因为算法可能会将其识别为一个全新的类别,因此很少使用。

     

     

     

    ②.当缺失率高(>95%)且属性重要程度低时,直接删除该属性即可。然而在缺失值高且属性程度较高时,直接删除该属性对于算法的结果会造成很不好的影响。

     

     

     

    ③.缺失值高,属性重要程度高:主要使用的方法有插补法与建模法

     

    (1)插补法主要有随机插补法,多重插补法,热平台插补法,以及拉格朗日插值法与牛顿插值法

     

    1>随机插补法--从总体中随机抽取某几个样本代替缺失样本

     

    2>多重插补法--通过变量之间的关系对缺失数据进行预测,利用蒙特卡洛方法生成多个完整的数据集,在对这些数据集进行分析,最后对分析结果进行汇总处理

     

    3>热平台插补----指在非缺失数据集中找到一个与缺失值所在样本相似的样本(匹配样本),利用其中的观测值对缺失值进行插补。

     

      优点:简单易行,准确率较高

     

      缺点:变量数量较多时,通常很难找到与需要插补样本完全相同的样本。但我们可以按照某些变量将数据分层,在层中对缺失值实用均值插补

     

    4>拉格朗日差值法和牛顿插值法

     

    (2)建模法

     

      可以用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。例如:利用数据集中其他数据的属性,可以构造一棵判定树,来预测缺失值的值。

     

     

     

    一般而言,数据缺失值的处理没有统一的流程,必须根据实际数据的分布情况,倾斜程度,缺失值所占比例等来选择方法。在我做数据预处理过程中,除了使用简单的填充法外与删除外,更多情况下采用建模法进行填充,主要在于建模法根据已有的值去预测未知值,准确率较高。但建模法也可能造成属性之间的相关性变大,可能影响最终模型的训练。

    3. 异常值(离群点)

     

    判断离群点除了可视化分析外(一般箱线图),还有很多基于统计背景下的方法,且可视化观察不适合用数据量较多的情况。

     

    3.1 简单的统计分析

     

    这一步在EDA中完成,只需要利用pandasdescribe方法就可以实现,通过数据集描述性统计,发现是否存在不合理的值,即异常值

     

    3.2 3∂原则--基于正态分布的离群点检测

     

    如果数据服从正态分布,在3∂原则下,异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布,距离平均值3∂之外的值出现的概率为P(|x-u| > 3) <= 0.003,属于极个别的小概率事件。如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

     

    3.3 基于模型检测

     

    首先建立一个数据模型,异常是那些同模型不能完美拟合的对象;如果模型是簇的集合,则异常是不显著属于任何簇的对象;在使用回归模型时,异常是相对远离预测值的对象

     

    3.4 基于距离

     

    通过在对象之间定义临近性度量,异常对象是那些远离其它对象的对象

     

    优点:简单易操作

     

    缺点:时间复杂度为O(m^2),不适用于大数据集情况,参数选择较为敏感,不能处理具有不同密度区域的数据集,因为它使用全局阈值,不能考虑这种密度的变化

     

    3.5 基于密度

     

    当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。适合非均匀分布的数据。

     

    优点:给出了对象是离群点的定量度量,并且即使数据具有不同的区域也能够很好的处理

     

    缺点:时间复杂度O(m^2);参数选择困难,虽然算法通过观察不同的k值,取得最大离群点得分来处理该问题,但是,仍然需要选择这些值的上下界。

     

    3.6 基于聚类

     

    基于聚类的离群点:一个对象是基于聚类的离群点,如果该对象不强属于任何簇。离群点对初始聚类的影响:如果通过聚类检测离群点,则由于离群点影响聚类,存在一个问题:结构是否有效。为了处理该问题,可以使用如下方法:对象聚类,删除离群点,对象再次聚类。

     

    优点:

     

     基于线性和接近线性复杂度(k均值)的聚类技术来发现离群点可能是高度有效的② 簇的定义通常是离群点的补,因此可能同时发现簇和离群点

     

    缺点:

     

    ③ 产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性

     

    ④ 聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大

     

    处理异常点的方法:

    1>删除异常值----明显看出是异常且数量较少可以直接删除

    2>不处理---如果算法对异常值不敏感则可以不处理,但如果算法对异常值敏感,则最好不要用这种方法,如基于距离计算的一些算法,包括kmeansknn之类的。

    3>平均值替代----损失信息小,简单高效。

    4>视为缺失值----可以按照处理缺失值的方法来处理

     

    4. 去重处理

     

    对于重复项的判断,基本思想是“排序与合并”,先将数据集中的记录按一定规则排序,然后通过比较邻近记录是否相似来检测记录是否重复。这里面其实包含了两个操作,一是排序,二是计算相似度。目前在做竞赛过程中主要是用duplicated方法进行判断,然后将重复的样本进行简单的删除处理。

    这块目前看到的博客与国外一些比赛的案例基本都采用直接删除进行处理,没有看到过比较有新意的方法。

     

    5. 噪音处理

     

    噪音是被测变量的随机误差或者方差,主要区别于离群点。由公式:观测量(Measurement) = 真实数据(True Data) + 噪声 (Noise)。离群点属于观测量,既有可能是真实数据产生的,也有可能是噪声带来的,但是总的来说是和大部分观测量之间有明显不同的观测值。噪音包括错误值或偏离期望的孤立点值,但也不能说噪声点包含离群点,虽然大部分数据挖掘方法都将离群点视为噪声或异常而丢弃。然而,在一些应用(例如:欺诈检测),会针对离群点做离群点分析或异常挖掘。而且有些点在局部是属于离群点,但从全局看是正常的。

     

    对于噪音的处理主要采用分箱法于回归法进行处理:

     

    (1) 分箱法:

     

    分箱方法通过考察数据的“近邻”来光滑有序数据值。这些有序的值被分布到一些“桶”或箱中。由于分箱方法考察近邻的值,因此它进行局部光滑。

     

    用箱均值光滑:箱中每一个值被箱中的平均值替换。

    用箱中位数平滑:箱中的每一个值被箱中的中位数替换。

    用箱边界平滑:箱中的最大和最小值同样被视为边界。箱中的每一个值被最近的边界值替换。

     

    一般而言,宽度越大,光滑效果越明显。箱也可以是等宽的,其中每个箱值的区间范围是个常量。分箱也可以作为一种离散化技术使用.

     

    (2) 回归法

     

    可以用一个函数拟合数据来光滑数据。线性回归涉及找出拟合两个属性(或变量)的“最佳”直线,使得一个属性能够预测另一个。多线性回归是线性回归的扩展,它涉及多于两个属性,并且数据拟合到一个多维面。使用回归,找出适合数据的数学方程式,能够帮助消除噪声。



    原文链接:https://blog.csdn.net/jiazericky/article/details/80322225

    640?wx_fmt=png


    展开全文
  • 数据清洗

    千次阅读 2019-12-11 18:02:33
    数据清洗的概念 数据清洗的流程 字段选择 数据质量报告 数据清洗主要工作 数据清洗的概念 数据清洗主要是针对数据中的错误值、异常值、缺失值进行处理的过程,以及删除那些取值很多的类别型字段,或者取值一致性...

    数据清洗的概念

    数据清洗的流程

    字段选择

    数据质量报告

    数据清洗主要工作

    数据清洗的概念

    数据清洗主要是针对数据中的错误值、异常值、缺失值进行处理的过程,以及删除那些取值很多的类别型字段,或者取值一致性程度极高的字段。

    数据清洗流程

    1.再次确认数据是否拷贝

    2.再次确认原始数据中是否具有唯一ID

    3.清洗数据中错误值(填写错误、逻辑错误)

    4.清洗数据中的异常值

    5.清洗数据中的缺失值

    字段选择

    通常在收集的原始数据中,**将姓名或其他字符串的字段不选入最终分析的数据库中,**如问卷调查中的主观开放题。
    在实际项目中,如果客户有历史数据,应提取越多字段的数据越好。
    另外,需处理数据整合的问题,如数据单位不一致问题(美元*人民币)、数据重复问题(A和B数据库中都存在一部分重复用户的数据,合并时需剔除)。
    字段数据重复:单个字段数据重复、多个字段之间的数据重复

    数据清洗主要工作

    噪声消除

    噪声包括错误值(以类别字段为主)和异常值(针对变量)
    噪声会使后期分析结果产生很大偏差,必须对噪声进行有效的识别和处理

    缺失值处理

    • 人工处理
    • 软件自动处理

    错误值和异常值处理方法**

    软件及人工结合的方法

    错误值:
    无论分类变量还是连续变量,均先检查数据的分布情况,找到错误值。对于分类变量,检查与其他值是否有相似之处,如无,直接处理空值/未知。

    异常值:
    判断标准:1)最小最大分布法,按从小到大排序,选取最小的5%和最大的95%数据作为异常值;
    2)标准分法:平均±3个标准差(1个标准差:68%;2个标准差:95%;3个标准差:99.7%,6 σ:99.9996%)
    3)四分位数法:IQR=Q3-Q1,Q1-1.5*IQR~Q3+1.5/*IQR

    异常值处理方法:
    1)直接视为空值
    2)最大、最小、均值代替
    3)函数校正法:如回归、决策数等

    缺失值处理方法

    1.直接忽略法

    适合的场景:
    1)数据样本量很多时,且包含缺失值的样本数较少时;
    2)该样本缺失的字段占总字段一半以上时,可直接删除该样本;
    3)在进行分类统计时,如果该样本分类标记为空值,因为该样本无法被归类,可直接删除,尤其是该分类变量是模型分析的关键变量,如是否死亡。

    缺点:
    方法太过于简单粗暴,当缺失值现象较多时,直接删除会造成大量信息丢失,甚至让整个项目无法进行下去。

    2.将缺失值所在字段处理为指示变量

    当该字段在所有样本中,有一半以上样本都存在缺失现象时,可将该字段作为指示变量,变量值为:缺失和未缺失

    3.人工补充法

    适合的场景:
    1)缺少较少时,可通过人工从原始数据库再次查询或调查,如让客户再调用底层数据补充缺失的字段,以及人工电话再联络该样本再次询问缺失字段的选项;
    2)通过其他数据计算得到,如性别、年龄、省份等字段可通过身份证号获取。

    缺点:当缺失值现象较多时,人工成本较高,实际操作压力较大。

    4.自动填补法

    针对分类变量:
    1)以通用的常数值代替,如“未知/缺失”;
    2)填入该字段的众数;
    3)用其他一个或多个字段预测该缺失值,如收入阶层可通过学历、年龄预测得到。

    针对连续变量:
    1)填入该字段的众数;
    2)均值:所有样本的均值、附近样本的均值;
    3)中位值:所有样本的均值、附近样本的中位数;
    4)模型预测:通过其他字段与该字段建立模型,预测该缺失字段。

    展开全文
  • 数据清洗 Chapter01 | 数据清洗概况

    千次阅读 多人点赞 2020-04-17 09:33:43
    不登高山,不知天之高也;不临深溪,不知地之厚也。...Chapter01 | 数据清洗概况一、什么是数据1、数据的类型2、表格数据3、属性类别二、数据清洗1、什么是数据清洗2、为什么要进行数据清洗3、数据存在的问题三、数据...
  • 【项目实战】数据爬虫 + 数据清洗 + 数据可视化

    万次阅读 多人点赞 2020-05-11 10:37:08
    自己亲手全手打了一套系统的代码,帮助朋友完成设计,做了贵阳市几个区的房屋价格爬取以及数据清洗和可视化操作,代码细细道来: 上图镇楼,接下来细说。 一:数据挖掘 我选用了链家网做数据爬取场所(不得不唠叨...
  • 数据预处理——数据清洗

    万次阅读 2018-05-10 20:46:04
    在数据挖掘中,海量的原始数据中存在着大量不完整、不一致、有异常的数据,严重影响到数据挖掘建模的执行效率,甚至可能导致挖掘结果的偏差,所以进行数据清洗就显得尤为重要,数据清洗完成后接着进行或者同时进行...
  • SPSS数据清洗

    万次阅读 2018-08-24 11:19:04
    SPSS数据清洗 关于spss对数据的清洗,就是将多余重复的数据筛选清楚,将确实的数据补充完整,将错误的数据纠正活删除。 下面主要内容是关于最常用的重复数据操作: 首先在spss中导入需要去重的数据: 选择数据...
  • 数据清洗、数据集成

    千次阅读 2019-05-14 10:28:36
    数据清洗、数据集成 整个数据分析过程中,数据清洗大概占到了80%。 数据质量准则: 完整性:单条数据是否存在空值,统计的字段是否完善。 全面性:观察某一列全部数据值可通过常识判断该列在数据定义、单位标识、...
  • Python数据清洗实战入门

    万人学习 2019-12-09 10:47:41
    本次课程主要以真实的电商数据为基础,通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。
  • 数据清洗数据清洗流程及经验

    千次阅读 2019-11-01 15:51:59
    预处理阶段 预处理阶段主要做两件事情: ...第一步:缺失值清洗 四个步骤: 1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略。 2、去除不需要的...
  • 数据清洗概要

    千次阅读 2017-08-26 17:33:41
    数据清洗的目标 使数据都是意义明确的、正确的、规范的;提高数据的可用性。   数据清洗的前提条件 在数据清洗之前需要具备以下条件: 1. 数据已经接入。 2. 已经有基本的业务范围信息。 3. 已经有基本的数据语义...
  • 数据清洗规则

    千次阅读 2019-05-28 16:14:39
    数据清洗规则 一、 规则总览 数据清洗针对的对象主要有四个——缺失值、异常值、重复值和无用值,针对不同对象的不同形式,采取相应的方法进行处理,从而得到期望的数据。 1.1 非空校核 要求字段为非空的情况下,对...
  • 数据清洗代码

    千次阅读 2019-01-15 01:03:29
    文章目录8个数据清洗代码删除多行更改数据类型将分类变量转换为数字变量检查缺失数据删除列中的字符串删除列中的空格用字符串连接两列(带条件)转换时间戳(从字符串到日期到格式) 分别包括: 删除多行 在进行数据分析...
  • 数据清洗之 日期格式数据处理

    千次阅读 2020-04-15 22:36:51
    数据清洗日期格式数据处理
  • 数据清洗与数据预处理浅析

    千次阅读 2016-06-06 19:18:13
    在整个项目的开发过程中,数据清洗与预处理的时间通常占到项目总时长的一半以上。而且,数据清洗与预处理的过程还是个极度考验体力与耐心的活,只有胆大细心对数据敏感对业务熟悉的人才能做好这项工作。链
  • 【数据治理】数据清洗原型

    千次阅读 2019-06-16 17:43:44
    构思了一个数据清洗的功能。对于数据清洗的关键是通过数据探查,制订出具体的清洗目标要求。为了简化数据清洗的复杂度,可以将清洗要求归纳为业务人员容易理解的约束,比如,非空、不含空格、唯一等这类简单的规则,...
  • Pandas 数据清洗

    千次阅读 2017-04-22 20:14:38
    在进行数据分析前,我们必须对数据进行清洗。 如果数据较少,我们可以对缺失值,异常值进行拉格朗日插值法进行插值处理。 在这篇博客里,因为数据样本较充足,我们直接对少量的异常值进行简单粗暴也是最有效的删除。...
  • Hadoop_数据清洗示例

    万次阅读 2020-05-12 16:56:14
    Hadoop_数据清洗 示例(去除空行、开头为空格的数据): 原始数据:D:\data\testdata.txt zhangsan 500 450 jan zhangsan 550 450 feb lisi 210 150 jan lisi 200 150 feb zhangsan 400 150 march zhangsan 600...
  • 7步搞定数据清洗-Python数据清洗指南

    千次阅读 多人点赞 2019-04-28 14:45:03
    数据清洗是整个数据分析过程的第一步,就像做一道菜之前需要先择菜洗菜一样。 数据分析师经常需要花费大量的时间来清洗数据或者转换格式,这个工作甚至会占整个数据分析流程的80%左右的时间。 在这篇文章中,我...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 91,571
精华内容 36,628
关键字:

关于数据清洗