精华内容
下载资源
问答
  • 数据清洗一是为了解决数据质量问题,二是让数据更加适合做挖掘 一、解决数据质量问题 数据的完整性,比如人的属性中缺少性别、籍贯、年龄等 数据的唯一性,比如不同来源的数据出现重复的情况 数据的权威性,比如...

    数据清洗一是为了解决数据质量问题,二是让数据更加适合做挖掘

    一、解决数据质量问题

    数据的完整性,比如人的属性中缺少性别、籍贯、年龄等

    数据的唯一性,比如不同来源的数据出现重复的情况

    数据的权威性,比如同一个指标出现多个来源的数据,且数值不一样

    数据的合法性,比如数据与常识不符,市区内开车速度到达了400km/h

    数据的一致性,比如不同来源的不同指标,实际的内涵与表示意义是一样的

    数据清洗的结果是对各种脏数据进行对应标准的干净的、连续的数据,提供给数据统计、数据挖掘等使用。

    1、数据完整性问题

    解决思路:数据补全

    (1)通过其他信息补全,比如通过身份证号码推算性别、籍贯、出生日期、年龄等

    (2)通过前后数据补全,例如时间序列确实,可以使用前后的均值填充,缺的数据多了,可以使用平滑处理

    (3)实在补不全的,必须剔除,但是不要删除,说不定以后用得上

    2、数据唯一性问题

    解决思路:去除重复记录,只保留一条

    (1)按照主键去重,用sql或者excel去除重复记录即可

    (2)按照规则去重,编写一系列规则,对重复情况负责的数据去重,例如不同渠道来的客户数据,可以通过相同的关键信息进行匹配,合并去重

    3、数据权威性问题

    解决思路:用最权威那个渠道的数据

    对不同渠道设定权威级别,然后再不同场合下选最重要的

    4、数据合法性问题

    解决思路:设定判定规则

    (1)设定强制合法规则,凡事不在规则范围内的,强制设置最大值以及最小值,剔除或者判断为无效

    字段类型合法规则:日期字段格式过滤

    字段内容合法规则:性别 in(男、女、未知));出生日期《=今天

    (2)设定警告规则,凡是不在规则范围内的,进行警告然后人工处理

    (3)离群值人工特殊处理,使用分箱、聚类、回归等方式发现离群值

    5、结局数据一致性问题

    解决思路:简历数据体系

    (1)指标体系(度量)

    (2)维度(分组、统计口径)

    (3)单位

    (4)频度

    (5)数据

    二、让数据更适合做挖掘或者展示

    高纬度-不适合挖掘

    低纬度-不适合挖掘

    无关信息-减少存储

    字段冗余-一个字段是其他字段计算出来的,会操成相关系数为1或者主成分分析异常

    多指标数据、单位不同-如GDP与城镇居民人居收入数值相差过大

    1、解决高纬度问题

    解决思路:降维

    (1)主成分分析

    (2)随机森林

    2、解决低纬度或者缺少维度

    解决思路:抽象

    (1)各种汇总、平均、加总、最大、最小等

    (2)各种离散化、聚类、自定义分组等

    3、解决无关信息和字段冗余

    解决思路:剔除字段

    4、解决多指标数值、单位不同问题

    解决思路:归一化

    (1)最小-最大

    (2)0-均值

    (3)小数定标

    三、标准流程

     
    数据清洗标准流程

    预处理阶段

    预处理阶段主要做两件事情:

    一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。

    二是看数据。这里包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,使用人工查看方式,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。

    第一步:缺失值清洗

    缺失值是最常见的数据问题,处理缺失值也有很多方法,我建议按照以下四个步骤进行:

    1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略,可用下图表示:

    2、去除不需要的字段:这一步很简单,直接删掉即可……但强烈建议清洗每做一步都备份一下,或者在小规模数据上试验成功再处理全量数据,不然删错了会追悔莫及(多说一句,写SQL的时候delete一定要配where!)。

     
     

    3、填充缺失内容:某些缺失值可以进行填充,方法有以下三种:

    以业务知识或经验推测填充缺失值

    以同一指标的计算结果(均值、中位数、众数等)填充缺失值

    以不同指标的计算结果填充缺失值

    前两种方法比较好理解。关于第三种方法,举个最简单的例子:年龄字段缺失,但是有屏蔽后六位的身份证号,so……

    4、重新取数:如果某些指标非常重要又缺失率高,那就需要和取数人员或业务人员了解,是否有其他渠道可以取到相关数据。

    以上,简单的梳理了缺失值清洗的步骤,但其中有一些内容远比我说的复杂,比如填充缺失值。很多讲统计方法或统计工具的书籍会提到相关方法,有兴趣的各位可以自行深入了解。

    第二步:格式内容清洗

    如果数据是由系统日志而来,那么通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:

    1、时间、日期、数值、全半角等显示格式不一致

    这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。

    2、内容中有不该存在的字符

    某些内容可能只包括一部分字符,比如身份证号是数字+字母,中国人姓名是汉字(赵C这种情况还是少数)。最典型的就是头、尾、中间的空格,也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。

    3、内容与该字段应有内容不符

    姓名写了性别,身份证号写了手机号等等,均属这种问题。 但该问题特殊性在于:并不能简单的以删除来处理,因为成因有可能是人工填写错误,也有可能是前端没有校验,还有可能是导入数据时部分或全部存在列没有对齐的问题,因此要详细识别问题类型。

    格式内容问题是比较细节的问题,但很多分析失误都是栽在这个坑上,比如跨表关联或VLOOKUP失败(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人)、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了,把日期和年龄混了,so……)。因此,请各位务必注意这部分清洗工作,尤其是在处理的数据是人工收集而来,或者你确定产品前端校验设计不太好的时候……

    第三步:逻辑错误清洗

    这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据,防止分析结果走偏。主要包含以下几个步骤:

    1、去重

    有的分析师喜欢把去重放在第一步,但我强烈建议把去重放在格式内容清洗之后,原因已经说过了(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人,去重失败)。而且,并不是所有的重复都能这么简单的去掉……

    我曾经做过电话销售相关的数据分析,发现销售们为了抢单简直无所不用其极……举例,一家公司叫做“ABC管家有限公司“,在销售A手里,然后销售B为了抢这个客户,在系统里录入一个”ABC官家有限公司“。你看,不仔细看你都看不出两者的区别,而且就算看出来了,你能保证没有”ABC官家有限公司“这种东西的存在么……这种时候,要么去抱RD大腿要求人家给你写模糊匹配算法,要么肉眼看吧。

    上边这个还不是最狠的,请看下图:

    你用的系统里很有可能两条路都叫八里庄路,敢直接去重不?(附送去重小tips:两个八里庄路的门牌号范围不一样)

     
     

    当然,如果数据不是人工录入的,那么简单去重即可。

    2、去除不合理值

    一句话就能说清楚:有人填表时候瞎填,年龄200岁,年收入100000万(估计是没看见”万“字),这种的就要么删掉,要么按缺失值处理。这种值如何发现?提示:可用但不限于箱形图(Box-plot).

    3、修正矛盾内容

    有些字段是可以互相验证的,举例:身份证号是1101031980XXXXXXXX,然后年龄填18岁,我们虽然理解人家永远18岁的想法,但得知真实年龄可以给用户提供更好的服务啊(又瞎扯……)。在这种时候,需要根据字段的数据来源,来判定哪个字段提供的信息更为可靠,去除或重构不可靠的字段。

    逻辑错误除了以上列举的情况,还有很多未列举的情况,在实际操作中要酌情处理。另外,这一步骤在之后的数据分析建模过程中有可能重复,因为即使问题很简单,也并非所有问题都能够一次找出,我们能做的是使用工具和方法,尽量减少问题出现的可能性,使分析过程更为高效。

    第四步:非需求数据清洗

    这一步说起来非常简单:把不要的字段删了。

    但实际操作起来,有很多问题,例如:

    把看上去不需要但实际上对业务很重要的字段删了;

    某个字段觉得有用,但又没想好怎么用,不知道是否该删;

    一时看走眼,删错字段了。

    前两种情况我给的建议是:如果数据量没有大到不删字段就没办法处理的程度,那么能不删的字段尽量不删。第三种情况,请勤备份数据……

    第五步:关联性验证

    如果你的数据有多个来源,那么有必要进行关联性验证。例如,你有汽车的线下购买信息,也有电话客服问卷信息,两者通过姓名和手机号关联,那么要看一下,同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆,如果不是(别笑,业务流程设计不好是有可能出现这种问题的!),那么需要调整或去除数据。

    严格意义上来说,这已经脱离数据清洗的范畴了,而且关联数据变动在数据库模型中就应该涉及。但我还是希望提醒大家,多个来源的数据整合是非常复杂的工作,一定要注意数据之间的关联性,尽量在分析过程中不要出现数据之间互相矛盾,而你却毫无察觉的情况。



    作者:蠟筆小噺没有烦恼
    链接:https://www.jianshu.com/p/c2b15fcf7100
    来源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

    转载于:https://www.cnblogs.com/enmink/p/10586635.html

    展开全文
  • 数据挖掘中的数据清洗方法大全

    千次阅读 2017-10-21 23:47:26
    数据挖掘领域,经常会遇到的情况是挖掘...所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!    接下来本文就依次讲解如何处理 数据值缺失 和 数据值异常 两种情况的处理。1. 缺失值的处理 如下

      在数据挖掘领域,经常会遇到的情况是挖掘出来的特征数据存在各种异常情况,如 数据缺失 、数据值异常 等。对于这些情况,如果不加以处理,那么会直接影响到最终挖掘模型建立后的使用效果,甚至是使得最终的模型失效,任务失败。所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!
      
      接下来本文就依次讲解如何处理 数据值缺失 数据值异常 两种情况的处理。

    1. 缺失值的处理

      如下图所示,当我们在进行数据挖掘的过程中,往往会出现如下图所示的情况:某些样本的个别属性出现缺失的情况。

    这里写图片描述

    那么出现数据缺失的情况,我们应该怎么处理呢?

    1.1 删除缺失值

      当样本数很多的时候,并且出现缺失值的样本在整个的样本的比例相对较小,这种情况下,我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。

    缺点: 改变了样本的数据分布,并且对于缺失值过多的情况无法适用。

    1.2 均值填补法

      根据缺失值的属性相关系数最大的那个属性把数据分成几个组,然后分别计算每个组的均值,把这些均值放入到缺失的数值里面就可以了。

    缺点: 改变了数据的分布,还有就是有的优化问题会对方差优化,这样会让对方差优化问题变得不准确。

    1.3 热卡填补法

      对于一个包含缺失值的变量,热卡填充法的做法是:在数据库中找到一个与它最相似的对象,然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量(如变量Y)与缺失值所在变量(如变量X)最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。

    缺点: 太麻烦。与均值替换法相比,利用热卡填充法插补数据后,其变量的标准差与插补前比较接近。但在回归方程中,使用热卡填充法容易使得回归方程的误差增大,参数估计变得不稳定,而且这种方法使用不便,比较耗时。

    1.4 最近距离决定填补法

      假设现在为时间y,前一段时间为时间x,然后根据x的值去把y的值填补好。

    缺点: 一般就是在时间因素决定不显著的时候,比如一天的气温,一般不会突然降到很低,然后第二天就升的很高。但是对时间影响比较大的,可能就不可以了。

    1.5 回归填补法

      假设我y属性存在部分缺失值,然后我知道x属性。然后我用回归方法对没有缺失的样本进行训练模型,再把这个值的x属性带进去,对这个y属性进行预测,然后填补到缺失处。当然,这里的x属性不一定是一个属性,也可以是一个属性组,这样能够减少单个属性与y属性之间的相关性影响。

    缺点: 由于是根据x属性预测y属性,这样会让属性之间的相关性变大。这可能会影响最终模型的训练。

    1.6 多重填补方法(M-试探法)

      它是基于贝叶斯理论的基础上,然后用EM算法来实现对缺失值进行处理的算法。对每一个缺失值都给M个缺失值,这样数据集就会变成M个,然后用相同的方法对这M个样本集进行处理,得到M个处理结果,总和这M个结果,最终得到对目标变量的估计。其实这个方法很简单,就是我尽量多做模型,然后找出最好的,我就叫它M-试探法吧。

    1.7 k-最近邻法

      先根绝欧氏距离和马氏距离函数来确定具有缺失值数据最近的k个元祖,然后将这个k个值加权(权重一般是距离的比值吧)平均来估计缺失值。

    1.8 有序最近邻法

      这个方法是在K-最近邻法的基础上,根据属性的缺失率进行排序,从缺失率最小的进行填补。这样做的好处是讲算法处理后的数据也加入到对新的缺失值的计算中,这样即使丢了很多数据,依然会有很好的效果。在这里需要注意的是,欧式距离不考虑各个变量之间的相关性,这样可能会使缺失值的估计不是最佳的情况,所以一般都是用马氏距离进行最近邻法的计算。

    1.9 基于贝叶斯的方法

      就是分别将缺失的属性作为预测项,然后根据最简单的贝叶斯方法,对这个预测项进行预测。但是这个方法有一个缺点,就是说不能把之前的预测出来的数据加入到样本集,会丢失一些数据,会影响到预测。所以现在就是对属性值进行重要性排序,然后把重要的先预测出来,在加入新的数据集,再用新的数据集预测第二个重要的属性,这样一直处理到最后为止。

    2. 异常值的检测与处理


    未完待续……



    对机器学习和人工智能感兴趣,请微信扫码关注公众号!

    这里写图片描述

    展开全文
  • 数据挖掘中常用的数据清洗方法

    万次阅读 多人点赞 2018-05-15 14:16:15
    数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理;分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。 1. 探索性...

    在数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理;分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。

     

    1. 探索性分析

    探索性分析部分,对于整个数据来讲是获得对数据一个初步的认识以及对先验知识的一个探索分析过程,在我做相关数据挖掘的过程中,主要是利用python相关的科学计算库进行数据初步的探索,例如数据类型,缺失值,数据集规模,各特征下的数据分布情况等,并利用第三方绘图库进行直观的观察,以获取数据的基本属性与分布情况,另外,通过单变量分析与多变量分析,可以初步探索数据集中各特征之间的关系,以验证在业务分析阶段所提出的假设。

     

    2. 缺失值

    数据集中缺失值的获取方法可以直接通过pandas的自带的多种方法获取,在大多数数据集中缺失值都普遍会存在,因此,对于缺失值的处理好坏会直接影响到模型的最终结果。如何处理缺失值,主要依据在缺失值所在属性的重要程度以及缺失值的分布情况。

    ①.在缺失率少且属性重要程度低的情况下,若属性为数值型数据则根据数据分布情况简单的填充即可,例如:若数据分布均匀,则使用均值对数据进行填充即可;若数据分布倾斜,使用中位数填充即可。若属性为类别属性,则可以用一个全局常量‘Unknow’填充,但是,这样做往往效果很差,因为算法可能会将其识别为一个全新的类别,因此很少使用。

     

    ②.当缺失率高(>95%)且属性重要程度低时,直接删除该属性即可。然而在缺失值高且属性程度较高时,直接删除该属性对于算法的结果会造成很不好的影响。

     

    ③.缺失值高,属性重要程度高:主要使用的方法有插补法与建模法

    (1)插补法主要有随机插补法,多重插补法,热平台插补法,以及拉格朗日插值法与牛顿插值法

    1>随机插补法--从总体中随机抽取某几个样本代替缺失样本

    2>多重插补法--通过变量之间的关系对缺失数据进行预测,利用蒙特卡洛方法生成多个完整的数据集,在对这些数据集进行分析,最后对分析结果进行汇总处理

    3>热平台插补----指在非缺失数据集中找到一个与缺失值所在样本相似的样本(匹配样本),利用其中的观测值对缺失值进行插补。

      优点:简单易行,准确率较高

      缺点:变量数量较多时,通常很难找到与需要插补样本完全相同的样本。但我们可以按照某些变量将数据分层,在层中对缺失值实用均值插补

    4>拉格朗日差值法和牛顿插值法

    (2)建模法

      可以用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。例如:利用数据集中其他数据的属性,可以构造一棵判定树,来预测缺失值的值。

     

    一般而言,数据缺失值的处理没有统一的流程,必须根据实际数据的分布情况,倾斜程度,缺失值所占比例等来选择方法。在我做数据预处理过程中,除了使用简单的填充法外与删除外,更多情况下采用建模法进行填充,主要在于建模法根据已有的值去预测未知值,准确率较高。但建模法也可能造成属性之间的相关性变大,可能影响最终模型的训练。

     

    3. 异常值(离群点)

    判断离群点除了可视化分析外(一般箱线图),还有很多基于统计背景下的方法,且可视化观察不适合用数据量较多的情况。

    3.1 简单的统计分析

    这一步在EDA中完成,只需要利用pandas的describe方法就可以实现,通过数据集描述性统计,发现是否存在不合理的值,即异常值

    3.2 3∂原则--基于正态分布的离群点检测

    如果数据服从正态分布,在3∂原则下,异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布,距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0.003,属于极个别的小概率事件。如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

    3.3 基于模型检测

    首先建立一个数据模型,异常是那些同模型不能完美拟合的对象;如果模型是簇的集合,则异常是不显著属于任何簇的对象;在使用回归模型时,异常是相对远离预测值的对象

    3.4 基于距离

    通过在对象之间定义临近性度量,异常对象是那些远离其它对象的对象

    优点:简单易操作

    缺点:时间复杂度为O(m^2),不适用于大数据集情况,参数选择较为敏感,不能处理具有不同密度区域的数据集,因为它使用全局阈值,不能考虑这种密度的变化

    3.5 基于密度

    当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。适合非均匀分布的数据。

    优点:给出了对象是离群点的定量度量,并且即使数据具有不同的区域也能够很好的处理

    缺点:时间复杂度O(m^2);参数选择困难,虽然算法通过观察不同的k值,取得最大离群点得分来处理该问题,但是,仍然需要选择这些值的上下界。

    3.6 基于聚类

    基于聚类的离群点:一个对象是基于聚类的离群点,如果该对象不强属于任何簇。离群点对初始聚类的影响:如果通过聚类检测离群点,则由于离群点影响聚类,存在一个问题:结构是否有效。为了处理该问题,可以使用如下方法:对象聚类,删除离群点,对象再次聚类。

    优点:

    ① 基于线性和接近线性复杂度(k均值)的聚类技术来发现离群点可能是高度有效的 ② 簇的定义通常是离群点的补,因此可能同时发现簇和离群点

    缺点:

    ③ 产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性

    ④ 聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大

    处理异常点的方法:

    1>删除异常值----明显看出是异常且数量较少可以直接删除

    2>不处理---如果算法对异常值不敏感则可以不处理,但如果算法对异常值敏感,则最好不要用这种方法,如基于距离计算的一些算法,包括kmeans,knn之类的。

    3>平均值替代----损失信息小,简单高效。

    4>视为缺失值----可以按照处理缺失值的方法来处理

     

     

    4. 去重处理

    对于重复项的判断,基本思想是“排序与合并”,先将数据集中的记录按一定规则排序,然后通过比较邻近记录是否相似来检测记录是否重复。这里面其实包含了两个操作,一是排序,二是计算相似度。目前在做竞赛过程中主要是用duplicated方法进行判断,然后将重复的样本进行简单的删除处理。

    这块目前看到的博客与国外一些比赛的案例基本都采用直接删除进行处理,没有看到过比较有新意的方法。

     

    5. 噪音处理

    噪音是被测变量的随机误差或者方差,主要区别于离群点。由公式:观测量(Measurement) = 真实数据(True Data) + 噪声 (Noise)。离群点属于观测量,既有可能是真实数据产生的,也有可能是噪声带来的,但是总的来说是和大部分观测量之间有明显不同的观测值。噪音包括错误值或偏离期望的孤立点值,但也不能说噪声点包含离群点,虽然大部分数据挖掘方法都将离群点视为噪声或异常而丢弃。然而,在一些应用(例如:欺诈检测),会针对离群点做离群点分析或异常挖掘。而且有些点在局部是属于离群点,但从全局看是正常的。

    对于噪音的处理主要采用分箱法于回归法进行处理:

    (1) 分箱法:

    分箱方法通过考察数据的“近邻”来光滑有序数据值。这些有序的值被分布到一些“桶”或箱中。由于分箱方法考察近邻的值,因此它进行局部光滑。

    l 用箱均值光滑:箱中每一个值被箱中的平均值替换。

    l 用箱中位数平滑:箱中的每一个值被箱中的中位数替换。

    l 用箱边界平滑:箱中的最大和最小值同样被视为边界。箱中的每一个值被最近的边界值替换。

    一般而言,宽度越大,光滑效果越明显。箱也可以是等宽的,其中每个箱值的区间范围是个常量。分箱也可以作为一种离散化技术使用.

    (2) 回归法

    可以用一个函数拟合数据来光滑数据。线性回归涉及找出拟合两个属性(或变量)的“最佳”直线,使得一个属性能够预测另一个。多线性回归是线性回归的扩展,它涉及多于两个属性,并且数据拟合到一个多维面。使用回归,找出适合数据的数学方程式,能够帮助消除噪声。

    展开全文
  • 记得先点蓝字关注我哦~数据挖掘中常用的数据清洗方法数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理,分别是缺失值(missing value),异常值(离群点),去重...
    3ee61df426e3b244144fd16a4a2f21d6.gif

    是新朋友吗?记得先点蓝字关注我哦~

    数据挖掘中

    常用的数据清洗方法

    5d9460cc-1153-eb11-8da9-e4434bdf6706.svg

    在数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理,分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。

    8b1a705a13ce2e75f09906f41190c2e2.png

    1. 探索性分析

    探索性分析部分,对于整个数据来讲是获得对数据一个初步的认识以及对先验知识的一个探索分析过程,在我做相关数据挖掘的过程中,主要是利用python相关的科学计算库进行数据初步的探索,例如数据类型,缺失值,数据集规模,各特征下的数据分布情况等,并利用第三方绘图库进行直观的观察,以获取数据的基本属性与分布情况,另外,通过单变量分析与多变量分析,可以初步探索数据集中各特征之间的关系,以验证在业务分析阶段所提出的假设。

    2fa3245363f92bfca876a22d157a766b.png

    2. 缺失值

    数据集中缺失值的获取方法可以直接通过pandas的自带的多种方法获取,在大多数数据集中缺失值都普遍会存在,因此,对于缺失值的处理好坏会直接影响到模型的最终结果。如何处理缺失值,主要依据在缺失值所在属性的重要程度以及缺失值的分布情况。

    ①.在缺失率少且属性重要程度低的情况下,若属性为数值型数据则根据数据分布情况简单的填充即可,例如:若数据分布均匀,则使用均值对数据进行填充即可;若数据分布倾斜,使用中位数填充即可。若属性为类别属性,则可以用一个全局常量‘Unknow’填充,但是,这样做往往效果很差,因为算法可能会将其识别为一个全新的类别,因此很少使用。

    ②.当缺失率高(>95%)且属性重要程度低时,直接删除该属性即可。然而在缺失值高且属性程度较高时,直接删除该属性对于算法的结果会造成很不好的影响。

    ③.缺失值高,属性重要程度高:主要使用的方法有插补法与建模法

    (1)插补法主要有随机插补法,多重插补法,热平台插补法,以及拉格朗日插值法与牛顿插值法

    1>随机插补法--从总体中随机抽取某几个样本代替缺失样本

    2>多重插补法--通过变量之间的关系对缺失数据进行预测,利用蒙特卡洛方法生成多个完整的数据集,在对这些数据集进行分析,最后对分析结果进行汇总处理

    3>热平台插补----指在非缺失数据集中找到一个与缺失值所在样本相似的样本(匹配样本),利用其中的观测值对缺失值进行插补。

    优点:简单易行,准确率较高

    缺点:变量数量较多时,通常很难找到与需要插补样本完全相同的样本。但我们可以按照某些变量将数据分层,在层中对缺失值实用均值插补

    4>拉格朗日差值法和牛顿插值法

    (2)建模法

      可以用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。例如:利用数据集中其他数据的属性,可以构造一棵判定树,来预测缺失值的值。

    一般而言,数据缺失值的处理没有统一的流程,必须根据实际数据的分布情况,倾斜程度,缺失值所占比例等来选择方法。在我做数据预处理过程中,除了使用简单的填充法外与删除外,更多情况下采用建模法进行填充,主要在于建模法根据已有的值去预测未知值,准确率较高。但建模法也可能造成属性之间的相关性变大,可能影响最终模型的训练。

    62132263bdffe0bfe9724068ba1a8059.png

    3. 异常值(离群点)

    判断离群点除了可视化分析外(一般箱线图),还有很多基于统计背景下的方法,且可视化观察不适合用数据量较多的情况。

    3.1 简单的统计分析

    这一步在EDA中完成,只需要利用pandas的describe方法就可以实现,通过数据集描述性统计,发现是否存在不合理的值,即异常值

    3.2 3∂原则--基于正态分布的离群点检测

    如果数据服从正态分布,在3∂原则下,异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布,距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0.003,属于极个别的小概率事件。如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。

    3.3 基于模型检测

    首先建立一个数据模型,异常是那些同模型不能完美拟合的对象;如果模型是簇的集合,则异常是不显著属于任何簇的对象;在使用回归模型时,异常是相对远离预测值的对象

    3.4 基于距离

    通过在对象之间定义临近性度量,异常对象是那些远离其它对象的对象

    优点:简单易操作

    缺点:时间复杂度为O(m^2),不适用于大数据集情况,参数选择较为敏感,不能处理具有不同密度区域的数据集,因为它使用全局阈值,不能考虑这种密度的变化

    3.5 基于密度

    当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。适合非均匀分布的数据。

    优点:给出了对象是离群点的定量度量,并且即使数据具有不同的区域也能够很好的处理

    缺点:时间复杂度O(m^2);参数选择困难,虽然算法通过观察不同的k值,取得最大离群点得分来处理该问题,但是,仍然需要选择这些值的上下界。

    3.6 基于聚类

    基于聚类的离群点:一个对象是基于聚类的离群点,如果该对象不强属于任何簇。离群点对初始聚类的影响:如果通过聚类检测离群点,则由于离群点影响聚类,存在一个问题:结构是否有效。为了处理该问题,可以使用如下方法:对象聚类,删除离群点,对象再次聚类。

    优点:

    ① 基于线性和接近线性复杂度(k均值)的聚类技术来发现离群点可能是高度有效的 ② 簇的定义通常是离群点的补,因此可能同时发现簇和离群点

    缺点:

    ① 产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性

    ② 聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大

    处理异常点的方法:

    1>删除异常值----明显看出是异常且数量较少可以直接删除

    2>不处理---如果算法对异常值不敏感则可以不处理,但如果算法对异常值敏感,则最好不要用这种方法,如基于距离计算的一些算法,包括kmeans,knn之类的。

    3>平均值替代----损失信息小,简单高效。

    4>视为缺失值----可以按照处理缺失值的方法来处理

    6469927b5bd3a1dce81a04a3f8965976.png

    4. 去重处理

    对于重复项的判断,基本思想是“排序与合并”,先将数据集中的记录按一定规则排序,然后通过比较邻近记录是否相似来检测记录是否重复。这里面其实包含了两个操作,一是排序,二是计算相似度。目前在做竞赛过程中主要是用duplicated方法进行判断,然后将重复的样本进行简单的删除处理。

    这块目前看到的博客与国外一些比赛的案例基本都采用直接删除进行处理,没有看到过比较有新意的方法。

    85b0f34686afe1efd59e88df4ee2bc16.png

    5. 噪音处理

    噪音是被测变量的随机误差或者方差,主要区别于离群点。由公式:观测量(Measurement) = 真实数据(True Data) + 噪声 (Noise)。离群点属于观测量,既有可能是真实数据产生的,也有可能是噪声带来的,但是总的来说是和大部分观测量之间有明显不同的观测值。噪音包括错误值或偏离期望的孤立点值,但也不能说噪声点包含离群点,虽然大部分数据挖掘方法都将离群点视为噪声或异常而丢弃。然而,在一些应用(例如:欺诈检测),会针对离群点做离群点分析或异常挖掘。而且有些点在局部是属于离群点,但从全局看是正常的。

    对于噪音的处理主要采用分箱法于回归法进行处理:

    (1) 分箱法

    分箱方法通过考察数据的“近邻”来光滑有序数据值。这些有序的值被分布到一些“桶”或箱中。由于分箱方法考察近邻的值,因此它进行局部光滑。

    l 用箱均值光滑:箱中每一个值被箱中的平均值替换。

    l 用箱中位数平滑:箱中的每一个值被箱中的中位数替换。

    l 用箱边界平滑:箱中的最大和最小值同样被视为边界。箱中的每一个值被最近的边界值替换。

    一般而言,宽度越大,光滑效果越明显。箱也可以是等宽的,其中每个箱值的区间范围是个常量。分箱也可以作为一种离散化技术使用.

    (2) 回归法

    可以用一个函数拟合数据来光滑数据。线性回归涉及找出拟合两个属性(或变量)的“最佳”直线,使得一个属性能够预测另一个。多线性回归是线性回归的扩展,它涉及多于两个属性,并且数据拟合到一个多维面。使用回归,找出适合数据的数学方程式,能够帮助消除噪声。

    5d9460cc-1153-eb11-8da9-e4434bdf6706.svg

    原文链接:https://blog.csdn.net/jiazericky/java/article/details/8032222

    1a865335390d278a0512108a97f51665.gif 点“在看”给我一个小心心

    f1a6ed0813d24ffd295ea89cb7c4d60c.png
    展开全文
  • 数据清洗是将重复、多余的数据筛选...在大数据挖掘过程中,面对的至少是G级别的数据量,包括用户基本数据、行为数据、交易数据、资金流数据以及第三方的数据等等。选择正确的方式来清洗特征数据极为重要,除了让你...
  • 数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理;分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。   1. 探索...
  • 解决数据从两个角度上看,数据清洗一是为了解决数据质量问题,二是让数据更适合做挖掘。不同的目的下分不同的情况,也都有相应的解决方式和方法。在此简略描述一下,若有错误,请指出,不胜感激! 解决数据质量问题...
  • 一般的数据挖掘过程中,数据预处理工作量占到了整个过程的60-70%。数据清洗主要是删除原始数据集中的无关数据,重复数据,平滑噪声数据,还要筛选掉与挖掘主体无关的数据,处理缺失值,异常值等。1. 缺失值处理三种...
  • 为什么要做数据清洗?其实这里有两方面的原因:第一个是保质,也就是确保数据质量;第二个是提效,也就是提升分析效率。下文就从这两方面展开讲如何做数据清洗。一、如何通过数据清洗来确保数据质量?在数据清洗中,...
  • 数据清洗数据挖掘常见十大问题

    千次阅读 2021-04-03 23:19:01
    数据清洗数据挖掘常见十大问题一、数据预处理、数据清洗和特征工程二、数据预处理和特征工程阶段**最常见的10个问题**1. 什么是数据 EDA?2. 缺失值的处理方式有哪些?3. 如何检测异常数据?如何处理?4. 什么是...
  • 数据清洗方法要考虑你的数据的最终使用目的,不同的特征根据具体含义需要采用不同的策略。根据题主的问题,猜测主要关注缺失与异常值处理。缺失值的处理:1)删除。删除缺失占比较高的特征或样本。需要根据你最终的...
  • 通过挖掘高校图书馆大量的借阅历史数据,...本文结合内蒙古工业大学图书馆一段时间的流通数据,借助SQL Server2012数据库管理工具,详细研究了基于数据挖掘数据清洗、数据转换和数据规约3种图书馆数据的预处理方法
  • 缺失值分析及处理 缺失值出现的原因分析 ...分析每一个communityName、city、region、plate的数据分布并对其进行数据清洗 0、调包加载数据 首先,我们要做的就是加载可能要用到的包。以及源数据的导入; #codi...
  • 数据清洗方法

    2018-09-09 21:50:32
    作者:网易云 ... 数据清洗是将重复、多余的数据筛选清除,将缺失的数据补充完整,将错误的数据纠正或者删除,最后整理成为我们可以进一步加工、使用的数据。所谓的数据清洗,也就是ETL...在大数据挖掘过程中,面对的...
  • 上节课我们实现了数据的自动爬取并存入数据库,但是数据挖掘的工作没有结束,更厉害的功能还在后面。今天要学习的是如何把数据去重、统一日期格式,之前的基础知识就不废话了,不懂得看看我前面写的内容,不明白的...
  • 数据挖掘中的数据预处理方法总结

    万次阅读 2016-12-11 10:37:16
    2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。 3.数据挖掘中使用的数据的原则 应该是从原始数据中选取合适的属性作为数据挖掘属性,这个选取过程应参考的原则是:尽可能赋予属性名和属性值...
  • 数据挖掘路上点点滴滴,遇到的数据清洗的一些常用技巧和方法,记录下来,并持续更新。 1.01读取数据 不要索引,去掉字段前后空格 train=pd.read_csv('train.csv',skipinitialspace=True,index_col=0) 1.02...
  • 数据挖掘小白的自存笔记-数据清洗 本笔记目的 数据清洗很重要~看看不同于书本上查查网上各位大神的实操. 成果 思路篇:特征工程系列:数据清洗 说明:该文章详细的说明了,数据清洗方法和类型.建议实际过程中不时...
  • 一早上只是4.1数据清洗的内容,主要原因是对代码的不熟悉。调试百度了好久,最后最有用的办法就是看英文文档。看英文可能看起来很痛苦,但是耐心看的话还是不错的。而且是最直接最有效的方法。 -------------------...
  • 数据挖掘学习步骤: 学习的目标(循序渐进): 1、爬虫 2、数据处理工具使用(numpy、scipy、pandas、scikit-Learn、gensim) 3、数据预处理(清洗、集成、变换、规约) 4、数据库使用(spark、hadoop、ES、SQL)...
  • 数据分析与挖掘数据探索与清洗

    千次阅读 2018-09-19 22:05:24
    数据探索和准备的步骤 1.变量识别 2.单变量分析 3.双变量分析 3.1 类别型与类别型 3.2 类别型和连续型 4.处理缺失值 4.1 为什么需要处理缺失值? 4.2 为什么会存在缺失值? 4.3 处理缺失值的方法有那些 ...
  • 根据数据清洗、集合、转换、挖掘、评估和表示的全过程,将互动行为匹配分为合作商业模式和跨界服务生态链共创共赢运营模式两个部分,利用数据挖掘中个性化关联规则完成互动行为匹配。在SPSS Clemntine数据挖掘工具...
  • 常用数据清洗方法大盘点

    万次阅读 多人点赞 2018-08-22 17:03:30
    本文来自网易云社区数据清洗是将重复、多余的数据筛选...在大数据挖掘过程中,面对的至少是G级别的数据量,包括用户基本数据、行为数据、交易数据、资金流数据以及第三方的数据等等。选择正确的方式来清洗特征数据...
  • 文章目录引言一、数据清洗1.缺失值处理1.1 拉格朗日插值法1.2牛顿差值法2.异常值的处理二、数据集成1.实体识别2.冗余属性识别3.数据变换3.1 简单函数变换3.2 规范化3.2.1 最小-最大规范化3.2.2 零-均值规范化(标准...
  • 特征工程Author:吴忠强From:Datawhale摘要:对于数据挖掘项目,本文将学习应该从哪些角度做特征工程?从哪些角度做数据清洗,如何对特征进行增删,如何使用PCA降维技术等...
  • 数据挖掘概论

    千次阅读 2018-11-22 16:06:50
    数据预处理包括数据整合、数据清洗、数据转化和数据约简。 一、数据整合:收集要分析的数据进行模式整合组成一个新的数据仓库。(具体什么方法还有待学习,可能是爬虫?) 数据整合的问题:数据来源五花八门,如何...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 388
精华内容 155
关键字:

数据挖掘数据清洗方法