精华内容
下载资源
问答
  • 数据挖掘】数据清洗数据挖掘一般流程 数据挖掘一般流程

    【数据挖掘】数据清洗

    数据挖掘一般流程

    需求分析:数据挖掘任务分类:(1)预测:分类+回归(2)聚类:文档归类(3)关联性分析:购物篮分析(4)异常检测:信用卡欺诈
    获取数据:sql,linux,爬虫
    数据清洗(主要:去重,缺失值处理,异常值处理 工具:python pandas包)
    特征工程(子集搜索策略+子集评价+降维:
    (1)过滤式:计算每个特征与相应变量的相关性,过滤掉相关性较低的特征,但实际应用中,一般会逐个特征分析与预测变量的关系,在Pandas中有很多相关函数(describe,value_counts()等等)可以很清晰的表示出两者关系,也可以通过画图
    (2)包裹式:以模型最终的学习性能作为特征集的评估准则,选择好的特征集,但因为需要训练多个模型,开销很大,不推荐;
    (3)嵌入式:将特征选择和学习器结合,让模型训练过程中自动进行特征选择,比如各种树模型;)
    算法选择
    (1)数据归一化:一般的模型都需要归一化,原因:将数据维度都调整到某范围内。注意点:训练集归一化的时候要计算最大值和最小值,测试集归一化的时候也要用训练集的最大和最小值进行归一化。(很重要!!实习过程中犯的第一大错误,包括后续要产生某些新特征时,测试集一定要以训练集的指标划分!)
    (2)模型选择:不管怎么样先用随机森林(Random Forest)试试,效果总不会太差,可以以这个为度量来评估后续模型的好坏。一般越复杂的模型效果越高,GBDT,XGBOOST等,但如果需求是解释性模型较高时,还是线性模型好
    算法调优(参数调优,性能调优)
    (1)调参:交叉验证!先大范围的调,然后再小范围的调参,直到找到相对较好的参数。
    最终结果

    展开全文
  • 数据挖掘:数据清洗——数据噪声处理 一、什么是数据噪声? 数据噪声(Noise):数据集中的干扰数据(对场景描述不准确的数据),即测量变量中的随机误差或方差。 二、噪声数据与离群点的区别 观测量(Measurement) = ...
  • 基本概念 数据清洗从名字上也看的出就是把脏的洗掉指发现并纠正数据文件中可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等因为中的数据是面向某一主题的数据的集合这些数据从多个业务系统数据...
  • 数据挖掘:数据清洗——数据不平衡处理 一、什么是数据不平衡? 不平衡数据集指的是数据集各个类别的样本数目相差巨大,也叫数据倾斜。以二分类问题为例,即正类的样本数量远大于负类的样本数量。严格地讲,任何...
  • 数据挖掘中的数据清洗方法大全

    千次阅读 2017-10-21 23:47:26
    数据挖掘领域,经常会遇到的情况是挖掘...所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!    接下来本文就依次讲解如何处理 数据值缺失 和 数据值异常 两种情况的处理。1. 缺失值的处理 如下

      在数据挖掘领域,经常会遇到的情况是挖掘出来的特征数据存在各种异常情况,如 数据缺失 、数据值异常 等。对于这些情况,如果不加以处理,那么会直接影响到最终挖掘模型建立后的使用效果,甚至是使得最终的模型失效,任务失败。所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!
      
      接下来本文就依次讲解如何处理 数据值缺失 数据值异常 两种情况的处理。

    1. 缺失值的处理

      如下图所示,当我们在进行数据挖掘的过程中,往往会出现如下图所示的情况:某些样本的个别属性出现缺失的情况。

    这里写图片描述

    那么出现数据缺失的情况,我们应该怎么处理呢?

    1.1 删除缺失值

      当样本数很多的时候,并且出现缺失值的样本在整个的样本的比例相对较小,这种情况下,我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。

    缺点: 改变了样本的数据分布,并且对于缺失值过多的情况无法适用。

    1.2 均值填补法

      根据缺失值的属性相关系数最大的那个属性把数据分成几个组,然后分别计算每个组的均值,把这些均值放入到缺失的数值里面就可以了。

    缺点: 改变了数据的分布,还有就是有的优化问题会对方差优化,这样会让对方差优化问题变得不准确。

    1.3 热卡填补法

      对于一个包含缺失值的变量,热卡填充法的做法是:在数据库中找到一个与它最相似的对象,然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量(如变量Y)与缺失值所在变量(如变量X)最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。

    缺点: 太麻烦。与均值替换法相比,利用热卡填充法插补数据后,其变量的标准差与插补前比较接近。但在回归方程中,使用热卡填充法容易使得回归方程的误差增大,参数估计变得不稳定,而且这种方法使用不便,比较耗时。

    1.4 最近距离决定填补法

      假设现在为时间y,前一段时间为时间x,然后根据x的值去把y的值填补好。

    缺点: 一般就是在时间因素决定不显著的时候,比如一天的气温,一般不会突然降到很低,然后第二天就升的很高。但是对时间影响比较大的,可能就不可以了。

    1.5 回归填补法

      假设我y属性存在部分缺失值,然后我知道x属性。然后我用回归方法对没有缺失的样本进行训练模型,再把这个值的x属性带进去,对这个y属性进行预测,然后填补到缺失处。当然,这里的x属性不一定是一个属性,也可以是一个属性组,这样能够减少单个属性与y属性之间的相关性影响。

    缺点: 由于是根据x属性预测y属性,这样会让属性之间的相关性变大。这可能会影响最终模型的训练。

    1.6 多重填补方法(M-试探法)

      它是基于贝叶斯理论的基础上,然后用EM算法来实现对缺失值进行处理的算法。对每一个缺失值都给M个缺失值,这样数据集就会变成M个,然后用相同的方法对这M个样本集进行处理,得到M个处理结果,总和这M个结果,最终得到对目标变量的估计。其实这个方法很简单,就是我尽量多做模型,然后找出最好的,我就叫它M-试探法吧。

    1.7 k-最近邻法

      先根绝欧氏距离和马氏距离函数来确定具有缺失值数据最近的k个元祖,然后将这个k个值加权(权重一般是距离的比值吧)平均来估计缺失值。

    1.8 有序最近邻法

      这个方法是在K-最近邻法的基础上,根据属性的缺失率进行排序,从缺失率最小的进行填补。这样做的好处是讲算法处理后的数据也加入到对新的缺失值的计算中,这样即使丢了很多数据,依然会有很好的效果。在这里需要注意的是,欧式距离不考虑各个变量之间的相关性,这样可能会使缺失值的估计不是最佳的情况,所以一般都是用马氏距离进行最近邻法的计算。

    1.9 基于贝叶斯的方法

      就是分别将缺失的属性作为预测项,然后根据最简单的贝叶斯方法,对这个预测项进行预测。但是这个方法有一个缺点,就是说不能把之前的预测出来的数据加入到样本集,会丢失一些数据,会影响到预测。所以现在就是对属性值进行重要性排序,然后把重要的先预测出来,在加入新的数据集,再用新的数据集预测第二个重要的属性,这样一直处理到最后为止。

    2. 异常值的检测与处理


    未完待续……



    对机器学习和人工智能感兴趣,请微信扫码关注公众号!

    这里写图片描述

    展开全文
  • 数据挖掘:数据清洗——异常值处理 一、离群点是什么? 离群点,是一个数据对象,它显著不同于其他数据对象,与其他数据分布有较为显著的不同。有时也称非离群点为“正常数据”,离群点为“异常数据”。 离群点跟...
  • 基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉,指发现并纠正数据文件中 可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等 因为数据仓库中的数据是面向某一主题的数据的集合这些数据从多个...
  • 基本概念 数据清洗从名字上也看的出就是把 "脏" 的" 洗掉 " 指发现并纠正数据文件中 可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等 因为数据仓库 中的数据是面向某一主题的数据的集合这些数据...
  • 数据挖掘-数据预处理

    Data Preprocessing(数据预处理)

    核心问题:

    1.数据是杂乱无章?

    2.数据不能直接来进行分析?

    3.打好地基?

    主要点:

    1.Data Cleaning

    2.Data Transformation

    3.Data Description

    4.Feature Selection

    5.Feature Extraction

    数据从哪里来?

    金融数据,信息数据,GPS,手环等等,格式不仅相同。

    为什么要进行数据预处理?

    1.数据不完整?(Incomplete)

    2.Noisy

    3.Inconsistent

    4.Redundant

    5.Different Type

    6.Not Applicable(N/A)

    7.Data not provided



    展开全文
  • 数据清洗一是为了解决数据质量问题,二是让数据更加适合做挖掘 一、解决数据质量问题 数据的完整性,比如人的属性中缺少性别、籍贯、年龄等 数据的唯一性,比如不同来源的数据出现重复的情况 数据的权威性,比如...

    数据清洗一是为了解决数据质量问题,二是让数据更加适合做挖掘

    一、解决数据质量问题

    数据的完整性,比如人的属性中缺少性别、籍贯、年龄等

    数据的唯一性,比如不同来源的数据出现重复的情况

    数据的权威性,比如同一个指标出现多个来源的数据,且数值不一样

    数据的合法性,比如数据与常识不符,市区内开车速度到达了400km/h

    数据的一致性,比如不同来源的不同指标,实际的内涵与表示意义是一样的

    数据清洗的结果是对各种脏数据进行对应标准的干净的、连续的数据,提供给数据统计、数据挖掘等使用。

    1、数据完整性问题

    解决思路:数据补全

    (1)通过其他信息补全,比如通过身份证号码推算性别、籍贯、出生日期、年龄等

    (2)通过前后数据补全,例如时间序列确实,可以使用前后的均值填充,缺的数据多了,可以使用平滑处理

    (3)实在补不全的,必须剔除,但是不要删除,说不定以后用得上

    2、数据唯一性问题

    解决思路:去除重复记录,只保留一条

    (1)按照主键去重,用sql或者excel去除重复记录即可

    (2)按照规则去重,编写一系列规则,对重复情况负责的数据去重,例如不同渠道来的客户数据,可以通过相同的关键信息进行匹配,合并去重

    3、数据权威性问题

    解决思路:用最权威那个渠道的数据

    对不同渠道设定权威级别,然后再不同场合下选最重要的

    4、数据合法性问题

    解决思路:设定判定规则

    (1)设定强制合法规则,凡事不在规则范围内的,强制设置最大值以及最小值,剔除或者判断为无效

    字段类型合法规则:日期字段格式过滤

    字段内容合法规则:性别 in(男、女、未知));出生日期《=今天

    (2)设定警告规则,凡是不在规则范围内的,进行警告然后人工处理

    (3)离群值人工特殊处理,使用分箱、聚类、回归等方式发现离群值

    5、结局数据一致性问题

    解决思路:简历数据体系

    (1)指标体系(度量)

    (2)维度(分组、统计口径)

    (3)单位

    (4)频度

    (5)数据

    二、让数据更适合做挖掘或者展示

    高纬度-不适合挖掘

    低纬度-不适合挖掘

    无关信息-减少存储

    字段冗余-一个字段是其他字段计算出来的,会操成相关系数为1或者主成分分析异常

    多指标数据、单位不同-如GDP与城镇居民人居收入数值相差过大

    1、解决高纬度问题

    解决思路:降维

    (1)主成分分析

    (2)随机森林

    2、解决低纬度或者缺少维度

    解决思路:抽象

    (1)各种汇总、平均、加总、最大、最小等

    (2)各种离散化、聚类、自定义分组等

    3、解决无关信息和字段冗余

    解决思路:剔除字段

    4、解决多指标数值、单位不同问题

    解决思路:归一化

    (1)最小-最大

    (2)0-均值

    (3)小数定标

    三、标准流程

     
    数据清洗标准流程

    预处理阶段

    预处理阶段主要做两件事情:

    一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。

    二是看数据。这里包含两个部分:一是看元数据,包括字段解释、数据来源、代码表等等一切描述数据的信息;二是抽取一部分数据,使用人工查看方式,对数据本身有一个直观的了解,并且初步发现一些问题,为之后的处理做准备。

    第一步:缺失值清洗

    缺失值是最常见的数据问题,处理缺失值也有很多方法,我建议按照以下四个步骤进行:

    1、确定缺失值范围:对每个字段都计算其缺失值比例,然后按照缺失比例和字段重要性,分别制定策略,可用下图表示:

    2、去除不需要的字段:这一步很简单,直接删掉即可……但强烈建议清洗每做一步都备份一下,或者在小规模数据上试验成功再处理全量数据,不然删错了会追悔莫及(多说一句,写SQL的时候delete一定要配where!)。

     
     

    3、填充缺失内容:某些缺失值可以进行填充,方法有以下三种:

    以业务知识或经验推测填充缺失值

    以同一指标的计算结果(均值、中位数、众数等)填充缺失值

    以不同指标的计算结果填充缺失值

    前两种方法比较好理解。关于第三种方法,举个最简单的例子:年龄字段缺失,但是有屏蔽后六位的身份证号,so……

    4、重新取数:如果某些指标非常重要又缺失率高,那就需要和取数人员或业务人员了解,是否有其他渠道可以取到相关数据。

    以上,简单的梳理了缺失值清洗的步骤,但其中有一些内容远比我说的复杂,比如填充缺失值。很多讲统计方法或统计工具的书籍会提到相关方法,有兴趣的各位可以自行深入了解。

    第二步:格式内容清洗

    如果数据是由系统日志而来,那么通常在格式和内容方面,会与元数据的描述一致。而如果数据是由人工收集或用户填写而来,则有很大可能性在格式和内容上存在一些问题,简单来说,格式内容问题有以下几类:

    1、时间、日期、数值、全半角等显示格式不一致

    这种问题通常与输入端有关,在整合多来源数据时也有可能遇到,将其处理成一致的某种格式即可。

    2、内容中有不该存在的字符

    某些内容可能只包括一部分字符,比如身份证号是数字+字母,中国人姓名是汉字(赵C这种情况还是少数)。最典型的就是头、尾、中间的空格,也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下,需要以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。

    3、内容与该字段应有内容不符

    姓名写了性别,身份证号写了手机号等等,均属这种问题。 但该问题特殊性在于:并不能简单的以删除来处理,因为成因有可能是人工填写错误,也有可能是前端没有校验,还有可能是导入数据时部分或全部存在列没有对齐的问题,因此要详细识别问题类型。

    格式内容问题是比较细节的问题,但很多分析失误都是栽在这个坑上,比如跨表关联或VLOOKUP失败(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人)、统计值不全(数字里掺个字母当然求和时结果有问题)、模型输出失败或效果不好(数据对错列了,把日期和年龄混了,so……)。因此,请各位务必注意这部分清洗工作,尤其是在处理的数据是人工收集而来,或者你确定产品前端校验设计不太好的时候……

    第三步:逻辑错误清洗

    这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据,防止分析结果走偏。主要包含以下几个步骤:

    1、去重

    有的分析师喜欢把去重放在第一步,但我强烈建议把去重放在格式内容清洗之后,原因已经说过了(多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人,去重失败)。而且,并不是所有的重复都能这么简单的去掉……

    我曾经做过电话销售相关的数据分析,发现销售们为了抢单简直无所不用其极……举例,一家公司叫做“ABC管家有限公司“,在销售A手里,然后销售B为了抢这个客户,在系统里录入一个”ABC官家有限公司“。你看,不仔细看你都看不出两者的区别,而且就算看出来了,你能保证没有”ABC官家有限公司“这种东西的存在么……这种时候,要么去抱RD大腿要求人家给你写模糊匹配算法,要么肉眼看吧。

    上边这个还不是最狠的,请看下图:

    你用的系统里很有可能两条路都叫八里庄路,敢直接去重不?(附送去重小tips:两个八里庄路的门牌号范围不一样)

     
     

    当然,如果数据不是人工录入的,那么简单去重即可。

    2、去除不合理值

    一句话就能说清楚:有人填表时候瞎填,年龄200岁,年收入100000万(估计是没看见”万“字),这种的就要么删掉,要么按缺失值处理。这种值如何发现?提示:可用但不限于箱形图(Box-plot).

    3、修正矛盾内容

    有些字段是可以互相验证的,举例:身份证号是1101031980XXXXXXXX,然后年龄填18岁,我们虽然理解人家永远18岁的想法,但得知真实年龄可以给用户提供更好的服务啊(又瞎扯……)。在这种时候,需要根据字段的数据来源,来判定哪个字段提供的信息更为可靠,去除或重构不可靠的字段。

    逻辑错误除了以上列举的情况,还有很多未列举的情况,在实际操作中要酌情处理。另外,这一步骤在之后的数据分析建模过程中有可能重复,因为即使问题很简单,也并非所有问题都能够一次找出,我们能做的是使用工具和方法,尽量减少问题出现的可能性,使分析过程更为高效。

    第四步:非需求数据清洗

    这一步说起来非常简单:把不要的字段删了。

    但实际操作起来,有很多问题,例如:

    把看上去不需要但实际上对业务很重要的字段删了;

    某个字段觉得有用,但又没想好怎么用,不知道是否该删;

    一时看走眼,删错字段了。

    前两种情况我给的建议是:如果数据量没有大到不删字段就没办法处理的程度,那么能不删的字段尽量不删。第三种情况,请勤备份数据……

    第五步:关联性验证

    如果你的数据有多个来源,那么有必要进行关联性验证。例如,你有汽车的线下购买信息,也有电话客服问卷信息,两者通过姓名和手机号关联,那么要看一下,同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆,如果不是(别笑,业务流程设计不好是有可能出现这种问题的!),那么需要调整或去除数据。

    严格意义上来说,这已经脱离数据清洗的范畴了,而且关联数据变动在数据库模型中就应该涉及。但我还是希望提醒大家,多个来源的数据整合是非常复杂的工作,一定要注意数据之间的关联性,尽量在分析过程中不要出现数据之间互相矛盾,而你却毫无察觉的情况。



    作者:蠟筆小噺没有烦恼
    链接:https://www.jianshu.com/p/c2b15fcf7100
    来源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

    转载于:https://www.cnblogs.com/enmink/p/10586635.html

    展开全文
  • 数据挖掘中常用的数据清洗方法

    万次阅读 多人点赞 2018-05-15 14:16:15
    数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理;分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。 1. 探索性...
  • 数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的...
  • 数据清洗数据挖掘常见十大问题

    千次阅读 2021-04-03 23:19:01
    数据清洗数据挖掘常见十大问题一、数据预处理、数据清洗和特征工程二、数据预处理和特征工程阶段**最常见的10个问题**1. 什么是数据 EDA?2. 缺失值的处理方式有哪些?3. 如何检测异常数据?如何处理?4. 什么是...
  • 数据清洗作用是利用有关技术如数理统计、数据挖掘或预定义的清洗规则将脏数据转化为满足数据质量要求的数据。主要包括缺失值处理,异常值处理,数据分桶,特征归一化/标准化等流程 1. 缺失值处理 不处理: 针对...
  • 数据采集和数据清洗一、数据清洗1.数据去重(一)相关知识1> pandas读取csv文件-read_csv()2> pandas的去重函数-drop_duplicates()(二)本关任务(三)参考代码2.处理空值(一)相关知识1> DataFrame中...
  • 自己亲手全手打了一套系统的代码,帮助朋友完成设计,做了贵阳市几个区的房屋价格爬取以及数据清洗和可视化操作,代码细细道来: 原创文章 14获赞 142访问量 2万+ 关注 私信 展开阅读全文 作者:周小夏(cv调...
  • 数据挖掘:数据预处理——缺失值处理 一、什么是缺失值 缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。 而在数据处理的过程中,缺失...
  • 数据预处理是指在对数据进行数据挖掘之前,先对原始数据进行必要的清洗、集成、转换、离散和规约等一系列的处理工作,已达到挖掘算法进行知识获取研究所要求的最低规范和标准。通常数据预处理包括:数据清洗、数据...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,732
精华内容 692
关键字:

数据挖掘清洗