精华内容
下载资源
问答
  • 数据清洗 1.基本概念 数据清洗从名字上也看的出就是把脏的洗掉指发现并纠正数据文件中可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等因为中的数据是面向某一主题的数据的集合这些数据从多个业务...
  • 数据挖掘数据清洗数据挖掘一般流程 数据挖掘一般流程

    【数据挖掘】数据清洗

    数据挖掘一般流程

    需求分析:数据挖掘任务分类:(1)预测:分类+回归(2)聚类:文档归类(3)关联性分析:购物篮分析(4)异常检测:信用卡欺诈
    获取数据:sql,linux,爬虫
    数据清洗(主要:去重,缺失值处理,异常值处理 工具:python pandas包)
    特征工程(子集搜索策略+子集评价+降维:
    (1)过滤式:计算每个特征与相应变量的相关性,过滤掉相关性较低的特征,但实际应用中,一般会逐个特征分析与预测变量的关系,在Pandas中有很多相关函数(describe,value_counts()等等)可以很清晰的表示出两者关系,也可以通过画图
    (2)包裹式:以模型最终的学习性能作为特征集的评估准则,选择好的特征集,但因为需要训练多个模型,开销很大,不推荐;
    (3)嵌入式:将特征选择和学习器结合,让模型训练过程中自动进行特征选择,比如各种树模型;)
    算法选择
    (1)数据归一化:一般的模型都需要归一化,原因:将数据维度都调整到某范围内。注意点:训练集归一化的时候要计算最大值和最小值,测试集归一化的时候也要用训练集的最大和最小值进行归一化。(很重要!!实习过程中犯的第一大错误,包括后续要产生某些新特征时,测试集一定要以训练集的指标划分!)
    (2)模型选择:不管怎么样先用随机森林(Random Forest)试试,效果总不会太差,可以以这个为度量来评估后续模型的好坏。一般越复杂的模型效果越高,GBDT,XGBOOST等,但如果需求是解释性模型较高时,还是线性模型好
    算法调优(参数调优,性能调优)
    (1)调参:交叉验证!先大范围的调,然后再小范围的调参,直到找到相对较好的参数。
    最终结果

    展开全文
  • 数据挖掘数据清洗——数据噪声处理 一、什么是数据噪声? 数据噪声(Noise):数据集中的干扰数据(对场景描述不准确的数据),即测量变量中的随机误差或方差。 二、噪声数据与离群点的区别 观测量(Measurement) = ...
  • 数据挖掘数据清洗——数据不平衡处理 一、什么是数据不平衡? 不平衡数据集指的是数据集各个类别的样本数目相差巨大,也叫数据倾斜。以二分类问题为例,即正类的样本数量远大于负类的样本数量。严格地讲,任何...
  • 数据清洗 1.基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉,指发现并纠正数据文件中 可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等 因为数据仓库中的数据是面向某一主题的数据的集合这些...
  • 数据清洗 1.基本概念 数据清洗从名字上也看的出就是把 "脏" 的" 洗掉 " 指发现并纠正数据文件中 可识别的错误的最后一道程序包括检查数据一致性处理无效值和缺失值等 因为数据仓库 中的数据是面向某一主题的数据的...
  • 数据挖掘中的数据清洗方法大全

    千次阅读 2017-10-21 23:47:26
    数据挖掘领域,经常会遇到的情况是挖掘...所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!    接下来本文就依次讲解如何处理 数据值缺失 和 数据值异常 两种情况的处理。1. 缺失值的处理 如下

      在数据挖掘领域,经常会遇到的情况是挖掘出来的特征数据存在各种异常情况,如 数据缺失 、数据值异常 等。对于这些情况,如果不加以处理,那么会直接影响到最终挖掘模型建立后的使用效果,甚至是使得最终的模型失效,任务失败。所以对于数据挖掘工程师来说,掌握必要的数据清洗方法是很有必要的!
      
      接下来本文就依次讲解如何处理 数据值缺失 数据值异常 两种情况的处理。

    1. 缺失值的处理

      如下图所示,当我们在进行数据挖掘的过程中,往往会出现如下图所示的情况:某些样本的个别属性出现缺失的情况。

    这里写图片描述

    那么出现数据缺失的情况,我们应该怎么处理呢?

    1.1 删除缺失值

      当样本数很多的时候,并且出现缺失值的样本在整个的样本的比例相对较小,这种情况下,我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。

    缺点: 改变了样本的数据分布,并且对于缺失值过多的情况无法适用。

    1.2 均值填补法

      根据缺失值的属性相关系数最大的那个属性把数据分成几个组,然后分别计算每个组的均值,把这些均值放入到缺失的数值里面就可以了。

    缺点: 改变了数据的分布,还有就是有的优化问题会对方差优化,这样会让对方差优化问题变得不准确。

    1.3 热卡填补法

      对于一个包含缺失值的变量,热卡填充法的做法是:在数据库中找到一个与它最相似的对象,然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量(如变量Y)与缺失值所在变量(如变量X)最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。

    缺点: 太麻烦。与均值替换法相比,利用热卡填充法插补数据后,其变量的标准差与插补前比较接近。但在回归方程中,使用热卡填充法容易使得回归方程的误差增大,参数估计变得不稳定,而且这种方法使用不便,比较耗时。

    1.4 最近距离决定填补法

      假设现在为时间y,前一段时间为时间x,然后根据x的值去把y的值填补好。

    缺点: 一般就是在时间因素决定不显著的时候,比如一天的气温,一般不会突然降到很低,然后第二天就升的很高。但是对时间影响比较大的,可能就不可以了。

    1.5 回归填补法

      假设我y属性存在部分缺失值,然后我知道x属性。然后我用回归方法对没有缺失的样本进行训练模型,再把这个值的x属性带进去,对这个y属性进行预测,然后填补到缺失处。当然,这里的x属性不一定是一个属性,也可以是一个属性组,这样能够减少单个属性与y属性之间的相关性影响。

    缺点: 由于是根据x属性预测y属性,这样会让属性之间的相关性变大。这可能会影响最终模型的训练。

    1.6 多重填补方法(M-试探法)

      它是基于贝叶斯理论的基础上,然后用EM算法来实现对缺失值进行处理的算法。对每一个缺失值都给M个缺失值,这样数据集就会变成M个,然后用相同的方法对这M个样本集进行处理,得到M个处理结果,总和这M个结果,最终得到对目标变量的估计。其实这个方法很简单,就是我尽量多做模型,然后找出最好的,我就叫它M-试探法吧。

    1.7 k-最近邻法

      先根绝欧氏距离和马氏距离函数来确定具有缺失值数据最近的k个元祖,然后将这个k个值加权(权重一般是距离的比值吧)平均来估计缺失值。

    1.8 有序最近邻法

      这个方法是在K-最近邻法的基础上,根据属性的缺失率进行排序,从缺失率最小的进行填补。这样做的好处是讲算法处理后的数据也加入到对新的缺失值的计算中,这样即使丢了很多数据,依然会有很好的效果。在这里需要注意的是,欧式距离不考虑各个变量之间的相关性,这样可能会使缺失值的估计不是最佳的情况,所以一般都是用马氏距离进行最近邻法的计算。

    1.9 基于贝叶斯的方法

      就是分别将缺失的属性作为预测项,然后根据最简单的贝叶斯方法,对这个预测项进行预测。但是这个方法有一个缺点,就是说不能把之前的预测出来的数据加入到样本集,会丢失一些数据,会影响到预测。所以现在就是对属性值进行重要性排序,然后把重要的先预测出来,在加入新的数据集,再用新的数据集预测第二个重要的属性,这样一直处理到最后为止。

    2. 异常值的检测与处理


    未完待续……



    对机器学习和人工智能感兴趣,请微信扫码关注公众号!

    这里写图片描述

    展开全文
  • 数据挖掘数据清洗——异常值处理 一、离群点是什么? 离群点,是一个数据对象,它显著不同于其他数据对象,与其他数据分布有较为显著的不同。有时也称非离群点为“正常数据”,离群点为“异常数据”。 离群点跟...
  • 数据挖掘-数据预处理

    Data Preprocessing(数据预处理)

    核心问题:

    1.数据是杂乱无章?

    2.数据不能直接来进行分析?

    3.打好地基?

    主要点:

    1.Data Cleaning

    2.Data Transformation

    3.Data Description

    4.Feature Selection

    5.Feature Extraction

    数据从哪里来?

    金融数据,信息数据,GPS,手环等等,格式不仅相同。

    为什么要进行数据预处理?

    1.数据不完整?(Incomplete)

    2.Noisy

    3.Inconsistent

    4.Redundant

    5.Different Type

    6.Not Applicable(N/A)

    7.Data not provided



    展开全文
  • 数据清洗数据挖掘常见十大问题

    千次阅读 2021-04-03 23:19:01
    数据清洗数据挖掘常见十大问题一、数据预处理、数据清洗和特征工程二、数据预处理和特征工程阶段**最常见的10个问题**1. 什么是数据 EDA?2. 缺失值的处理方式有哪些?3. 如何检测异常数据?如何处理?4. 什么是...

    一、数据预处理、数据清洗和特征工程

    数据预处理主要是对数据集进行探索性分析,而特征工程则是进行分析后的相应处理。以上两个名词不常说,最常听的应该还是数据清洗,差不多也就相当于上面两个步骤。

    ​ 例如:在预处理阶段发现数据存在缺失值、异常值;数据特征之间存在共线性;数据特征可以互相组合形成更好的特征等等。就可以在特征工程 阶段对上述发现的问题进行相应的处理。

    二、数据预处理和特征工程阶段最常见的10个问题

    1. 什么是数据 EDA?

    EDA:Exploratory Data Analysis,译为:探索性数据分析。

    ​ 数据 EDA 是在拿到数据之后对数据进行初步探索认识的一个过程,在数据 EDA 阶段,并不对数据做任何处理,只进行数据探索,而在特征工程阶段会对数据进行相关操作。具体的,数据 EDA 有如下作用:

    1. 了解数据的分布、特征的类别,以及发现离群点数据。这一步可通过简单的直方图、散点图、小提琴图、箱型图等进行探索;
    2. 了解数据特征与特征之间的关联情况,以及特征与目标变量之间的关系。这一步可通过组合直方图、热力图等进行探索;
    3. 对于划分后的数据集,可以探索训练集和测试集的样本整体分布是否一致,数据特征的缺失情况、分布是否一致等。

    2. 缺失值的处理方式有哪些?

    对于缺失值的处理有很多方法,在缺失率低的情况下可以对缺失数据进行填充,比如使用均值、众数、随机森林算法等进行缺失值填充;

    另外,如果缺失值不能简单的填充,可以将缺失数据当做特征中的某个类别处理(具体的也可以在数据 EDA 中探索数据缺失的情况下和目标变量之间的关系)

    如果某个特征的缺失程度过高,也可以直接剔除该特征。需要注意的是,在 xgb 和 lgb 模型中可以自动处理缺失值,所以不需要提前进行处理。

    3. 如何检测异常数据?如何处理?

    异常数据的检测有两种方法,基于统计的异常点检测基于距离的异常点检测

    基于统计的异常点检测常用的有四分位法,通过上下四分位对异常数据进行筛选,特别的,在数据 EDA 阶段可以通过箱型图、小提琴图进行类似原理的检测。

    基于距离的异常点检测可以参考聚类模型,通过欧氏距离公式计算点点之间的距离,并据此筛选异常数据。

    对于异常数据,可以替换也可以删除;特别的,在风控模型中,会通过 WOE 转换对数据进行处理,将数据分成一箱一箱的,据此可以消除异常值对整体数据的影响。

    4. 什么是特征工程?有什么作用?

    特征工程总体来说是对数据进行处理、转换、筛选等,对在数据 EDA 阶段发现的缺失数据、异常数据等,都会在特征工程中进行处理,另外,对于特征的衍生、组合、转换等操作也会在此进行。

    特征工程的目的就是通过数据预处理、特征衍生、特征筛选从而得到规整的数据贡献度大的特征,使模型达到更好的效果。

    5. 特征工程的一般步骤是什么?

    特征工程的一般步骤包括数据预处理,特征转换和特征筛选三部分。

    1. 数据预处理:主要对缺失值、异常值、数据格式等进行简单的处理操作;

    2. 特征转换:对连续特征、离散特征、时间序列特征等进行转换,更进一步的,还会对特征之间进行特征组合,包括但不限于四则运算、交叉、合并等业务上的特征操作;

      例如:未婚 + 本科毕业,男生 + 有房有车

    3. 特征筛选:在上一步生成的大量的特征中筛选部分对目标变量有明显贡献的特征,常用的方法有 过滤法、包装法和嵌入法(后面会具体介绍)。

    6. 特征衍生的方法有哪些?

    常用的特征衍生主要包括业务上的衍生和非业务上的衍生,整理如下:

    • 业务上的特征衍生:基于对业务的深入理解,进行头脑风暴,或者整合第三方的数据进行业务上的交叉和延伸
    • 非业务上的特征衍生:抛开业务本身,对于特征可以进行四则运算、取平均/最大/最小、单位转换等操作;另外,对于类别特征,还可以进行独热编码等衍生操作。

    7. 对于时间序列特征、连续特征、离散特征如何做特征转换的?

    1. 对于时间序列特征:将时间变量的维度进行分离(年/月/日/时/分/秒),或者进行简单的衍生(季度、星期、凌晨、中午等),更进一步的可以与其他变量进行组合
    2. 对于连续型特征:常用标准化、归一化、离散化等操作。评分卡模型中主要用到离散化分箱,常用的离散化方法有:卡方分箱、等频等距分箱等。
    3. 对于离散型特征:如果是无序离散可以用独热编码,如果是有序离散可以用顺序编码。如果类别数较多可以使用平均数编码

    8. 如何处理样本不平衡问题?

    风控模型中样本不平衡主要是因为坏样本的数量太少,坏样本受限于用户本来就较少,也因为风控策略的严格导致坏用户过少。在针对此类数据样本一般使用如下方法:

    • 尝试扩大数据集,比如通过延长时间线来收集数据,将三个月的用户数据延长到六个月以增加数据量;
    • 对数据集进行抽样,一种是进行欠采样,通过减少较多类的数据样本来降低数据的不平衡;另一种是进行过采样,通过增加较少类的数据样本来降低数据的不平衡,常用 SMOTE 方法来实现过采样;
    • 尝试使用对不平衡样本数据处理效果较好的模型,如 xgb 和 lgb 模型。

    9. 特征筛选的作用和目的?

    在开始建模前的最后一个步骤就是进行特征筛选,特征筛选就是从所有的特征中筛选出贡献度最高的 m 个特征,使用筛选后的特征建模后有如下好处:

    • 大大缩短模型训练的时间,特别是在评分卡模型数据维度特别多时效果更佳;
    • 简化模型,避免维度过多产生维度灾难;
    • 增加模型的可解释性,减低模型过拟合的风险。

    10. 特征筛选的方法有哪些?优缺点各是什么?

    特征筛选常用的方法有过滤法、封装法和嵌入法,如何如下:

    10.1 过滤法 Filter:

    按照发散性或者相关性对各个特征进行评分,手动设定阈值或者待选择阈值的个数,选择特征。比较常用的方法有:方差过滤、卡方齐性检验、互信息法过滤、相关系数过滤、IV 值过滤,其中,后两个较常用。

    • 优点:算法复杂度低、通用性强,不需要训练分类器,对于大规模数据集比较实用;
    • 缺点:对于特征的评分在准确率上一般较低。

    10.2 嵌入法 Embedded

    先使用某些机器学习算法进行模型训练,得到各个特征的权重系数,根据系数从大到小选择特征。比较常用的方法有:基于随机森林、xgb、lgb 的嵌入法和使用惩罚项的模型的嵌入法(如岭回归,lasso 回归等)

    上述提到的权重系数代表特征对于模型的某种贡献或重要性,比较树模型中的 feature_importances_ 属性。

    • 优点:更加精确到模型的效用本身,对于模型性能的提升较好
    • 缺点:特征对于模型贡献度的阈值无法主观确定,需要根据实际情况确定。

    10.3 包装法 Wrapper:

    与嵌入法类似,包装法是一个特征选择和算法训练同时进行的方法,比较依赖于算法自身的选择。比较常用的方法有:递归消除法、启发式搜索(前向/后向选择法,逐步选择法)、随机搜索。启发式搜索较常用。

    具体的,包装法在初始训练集上训练评估器,通过 coed_ 属性或者通过 feature_importances_ 属性获得每个特征的重要性;然后,从当前的一组特征中修剪最不重要的特征,重复递归该过程直到特征达到要求

    • 优点:相对于过滤法,封装法的分类性能会更好
    • 缺点:通用性不强,当改变学习算法时,需要针对该学习算法重新进行特征选择;并且对于大规模数据,执行时间较长。
    展开全文
  • 数据挖掘中常用的数据清洗方法

    万次阅读 多人点赞 2018-05-15 14:16:15
    数据挖掘过程中,数据清洗主要根据探索性分析后得到的一些结论入手,然后主要对四类异常数据进行处理;分别是缺失值(missing value),异常值(离群点),去重处理(Duplicate Data)以及噪音数据的处理。 1. 探索性...
  • 数据清洗一是为了解决数据质量问题,二是让数据更加适合做挖掘 一、解决数据质量问题 数据的完整性,比如人的属性中缺少性别、籍贯、年龄等 数据的唯一性,比如不同来源的数据出现重复的情况 数据的权威性,比如...
  • 数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗,相关的...
  • 数据采集和数据清洗一、数据清洗1.数据去重(一)相关知识1> pandas读取csv文件-read_csv()2> pandas的去重函数-drop_duplicates()(二)本关任务(三)参考代码2.处理空值(一)相关知识1> DataFrame中...
  • 数据清洗作用是利用有关技术如数理统计、数据挖掘或预定义的清洗规则将脏数据转化为满足数据质量要求的数据。主要包括缺失值处理,异常值处理,数据分桶,特征归一化/标准化等流程 1. 缺失值处理 不处理: 针对...
  • 自己亲手全手打了一套系统的代码,帮助朋友完成设计,做了贵阳市几个区的房屋价格爬取以及数据清洗和可视化操作,代码细细道来: 原创文章 14获赞 142访问量 2万+ 关注 私信 展开阅读全文 作者:周小夏(cv调...
  • 数据预处理是指在对数据进行数据挖掘之前,先对原始数据进行必要的清洗、集成、转换、离散和规约等一系列的处理工作,已达到挖掘算法进行知识获取研究所要求的最低规范和标准。通常数据预处理包括:数据清洗、数据...
  • 数据挖掘:数据预处理——缺失值处理 一、什么是缺失值 缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。 而在数据处理的过程中,缺失...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,726
精华内容 690
关键字:

数据挖掘数据清洗