weka能处理的最好的数据格式是*.arff，arff（attribute relation file format），属性关系文件格式。

该格式的文件分为两部分：头信息和数据信息，头信息包括relation和attribute两部分，数据信息只有data。

@relation person

@attribute name string
@attribute age numeric
@attribute sex {male,female}
@attribute birthday date"yyyy-MM-dd HH-mm-ss"

@data
xiaoming,12,male,"2012-12-02 00:00:00"
xiaohong,11,male,"2013-03-04 00:00:00"

其中date必须指定格式如 date"yyyy-MM-dd HH-mm-ss",  名字或者数据里有空必须用引号括起来，单引号双引号都可以。

weka中一行称为一个实例（instance），相当于一个样本或者一条记录，竖行称为一个属性，相当于一个变量或者一个字段，整个表格称为数据集，展现了属性之间的关系。

属性名：关系名称在文件的第一有效行来定义，格式为@relation <relation-name>,relation-name是一个字符串，如果有空格必须用引号括起来。

属性声明：用@attribute开头的语句表示，格式为@attribute <relation-name> <datatype>,weka支持的数据格式有四种，string，numeric，nominal和date[data-format],

数据信息：@data标记，单独占一行，剩下的是各个实例的数据。每个实例占一行，实例的各个属性用逗号分开，如果某个属性的值缺失，用?号表示，逗号隔开，且?不能缺失。如xiaoming,?,male,?

稀疏矩阵：有些实例的属性值是0，且大量的值为0，如购物篮属性值，这样的数据用稀疏矩阵存更好一些。注意：是0值不是缺省值

例如：0,2,0,0,0,0,1,2,3    - >  {1 2,6 1,7 2,8 3}    注意：括号必须有，且计数从0开始

数据准备：

我们拿到的数据大多数是 csv ，txt或者excel格式的，为了更好的得到实验效果，我们需要将csv转换为arff的，怎么做呢？

excel转换为csv直接右键另存为就可以了，txt也可以直接以逗号的形式保存为csv。

由于csv第一行没有属性，所以我们需要手动的在第一行添加属性。如下图：

将csv转换为arff：

前提：.在第一行加上属性

1.直接用weka打开csv，保存为arff格式。

2.或者调用weka的CLI，weka.core.converters.CSVLoader filename.csv > filename01.arff

就可以转换成功了，路径可以是绝对路径。

Weka数据预处理(一)

对于数据挖掘而言，我们往往仅关注实质性的挖掘算法，如分类、聚类、关联规则等，而忽视待挖掘数据的质量，但是高质量的数据才能产生高质量的挖掘结果，否则只有"Garbage in garbage out"了。保证待数据数据质量的重要一步就是数据预处理（Data Pre-Processing），在实际操作中，数据准备阶段往往能占用整个挖掘过程6~8成的时间。本文就weka工具中的数据预处理方法作一下介绍。

Weka 主要支持一种ARFF格式的数据，含有很多数据过滤方法。关于ARFF格式文件，可以在此处了解详情。

Weka的数据预处理又叫数据过滤，他们可以在weka.filters中找到。根据过滤算法的性质，可以分为有监督的（SupervisedFilter）和无监督的（UnsupervisedFilter）。对于前者，过滤器需要设置一个类属性，要考虑数据集中类的属性及其分布，以确定最佳的容器的数量和规模；而后者类的属性可以不存在。同时，这些过滤算法又可归结为基于属性的（attribute）和基于实例的(instance)。基于属性的方法主要是用于处理列，例如，添加或删除列；而基于实例的方法主要是用于处理行，例如，添加或删除行。

数据过滤主要解决以下问题（老生常谈的）：

数据的缺失值处理、标准化、规范化和离散化处理。

数据的缺失值处理：weka.filters.unsupervised.attribute.ReplaceMissingValues。对于数值属性，用平均值代替缺失值，对于nominal属性，用它的mode(出现最多的值)来代替缺失值。

标准化(standardize)：类weka.filters.unsupervised.attribute.Standardize。标准化给定数据集中所有数值属性的值到一个0均值和单位方差的正态分布。

规范化(Nomalize):类weka.filters.unsupervised.attribute.Normalize。规范化给定数据集中的所有数值属性值，类属性除外。结果值默认在区间[0,1]，但是利用缩放和平移参数，我们能将数值属性值规范到任何区间。如：但scale=2.0，translation=-1.0时，你能将属性值规范到区间[-1,+1]。

离散化(discretize):类weka.filters.supervised.attribute.Discretize和weka.filters.unsupervised.attribute.Discretize。分别进行监督和无监督的数值属性的离散化，用来离散数据集中的一些数值属性到分类属性。

下文将详细介绍一下Weka数据过滤类。

Weka数据预处理(二)

首先来看一下，有关属性—有监督过滤器。

AddClassification

该过滤器使用给定的分类器对原始数据添加分类标签，并给出类的分布以及关于原始数据集的错误分类标记。

其实就是利用分类算法对原始数据集进行预分类，其结果与在classify阶段得到的结果基本一致，同样包括分类的正确率等信息。

AttributeSelection

该过滤器，用于进行属性选择。根据给定的挖掘任务，利用合适的评估器，选择最有利于当前挖掘任务的属性。

ClassOrder

该过滤器用于改变的数据对象顺序，适用于binary对象和nominal对象。

Discretize

离散化过滤器，用于将连续属性离散化。使用频率非常高的一个过滤器，在实际应用当中，离散化也是很常见的数据预处理步骤。

NorminalToBinary

标称值转化为二分值。举个例子吧，看官请看下图，一目了然。

Nominal value

Binary value

下面谈到的是实例—有监督过滤器

Resample

让人又爱又恨的抽样过滤器。利用放回或者不放回方法抽取特定大小的随机样本。

抽样方法有很多种，基于水库的、链式抽样、分层抽样等等。

SMOTE

同样是抽样过滤器，叫综合少数过采样技术。他要求被采样的原始数据集必须全部存储在内存中。详细内容可以参考Synthetic Minority Over-sampling Technique。

SpreadSubsamp

该分类器需要得知类标是属性中的哪一个.当获得了类标之后，他会计算出类标属性的分布，同时，按照参数M，指定类标分布的最大差距，比如当给出参数W时，调整数据实例的权重。

注意，M参数设定值为l时，那么就认为是均匀分布，当设定为0的时候，那么不进行类标分布的拓展(SPread);如果设定大于l，那么这个值就表示了分布最大的类标属性（类标属性最为常见的值）和分布最小的属性（类标属性最为稀少的值）的分布的比例。

StratfiedRemoveFold

该过滤器简单的使用n重交叉验证的方法，将数据集进行分割，并返回按照参数指定的子集。

关于无监督方法的过滤器，可以参考：http://www.cnblogs.com/htynkn/archive/2012/04/02/weka_3.html

参考：

http://www.pluscn.net/?p=1394

http://www.pluscn.net/?p=1400

输入数据与ARFF文件--数据挖掘学习和weka使用（二）

数据预处理和weka.filters的使用--数据挖掘学习和weka使用（三）

weka数据预处理的更多相关文章

1. 借助 SIMD 数据布局模板和数据预处理提高 SIMD 在动画中的使用效率

   原文链接 简介 为发挥 SIMD1 的最大作用,除了对其进行矢量化处理2外,我们还需作出其他努力.可以尝试为循环添加 #pragma omp simd3,查看编译器是否成功进行矢量化,如果性能有所提升 ...

2. R语言进行数据预处理wranging

   R语言进行数据预处理wranging li_volleyball 2016年3月22日 data wrangling with R packages:tidyr dplyr Ground rules ...

3. Scikit-Learn模块学习笔记——数据预处理模块preprocessing

   preprocessing 模块提供了数据预处理函数和预处理类,预处理类主要是为了方便添加到 pipeline 过程中. 数据标准化 标准化预处理函数: preprocessing.scale(X, ...

4. Deep Learning 11_深度学习UFLDL教程：数据预处理（斯坦福大学深度学习教程）

   理论知识:UFLDL数据预处理和http://www.cnblogs.com/tornadomeet/archive/2013/04/20/3033149.html 数据预处理是深度学习中非常重要的一 ...

5. R语言--数据预处理

   一.日期时间.字符串的处理 日期 Date: 日期类,年与日 POSIXct: 日期时间类,精确到秒,用数字表示 POSIXlt: 日期时间类,精确到秒,用列表表示 Sys.date(), date( ...

6. 对数据预处理的一点理解[ZZ]

   数据预处理没有统一的标准,只能说是根据不同类型的分析数据和业务需求,在对数据特性做了充分的理解之后,再选择相关的数据预处理技术,一般会用到多种预处理技术,而且对每种处理之后的效果做些分析对比,这里面经 ...

7. Python数据预处理—归一化，标准化，正则化

   关于数据预处理的几个概念 归一化 (Normalization): 属性缩放到一个指定的最大和最小值(通常是1-0)之间,这可以通过preprocessing.MinMaxScaler类实现. 常用的 ...

8. sklearn数据预处理－scale

   对数据按列属性进行scale处理后,每列的数据均值变成0,标准差变为1.可通过下面的例子加深理解: from sklearn import preprocessing import numpy as ...

9. 第七篇：数据预处理(四) - 数据归约(PCA/EFA为例)

   前言 这部分也许是数据预处理最为关键的一个阶段. 如何对数据降维是一个很有挑战,很有深度的话题,很多理论书本均有详细深入的讲解分析. 本文仅介绍主成分分析法(PCA)和探索性因子分析法(EFA),并给 ...