精华内容
下载资源
问答
  • UCI数据集整理(附论文常用数据集)

    万次阅读 多人点赞 2018-08-30 18:02:32
    摘要:UCI数据集作为标准测试数据集经常出现在许多机器学习的论文中,为了更方便使用这些数据集有必要对其进行整理,这里整理了论文中经常出现的数据集,并详细介绍如何使用MATLAB将数据集文件整理成自己需要的格式...

    摘要:UCI数据集作为标准测试数据集经常出现在许多机器学习的论文中,为了更方便使用这些数据集有必要对其进行整理,这里整理了论文中经常出现的数据集,并详细介绍如何使用MATLAB将数据集文件整理成自己需要的格式以及如何使用数据集文件。要点如下,博主另一篇博文UCI数据集详解及其数据处理(附148个数据集及处理代码)有更加详细的介绍。

    点击跳转至UCI数据集下载页

    下载链接:博主在面包多网站上的完整资源下载页


    1. 前言

    UCI数据集是一个常用的机器学习标准测试数据集,是加州大学欧文分校(University of CaliforniaIrvine)提出的用于机器学习的数据库。机器学习算法的测试大多采用的便是UCI数据集了,其重要之处在于“标准”二字,新编的机器学习程序可以采用UCI数据集进行测试,类似的机器学习算法也可以一较高下。其官网地址如下:
    website: UCI Machine Learning Repository

    尽管从UCI数据集官网可以很容易找到许多想要的数据集,但要将其提供给自己的程序使用还需要了解数据的详细信息。UCI数据集中并非所有数据集都是以相同格式存于文件中的,读取和使用文件方式不一,因此有必要对数据文件稍作整理,特此总结。


    2. UCI数据集介绍

    2.1 简要认识

    要使用数据集中的数据首先需要分清标记和属性值。如点击进入数据集官网:UCI数据集官网选取数据集Iris

    该数据集详情页面如下,从表中数据显示该数据集的数据量为150,属性数为4

    而再往下的Data Set information 中则介绍了该数据集的详细信息,下面的Attribute Information(属性信息)是我们需要关注的,如下图

    其中1-4分别说明了四个属性所代表的实际意义,而5则说明了该数据集分为三类:Iris Setosa、Iris VersicolourIris Virginica。认识到这些,再去看具体的Iris文件中的数据便清楚明了了,点击标题Iris Data Set下方的Data Folder进入文件位置页面,选择iris.data(该文件为Iris数据集数据存放文件)

    进入到数据详情页面,如下图。可以看到文本的排列:每行5个数以逗号分隔,共150行,每行的前4列(红框内的数)分别对应4个属性值,而最后一列(绿色框内)为每个数据所属类别(或称标记)。当前看到的都是“Iris-setosa”一类的数据,往下翻则可看到”Iris-versicolour“和”Iris-virginica

    • 其他的数据集的情况与iris相似,而各个数据集属性数或类别数各有差异。值得注意的是,有些数据集每行数据中间的分隔符并非都是“ ,”(逗号),还有可能是“ ”(空格);有些数据集的标记可能是用数字表示的,如1,2,… 其位置也可能出现在第1列(也可能文件中未给出标记,需自行加上);还有的可能属性值都是英文字符,分别如下所示的wine数据集heart-disease数据集adult数据集。要想以统一的程序使用这样内部格式不一的数据集,就需要在程序使用前根据实际情况对数据集进行调整了。
      总之,各数据集可能各有差异,按照上面的步骤了解了各自的注释信息,找到属性数、分类数、标记等重要信息使用起来便顺利得多。

    2.2 下载数据

    要保存网站上的数据文件,可以进入某个数据集的文件位置页面,如Iris文件位置,选择“iris.data”,右键,链接另存为,即可下载该数据集文件。如下所示,当前保存的文件格式为“.data”文件。

    • 如若想保存文本文件(.txt),可先自行新建一个文本文件,直接点击iris.data进入数据详情页面,直接全选所有数据将数据粘贴到自己新建的文本文件中。至于其他文件格式如.mat,.xls则可借助MATLAB先读取文件数据然后转存为其他格式,在后面章节也会介绍。

    3. 用程序整理数据集

    本节介绍如何使用MATLAB对数据集进行整理,下面以对Iris数据集的整理为例介绍。

    首先从官网下载数据集,例如前面下载的iris.data或者自行复制的txt文件(自命名iris.txt),在文件所在文件夹新建一个.m文件。整理程序的功能是读取原文件数据将最后一列的英文标记按每类改为1-3的数字并将标记放在第一列,重新存储到新的txt文件,顺便另存为.mat以及.xls文件。

    从前面可知,iris文件的最后列为英文字母,如果直接采用MATLABload( )函数将导致最后一列文本未知错误,所以这里采用textscan( )函数。textscan( )函数调用方式如下

    textscan( ): 读取任意格式的文本文件。通过此函数,能够以一次读取一个块的方式读取文件,并且每个块可以具有不同的格式。
    使用方法:首先打开文本文件以进行读取,fopen 返回文件标识符。
    fileID = fopen('test80211.txt','r');
    读取 4 个简介行,这些行是由换行符分隔的字符串。
    Intro = textscan(fileID,'%s',4,'Delimiter','\n')
    Intro = 1x1 cell array{4x1 cell} textscan 返回一个 1x1 元胞数组,其中包含由字符串组成的一个 4×1 元胞数组。
    然后读取每个块的内容即可取出数据了,最后关闭文件。
    fclose(fileID);
    —— 引自 《MATLAB中文文档》

    Iris数据集进行整理的MATLAB程序如下。首先利用textscan()读取数据data为 1 * 5 cell 的元胞数组,每个元素是150*1 double 的数组,存储了一列上的所有数据。明显地,最后一个元素就是全部的标记数组,我们遍历这些标记并把带同一类标记的数据的索引记录下来。根据记录下的每类所有数据的索引便可取出每一类的数据并重新加上数字的标记。

    • textscan()也可以读取txt的文件数据,所以第6行的代码中的文件名同样可以是txt文件,如第5行代码所示。
    clear
    clc
    % 整理iris数据集
    
    % f=fopen('iris.txt');
    f=fopen('iris.data');% 打开文件
    data=textscan(f,'%f,%f,%f,%f,%s'); % 读取数据
    
    D=[];% D中存放属性值
    for i=1:length(data)-1
        D=[D data{1,i}];
    end
    fclose(f);
    
    
    lable=data{1,length(data)};
    n1=0;n2=0;n3=0;
    % 找到每类数据的索引
    for j=1:length(lable)
       if strcmp(lable{j,1},'Iris-setosa')
           n1=n1+1;
           index_1(n1)=j;% 记录下属于“Iris-setosa”类的索引
           
       elseif strcmp(lable{j,1},'Iris-versicolor')
           n2=n2+1;
           index_2(n2)=j;
           
       elseif strcmp(lable{j,1},'Iris-virginica')
           n3=n3+1;
           index_3(n3)=j;
           
       end
    end
    
    % 按照索引取出每类数据,重新组合
    class_1=D(index_1,:);
    class_2=D(index_2,:);
    class_3=D(index_3,:);
    Attributes=[class_1;class_2;class_3];
    
    I=[1*ones(n1,1);2*ones(n2,1);3*ones(n3,1)];
    Iris=[I Attributes];% 为各类添加数字标记
    
    
    save Iris.mat Iris % 保存.mat文件
    save Iris -ascii Iris; % 保存data文件
    
    
    f=fopen('iris1.txt','w');
    [m,n]=size(Iris);
    for i=1:m
        for j=1:n
            if j==n
                fprintf(f,'%g \n',Iris(i,j));
            else
                 fprintf(f,'%g,',Iris(i,j));
            end
        end
    end
    
    fclose(f);
    
    
    % save iris.txt -ascii Iris 
    % dlmwrite('iris.txt',Iris);
    

    经过代码1-42行的操作,原来带有的英文标记的数据便由相应的数字标记代替了并放在了第一列的位置上。这里原来标记为Iris-setosa的数据重新标记为1,Iris-versicolor标记为2,Iris-virginica标记为3。

    代码45行和46行分别将整理好的数据保存为.mat文件和.data文件;第49-61行是通过文件操作的方式利用循环逐行逐列将数据打印到txt文件中,每个数据中间由逗号分隔,每行5个数据打印完则回车至下一行。

    当然也可以采用64行或65行的方式保存txt文件,不过里面数据的格式稍有不同,读者可以自行尝试一下。整理前后的文件对比情况如下图所示。参照以上代码对于其他数据集的整理程序可在此之上根据实际需要稍作修改。

    4. 如何使用数据集文件

    整理好了数据文件,使用起来就比较简单了,其实前面的代码中已经读取过文件中的数据了。经过整理现在文件中的数据都是数字形式,在MATLAB中可以通过load( )函数直接读取了,如下代码

    iris_data=load('iris1.txt');
    lable_iris=iris_data(:,1);
    attributes_iris=iris_data(:,2:end);
    

    iris_data包含了标记和属性值的全部数据,lable_irisiris_data的第一列所有元素,即每个数据的标记,attributes_iris取自其后的所有列上的元素,即所有属性值的数组。具体的使用UCI数据集的机器学习算法实例可参考本人前面一篇博文Kmeans聚类算法详解,后面也会继续介绍。


    • 论文中经常出现的数据集本人已经按照以上方法整理完成,现将其一并分享给大家。整理好的数据集如下表所示,每个数据集文件都保存了.mat、.data、.txt三种文件格式方便大家选择下载,以下是下载链接

    【下载链接】

    下载链接1:论文中常见UCI数据集txt版
    下载链接2:论文中常见UCI数据集mat版
    下载链接3:论文中常见UCI数据集data版

    另外在整理过程中搜集了许多其他的UCI数据集,文件都是mat格式方便使用,下图是压缩包内的文件详情,有需要的可以下载,下载链接如下

    下载链接4:43个mat格式的UCI数据集

        同时本资源已上传至面包多网站,如果您没有积分或C币或者没有会员,可以点击以下链接获取。完整文件下载链接如下:

    下载链接:博主在面包多网站上的完整资源下载页

    公众号获取
        本人微信公众号已创建,扫描以下二维码并关注公众号“AI技术研究与分享”,后台回复“UC20180830”即可获取全部资源文件信息。


    5. 结束语

    由于博主能力有限,博文中提及的方法与代码即使经过测试,也难免会有疏漏之处。希望您能热心指出其中的错误,以便下次修改时能以一个更完美更严谨的样子,呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。

    展开全文
  • 如何使用UCI数据集

    万次阅读 多人点赞 2017-10-29 14:05:56
    UCI数据集是一个常用的机器学习标准测试数据集。 地址: http://www.ics.uci.edu/~mlearn 以Iris鸢尾花数据集为例: 1.Iris数据集在右边方框【Most Popular Data Sets (hits since 2007)】中第一个。 2.点击...

    UCI数据集是一个常用的机器学习标准测试数据集。 地址: http://www.ics.uci.edu/~mlearn

    以Iris鸢尾花数据集为例:

    1.Iris数据集在右边方框【Most Popular Data Sets (hits since 2007)】中第一个。
    UCI数据集网站

    2.点击Iris数据集,进入该数据集详情页面:
    Iris数据集详情

    上面是这个数据集的详细信息:多变量数据集,没有缺失值,也许是模式识别文献中最著名的数据集等等,再往下是与该数据集相关的一些论文。

    3.回到上面的图片处,左边【Data Folder】是存放该数据集的位置,【Data Set Description】是数据集的描述,点击进入【Data Folder】。

    4.该文件夹中有三个文件:【Index】、【iris.data】和【iris.names】(忽略【bezdekIris.data】)。

    • Index为文件夹目录,列出了本文件夹里的所有文件。如iris中index的内容如下:
      Index of iris
      02 Dec 1996 105 Index
      08 Mar 1993 4551 iris.data
      30 May 1989 2604 iris.names
    • iris.data为iris数据文件,内容如下:
      5.1,3.5,1.4,0.2,Iris-setosa
      4.9,3.0,1.4,0.2,Iris-setosa
      4.7,3.2,1.3,0.2,Iris-setosa
      ……
      7.0,3.2,4.7,1.4,Iris-versicolor
      6.4,3.2,4.5,1.5,Iris-versicolor
      6.9,3.1,4.9,1.5,Iris-versicolor
      ……
      6.3,3.3,6.0,2.5,Iris-virginica
      5.8,2.7,5.1,1.9,Iris-virginica
      7.1,3.0,5.9,2.1,Iris-virginica
      ……
      如上,属性直接以逗号隔开,中间没有空格(5.1,3.5,1.4,0.2,),最后一列为本行属性对应的值(这里即为鸢尾花的种类)。
    • iris.names就是说过的【Data Set Description】,介绍了iris数据的一些相关信息,如数据标题、数据来源、以前使用情况、最近信息、实例数目、实例的属性等。

    4.点击【iris.data】,右键,链接另存为,即可下载该数据集。

    5.在Matlab中,我们可以右键点击该文件选择【导入数据】进入可视化界面并加载数据或使用命令【load 文件名】加载数据。建议使用右键方法,因为可以自行选择导入数据的范围。P.S.因为Iris数据集中有字符串,所以我们需要将其替换为数字。

    6.至此,我们就可以得到该数据集并使用了!


    参考资料:
    1. UCI数据集使用

    展开全文
  • 摘要:本文对机器学习中的UCI数据集进行介绍,带你从UCI数据集官网出发一步步深入认识数据集,并就下载的原始数据详细讲解了不同类型的数据集整理如何通过程序进行整理。为了方便使用,博文中附上了包括数据集整理及...

    介绍图
    摘要:本文对机器学习中的UCI数据集进行介绍,带你从UCI数据集官网出发一步步深入认识数据集,并就下载的原始数据详细讲解了不同类型的数据集整理如何通过程序进行整理。为了方便使用,博文中附上了包括数据集整理及数据预处理在内的所有代码及处理好的数据集,同时对代码进行了解释,其要点如下:

    \color{#4285f4}{点}\color{#ea4335}{击}\color{#fbbc05}{跳}\color{#4285f4}{转}\color{#34a853}{至}\color{#ea4335}{博}\color{#4285f4}{文}\color{#ea4335}{涉}\color{#fbbc05}{及}\color{#4285f4}{的}\color{#34a853}{全}\color{#ea4335}{部}\color{#fbbc05}{文}\color{#4285f4}{件}\color{#34a853}{下}\color{#ea4335}{载}\color{#fbbc05}{页}


    前言

      UCI\color{#4285f4}{U}\color{#ea4335}{C}\color{#fbbc05}{I}\color{#4285f4}数据集作为机器学习算法比较中的绝对经典经常出现在大多数论文或研究中。为了验证机器学习算法性能,UCI数据集通常用作为通用数据集,但官网提供的原始数据可能有格式不一致、缺失数据、包含特殊字符等问题,通常不能直接用于算法程序中,数据集的查找、下载、整理等可能会给初学者带来一定困扰。

    UCI官网配图
      对于数据集的查找整理确实是件费时费力的事情,是不是总有“论文就一篇,数据找半天”的问题?这里就来探讨下数据集整理的那些事。其实早前作者就写了一篇关于UCI数据集处理的博文:UCI数据集整理(附论文常用数据集)介绍了如何用程序整理数据集,这里会更加深入地介绍不同类型的数据集处理方法及数据预处理。本文较长建议结合右侧的目录阅读。


    1.UCI数据集介绍

      这一节先从UCI数据集官网出发介绍数据集的属性、格式等信息,在我的博文:UCI数据集整理(附论文常用数据集)中也有部分介绍,对数据集熟悉或想看数据处理代码干货的朋友也可以直接跳转至下一节。下面先看一下对UCI数据集的介绍。

    1.1 UCI数据集官网介绍

      UCI\color{#4285f4}{U}\color{#ea4335}{C}\color{#fbbc05}{I}\color{#4285f4}(University of California Irvine)数据集是美国加州大学欧文分校提出的一种适合模式识别和机器学习方向的开源数据集,很多学者选择使用UCI上的数据集来验证自己所提算法的正确性。博文写作时已拥有488个数据集,数据集还在不断扩充中,这些数据集主要分为二值分类问题、多分类问题以及回归拟合问题。UCI数据集提供了各个数据集的上主要属性,可以根据自己提出的各类算法在其数据集上做实验结果论证,证明自己所提算法的合理性。
    uci官网
    UCI数据集官网地址:https://archive.ics.uci.edu/ml/index.php
    UCI数据集数据地址:https://archive.ics.uci.edu/ml/datasets.php

      我在下图所示的UCI数据集官网截图中对其页面主要部分进行了标注,可以看出主页中主要包括了数据集页面入口、最新数据集、经典数据集及数据集的最近消息等。数据集页面入口提供了进入官网查看全部数据集的链接,为了方便用户查找在「最新数据集」和「经典数据集」区域整理了最新收录以及引用最多的几个数据集。如果只是简单测试下代码,直接点击页面上提供的数据集链接下载几个数据集就可以了,如果还需要更多数据集那就进入数据集页面入口,该页面发布有全部的数据集。

    首页介绍
      下图(图中页面已翻译)所示的全部数据集页面是一个按类型排列的数据表,可以按照数据集名称、任务类型、属性类型、数据类型等进行排列查找,点击想要的数据集链接可进入该数据集详情页。值得注意的是,右上角有一个搜索框,用户可以通过输入数据集名字搜索数据集,不过比较可惜亲测下来该搜索在没有外网VPN的加持下可能不能打开网页 (当然不能用的还有搜数据集的利器——谷歌数据集搜索)。
    在这里插入图片描述
      现在以官网数据集页面中的Adult(成年人收入)数据集为例,介绍以下数据集详情页面,点击链接进入Adult数据集页面,页面主要情况如下图1.1.1所示。对于需要特别关注的地方我已经用红色标记,主要包括数据集下载页面链接、数据集说明下载链接、数据量、属性数、是否确实数据及属性信息。当然其他的信息不可说没有必要,当我们要选用某个数据集进行测试时,了解更多的相关信息有助于更好根据数据情况对算法做出调整。页面最后面的相关论文和引用文献也能帮助了解专业情况。

    adult数据集页面

    图1.1.1 Adult数据集页面

    这里对上面提及的几个重要部分做个简介:

    • 数据量(Number of Instances):或称实例数,表示数据集有多少行数据。
    • 属性数(Number of Attributes):表示数据集每行有多少个特征属性,决定了数据集复杂程度。
    • 属性信息(Attribute Information):这里介绍了数据集的分类类别,及每个属性表示的意义。例如上图数据集中介绍了成年人收入的两种分类类别:> 50K, <= 50K,属性情况:年龄、工作类别、教育程度等14个属性。
    • 是否缺失数据(Missing Values):这体现了数据集中是否有某些数据缺失,如有缺失,则应特别注意在数据处理时需要补充数据或删除无效数据。
    • 属性类型(Attribute Characteristics):一般有Categorical(类别型), Integer(整数型), Real(实数型)这三种。值得注意的是,如果这一栏中有Categorical型表示该数据集中可能会包含字符串,处理数据时需要用对应数字代替。

    1.2 数据集文件认识

    下载链接
      如上图所示,点击Data Folder进入Adult数据集文件下载目录页面,可以看到该数据集的文件目录如下图所示。点击下载链接即可下载该数据集,Adult数据集已经划分好训练和测试数据集(一般的数据集未划分则只有一个数据文件),所以这里需要分别下载下图所示的两处文件,如下在链接上右键,点击“链接另存为”即可下载文件。

    数据集下载
      上面下载的文件格式类型为data型,该文件在MATLAB中可以直接打开(也可以右击选择打开方式为记事本打开),打开的文件内容如下图(加的红线分割左侧为属性,右侧为标记):

    Adult文件内容

    图1.2.1 Adult文件数据详情

      可以看到文件中的数据中既有英文字符串又有整数,果然同前面介绍页中的“属性类型”显示的那样为Categorical型和Integer性。刚学习的朋友可能不太能明白这一堆数据里面到底是些什么,这一堆奇怪的数据真的能被算法直接计算吗?其实在上面一小节中已经有所提及,前面我们看到Adult数据集详情页面中“Attribute Information(属性信息)”那一栏(如图1.2.2)介绍的该数据集的类别有两个:> 50K, <= 50K,也就是收入超过50K和不超过50K两类。这说明每行最后面的那一栏是就标签,这实际是一个二分类任务的数据集,每行前面的14个数据分别是年龄、工作类别、教育程度等14个属性,如下图1.2.2:

    属性信息

    图1.2.2 Adult数据集属性信息

      再仔细看图1.2.1中的数据,结合图1.2.2可以知道每行的第一个属性表示的是年龄,它是个连续的整数型数据。而第二个属性为工作类别,它是一个英文字符串表示的字符型离散值,在整个数据集中这一属性实际可能取值是:Private, Self-emp-not-inc, Self-emp-inc, Federal-gov, Local-gov, State-gov, Without-pay, Never-worked这几个工作类别,也就是前面说的Categorical型,同样的还有第4,6,7…个属性表示的教育程度、婚姻状况、职业等等。这为我们后面用程序整理数据集提供了思路,既然是有限类别的,那我们就可以用类似1,2,3…这样的数字代替对应的英文字符串从而转化为一个纯数字的数据文件供算法程序使用了,后面一章将详细介绍。

      前面的图1.2.1中展示的是数据集前12行的数据,但如果我们再仔细浏览后面的数据还有一些值得注意的地方,如下图1.2.3标记的第15行数据。

    adult缺失数据信息

    图1.2.3 Adult数据集缺失数据部分

      该行数据的第14个属性表示为“?”意味着该处数据缺失,也就是国籍不详(第14个属性表示国籍),此外还有其他少数的几行有部分数据缺失。这和前面图1.1.1中的描述的“存在数据缺失”相符,数据缺失在机器学习中也很常见,因为数据的采集过程可能比较复杂,有些数据缺失在所难免。对于缺失的数据我们要做的也很简单,那就是“补上还能用的数据,或者删掉无效的数据”就可以了,下一章会详细讲述。

    存在缺失数据

    1.3 不同类型的UCI数据集

      上面两个小节以Adult数据集为例从头到尾介绍了一遍如何认识和理解数据集文件中的数据,读者应该对UCI数据集有了一个基本认识。其实Adult数据集算是一个比较“复杂麻烦”的数据集了,大多的数据集不会有那么多英文字符和数据缺失。大多的数据集属性为数字,类别标签可能是数字或英文字符,数据也比较完整是无需我们处理缺失数据的。在我的博文《UCI数据集整理(附论文常用数据集)》中也有介绍,有兴趣的可以点过去看一下。之所以说得这么复杂是因为这个数据集几乎包含了UCI数据集中的所有可能的“麻烦问题”。接下来简单列举总结下UCI数据集文件中数据的几种类型,这将决定了我们后面采用怎样的方式整理数据集。

      为了后面叙述方便,原谅我不太专业地根据文件中的数据是否部分包含英文字符、是否为纯数字、是否缺失数据将其分为三个难度:“纯数字、无缺失”,“部分英文字符、无缺失”,“部分or全部英文字符、有缺失”来分别介绍。当然还有“纯数字、有缺失”等组合,但是也可以参考第三种对缺失的处理方式,为了避免重复叙述这里就省略了。这三种情况的代表数据集有Glass数据集Abalone数据集Adult数据集,三个数据集的部分数据截图如下:

    glass数据集
    abalone数据集
    Adult数据集
      上面的三个数据集建议读者按照前面两小节的方法对照每个数据集详情页面上的介绍再研究一下,对于这三个数据集的介绍这里就不一一展开了,下面一节将以这三个数据集的整理为例讲述如何通过程序整理这三种数据集文件。


    2. 不同数据集的整理

      这一节就上节提到的UCI数据集中常见三种文件数据类型如何通过程序整理进行详细介绍。首先之所以需要整理数据集,是因为我们下载的UCI数据集文件常常可能含有英文字符串、缺失数据、存在无效数据等问题或者下载下来的数据集文件格式不一致导致我们无法通过统一的程序使用它。那么什么样的数据格式是我们想要的呢?

      还是以Adult数据集为例,其中的英文字符需要换成对应的数字表示,缺失的数据需要补充,另外数据集的分类标记:> 50K, <= 50K分别用数字> 0, 1代替并由最后一列移至首位(标记一般在数据首位,也可以放在末尾)。Adult数据集的原始数据文件与整理完成后的数据文件对比如下图所示:

    adult原始数据

    图2.1 Adult数据集原始数据

    Adult整理后的数据

    图2.2 Adult数据集整理后的数据

      很明显整理后的数据干净整洁、易于读取,而且在部分属性特征上更加适合机器学习算法处理,其中每行数据的第一个数字为分类标记。类似图2.2正是我们需要的数据格式,为了统一使用方便,博文中的数据集都整理为这种形式。接下来从易到难分别介绍“纯数字、无缺失”,“部分英文字符、无缺失”,“部分or全部英文字符、有缺失”三种情况下的数据如何通过程序整理,以下部分全部采用Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b}编程实现。

    2.1 “纯数字、无缺失”数据集

      以Glass数据集为例,首先在Glass数据集下载页下载Glass原始数据集,其数据文件部分数据如下图所示。其特点为纯数字,无缺失和特殊数据因此无需特殊处理技巧。由Glass数据集详情页上的介绍,该数据集为一个分类数为6,属性数为9的数据集。

    glass数据集
      在下载的数据文件存放路径处新建Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b}程序,创建一个命名为main.m的文件,并在编辑器键入如下代码:

    % glass
    % author: wuxian, website: https://wuxian.blog.csdn.net
    clear;
    clc;
    
    data_name = 'glass';
    fprintf('开始处理数据集: %s ...\n', data_name);
    
    n_entradas= 9; % 属性数
    n_clases= 6; % 类别数
    n_patrons(1)= 214; % 数据量(行数)
    n_fich= 1;
    fich{1}= 'glass.data'; % 文件路径名
    
    n_max= max(n_patrons);
    x = zeros(n_fich, n_max, n_entradas); % 用于存放提取出的属性数据
    cl= zeros(n_fich, n_max);             % 用于存放数据标签
    
    n_patrons_total = sum(n_patrons); % 用于显示进度
    n_iter=0;
    
    for i_fich=1:n_fich
        f=fopen(fich{i_fich}, 'r'); % 打开文件
        if -1==f
            error('打开数据文件出错 %s\n', fich{i_fich});
        end
        
        for i=1:n_patrons(i_fich) % 循环对每行数据进行处理
            n_iter=n_iter+1;
            fprintf('%5.1f%%\r', 100*n_iter/n_patrons_total); % 显示处理进度
            
            fscanf(f,'%i',1); % 第一个数字为序号,无需记录
            for j = 1:n_entradas
                temp=fscanf(f, ',%f',1); % 读取下一个数据,以逗号分隔
                x(i_fich,i,j) = temp;    % 保存一个数值到x
            end
            t=fscanf(f,',%i',1);
            if t >= 5  % 原数据标记中没有5,所以后面标号需要-1
                t = t - 1;
            end
            
            cl(i_fich,i) = t - 1;  	% 原标记从1开始,改为从0开始
        end
        fclose(f);% 关闭文件
    end
    
    
    %% 处理完成,保存文件
    fprintf('现在保存数据文件...\n')
    data = squeeze(x); % 数据
    label = cl';% 标签
    dataSet = [label,data];
    dir_path=['./预处理完成/',data_name];
    if exist('./预处理完成/','dir')==0   %该文件夹不存在,则直接创建
        mkdir('./预处理完成/');
    end
    saveData(dataSet,dir_path); % 保存文件至文件夹
    fprintf('预处理完成\n')
    
    
    %% 子函数,用于保存txt/data/mat三种类型文件
    function saveData(DataSet,fileName)
    % author:wuxian
    % DataSet:整理好的数据集
    % fileName:数据集的名字
    
    %% Data为整理好的数据集矩阵
    mat_name = [fileName,'.mat'];
    save(mat_name, 'DataSet')  % 保存.mat文件
    data_name = [fileName,'.data'];
    save(data_name,'DataSet','-ASCII'); % 保存data文件
    
    % 保存txt文件
    txt_name = [fileName,'.txt'];
    f=fopen(txt_name,'w');
    [m,n]=size(DataSet);
    for i=1:m
        for j=1:n
            if j==n
                if i~=m
                    fprintf(f,'%g \n',DataSet(i,j));
                else
                    fprintf(f,'%g',DataSet(i,j));
                end
            else
                fprintf(f,'%g,',DataSet(i,j));
            end
        end
    end
    fclose(f);
    
    % save iris.txt -ascii Iris
    % dlmwrite('iris.txt',Iris);
    end
    

      以上程序代码的思路是提取每行中每个数据的属性和标签分别保存到与x, cl两个矩阵中,然后通过调用子函数saveData( )保存数据为txt, data, mat格式文件。数据提取的过程是通过遍历每行数据,利用fscanf( )函数逐个读取每个逗号分隔的数据,最后在第52行将得到的属性和标签合并成一个矩阵并将标签放在第一列。运行程序后整理好的文件将保存在“预处理完成”的文件夹中,保存的文件及整理后的数据如下:

    保存文件与整理好的数据
    以上整理好的数据集第一列为标签(取值有0, 1, 2, 3, 4, 5),其余列为属性并与原数据集一致。

    2.2 “部分英文字符、无缺失”数据集

      相比前一小节中纯数字的原始数据集,最为常见的数据恐怕还是部分带一些英文字符的了。有些数据集的某些特征取值为有限个数的离散值,例如Abalone数据集,从Abalone数据集下载页下载该数据集,打开部分数据如下图所示:

    abalone数据集

      从上图数据中可以看出只有第一列的属性为英文字符,其它属性都是数字,根据Abalone数据集详情页上的介绍,该数据集的第一列属性是鲍鱼的性别,有雄性(M)、雌性(F)及幼期(I)三个取值,所以这里需将第一个属性中的英文字符“M, F, I”分别用数字“-1, 0, 1”代替。

      另外该数据集要预测的物理量是鲍鱼的年龄,原始数据集年龄那一列数据(最后一列)实际为连续取值,在该数据集的“属性信息”中有介绍到该数据集既可以作为连续值预测也可以用于分类任务。所以这里在处理Abalone数据集的标签时需要将连续数值离散化,我们可以根据鲍鱼年龄age的取值分为:“age<9,9<age<11,age>11age<9, 9<age<11, age>11”三类,分别用数字“-1, 0, 1”表示。这是针对这一单个数据集而言的,如果数据集标签本身就是可以直接用于分类的,就无需进行离散化了。

      按照上面的分析,处理这种数据集时我们只需替换第一列英文字符并将最后一列的标签离散化。在下载的数据文件存放路径处新建Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b}程序,创建一个命名为main.m的文件,并在编辑器键入如下代码:

    %% abalone
    % author: wuxian, website: https://wuxian.blog.csdn.net
    clear;
    clc;
    data_name = 'abalone';
    fprintf(['处理数据集: ',data_name,'abalone 原始数据 ...\n']);
    fich= [data_name,'.data'];
    
    n_entradas= 8; % 属性数
    n_clases= 3;  % 分类数
    n_fich= 1; % 数据集个数
    n_patrons= 4177; % 数据量(行数)
    
    x = zeros(n_patrons, n_entradas); % 用于存放提取出的属性数据
    cl= zeros(1, n_patrons);% 用于存放数据标签
    
    f=fopen(fich, 'r');% 打开文件
    if -1==f
        error('打开文件出错 %s\n', fich);
    end
    for i=1:n_patrons % 循环对每行数据进行处理
        
        fprintf('%5.1f%%\r', 100*i/n_patrons(1));% 显示处理进度
        
        t = fscanf(f, '%c', 1); % 读取一个字符数据
        switch t % 将对应字符替换为数字
            case 'M'
                x(i,1)=-1;
            case 'F'
                x(i,1)=0;
            case 'I'
                x(i,1)=1;
        end
        
        for j=2:n_entradas
            fscanf(f,'%c',1); % 中间有分隔符,后移1个位置
            x(i,j) = fscanf(f,'%f', 1);% 依次读取这一行所有属性
        end
        
        fscanf(f,'%c',1); 
        t = fscanf(f,'%i', 1); % 读取最后的标记值
        % 根据范围将连续的标记值离散化为三类
        if t < 9
            cl(1,i)=0;
        elseif t < 11
            cl(1,i)=1;
        else
            cl(1,i)=2;
        end
        fscanf(f,'%c',1);
        
    end
    fclose(f);
    
    %% 处理完成,保存文件
    fprintf('现在保存数据文件...\n')
    data = x; % 数据
    label = cl';% 标签
    dataSet = [label,data];
    dir_path=['./预处理完成/',data_name];
    if exist('./预处理完成/','dir')==0   %该文件夹不存在,则直接创建
        mkdir('./预处理完成/');
    end
    saveData(dataSet,dir_path); % 保存文件至文件夹
    fprintf('预处理完成\n')
    
    
    %% 子函数,用于保存txt/data/mat三种类型文件
    function saveData(DataSet,fileName)
    % DataSet:整理好的数据集
    % fileName:数据集的名字
    
    %% Data为整理好的数据集矩阵
    mat_name = [fileName,'.mat'];
    save(mat_name, 'DataSet')  % 保存.mat文件
    data_name = [fileName,'.data'];
    save(data_name,'DataSet','-ASCII'); % 保存data文件
    
    % 保存txt文件
    txt_name = [fileName,'.txt'];
    f=fopen(txt_name,'w');
    [m,n]=size(DataSet);
    for i=1:m
        for j=1:n
            if j==n
                if i~=m
                    fprintf(f,'%g \n',DataSet(i,j));
                else
                    fprintf(f,'%g',DataSet(i,j));
                end
            else
                fprintf(f,'%g,',DataSet(i,j));
            end
        end
    end
    fclose(f);
    
    % save iris.txt -ascii Iris
    % dlmwrite('iris.txt',Iris);
    end
    

      和前面整理的思路类似,这里还是使用x, cl两个矩阵保存从原始文件中提取的属性和标签,其中读取每个数值点采用循环调用fscanf( )函数逐个移动文件指针的方式读取,将提取的数据属性保存在x矩阵中。代码第25-33行读取出第一个属性值并根据它的取值不同分别对x的第一个元素赋不同的数字。代码第41-49行读取最后一列数值,并根据其值的取值范围将其划分为三个标签值的其中一个。至于各数据点之间的逗号分割符,程序中使用fscanf( )函数移动指针到下一个数据位置而并未赋值到变量中,从而跳过了逗号分隔符,如代码第36,40,50行。运行以上代码,得到整理完成的数据文件及部分数据截图如下:

    整理后的abalone数据集
    以上整理好的数据集第一列为标签(取值有0, 1, 2),其余列为属性,第一个属性已处理为数字(取值有-1, 0, 1

    2.3 “部分英文字符、有缺失”数据集

      经过前面两个例子的介绍我们再来看一个更加复杂点的数据集类型即除了有英文字符还有缺失数据的部分。以Adult数据集为例,这个数据集前面已多有介绍,改数据集有划分好的训练集和测试集,所以从AdultData Folder下载adult.dataadult.test两个数据文件,部分数据如下图:

    adult数据集
      字符型离散值转化为数值型:我们可以将某个需要转化为数值型的字符型属性的全部可能取值存放在一个元胞数组中并记取值个数为nn,而转化后的数值范围一般取[1,1][-1, 1],所以我们在[1,1][-1, 1]的取值范围内平均取nn个实数{1,3nn1,...,2k1nn1,...,n3n1,1},k=1,2,3,...,n1,n\{-1, \frac{3-n}{n-1}, ..., \frac{2k-1-n}{n-1}, ...,\frac{n-3}{n-1}, 1\}, k=1,2,3, ...,n-1, n用来代替这些字符型属性。比方说Adult原始数据的第2个属性表示工作类型有’Private’, ‘Self-emp-not-inc’, ‘Self-emp-inc’, ‘Federal-gov’, ‘Local-gov’, ‘State-gov’, ‘Without-pay’, 'Never-worked’将被分别替换为数值1,57,37,17,17,37,57,1-1, -\frac{5}{7}, -\frac{3}{7}, -\frac{1}{7}, \frac{1}{7}, \frac{3}{7}, \frac{5}{7}, 1。在程序中比对字符串然后可按以上公式顺序赋值为相应的数值。

      缺失数据处理:对于缺失数据的处理其实现在并没有一个很好的解决方式,一般来说缺失的数据点较少时可以直接删去,较常见的是采用该属性的均值、中值或众数来填充缺失,当然也可以直接补充为某些特定值。直接删去数据会导致数据量减少,而均值填补主要用于连续资料的缺失,这里的数据集属性大多为离散量,使用均值并不是一个很好的方法。以上方法大家可以分别尝试一下,这里直接对缺失的数据补充特定值0处理。

      在下载的数据文件存放路径处新建Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b}程序,创建一个命名为main.m的文件,并在编辑器键入如下代码:

    %% adult
    % author:wx  website:https://wuxian.blog.csdn.net
    clear;
    clc;
    
    data_name = 'adult';% 数据集名
    fprintf('lendo problema adult...\n');
    
    n_entradas= 14; % 属性数
    n_clases= 2; % 分类数
    n_fich= 2; % 文件数,含有训练和测试集
    fich{1}= 'adult.data';% 训练数据路径
    n_patrons(1)= 32561; % 训练集数据量
    
    fich{2}= 'adult.test'; % 测试数据路径
    n_patrons(2)= 16281;   % 测试数据量
    
    n_max= max(n_patrons);
    x = zeros(n_fich, n_max, n_entradas); % 属性数据
    cl= zeros(n_fich, n_max);             % 标签
    
    discreta = [0, 1, 0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 0, 1]; % 1表示该位置的属性需要将字符型离散值转化为数值型
    
    % 字符型离散值的所有取值
    workclass = {'Private', 'Self-emp-not-inc', 'Self-emp-inc', 'Federal-gov', 'Local-gov', 'State-gov', 'Without-pay', 'Never-worked'};
    education = {'Bachelors', 'Some-college', '11th', 'HS-grad', 'Prof-school', 'Assoc-acdm', 'Assoc-voc', '9th', '7th-8th', '12th', 'Masters', '1st-4th', '10th', 'Doctorate', '5th-6th', 'Preschool'};
    marital = {'Married-civ-spouse', 'Divorced', 'Never-married', 'Separated', 'Widowed', 'Married-spouse-absent', 'Married-AF-spouse'};
    occupation = {'Tech-support', 'Craft-repair', 'Other-service', 'Sales', 'Exec-managerial', 'Prof-specialty', 'Handlers-cleaners', 'Machine-op-inspct', 'Adm-clerical', 'Farming-fishing', 'Transport-moving', 'Priv-house-serv', 'Protective-serv', 'Armed-Forces'};
    relationship = {'Wife', 'Own-child', 'Husband', 'Not-in-family', 'Other-relative', 'Unmarried'};
    race = {'White', 'Asian-Pac-Islander', 'Amer-Indian-Eskimo', 'Other', 'Black'};
    sex = {'Male', 'Female'};
    country = {'United-States', 'Cambodia', 'England', 'Puerto-Rico', 'Canada', 'Germany', 'Outlying-US(Guam-USVI-etc)', 'India', 'Japan', 'Greece', 'South', 'China', 'Cuba', 'Iran', 'Honduras', 'Philippines', 'Italy', 'Poland', 'Jamaica', 'Vietnam', 'Mexico', 'Portugal', 'Ireland', 'France', 'Dominican-Republic', 'Laos', 'Ecuador', 'Taiwan', 'Haiti', 'Columbia', 'Hungary', 'Guatemala', 'Nicaragua', 'Scotland', 'Thailand', 'Yugoslavia', 'El-Salvador', 'Trinadad&Tobago', 'Peru', 'Hong', 'Holand-Netherlands'};
    
    % 字符型离散值的所有取值个数
    n_workclass=8; 
    n_education=16; 
    n_marital=7; 
    n_occupation=14; 
    n_relationship=6; 
    n_race=5; 
    n_sex=2; 
    n_country=41;
    
    for i_fich = 1:n_fich
        f=fopen(fich{i_fich}, 'r');
        if -1==f
            error('打开数据文件出错 %s\n', fich{i_fich});
        end
        
        for i=1:n_patrons(i_fich)
            fprintf('%5.1f%%\r', 100*i/n_patrons(i_fich)); % 显示进度
            
            for j = 1:n_entradas
                if discreta(j)==1
                    s = fscanf(f,'%s',1); 
                    s = s(1:end-1); % 去掉字符串末尾的逗号
                    if strcmp(s, '?')  % 对于缺失值补0
                        x(i_fich,i,j)=0;
                    else
                        % 确定具体的属性位置并赋相应变量
                        if j==2
                            n = n_workclass; p=workclass;
                        elseif j==4
                            n = n_education; p=education;
                        elseif j==6
                            n = n_marital; p=marital;
                        elseif j==7
                            n = n_occupation; p=occupation;
                        elseif j==8
                            n = n_relationship; p=relationship;
                        elseif j==9
                            n = n_race; p=race;
                        elseif j==10
                            n = n_sex; p=sex;
                        elseif j==14
                            n = n_country; p=country;
                        end
                        % 根据读取的字符值按排列顺序转化为-11之间的分数值
                        a = 2/(n-1); b= (1+n)/(1-n);
                        for k=1:n
                            if strcmp(s, p(k))
                                x(i_fich,i,j) = a*k + b; 
                                break
                            end
                        end
                    end
                else %0的位置(原数据就是数值型)直接读取原数据
                    temp = fscanf(f,'%g',1); 
                    x(i_fich,i,j) = temp; 
                    fscanf(f,'%c',1);
                end
    
            end
            
            s = fscanf(f,'%s',1);
            % 将标签转化为数值型(0,1if strcmp(s, '<=50K')||strcmp(s, '<=50K.')
                cl(i_fich,i)=0;
            elseif strcmp(s, '>50K')||strcmp(s, '>50K.')
                cl(i_fich,i)=1;
            else
                error('类别标签 %s 读取出错\n', s)
            end
    
        end
        fclose(f);
    end
    
    
    %% 处理完成,保存文件
    fprintf('现在保存数据文件...\n')
    dir_path=['./预处理完成/',data_name];
    if exist('./预处理完成/','dir')==0   %该文件夹不存在,则直接创建
        mkdir('./预处理完成/');
    end
    data_train =  squeeze(x(1,1:n_patrons(1),:)); % 数据
    label_train = squeeze(cl(1,1:n_patrons(1)))';% 标签
    dataSet_train = [label_train, data_train];
    saveData(dataSet_train,[dir_path,'_train']); % 保存文件至文件夹
    
    data_test =  squeeze(x(2,1:n_patrons(2),:)); % 数据
    label_test = squeeze(cl(2,1:n_patrons(2)))';% 标签
    dataSet_test = [label_test,data_test];
    saveData(dataSet_test,[dir_path,'_test']);
    
    fprintf('预处理完成\n')
    
    
    %% 子函数,用于保存txt/data/mat三种类型文件
    function saveData(DataSet,fileName)
    % DataSet:整理好的数据集
    % fileName:数据集的名字
    
    %% Data为整理好的数据集矩阵
    mat_name = [fileName,'.mat'];
    save(mat_name, 'DataSet')  % 保存.mat文件
    data_name = [fileName,'.data'];
    save(data_name,'DataSet','-ASCII'); % 保存data文件
    
    % 保存txt文件
    txt_name = [fileName,'.txt'];
    f=fopen(txt_name,'w');
    [m,n]=size(DataSet);
    for i=1:m
        for j=1:n
            if j==n
                if i~=m
                    fprintf(f,'%g \n',DataSet(i,j));
                else
                    fprintf(f,'%g',DataSet(i,j));
                end
            else
                fprintf(f,'%g,',DataSet(i,j));
            end
        end
    end
    fclose(f);
    
    % save iris.txt -ascii Iris
    % dlmwrite('iris.txt',Iris);
    end
    

      这里代码在前面一个的基础上做了改进,对于原文件属性是数值型的直接读取到x矩阵中,对于字符型的属性按照顺序对应为[-1, 1]上的离散数值。运行以上代码,得到整理完成的数据文件及部分数据截图如下:

    整理后的adult数据集
    以上整理好的数据集第一列为标签(取值有0, 1),其余列为属性,其中的字符型属性已处理为数值型。

      至此不同数据集的整理程序就介绍到这里了,UCI\color{#4285f4}{U}\color{#ea4335}{C}\color{#fbbc05}{I}\color{#4285f4}数据集数量众多,虽然没有统一的整理代码但经过这三个例子大家可以参考修改整理自己需要的数据集了。如果您有更好的整理方法欢迎在下方留言哦。


    3. 148个整理好的数据集与对应程序

      博主在三年的机器学习学习和研究中已累计整理了148个论文和研究中常用的UCI数据集,后面还会继续整理更多数据集并更新下载资源。查找、下载和整理数据集是件费时费力的事情,完整整理好足够论文或研究学习中需要的数据集可能会花费好多天甚至数周的时间,为了减少重复整理数据的繁冗工作,这里博主将自己整理好的148UCI数据集分享给大家,其中每个文件夹中都包含了以下内容:

    1. 从官网下载的完整原始数据文件
    2. 整理数据集、归一化及划分训练测试数据集的完整Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b}程序文件
    3. 整理完成后的数据集文件

    您可以直接使用里面整理好的数据集文件,也可以修改或重新运行整理的程序代码,整理好的148UCI数据集截图如下:

    整理好的全部文件目录
    文件中的所有程序代码均在Matlab\color{#4285f4}{M}\color{#ea4335}{a}\color{#fbbc05}{t}\color{#4285f4}{l}\color{#34a853}{a}\color{#ea4335}{b} R2016b中测试运行通过,整理的好数据集也是经过检查和自行使用过的,每个子文件夹里面的文件内容截图如下,下面提供了下载链接欢迎前去下载。

    文件夹详情图

    【资源获取】
      若您想获得博文中介绍的整理Glass数据集、Abalone数据集及Adult数据集涉及的完整程序文件(包含三个数据的原始文件、整理数据集程序代码文件及整理好的文件)扫描以下二维码并关注公众号“AI技术研究与分享”,后台回复“UC20200223”获取。
    公众号二维码

    148个整理好的UCI数据集下载】

      为大家提供优质的资源是博主一直坚持的动力,若您想获得上述介绍的148个整理好的UCI数据集(已包含本文中介绍的三个数据集),可以点击如下链接到博主的面包多网页上下载,面包多网站可以直接点击解锁,完成后可解锁页面下方的下载链接图标,点击即可下载。

    下载链接:博主在面包多网站上的完整资源下载页


    结束语

      由于博主能力有限,博文中提及的方法即使经过试验,也难免会有疏漏之处。希望您能热心指出其中的错误,以便下次修改时能以一个更完美更严谨的样子,呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。

    展开全文
  • UCI数据集.rar

    2019-11-25 22:13:22
    UCI数据集作为标准测试数据集经常出现在许多机器学习的论文中,为了更方便使用这些数据集有必要对其进行整理,这里整理了论文中经常出现的数据集,并详细介绍如何使用MATLAB将数据集文件整理成自己需要的格式以及...
  • UCI数据库是加州大学欧文分校(University of CaliforniaIrvine)提出的用于机器学习的数据库,这个数据库目前共有335个数据集,其数目还在不断增加,UCI数据集是一个常用的标准测试数据集。 网址: ...

    UCI数据库加州大学欧文分校(University of CaliforniaIrvine)提出的用于机器学习的数据库,这个数据库目前共有335个数据集,其数目还在不断增加,UCI数据集是一个常用的标准测试数据集。 网址:  http://archive.ics.uci.edu/ml/index.php

    到uci上下载数据集会发下下载下来的都是(.data)格式的,但是使用weka需要(.arff)格式的文件

    步骤:

    1、新建一个文件(.txt)

    2、打开网址你想要下载的数据集



    3、点击进去data folder, 会看到(xxx).data的数据文件,点击文件,看到里面的数据


    4、复制全选数据,张贴到第一步新建的文件中,重命名将文件名改为数据集的名字,后缀改为(.csv)数据格式  

    5、打开weka的ui界面选择Explorler, 先打开之前保存的数据文件(.csv),然后保存成(.arff)格式的文件。


    https://blog.csdn.net/come_on_bowl/article/details/78690349
    展开全文
  •  本文整合了几篇有关在matlab中结合uci...1.读取UCI数据集iris.data中数据: [attrib1, attrib2, attrib3, attrib4, class] = textread('iris.data', '%f%f%f%f%s', 'delimiter', ','); attrib = [attrib1';
  • UCI-HAR-数据集 此 repo 包含 run_analysis.R 脚本以及 README 和代码本。 该脚本可以放置在 UCI HAR Dataset 文件夹中并运行以分析数据集如何使用: 从下载并解压数据集 将 run_analysis.R 加载到 RStudio,并...
  • uci .data文件You will learn how to use the data sets from UCI that come with... 在此快速文章中,您将学习如何使用UCI附带的.data文件类型的数据集。 在哪里可以找到数据? (Where can data be found?) Kaggl...
  • Musk数据集UCI机器学习实验室于1949年9月建立的数据集,我们采用了版本一的数据集。该数据集共有476条数据,每条数据有168个属性,没有缺失值,适合二元分类任务。 数据集中包含了92个分子,其...
  • UCI-HAR-数据集 “获取和清洁数据”课程的课程项目 关于文件的一般说明:信息库中有三个文件:“ CodeBook.md”描述了您计算出的所有变量和汇总,以及单位以及步骤5生成的整洁数据集中的任何其他相关信息。 R':R...
  • 使用智能手机数据集的人类活动识别 学生姓名:程朝玉 日期:2015年6月19日 该回购包含以下文件: README.md:这是您正在读取的文件。 它提供了回购的基本信息。 codebook.txt:此文件将描述“ run_analysis.R”...
  • README.md - 包含有关各种脚本/文件以及如何使用它们的信息 CodeBook.md - 它描述了变量、原始数据以及为清理数据和整理数据而执行的任何转换或工作 Read_Test_Set.R - R 脚本,用于读取为测试数据提供的数据集,并...
  • 将run_analysis.R放入数据集文件夹(例如C:\Users\...\Project\UCI HAR Dataset ) 打开RStudio并将工作目录设置为包含数据集文件夹的目录(例如C:\Users\...\Project\UCI HAR Dataset ) 在RStudio中打开run_...
  • 打开RStudio并将setwd()设置为“ run_analysis.R”和“ UCI HAR Dataset”数据集所在的目录。 在控制台窗口中,键入: source("run_analysis.R") (1) Merge the training and the test sets to create one data...
  • 数据集使用 write.table(ResultRequired,row.names=FALSE) 写入的,因此要正确地将文件读入 R,您必须使用 data <- read.table(ResultRequired,header=TRUE)。 参考: : 整洁度: 将每个测量值分配为变量/列...
  • 根据步骤4中的数据集,创建第二个独立的整洁数据集,其中包含每个活动和每个主题的每个变量的平均值。 作为上述步骤5的结果,输出文件被创建为Submit.txt 。 这是整齐的数据,其中的变量在CodeBook.md中进行了说明...
  • 该项目是针对UCI-甲状腺疾病数据集上的分类问题而创建的。 它使用ANN进行预测。 预测类为: 1-甲状腺功能亢进 2次普通 3-普通 数据集 UCI资料库中的甲状腺疾病。 框架/库 凯拉斯 scikit学习 入门 这些说明将使您...
  • 本文基于UCI机器学习数据库中的银行营销数据集,从对数据集进行探索,数据预处理和特征工程,到学习模型的评估与选择,较为完整的展示了解决分类问题的大致流程。文中包含了一些常见问题的处理方式,例如缺失值的...
  • 借助excel将UCI的wine.data文件保存成matlab可读取的.mat文件Wine数据集数据集下载将.data文件转成.mat文件如何将.data文件用excel读取使用matlab导入excel表格的数据 参考博客如下,感谢各位博主 博客1:...
  • matlab精度检验代码UCI数据集上的MLP分类器比较研究 在这个项目中,有两个工作要做。 首先,比较各种BP算法,经过培训和测试后,需要运行程序的CPU时间。 另一部分是实现自动编码器分类器和最小距离分类器,然后将这...
  • 通过数据可视化来分析分类问题

    千次阅读 2018-05-13 16:12:00
    有利于方便和确定后续的模型训练和开发,通过这篇文章你能够学习到:1、如何来检查数据2、异常值的检测2、使用平行坐标图来寻找重要属性3、通过可视化来寻找属性和标签的关系数据集使用的是UCI提供的一个岩石和水雷...
  • #有关代码如何从 FIT UCI HAR 数据集创建整洁数据集的 R_analysis 符号,请参见下文 有关变量描述,请参阅 codebook.txt #Set Wd 以包含 UCI HAR 数据集 #从测试数据和标题创建数据帧 #只保留mean和std dev。 变量...
  • 如何使用 确保数据集文件夹“UCI HAR Dataset”位于 R 的工作目录中(即,如果工作目录名为“work”,则数据集文件夹应为“work/UCI HAR Dataset”)。 在 R 中获取脚本“run_analysis.R”。 执行main函数。 结果...
  • 数据集可以从UCI机器学习存储库的的。 有关数据集的其他详细信息可以在数据随附的上找到。 如果在未数据集的基本目录中执行 ,则将生成一个整齐的数据集(在下面和代码本中进行描述)。 执行以下任务: 读取...
  • 该项目的目的是从使用来自热那亚大学的智能手机数据的人类活动识别项目的原始数据开始,然后创建一个将训练数据和测试数据合并的整洁数据集数据集下载自: : 并解压,这会创建一个名为“UCI\HAR\Dataset”的主...
  • UCI HAR 数据集 - 在解压缩三星 HAR 数据时创建的原始数据集目录。 注意:此数据目录应存在于运行 scipt 的目录中。 CodeBook.md - CodeBook 描述原始数据、整理数据中的变量以及对原始数据集进行的转换以创建整理...
  • 该脚本对 UCI 提供的“使用智能手机数据集进行人类活动识别”进行分析。 数据集的分析包含在单个脚本run_analysis.R 。 项目说明 这是作为课程项目规范的一部分提供的说明的副本。 您应该创建一个名为 run_...
  • 获取和清理数据 Coursera上获取和清理数据的项目 该项目包含 run_analysis.R,它计算每个主题和每个活动的 UCI HAR 数据集(在找到)中每个特征的平均值。... 有关数据集如何与 tiddy.txt 相关的更多信息,请参阅 。
  • 该项目的目的是演示如何收集、使用和清理数据集,以便准备可用于以后分析的整洁数据。 本项目中使用的数据代表从三星 Galaxy S 智能手机的加速度计收集的数据。 文件CodeBook.md中详细介绍了变量、数据以及为清理...

空空如也

空空如也

1 2 3 4 5 6
收藏数 117
精华内容 46
关键字:

uci数据集如何使用