导入后往往需要对数据进行归一化或标准化处理

参考链接：(19条消息) 【Matlab】怎么实现数据归一化与标准化？_YaoYee_21的博客-CSDN博客_matlab实现数据归一化https://blog.csdn.net/YaoYee_21/article/details/109329393

关于 归一化 和 标准化 网上资料很多，但是没用统一的定义

 mapminmax 函数默认是对行进行归一化操作，所以需要将每一行作为样本特征

在应用于机器学习的输入时，要 对训练集与测试集一起归一化或标准化，也可以判断数据集划分是否合理

data = xlsread('dataset.xlsx');            % 读数据
[minMaxData,~] = mapminmax(data');         % 归一化
minMaxData = minMaxData';               % 行列转置
zScoreData = zscore(data);                % 标准化
 

前言

   现实中采集的原始数据不一定满足预测模型的需求，往往在使用之前需要对原始数据进行处理，使得采集的原始数据满足需求，本文主要做的是数据缺失处理方法。

1 加载原始数据

load('pm25data.mat')% 原始数据
figure
t = datetime(2010,1,2,0,0,0) + hours(0:length(pm25data)-1)';% 创建与数据对应的时间向量。
plot(pm25data)% 查看波形
title('原始数据波形')
xlabel('Time/h');
ylabel('PM_{2.5} / (\mu g.m^{-3})');

   如下图所示，可以看到原始数据波形有缺失部分

2 查找缺失值并填充缺失值

% -------------------------------------------------------------------------
% 查找缺失值
% -------------------------------------------------------------------------
TF1=ismissing(pm25data);% 查找缺失值,TF是逻辑矩阵，利用TF可以找到pm25data内的缺失值
%     plot(t,TF1,'*') % TF中的1对应pm25data中的缺失值
%     pm25data(TF1) % 显示缺失值位置
TF = TF1;
% -------------------------------------------------------------------------
% 填充缺失值 （pm25dataPre是插补后的数据）
% -------------------------------------------------------------------------
pm25dataPre = pm25data;
t = datetime(2010,1,2,0,0,0) + hours(0:length(pm25data)-1)';% 创建与数据对应的时间向量。
while max(TF) % 如果还存在缺失值就继续插补
    % pm25data = fillmissing(pm25data,'movmean',30);% 使用窗口长度为 30 的移动均值填充缺失数据。
    pm25dataPre = fillmissing(pm25dataPre,'movmedian',30); % 使用窗口长度为 30 的移动中位数替换数据中的 NaN 值 
    TF=ismissing(pm25dataPre);% 查找数据中的缺失值,TF是逻辑矩阵，利用TF可以找到pm25data内的缺失值
end
%     plot(TF) % TF中的1对应pm25data中的缺失值，当数据中的缺失值填充完时，可以看到TF的值全为0
plot(t,pm25dataPre,t(TF1),pm25dataPre(TF1),'x')% 查看插补后的数据 pm25dataPre
title('插补后的数据波形')
xlabel('Time/h');
ylabel('PM_{2.5} / (\mu g.m^{-3})');
legend('原始数据','插补值')    
%     save('pm25dataPre.mat','pm25dataPre');% 保存插补后的数据

可以看到数据缺失部分，已被补全

总结

   以上就是今天要讲的内容，数据是pm2.5数据。如有不合理的地方还请指出。

2021年4月5日09:51:56更新

问：如何用缺失值的前两个值的平均值进行插补？

  对于一个一维向量 A = [x1,x2,x3,x4,x5,x6]，其值如下表所示：

  可以看到x3和x6值缺失，对于x3进行插补，则
$$x3=(x1+x2)/2=(5+7)/2=6$$
同理
$$x6=(x4+x5)/2=(8+9)/2=8.5$$
故插值后，可得

MATLAB程序实现：
(注意：double 类型数据缺失值指示符为NaN)

	A = [5,7,NaN,8,9,NaN] 
	F = fillmissing(A,'movmean',[2,0])

运行结果：

  有一点需要注意，如果第一个元素为NaN，则无法对其进行插补。
例如：

	A = [NaN,5,7,NaN,8,9,NaN]
	F = fillmissing(A,'movmean',[2,0])

问：如何用缺失值的前一个值和后一个值的均值进行插补？

MATLAB程序实现：

	A = [5,NaN,7,NaN,3];
	F = fillmissing(A,'movmean',3)

运行结果：

  道理很简单，分析方法和上文相同，诸君可以试着自己分析一下。

2021年5月18日10:46:15更新

  有的人可能不会加载数据，针对这个问题，我进行了更新，上文中用到的数据源¹，在本次更新中会给出。程序运行后，会自动下载数据²，然后读取数据³，最后直接运行出结果。

clear;clc;close all;
%% 下载数据

    api = 'https://archive.ics.uci.edu/ml/machine-learning-databases/00381/';
    url = [api 'PRSA_data_2010.1.1-2014.12.31.csv'];
    filename = 'DataSet.csv';
    options = weboptions('Timeout',Inf); % 将超时值设置为 Inf 以使连接不会超时。
    outfilename = websave(filename,url,options); % 数据下载，保存在DataSet.csv中
%% 读取表格数据

    AllData = readmatrix(filename); 
    pm25data = AllData(25:43824,6); % 读取pm2.5数据
    save("pm25data.mat","pm25data") % 保存数据
%% 加载原始数据  

    load('pm25data.mat')% 原始数据
    figure
    subplot(211)
	t = datetime(2010,1,2,0,0,0) + hours(0:length(pm25data)-1)';% 创建与数据对应的时间向量。
    plot(t,pm25data)% 查看波形
    title('原始数据波形')
    xlabel('Time/h');
    ylabel('PM_{2.5} / (\mu g.m^{-3})');
%% 查找缺失值

    TF1=ismissing(pm25data);% 查找缺失值,TF是逻辑矩阵，利用TF可以找到pm25data内的缺失值
    TF = TF1;
%% 填充缺失值 （pm25dataPre是插补后的数据）

    pm25dataPre = pm25data;
    while max(TF) % 如果还存在缺失值就继续插补
        % pm25data = fillmissing(pm25data,'movmean',30);% 使用窗口长度为 30 的移动均值填充缺失数据。
        pm25dataPre = fillmissing(pm25dataPre,'movmedian',30); % 使用窗口长度为 30 的移动中位数替换数据中的 NaN 值 
        TF=ismissing(pm25dataPre);% 查找数据中的缺失值,TF是逻辑矩阵，利用TF可以找到pm25data内的缺失值
    end
    % plot(TF) % TF中的1对应pm25data中的缺失值，当数据中的缺失值填充完时，可以看到TF的值全为0
    subplot(212)
    plot(t,pm25dataPre,t(TF1),pm25dataPre(TF1),'x')% 查看插补后的数据 pm25dataPre
    title('插补后的数据波形')
    xlabel('Time/h');
    ylabel('PM_{2.5} / (\mu g.m^{-3})');
    legend('原始数据','插补值')
    % save('pm25dataPre.mat','pm25dataPre');% 保存插补后的数据

运行结果：

参考资料：

声明：部分代码或描述可能不是很完美，希望理解并加以支持。

这里以红酒品质数据为例，加以说明：

第一部分：重复值剔除

使用 unique 函数，这里仅列出常用的两种使用方式：

第一种：直接删除重复行

red = readmatrix('winequality.xlsx','Sheet','winequality-red','Range','A2:L1600');
% 数据读取
dataRed = unique(red,'rows');
% 删除数据中重复行数据，默认对原有数据排序(这里剔除937组重复值)
dataRed = unique(red,'rows','stable');

第二种：按列删除重复行

[C,ia,ic] = unique(dataRed(:,1:2),'rows')；
% 基于前两列的数据查找dataRed中的唯一行。
% 指定三个输出以返回索引向量 ia 和 ic。
uA = dataRed(ia,:)
使用 ia 对 dataRed 进行索引并检索包含前两列中元素的唯一组合的行。

第二部分：异常值处理

异常值处理的方式有很多，这里举例说明：

% 数据平滑
Amedian = smoothdata(dataRed,'movmedian');

补充说明几种平滑处理方法，指定为以下选项之一：

'movmean'  的每个窗口内的移动平均值。此方法对于减少数据中的周期性趋势很有用。

'movmedian' 的每个窗口内的移动中位数。当存在离群值时，此方法对于减少数据中的周期性趋势很有用。

'gaussian' 的每个窗口内的高斯加权移动平均值。

%% 查找离群值
TF = isoutlier(dataRed); 
%查找数据向量中的离群值。输出中的逻辑值 1 表示离群值的位置。
ind = find(TF) 
%查找非零元素
Aoutlier = dataRed(ind) 
%输出离群值

%% 离群数据填充
Afill = filloutliers(dataRed,'next'); 
%采用下一时刻数据进行填充，同样这里也可以使用均值、中心值等

2022年4月20日16:54:19