文章目录
 
一、规范化
二、反规范化
 


      数据库设计的规范化能够经常被提及，但是反规范化很少被涉猎。实际应用中反规范化应用的场景很多。本文主要介绍一下数据库的反规范化。
 
一、规范化
 
常见的规范化有数据库设计的三范式。
 
1NF 是最低的规范化要求。如果关系 R 中所有属性的值域都是简单域，属性不可再分。
2NF 非主属性完全函数依赖于码
3NF 非主属性不传递依赖于任何一个候选码
 
二、反规范化
 
    数据库中的数据规范化的优点是减少了数据冗余，节约了存储空间，相应逻辑和物理的I/O 次数减少，同时加快了增、删、改的速度，但是对完全规范的数据库查询，通常需要更多的连接操作，从而影响查询速度。因此，有时为了提高某些查询或应用的性能而破坏规范规则，即反规范化（非规范化处理）。
 
常见的反规范化技术包括：
 
 
（1）增加冗余列
 增加冗余列是指在多个表中具有相同的列，它常用来在查询时避免连接操作。例如：以规范化设计的理念，学生成绩表中不需要字段“姓名”，因为“姓名”字段可以通过学号查询到，但在反规范化设计中，会将“姓名”字段加入表中。这样查询一个学生的成绩时，不需要与学生表进行连接操作，便可得到对应的“姓名”。
 
 
（2）增加派生列
 增加派生列指增加的列可以通过表中其他数据计算生成。它的作用是在查询时减少计算量，从而加快查询速度。例如：订单表中，有商品号、商品单价、采购数量，我们需要订单总价时，可以通过计算得到总价，所以规范化设计的理念是无须在订单表中设计“订单总价”字段。但反规范化则不这样考虑，由于订单总价在每次查询都需要计算，这样会占用系统大量资源，所以在此表中增加派生列“订单总价”以提高查询效率。
 
 
（3）重新组表
 重新组表指如果许多用户需要查看两个表连接出来的结果数据，则把这两个表重新组成一个表来减少连接而提高性能。
 
 
（4）分割表
 有时对表做分割可以提高性能。表分割有两种方式。
 水平分割：根据一列或多列数据的值把数据行放到两个独立的表中。水平分割通常在下面的情况下使用。
 
情况 1：表很大，分割后可以降低在查询时需要读的数据和索引的页数，同时也降低了索引的层数，提高查询效率。
 情况 2：表中的数据本来就有独立性，例如表中分别记录各个地区的数据或不同时期的数据，特别是有些数据常用，而另外一些数据不常用。
 情况 3：需要把数据存放到多个介质上。
 
 
（5）垂直分割：把主码和一些列放到一个表，然后把主码和另外的列放到另一个表中。如果一个表中某些列常用，而另外一些列不常用，则可以采用垂直分割，另外垂直分割可以使得数据行变小，一个数据页就能存放更多的数据，在查询时就会减少 I/O 次数。其缺点是需要管理冗余列，查询所有数据需要连接操作。
 
 
 

 END

这篇总结了哪些东西：
 
1. 数据变换
 2. 数据规范化方法
 归一化（Min-max规范化）
 标准化（Z-score标准化）
 小数定标规范化
 
4. 规范化的作用
 3. 数据挖掘算法中是否都需要进行规范化呢？
 4. 标准化有什么注意事项？
 
具体写在了我的笔记里：
 
 

本文代码均已在 MATLAB R2019b 测试通过，如有错误，欢迎指正。
 

 
文章目录
 
一、数据规范化的原理
二、Matlab代码实现
1.最小-最大规范化
代码运行结果
2.零-均值规范化
代码运行结果
3.小数定标规范化
代码运行结果
  
 

 
一、数据规范化的原理
 
数据规范化处理是数据挖掘的一项基础工作。不同的属性变量往往具有不同的取值范围，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果。为了消除指标之间由于取值范围带来的差异，需要进行标准化处理。将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。
 
（1）最小-最大规范化
 假定min和max分别为属性A的最小值和最大值，则通过下面公式将属性A上的值v映射到区间[new_min, new_max]中的v’：
 $$v^{\prime }=\frac{v-min}{max-min}(new\_max-new\_min)+new\_min$$
 
（2）零-均值规范化
 将属性A的值根据其平均值mean和标准差std进行规范化：
 $$v^{\prime }=\frac{v-mean}{std}$$
 
（3）小数定标规范化
 通过移动属性A的小数点位置进行规范化，小数点的移动依赖于A的最大绝对值：
 $$v^{\prime }=\frac{v}{10^j}$$
 
其中，j是使 Max(| v’ |)<1的最小整数。
 
二、Matlab代码实现
 
1.最小-最大规范化
 
Matlab的代码可以写简单一点，不用像C++那样写两个for循环。
 
mi=min(A)默认求矩阵A每列的最小值，返回一个行向量mi。
repmat(mi,n,1)重复mi，重复行n次，重复列1次，从而形成与A相同大小的矩阵。
./可直接将两个矩阵所有相同位置的元素相除（不用写两个for循环）。
 
clear;clc;

%% 数据存入A
A=[78 521 602 2863	
144 -600 -521 2245	
95 -457 468 -1283
69 596 695 1054
190 527 691 2051
101 403 470 2487
146 413 435 2571];

fprintf("原数据："); A

new=input("请输入需要映射到的新区间。输入格式示例：[0,1]\n");
new_mi=new(1);
new_mx=new(2);

[n,m]=size(A);
mi=min(A); % 求出A每列的最小值，形成行向量mi（不用for循环）
mx=max(A); % 求出A每列的最大值，形成行向量mx
mi=repmat(mi,n,1); % 将矩阵mi重复，行n次，列1次，调整到与A相同大小（之后就不用for循环了）
mx=repmat(mx,n,1); % 将矩阵mx重复，行n次，列1次，调整到与A相同大小
B=(A-mi)./(mx-mi)*(new_mx-new_mi)+new_mi; % ./的含义是将两个矩阵所有相同位置的元素相除

fprintf("\n经过最小最大规范化后："); B
 
Matlab也有现成的mapminmax()函数直接实现最小-最大规范化：
 
B1=mapminmax(A')'; % 每列规范化到[-1,1]
B2=mapminmax(A',0,1)'; % 每列规范化到[0,1]
 
解释一下：
 
mapminmax()函数，默认按行最小最大规范化到[-1,1]。
由于默认是按行，如果要按列规范化，传参时需将A进行转置，将mapminmax()函数返回的结果再转置一下即可。
B2=mapminmax(A',0,1)'，后面加上两个参数表示新区间的左右端点。
 
代码运行结果
 
输入的新区间范围为[0,1]：
 
原数据：
A =

          78         521         602        2863
         144        -600        -521        2245
          95        -457         468       -1283
          69         596         695        1054
         190         527         691        2051
         101         403         470        2487
         146         413         435        2571

请输入需要映射到的新区间。输入格式示例：[0,1]
[0,1]

经过最小最大规范化后：
B =

    0.0744    0.9373    0.9235    1.0000
    0.6198         0         0    0.8509
    0.2149    0.1196    0.8133         0
         0    1.0000    1.0000    0.5637
    1.0000    0.9423    0.9967    0.8041
    0.2645    0.8386    0.8150    0.9093
    0.6364    0.8470    0.7862    0.9296
 
2.零-均值规范化
 
clear;clc;

%% 数据存入A
A=[78 521 602 2863	
144 -600 -521 2245	
95 -457 468 -1283
69 596 695 1054
190 527 691 2051
101 403 470 2487
146 413 435 2571];

A_mean=mean(A); % mean求的是每列的均值
A_std=std(A); % std求的是每列的标准差
[n,m]=size(A);
B=(A-repmat(A_mean,n,1))./repmat(A_std,n,1);

fprintf("原数据："); A
fprintf("经过零均值规范化后："); B
 
Matlab也有现成的zscore()函数直接实现零-均值规范化：
 
[B,A_mean,A_std]=zscore(A); % 返回按列进行零均值规范化后的矩阵、每列均值、每列标准差
B=zscore(A); % 只返回按列进行零均值规范化后的矩阵
 
代码运行结果
 
原数据：
A =

          78         521         602        2863
         144        -600        -521        2245
          95        -457         468       -1283
          69         596         695        1054
         190         527         691        2051
         101         403         470        2487
         146         413         435        2571

经过零均值规范化后：
B =

   -0.9054    0.6359    0.4645    0.7981
    0.6047   -1.5877   -2.1932    0.3694
   -0.5164   -1.3040    0.1474   -2.0783
   -1.1113    0.7846    0.6846   -0.4569
    1.6571    0.6478    0.6752    0.2348
   -0.3791    0.4018    0.1521    0.5373
    0.6504    0.4216    0.0693    0.5956
 
3.小数定标规范化
 
clear;clc;

%% 数据存入A
A=[78 521 602 2863	
144 -600 -521 2245	
95 -457 468 -1283
69 596 695 1054
190 527 691 2051
101 403 470 2487
146 413 435 2571];

mx=max(abs(A)); % 求每列绝对值最大的数mx
len=floor(log10(mx))+1; % 求绝对值最大的数的位数len
B=A./(10.^len); % 按列将A中每个元素除以相同的10^len

fprintf("原数据："); A
fprintf("经过小数定标规范化后："); B
 
代码运行结果
 
原数据：
A =

          78         521         602        2863
         144        -600        -521        2245
          95        -457         468       -1283
          69         596         695        1054
         190         527         691        2051
         101         403         470        2487
         146         413         435        2571

经过小数定标规范化后：
B =

    0.0780    0.5210    0.6020    0.2863
    0.1440   -0.6000   -0.5210    0.2245
    0.0950   -0.4570    0.4680   -0.1283
    0.0690    0.5960    0.6950    0.1054
    0.1900    0.5270    0.6910    0.2051
    0.1010    0.4030    0.4700    0.2487
    0.1460    0.4130    0.4350    0.2571

数据规范化处理
 
在拿到数据进行建模之前，我们需要将数据进行初步处理，例如通过据平滑、数据聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式。本文只介绍min-max标准化、Z-score标准化方法。
 
1. Min-max 规范化
 
定义：
 
Min-max 也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间。
 用公式表示就是：
 
 
 
1、其中max为样本数据的最大值，min为样本数据的最小值。
 2、这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
 
 
 
代码：
 
Python中在 SciKit-Learn 里有个函数 MinMaxScaler 是专门做这个的
 
#引入库
from sklearn import preprocessing
import numpy as np
# 初始化数据，每一行表示一个样本，每一列表示一个特征
x = np.array([[ 0., -3.,  1.],
              [ 3.,  1.,  2.],
              [ 0.,  1., -1.]])
# 将数据进行[0,1]规范化
min_max_scaler = preprocessing.MinMaxScaler()
minmax_x = min_max_scaler.fit_transform(x)
print minmax_x
 
2、Z-Score 规范化
 
定义：
 
最常见的标准化方法就是Z标准化；也是SPSS中最为常用的标准化方法，也叫标准差标准化。
 Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和方差，而且结果没有实际意义，只是用于比较。
 
 
 
 
步骤如下：
 1、求出各变量（指标）的算术平均值（数学期望）xi和标准差si ；
 2、进行标准化处理：
 zij=（xij－xi）/si
 其中：zij为标准化后的变量值；xij为实际变量值。
 3.将逆指标前的正负号对调。准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。
 如何改变文本的样式
 
 
代码：
 
在 SciKit-Learn 库中使用 preprocessing.scale() 函数，可以直接将给定数据进行 Z-Score 规范化。
 
from sklearn import preprocessing
import numpy as np
# 初始化数据
x = np.array([[ 0., -3.,  1.],
              [ 3.,  1.,  2.],
              [ 0.,  1., -1.]])
# 将数据进行Z-Score规范化
scaled_x = preprocessing.scale(x)
print scaled_x