精华内容
下载资源
问答
  • Python 实现数据归一化处理
    千次阅读
    2022-04-06 16:38:24

    数据处理经常要用到归一化处理,使各项指数的尺度达到统一,python中实现数据归一化处理的代码如下:

    #准备工作:安装numpy、pandas包,csv文件转为数值型,之后修改出入输出地址即可。本文测试数据是点shp提取多种遥感指数导出的csv,第一行为列名
    
    import numpy as np
    import pandas as pd
    
    data_value = np.loadtxt(open("G:/Download/maps/wangyd_data/ice2_wyd.csv"),delimiter=",",skiprows=1)
    data_origin = pd.read_csv(r'G:/Download/maps/wangyd_data/ice2_wyd.csv',sep=',',header=None)#字符型列名与数值分开处理,最后再拼接
    data_origin = np.array(data_origin)
    
    def max_min_normalization(data_value):
        """
        函数主体,归一化处理
        Data normalization using max value and min value
        Args:
            data_value: The data to be normalized
        """
        data_shape = data_value.shape
        print(data_value.shape)
        data_rows = data_shape[0]
        data_cols = data_shape[1]
        new_data=np.zeros(shape=(data_rows+1,data_cols))
        origin = data_origin[0,:]
        for i in range(0, data_rows, 1):
            for j in range(0, data_cols, 1):
                data_col_min_values = min(data_value[:,j])
                data_col_max_values = max(data_value[:,j])
                new_data[i][j] = (data_value[i][j] - data_col_min_values) / (data_col_max_values - data_col_min_values)
        new_data = np.vstack((origin,new_data))
        np.savetxt("G:/Download/maps/wangyd_data/ice2_wyd_nor.csv", new_data, delimiter=',',fmt = '%s')#输出地址
        print('done')
    
    max_min_normalization(data_value)

    如果遇到问题或者提供建议,欢迎留言,也可联系QQ:1262840380

    更多相关内容
  • python 对数据进行归一化

    千次阅读 2021-08-05 11:17:42
       ...函数说明:对数据进行归一化 Parameters: dataSet - 特征矩阵 Returns: normDataSet - 归一化后的特征矩阵 ranges - 数据范围 minVals - 数据最小值 """ def autoNorm(dataSet):

              随手记录下,方便我以后取用,用的是最大最小值归一化,等啥时候有空把标准化(去中心化也写下)

    import numpy as np
    
    """
    函数说明:对数据进行归一化
    Parameters:
    	dataSet - 特征矩阵
    Returns:
    	normDataSet - 归一化后的特征矩阵
    	ranges - 数据范围
    	minVals - 数据最小值
    """
    def autoNorm(dataSet):
    	minVals = dataSet.min(0)    ## axis 指定成0,获得数据每个特征上的最小值
    	maxVals = dataSet.max(0)    ## axis 指定成0,获得数据每个特征上的最大值
    	ranges = maxVals - minVals  # 最大值和最小值的范围
    	row = dataSet.shape[0]      # 返回dataSet的行数
    	normDataSet = (dataSet - np.tile(minVals, (row, 1))) / np.tile(ranges, (row, 1))  # 原始值减去最小值除以最大和最小值的差,得到归一化数据
    	return normDataSet, ranges, minVals
    
    展开全文
  • 1.1.定义:归一化把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。 1.2.优点:归一化使数据有可比性,同时又保持相比较的两个数据之间的相对关系 转换成标准模式,防止仿射变换的影响。 ...
  • 图像归一化,就是(数值-min)/(max-min),把结果都划归到0-1范围,便于不同变量之间的比较,取消...我们利用python的arcpy包栅格数据批量归一化,而且再保证属性中没有最大值和最小值信息的情况下也能实现归一化计算。
  • 为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化(归一化)处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。 数据规范化方法主要有: – 最小-最大规范化 – 零-均值规范化 ...
  • 主要介绍了python数据归一化及三种方法详解,文中通过示例代码介绍的非常详细,大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 如下所示: import numpy as np Z=np.random.random((5,... 您可能感兴趣的文章:详解python实现数据归一化处理的方式:(0,1)标准化Python数据预处理之数据规范化(归一化)示例python 实现数据集的归一化的方法(0-
  • 今天小编就为大家分享一篇python 实现对数据集的归一化的方法(0-1之间),具有很好的参考价值,希望大家有所帮助。一起跟随小编过来看看吧
  • 主要介绍了详解python实现数据归一化处理的方式:(0,1)标准化,文中通过示例代码介绍的非常详细,大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 主要介绍了python实现几种归一化方法(Normalization Method),文中通过示例代码介绍的非常详细,大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 数据归一化: 数据的标准化是将数据按比例缩放,使之落入一个小的特定区间,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。 为什么要做归一化: 1)加快梯度下降求最...
  • 归一化就是把一组数(大于1)化为以1为最大值,0为最小值,其余数据按百分比计算的方法。如:1,2,3.,那归一化后就是:0,0.5,1 2、归一化步骤: 如:2,4,6 (1)找出一组数里的最小值和最大值,然后就算最大值...
  • 模型训练时,为了让模型尽快收敛,一件常做的事情就是对数据进行预处理。 这里通过使用sklearn.preprocess模块进行处理。 一、标准化和归一化的区别 归一化其实就是标准化的一种方式,只不过归一化是将数据映射...
  • 利用Python进行数据归一化

    万次阅读 2020-01-08 16:09:35
    利用Python进行数据归一化 **归一化化定义:**归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。 归一化方法有两种形式: 一种是把数变为(0,1)之间的小数 一种是把有量纲...

    利用Python进行数据归一化

    归一化化定义
    归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。

    归一化方法有两种形式

    1. 一种是把数变为(0,1)之间的小数
    2. 一种是把有量纲表达式变为无量纲表达式

    一、归一到[0,1]

    class sklearn.preprocessing.MinMaxScaler(feature_range=(0, 1),
    copy=True)

    计算原理(参考sklearn官方文档):

    X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))
    X_scaled = X_std * (max - min) + min
    

    这里 min, max = feature_range。也就是你要归一化的范围,默认是(0,1),即min=0,max=1;
    这里axis=0,表示MinMaxScaler方法默认是对每一列做这样的归一化操作,这也比较符合实际应用。

    示例代码:

    from sklearn import preprocessing
    import numpy as np
    
    x = np.array([[3., -1., 2., 613.],
                  [2., 0., 0., 232],
                  [0., 1., -1., 113],
                  [1., 2., -3., 489]])
    
    min_max_scaler = preprocessing.MinMaxScaler()
    x_minmax = min_max_scaler.fit_transform(x)
    print(x_minmax)
    
    运行结果:
    [[1.         0.         1.         1.        ]
     [0.66666667 0.33333333 0.6        0.238     ]
     [0.         0.66666667 0.4        0.        ]
     [0.33333333 1.         0.         0.752     ]]
    

    注意:单独用在DataFrame某一列报错问题

    背景:训练好xgboost模型后,对测试集的label进行预测,并将其归一化到(0,1)范围内,作为预测的概率。遇到以下情况:

    #predict test set
    dataset3_preds['label'] = model.predict(dataset3)
    dataset3_preds.label = MinMaxScaler().fit_transform(dataset3_preds.label.reshape(-1,1))
    
    运行结果:
    AttributeError: 'Series' object has no attribute 'reshape'
    

    试着去掉reshape运行:

    #predict test set
    dataset3_preds['label'] = model.predict(dataset3)
    dataset3_preds.label = MinMaxScaler().fit_transform(dataset3_preds.label)
    
    运行结果:
    ValueError: Expected 2D array, got 1D array instead:
    array=[-1.6797101   0.64954907 -2.3749304  ... -0.2589171  -0.5653752
     -0.26819348].
    Reshape your data either using array.reshape(-1, 1) if your data has a single feature or array.reshape(1, -1) if it contains a single sample.
    

    结果也不行。

    出错的原因是Series没有reshape这个接口,而Series有values这个接口,
    解决的办法是y调用values接口,然后调用values中的reshape方法。
    如:

    #predict test set
    dataset3_preds['label'] = model.predict(dataset3)
    dataset3_preds.label = MinMaxScaler().fit_transform(dataset3_preds.label.values.reshape(-1,1))
    

    就可以正常运行。

    二、归一到[-1,1]

    更多请参考sklearn官方文档
    示例代码:

    from sklearn import preprocessing
    import numpy as np
     
    x = np.array([[3., -1., 2., 613.],
                  [2., 0., 0., 232],
                  [0., 1., -1., 113],
                  [1., 2., -3., 489]])
    max_abs_scaler = preprocessing.MaxAbsScaler()
    x_train_maxsbs = max_abs_scaler.fit_transform(x)
    x_train_maxsbs
    
    运行结果:
    array([[ 1.        , -0.5       ,  0.66666667,  1.        ],
           [ 0.66666667,  0.        ,  0.        ,  0.37846656],
           [ 0.        ,  0.5       , -0.33333333,  0.18433931],
           [ 0.33333333,  1.        , -1.        ,  0.79771615]])
    

    参考博客:
    [1]:数据归一化 - MinMaxScaler()/MaxAbsScaler() - Python代码
    [2]: AttributeError: ‘Series’ object has no attribute ‘reshape’

    展开全文
  • 这篇文章主要介绍了如何基于python实现归一化处理,文中通过示例代码介绍的非常详细,大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下  一、定义  归一化方法有两种形式,一种是把数变为(0,1)...
  • 实验所使用的数据集作为实验的重要组成部分,我们往往需要拿来的数据进行数据预处理工作,因为通常使用的数据集往往都是来自各行各业的数据,而一个数据集往往具有多个属性,每个属性的值是否使用的同一量纲,这...

    0. 导论

    在做科研工作时,我们不仅从理论角度分析所提 idea 的种种优势,还需要进行大量的实验,得到的实验效果可以进一步地支撑 idea 的优越性,这样更具有说服力。实验所使用的数据集作为实验的重要组成部分,我们往往需要对拿来的数据集进行数据预处理工作,因为通常使用的数据集是来自各行各业的数据,而一个数据集往往具有多个属性,每个属性的值是否使用的是同一量纲得到的,这往往是个问题,如果不是采用同一个量纲进行评价,得到的属性值放在一起进行运算,是否公正合理?
    因此,数据归一化处理工作尤为重要,我们要将不同量纲的表达式变为无量纲,也就是将数据集的属性值变为纯量。Python 的 sklearn 包提供了归一化函数,可以方便地对数据集进行处理。
    我们以https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html 上面的数据集 fourclass 为例,对原始数据进行归一化处理。

    1. 下载数据集

    打开数据集网址,点击 fourclass 链接,可以看到数据是在网页页面上展示的,没有提供下载形式,这里的下载需要将数据复制下来保存到 txt 文本文件中。
    在这里插入图片描述
    在这里插入图片描述
    新建文本文件可以命名为 fourclass.txt.

    2. 归一化处理

    观察我们下载的 fourclass 数据集,可以发现这是一个二维二分类数据集,也就是说只有两个属性,并且它的标签值分为两类。
    以第一行数据为例,标签放在第一列,标签值为 +1 和 -1 两种;后两列为属性值,1:167.000000 2:178.000000 表示第一列属性值为 167.000000, 第二列属性值为 178.000000. 我们的目标是将属性值缩放到 (0,1) 之间,标签值放到最后一列。

    2.1 读入文本

    # 可读模式读入文本内容
    f = open(r"C:\Users\Desktop\fourclass.txt", 'r')
    # 将文本内容以多行方式一次性读入
    lines = f.readlines()
    res = []
    for i in lines:
    	# 根据每行各个列之间的空格,返回一个每行3列的列表
        line = i.split(' ')
        res.append(line)    # res 得到一个由若干行组成的列表
    

    读入之后,可以对列表 res 进行遍历操作,观察 res 存放的数据。
    在这里插入图片描述
    列表 res 的元素类型是列表类型,res 是一个嵌套列表,本质上还是个列表。

    2.2 处理文本值

    处理文本值就是将标签列值为 " +1" 前面的 “+” 去掉,将属性列值前面的 “1:” 和 “2:” 去掉,将最后一列删掉,处理代码如下:

    for i in range(len(res)):
    	# 将 "+" 替换掉
        res[i][0] = res[i][0].replace('+','')
        # 对第 i 行,索引为 1 的列,字符串切片,重新赋值给第 i 行第 1 列
        res[i][1] = res[i][1][2:]
        res[i][2] = res[i][2][2:]
    # 将 res 转换为 numpy 数组类型,取所有行,不取最后一列,也就是剔除掉最后一列
    data = np.array(res)[:,:-1]  
    

    处理完成之后,再将 data 的内容进行打印出来。
    在这里插入图片描述
    通过观察我们可以发现,属性值和标签值都得到了处理。

    2.3 使用归一化函数

    minMax = MinMaxScaler()  # Normalize data
    data = np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))
    

    在归一化时,我们需要使用 MinMaxScaler() 函数,这是一个归一化相关的函数。
    其中,minMax.fit_transform(data[:, 1:]) 是将 data 数组从第二列开始进行归一化处理,属性值缩放到 (0,1) 之间。 data[:, 0].reshape(data.shape[0], 1) 是将标签列单独抽出来,抽出来之后实际为一个一行多列的列表,而我们需要改变它的形状,转换成一列多行。np.hstack() 函数 是将两个数组在水平方向上平铺,目的就是将标签列拼接到属性列后面,放到 data 最后一列。
    处理完成之后,可以打印一下 data 的内容。
    在这里插入图片描述
    这就是我们想要的数据,下一就是将数组存放为 mat 格式的文件了。

    3. 存储为 mat 文件

    其实,存储为 mat 格式的文件只需要一行代码就可以完成:

    scipy.io.savemat('fourclass.mat', {'data': data})
    

    但是,在存储之前我们还需先观察一下,data 中数据是否为整型或浮点型,因为字符串类型虽然可以存放到 mat 文件中,但是后续用于运算时必然会出现类型错误这样的异常。例如,我们就取第一列元素观察它的类型,观察数据类型的代码段如下:

    for i in data:
        print(type(i[0]))
    

    打印之后,我们发现元素类型都为 numpy.str, 也就是我们通常理解的字符串类型,显然这是不满足要求的。
    在这里插入图片描述
    所以,正确的做法应该是,先将 data 所有元素转换为 浮点型,之后才可以进行存储为 mat 格式的文件。

    data = data.astype(float)
    scipy.io.savemat('fourclass.mat', {'data': data})
    

    在存储时,savemat() 函数第一个参数是我们的文件名,第二个参数是一个字典,前面的 ‘data’ 是键,后面的 data 是我们的 numpy 数组。需要注意的是,这个键名非常重要,这决定你后面用 Python 读取生成的 mat 文件如何取值,建议就用 ’data‘ 键名即可,不要自己去定义其他名字。

    4 总结

    上面我们将每个子过程单独拆开进行处理,主要是为了方便大家理解。整个过程的代码如下:

    import numpy as np
    import scipy.io
    from sklearn.preprocessing import MinMaxScaler
    f = open(r"C:\Users\Desktop\fourclass.txt", 'r')
    lines = f.readlines()
    res = []
    for i in lines:
        line = i.split(' ')
        res.append(line)
    
    for i in range(len(res)):
        res[i][0] = res[i][0].replace('+','')
        res[i][1] = res[i][1][2:]
        res[i][2] = res[i][2][2:]
    
    data = np.array(res)[:,:-1]
    
    minMax = MinMaxScaler()  # Normalize data
    data = np.hstack((minMax.fit_transform(data[:, 1:]), data[:, 0].reshape(data.shape[0], 1)))
    
    #for i in data:
    #    print(type(i[0]))
    
    data = data.astype(float)
    scipy.io.savemat('fourclass.mat', {'data': data})
    

    运行代码,我们可以看到生成一个 fourclass.mat 格式文件。至此,利用 Python 对数据集进行归一化处理,并存储为 mat 格式的文件操作全部结束,以后可以自己去按照类似的过程去处理数据集。
    在这里插入图片描述

    展开全文
  • python测试数据怎么归一化

    千次阅读 2021-01-13 04:01:10
    python数据归一化后怎样还原目测是autonorm.py中lin 17 normdataset=zeros(shape(dataset)) 这一句 shape(dataset)返回的是元组,但是zeros( args )需要的是整形参数,做个类型转换就ok了。数据归一化方法有两种...
  • 五、使用scikit-learn进行数据归一化 一、介绍 为什么需要进行数据归一化? 举个简单的例子,样本1以[1, 200]输入到模型中去的时候,由于200可能会直接忽略到1的存在。此时样本间的距离由时间所主导。 此时,如果...
  • 使用python对excel做归一化处理并保存 df=pd.read_excel('data/testdata_2.xlsx') max_min_scaler = lambda x : (x-np.min(x))/(np.max(x)-np.min(x)) df1=df.apply(max_min_scaler, axis=1) df1.to_excel('data/...
  • 归一化用于将数据归一到某一个范围,如[0,1]或者[0,10],主要是范围上的变化 (2)Normalization 标准化用于改变数据的分布情况,通过将数据分布转变成正态分布 2、适用场景 (1)Scaling 当应用与距离与相似度度量...
  • 原标题:怎样用Python进行数据转换和归一化怎样用Python进行数据转换和归一化1、概述实际的数据库极易受到噪声、缺失值和不一致数据的侵扰,因为数据库太大,并且多半来自多个异种数据源,低质量的数据将会导致低...
  • python 处理数据归一化

    千次阅读 2019-06-13 11:37:18
    为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化(归一化)处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。 数据规范化方法主要有: - 最小-最大规范化 - 零-均值规范化...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 48,358
精华内容 19,343
关键字:

python对数据进行归一化