panda python 归一化_panda 归一化 - CSDN
精华内容
参与话题
  • Pyhton 中的Scale 和Normalization(正则)

    万次阅读 2016-04-01 17:24:43
    谈一下Python中sklearn....一、Scale包括两部分:Standardization(标准化)和Centering(归一化)  1、Standardization:newX = (X- 均值) / 标准差(standard deviation), newX 的均值=0,方差= 1,可用于发现离群点

    谈一下Python中sklearn.preprocessing与数据预处理相关的函数

    一、Scale包括两部分:Standardization(标准化)和Centering(归一化)

          1、Standardization:

            newX = (X- 均值) / 标准差(standard deviation), newX 的均值=0,方差= 1,可用于发现离群点,Python中计算函数为preprocessing.scale和preprocessing.StandardScale,区别在于preprocessing.StandardScale可以保存测试集上的均值、标准差,从而在训练集做一样的处理,

             2、Centering:

          newX = (X- min) / (max-min),newX范围(0,1)preprocessing.minmax_scalepreprocessing.MinMaxScaler区别在于preprocessing.MinMaxScaler可以在测试集应用

                          newX= X / maxnewX范围(-1,1)   preprocessing.maxabs_scalepreprocessing.MaxAbsScale,区别同上。

    二、Normalization(正则化):正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),可通过preprocessing.normalize()或preprocessing.Normalizer()进行转换。preprocessing.normalize()中的参数norm可以选择不同的范式标准(l1,l2,max)

           p-范数的计算公式:||X||p=(|x1|^p+|x2|^p+...+|xn|^p)^1/p,l1,l2范式分别指p=1或p=2的结果

           Standardization(标准化)和Centering(归一化)处理后的结果没有太大差别,建议采用标准化,采用梯度下降时一般用归一化,在文本分类和聚类是采用Normalization(正则化)。


    展开全文
  • pandas 对每一列数据进行归一化

    万次阅读 2020-01-02 10:06:38
    两种方式 >>> import numpy as np >>> import pandas as pd Backend TkAgg is interactive backend. Turning interactive mode on. >>> np.random.seed(1) ... df_test = pd.D...

    两种方式

     

    >>> import numpy as np
    >>> import pandas as pd
    Backend TkAgg is interactive backend. Turning interactive mode on.
    >>> np.random.seed(1)
    >>> df_test = pd.DataFrame(np.random.randn(4,4)* 4 + 3)
    >>> df_test
              0         1         2         3
    0  9.497381  0.552974  0.887313 -1.291874
    1  6.461631 -6.206155  9.979247 -0.044828
    2  4.276156  2.002518  8.848432 -5.240563
    3  1.710331  1.463783  7.535078 -1.399565
    >>> df_test_1 = df_test
    >>> df_test.apply(lambda x: (x - np.min(x)) / (np.max(x) - np.min(x)))  #方法一
              0         1         2         3
    0  1.000000  0.823413  0.000000  0.759986
    1  0.610154  0.000000  1.000000  1.000000
    2  0.329499  1.000000  0.875624  0.000000
    3  0.000000  0.934370  0.731172  0.739260
    
    >>> (df_test_1 - df_test_1.min()) / (df_test_1.max() - df_test_1.min())#方法二
              0         1         2         3
    0  1.000000  0.823413  0.000000  0.759986
    1  0.610154  0.000000  1.000000  1.000000
    2  0.329499  1.000000  0.875624  0.000000
    3  0.000000  0.934370  0.731172  0.739260


    结果一致且正确

     

    展开全文
  • pandas 数据按行归一化

    千次阅读 2019-06-27 18:32:04
    data = data.div(data.sum(axis=1), axis=0) data.sum(axis=1) 表示按行求和 data.div(sum_data,axis=0) 表示按行除
    data = data.div(data.sum(axis=1), axis=0)
    
    data.sum(axis=1) 表示按行求和
    
    data.div(sum_data,axis=0) 表示按行除
    
    展开全文
  • numpy中std()和pandas中std()

    万次阅读 2017-02-09 16:49:50
    练习: DataFrame Apply() 注意:为使计算能够正确进行,我们应该在 .std() 函数中将“ddof”参数的值设置为 ...注意,计算得出的默认标准偏差类型在 numpy 的 .std() 和 ...另一方面,pandas 计算的是样本标准...

    练习: DataFrame Apply()

    注意:为使计算能够正确进行,我们应该在 .std() 函数中将“ddof”参数的值设置为 0。

    注意,计算得出的默认标准偏差类型在 numpy 的 .std() 和 pandas 的 .std() 函数之间是不同的。默认情况下,numpy 计算的是总体标准偏差,ddof = 0。另一方面,pandas 计算的是样本标准偏差,ddof = 1。如果我们知道所有的分数,那么我们就有了总体——因此,要使用 pandas 进行归一化处理,我们需要将“ddof”设置为 0。

    展开全文
  • 用pandas、numpy对csv数据取均值和归一化 1.导入模块,读取数据 import pandas as pd import numpy as np file = pd.read_csv('H:/Ex 1.5.csv', index_col=False, header=0, chunksize=10, iterator=True, usecols=...
  • Python - 计算生态概览

    千次阅读 2018-06-01 15:43:49
    数据清理:数据归一化、数据转换、异常值处理 数据统计:数据的概要理解,数量、分布、中位数等 数据可视化:直观展示数据内涵的方式 数据挖掘:从数据分析获得知识,产生数据外的价值 人工智能:数据/语言/图像/...
  • numpy中std()和pandas中std()的区别

    万次阅读 2018-11-26 14:08:06
    计算得出的默认标准偏差类型在 numpy 的 .std() 和 pandas 的 .std() 函数之间是不同的。 默认情况下,numpy 计算的是总体标准偏差,ddof = 0。另一方面,pandas 计算的是样本标准偏差,ddof = 1。...
  • Python推荐算法案例(2)——基于内容的电影推荐

    千次阅读 热门讨论 2018-07-04 16:49:40
    Python推荐算法案例(1)——根据评分进行排序的电影推荐 本节中,将根据某电影的内容属性(例如电影类别)来推荐相似的电影。 数据来源IMDB电影评分数据 Python程序如下:import pandas as pd from numpy import *...
  • Python的框架集合

    千次阅读 2016-08-19 18:16:37
    今天突然遇到一个比较全面的 python的框架的列表,分享一下。 http://www.cnblogs.com/lonenysky/p/4780300.html Awesome PythonPython的框架集合 Awesome Python A curated list of awesome Python frameworks,...
  • Python Pandas 构建共现矩阵

    千次阅读 2018-11-16 16:35:19
    作者共现、词共现等各种共现情况的研究需求在我们这个学科还是挺多的,来写一下如何使用Python构建共现矩阵。 基本思路 构建共现矩阵,我一个基本思路是先根据所有的目标对象构建一个单位矩阵,然后对目标对象的...
  • pandas获取csv指定行,列

    万次阅读 2018-09-13 20:11:33
    原文地址:... house_info = pd.read_csv('house_info.csv') 1:取行的操作: house_info.loc[3:6]类似于python的切片操作 2:取列操作: house_info['price'] 这是读取csv文件时默认...
  • Python 自学资料

    千次阅读 2018-12-05 14:55:13
    Python 自学资料 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。[awesome-python](https://github.com/vinta/awesome-python) 是 vinta 发起维护的 Python 资源列表,内容包括:Web 框架...
  • Python 资源大全中文版

    千次阅读 多人点赞 2019-04-22 11:29:30
    管理 Python 版本和环境的工具 p:非常简单的交互式 python 版本管理工具。官网 pyenv:简单的 Python 版本管理工具。官网 Vex:可以在虚拟环境中执行命令。官网 virtualenv:创建独立 Python 环境的工具。官网 ...
  • 做数据归一化时被这里绊倒了,这是我万万没有想到的,知识盲区 \dog。
  • Batch Normalization详解

    千次阅读 2017-09-14 16:38:02
    Batch Normalization详细介绍
  • 我们大脑的成像过程似乎很容易。人们毫不费力地就能区分出狮子和美洲虎,阅读符号,或是识别面孔。但是这些任务对于计算机而言却是一个大难题:它们之所以看上去简单,是因为我们的大脑有着超乎想象的能力来理解图像...
  • 数据输入借助opencv-python, 程序运行至model=InceptionV3()时按需(如果不存在就)下载模型训练数据,你也可以(分析源码keras\applications\inception_v3.py)在网址离线下载并移动至C:\Users\用户名\.keras\...
  • Pandas库DataFrame的排序 输出特定某列

    千次阅读 2020-03-26 17:19:50
    # -*- coding:utf-8 -*- import tushare as ts import pandas as pd df = pd.read_excel('test.xlsx') df1 = df.head(10) #dataframe按索引升序排列,默认即是升序 print df1.sort_index() ...
  • pandas数据分析实战 (超详细)

    万次阅读 多人点赞 2019-06-10 13:42:01
    一步步做了练习,第一次使用Python,遇到问题颇多。花了差不多一周的时间从完成第一步到最后一步。 写下此文章记录下自己遇到的问题。 ----------------------------------------------------------------------.....
  • Pandas常用数据预处理方法及指令

    千次阅读 2018-01-24 13:04:49
    1.前言 前一段时间,在小伙伴的怂恿下参加了京东的Jdata数据大赛(并以剪刀石头布的方式决定的组长,草率! ...不过非常感谢小伙伴们对我的信任,还有我们一起学习的热情让我一下恢复了对学习的xing趣了呢),...
1 2 3 4 5 ... 11
收藏数 201
精华内容 80
关键字:

panda python 归一化