精华内容
下载资源
问答
  • 去除量纲——极差法

    2021-08-27 16:30:26
    如今有n个样本,30项指标,现要对...i=1,2,...,30)做无量纲化处理,使 Mi=max{x1i,x2i,x3i,...,xni}M_i = max\left\{ x_{1i},x_{2i},x_{3i},...,x_{ni} \right\}Mi​=max{x1i​,x2i​,x3i​,...,xni​}; mi={x1i,x2i,

    如今有n个样本,30项指标,现要对指标值 x i j ( j = 1 , 2 , . . . , n ; i = 1 , 2 , . . . , 30 ) x_{ij}(j = 1,2,...,n;i = 1,2,...,30) xij(j=1,2,...,n;i=1,2,...,30)做无量纲化处理,使

    M i = m a x { x 1 i , x 2 i , x 3 i , . . . , x n i } M_i = max\left\{ x_{1i},x_{2i},x_{3i},...,x_{ni} \right\} Mi=max{x1i,x2i,x3i,...,xni}
    m i = { x 1 i , x 2 i , x 3 i , . . . , x n i } m_i = \left\{ x_{1i},x_{2i},x_{3i},...,x_{ni} \right\} mi={x1i,x2i,x3i,...,xni}

    去量钢化后的指标为:

    x i j ∗ = x i j − m i M i − m i ∈ [ 0 , 1 ] x_{ij}^* =\frac{x_{ij}-m_i}{M_i - m_i} \in[0,1] xij=Mimixijmi[0,1]
    x i j ∗ ( j = 1 , 2 , . . . , n ; i = 1 , 2 , . . . , 30 ) x_{ij}^*(j=1,2,...,n;i = 1,2,...,30) xij(j=1,2,...,ni=1,2,...,30)为去量纲化后的指标值

    展开全文
  • 去量纲、数据归一化

    千次阅读 2020-04-18 09:01:14
    1、去量纲 指是去除数据单位之间的不统一,将数据统一变换为无单位(统一单位)的数据集,也可以作为指标的权重,进行后续的加权计算。 2、数据归一化 数据分标准化是将数据按比例缩放,使之落入一个小的特定区间...

    1、去量纲

    指是去除数据单位之间的不统一,将数据统一变换为无单位(统一单位)的数据集,也可以作为指标的权重,进行后续的加权计算。

    2、数据归一化

    数据分标准化是将数据按比例缩放,使之落入一个小的特定区间,在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。

    A、对一维数据的缩放有如下定义:

    0-1归一化(normalization):(Xi-Xmax)/(Xmax-Xmin)

    标准化(standardization):(Xi-均值)/方差

    B、0-1归一化和标准化的本质:缩放和平移。线性变化得性质:线性变化不会改变原始数据的数值排序

    C、0-1归一化和标准化的区别:

    0-1归一化的缩放时拍扁统一到区间(仅由极值决定);标准化的缩放是更加弹性和动态的,和整体样本的分布有很大的关系。

    0-1归一化:缩放仅仅跟最大和最小值得差别有关(输出范围在0-1)

    标准化:缩放和每个点都有关系,通过方差体现出来。与归一化对比,标准化中所有数据点都有贡献(通过均值和标准差造成影响)。(输出范围在负无穷到正无穷)

    D、0-1归一化和标准化使用情况:

    如果对输出数据结果范围有要求,用归一化;

    如果数据较为稳定,不存在极端的最大最小值,用归一化;

    如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值得影响。

    E、归一化的好处:

    提升模型的收敛速度;提升模型的精度

    F、常见的数据归一化方法

    0-1归一化;log函数转换(通过以10为底的log函数转化的方法实现归一化);atan函数转换(反正切函数)
    ————————————————
    版权声明:本文为CSDN博主「努力努力MT」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/ab19920904/article/details/80093549

    展开全文
  • 去量纲:归一化、标准化1.归一化(Normalization)1.1 Min-Max Normalization1.2 非线性Normalization2.标准化(Standardlization)2.1 Z-score Normalization3.标准化在梯度下降算法中的重要性 本系列博文为葫芦书《百...


    本博文为葫芦书《百面机器学习》阅读笔记。

    去量纲化 可以消除特征之间量纲的影响,将所有特征统一到一个大致相同的数值区间内;以便不同量级的指标能够进行比较和加权处理。

    去量纲化的好处:
    (1).使得不同量纲之间的特征具有可比性,消除量纲引起的特征数值量级对分析结果的影响;

    (2).未归一化的特征数值太大,将引起数值计算问题;

    (3).利用梯度下降算法求解的模型,输入特征数据通常需要归一化处理(线性回归,逻辑回归,支持向量机,神经网络模型),可以加速算法的收敛过程。

    去量纲化的方法:
    两类常用的方法:归一化标准化

    1.归一化(Normalization)

    1.1 Min-Max Normalization

    x ′ = x − X m i n X m a x − X m i n x'=\frac{x-X_{min}}{X_{max}-X_{min}} x=XmaxXminxXmin

    作用: 将原始特征数据线性映射到[0,1]
    优点: 线性变换,对数据进行处理,不会改变原有数据的性质
    缺点: 新数据加入, X m i n , X m a x X_{min},X_{max} Xmin,Xmax可能会发生变化,所有数据需要重新进行归一化处理。

    1.2 非线性Normalization

    对数变换: x ′ = log ⁡ x x'=\log x x=logx
    反正切变换: x ′ = 2 π arctan ⁡ x x'=\frac{2}{\pi}\arctan x x=π2arctanx
    适用情况:用于数据分化较大的场景,有些数据很大,有些数据很小 。需要依据数据分布情况,决定使用的非线性函数。

    2.标准化(Standardlization)

    2.1 Z-score Normalization

    零均值标准化
    x ′ = x − μ σ x'=\frac{x-\mu}{\sigma} x=σxμ
    其中: μ \mu μ 原始数据均值, σ \sigma σ原始数据标准差 (数据量很大的情况下,这两个统计量对 加入新数据 不敏感,故可以处理新添加数据的情况); x − μ x-\mu xμ 为数据中心化,将数据中心平移到原点。

    适用情况: 原始数据分布接近正态分布,将原始数据 标准化 为均值为0 ,方差为1 的分布。
    优点: 线性变换,对数据进行处理,不会改变原有数据的性质

    3.标准化在梯度下降算法中的重要性

    参考博文:通俗易懂理解特征归一化对梯度下降算法的重要性https://blog.csdn.net/feijie7788/article/details/89812737

    涉及数学知识:
    1.一个三维曲面 z = f ( x , y ) z=f(x,y) z=f(x,y)被一系列平面 z = c z=c z=c所截得到一系列等值线。

    2.曲面上某点P 梯度方向 定义:函数在该点增长最快的方向。
    通过方向导数与 f x f_x fx f y f_y fy的关系得出函数在P点增长最快的方向为: ( f x , f y ) (f_x,f_y) (fx,fy),即为梯度方向。

    3.等值线上 P点法线方向,垂直于P点切线方向。P点切线方向 ( d x , d y ) (dx,dy) (dx,dy),斜率为 d y d x \frac{dy}{dx} dxdy, 由隐函数求导规则可得 d y d x = − f x f y \frac{dy}{dx}=-\frac{f_x}{f_y} dxdy=fyfx. 则法线斜率为 f y f x \frac{f_y}{f_x} fxfy,即,法线方向为 ( f x , f y ) (f_x,f_y) (fx,fy) .所以曲线上某点的梯度方向,与过该点的等值线的法线方向相同。

    4.c=f(x,y)隐函数求导:(两边同时对x求导)
    0 = ∂ f ∂ x + ∂ f ∂ y d y d x = > d y d x = − f x f y 0=\frac{\partial f}{\partial x}+\frac{\partial f}{\partial y}\frac{dy}{d x}=>\frac{dy}{d x}=-\frac{f_x}{f_y} 0=xf+yfdxdy=>dxdy=fyfx

    5.相互垂直两个向量 a = ( x 1 , y 1 ) , b = ( x 2 , y 2 ) a=(x_1,y_1),b=(x_2,y_2) a=(x1,y1),b=(x2,y2),夹角 θ \theta θ
    内积定义垂直关系: ∣ a ∣ ∣ b ∣ cos ⁡ θ = 0 |a||b|\cos \theta=0 abcosθ=0
    坐标垂直关系: x 1 x 2 + y 1 y 2 = 0 x_1x_2+y_1y_2=0 x1x2+y1y2=0(带入 a = x 1 i + y 1 j , b = x 2 i + y 2 j , a ∗ b 计 算 a=x_1i+y_1j,b=x_2i+y_2j,a*b计算 a=x1i+y1j,b=x2i+y2j,ab)
    两向量与x轴夹角正玄值关系: − 1 = y 2 x 2 y 1 x 1 -1=\frac{y_2}{x_2} \frac{y_1}{x_1} 1=x2y2x1y1

    参考博文:
    1.梯度方向与等高线方向垂直的理解:https://blog.csdn.net/bitcarmanlee/article/details/85275016
    2.等值线与梯度的几何意义:https://jingyan.baidu.com/article/da1091fb475551027849d6b7.html
    3.一文读懂梯度下降算法(各种导数):https://www.cnblogs.com/hithink/p/7380838.html
    4.据预处理之中心化(零均值化)与标准化(归一化):https://www.cnblogs.com/wangqiang9/p/9285594.html
    5.归一化 (Normalization)、标准化 (Standardization)和中心化/零均值化 (Zero-centered)(简书):https://www.jianshu.com/p/95a8f035c86c

    展开全文
  • 1、去量纲指是去除数据单位之间的不统一,将数据统一变换为无单位(统一单位)的数据集,也可以作为指标的权重,进行后续的加权计算。2、数据归一化数据分标准化是将数据按比例缩放,使之落入一个小的特定区间,在...
  • 问:如题。 找到的相关解答:应该数据集划分后,不然测试集里面实际上是包含了训练集的信息的,这会影响模型的测试效果。但其实当样本量足够大的时候,随机划分的训练集和测试集其实是有相同的分布的,所以理论上是...
  • matlab消除量纲代码DADIP_code 介绍 在图像模糊的问题中,在严重模糊的图像中恢复细节一直很困难。 在本文中,我们着重于有效消除毛刺后出现的振铃伪影和皱纹,并提出了一种基于双注意力深图像先验(DADIP)网络...
  • matlab消除量纲代码矢量场引导路径跟随控制:消除奇点和全局收敛(CDC20) 仿真代码和数据 文件名 类别 描述 pf_sim.slx 路径跟随 Simulink文件进行仿真; pf_plot.m 路径跟随 Matlab文件进行绘图; pf_animate.m ...
  • matlab消除量纲代码带有深度划分树的高维贝叶斯优化(DPT-BO) 版权所有(c)2019 Hakki M.Torun 3D包装研究中心电气与计算机工程学院佐治亚理工学院 与本文相关的Matlab代码。 目前正在开发Python版本。 我们提出了...
  • matlab消除量纲代码通过实施一维切割库存问题,最大限度地减少木工公司中的浪费 目的:该项目的主要目的是开发一种用于解决木工行业中的一维切料问题的模型,并开发用于执行该模型的计算机程序。 设计:该项目在切削...
  • 数据挖掘——无量纲

    千次阅读 2019-03-25 20:13:23
    此外,相对于min-max归一化方法,该方法不仅能够去除量纲,还能够把所有维度的变量一视同仁(因为每个维度都服从均值为0、方差1的正态分布),在最后计算距离时各个维度数据发挥了相同的作用,避免了不同量纲的选取对...
  • 机器学习数据清洗过程中的"归一化"、"标准化"等等去量纲的操作应该在数据集划分前还是在数据集划分后?为啥?
  • matlab消除量纲代码
  • Python对数据进行量纲化处理

    千次阅读 2019-07-05 21:20:19
    数据集的训练集和测试集划分 from sklearn.model_selection import train_test_split patientdata为数据集 traindata, testdata = train_test_split...数据标准化减小量纲的影响 import numpy as np arr_mean = np....
  • 量纲

    万次阅读 2018-07-25 11:37:12
    简单来说,标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。归一化是 依照特征矩阵的行处理数据 ,其目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的...
  • 数据的预处理之量纲消除

    千次阅读 2018-06-05 22:29:33
    如果对于不明白原理的同学,可以查看memory的博客memory的博客http://blog.sina.com.cn/u/1974002713#数据的预处理之量纲消除rm(list = ls())#第一min-max标准化data<-matrix(c(4,7,6,8,9,9,4,3,5),nrow = 3)...
  • matlab消除量纲代码打开黑匣子:解释机器学习的低维歧管 1.突出显示 这项工作解释了通过数据驱动的降维方法(即活动子空间)发现的物理见解。 由于活动子空间方法所揭示的见解,我们从分析上得出了原始系统的低维...
  • 今日锦囊特征无量纲化的常见操作方法第一招,从简单的特征量纲处理开始,这里介绍了3种无量纲化操作的方法,同时也附上相关的包以及调用方法,欢迎补充!无量纲化:即nondimensionali...
  • 在进行特征选择之前,一般会先进行数据无量纲化处理,这样,表征不同属性(单位不同)的各特征之间才有可比性,如2cm 与 0.2kg 你怎么比?无量纲处理方法很多,使用不同的方法,对最终的机器学习模型会产生不同的...
  • 读取数据 data = pd.read_csv('C://Users//TD//Desktop//hosptdata.csv') data1 = pd.read_csv('C://Users//TD//Desktop//adjestdata.csv') # 纯数值数据 数据归一化处理 (1)最小-最大规范化 ...
  • 几种指标无量纲化的方法

    万次阅读 2019-10-20 14:09:13
    如果无量纲化的指标评价值与指标的实际值之间是呈现线性关系的,这种无量纲化方法就称为直线型无量纲化方法。常见的直线型无量纲化方法包括:阀值化、中心化、规格化、标准化和比重化等。 (一)阀值化 阀值化是将...
  • 量纲化以我个人的理解,就是指在两个特征的单位不一样,其数值在大小上不是一个数量级,但是不能只凭数值的大小来决定两个特征谁的影响大,需要将两个特征归一到同一可比的范围内,来决定谁的影响范围。...
  • 数据预处理(一):无量纲

    千次阅读 2020-06-15 18:06:28
    在机器学习算法中,往往需要将不同规格的数据转换为同一规格,或者将不同分布的数据转换到某个特定分布,这种需求统称为“无量纲化”。 在以梯度与矩阵为核心的算法中,如逻辑回归、支持向量机、神经网络,无量纲化...
  • 通俗理解 什么是量纲

    万次阅读 2021-02-02 20:01:31
    首先先介绍一下量纲和单位的区别,长度,时间,质量等都叫做量纲,而米,千米,秒,分钟,等都是单位, 国际单位制规定了七个基本量纲单位,这七个量纲彼此之间不能通过量纲计算得到,分别是: 量纲 量纲符号 ...
  • 对这个问题的思考源于机器学习中的特征工程,加工了 24 维特征,对此想要分析特征和特征之间、特征和标签之间的相关性,但不同维度的特征物理意义不尽相同,就在思考:需要先对特征归一化、标准化吗?...
  • 剔除了两个变量量纲影响、标准化后的特殊协方差 。 既然是一种特殊的协方差,那它: 1、也可以反映两个变量变化时是同向还是反向,如果同向变化就为正,反向变化就为负。 2、由于它是标准化后的协方差,因此更...
  • 公理 若有两个相同量纲的物理量 和 ,此二者仅依赖于一组有限数量的基本物理量,并且这组物理量仅是一个量纲下的(即 和 都只有长度量纲,或者都只有时间量纲,等等),那么当这量纲的单位的大小变化 倍时,比值 ...
  • 量纲分析谈庆明

    2013-03-27 21:55:06
    本书适合从事物理相关专业的学生,是中科大出版社出版。PDF格式,非常好用。
  • 量纲分析

    2021-03-08 09:34:59
    Pi定理:设影响某现象的物理量数为n个,这些物理量的基本量纲为m个,则该物理现象可用n-m个独立的无量纲数群(准数)关系式表示 量纲法则:1.只有量纲相同的物理量,才能彼此相加、相减和相等; 2.指数函数、对数...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 11,317
精华内容 4,526
关键字:

去量纲