精华内容
下载资源
问答
  • 数据中心化和标准化处理

    万次阅读 2018-09-16 19:08:37
    1.意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。 注解: 单位具有实际的物理意义,而量纲则不一定。比如说焦耳,表示能量,具有实际物理意义就是单位(同时也...

    1.意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。
    注解:
    单位具有实际的物理意义,而量纲则不一定。比如说焦耳,表示能量,具有实际物理意义就是单位(同时也是量纲),而很多单位的组合都不能表示确切的物理意义,比如说m·s(米乘以秒),这种就是量纲,这个的用处只是为了考察某些物理公式是否具有相同量纲从而确定其正确性。
    2.原理
    数据中心化:是指变量减去它的均值。
    数据标准化:是指数值减去均值,再除以标准差。
    目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。
    3.原因
    在一些实际问题中,我们得到的样本数据都是多个维度的,即一个样本是用多个特征来表征的。很显然,这些特征的量纲和数值得量级都是不一样的,而通过标准化处理,可以使得不同的特征具有相同的尺度(Scale)。这样,在学习参数的时候,不同特征对参数的影响程度就一样了。简言之,当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理。
    4.示例
    这里写图片描述
    解释:

    1. 左图表示的是原始数据
    2. 中间的是中心化后的数据,可以看出就是一个平移的过程,平移后中心点是(0,0)。同时中心化后的数据对向量也容易描述,因为是以原点为基准的。
    3. 右图将中心化后的数据除以标准差,得到为标准化的数据,可以看出每个维度上的尺度是一致的(红色线段的长度表示尺度),而没有处理之前的数据是不同的尺度标准。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
    展开全文
  • 数据中心化和标准化

    万次阅读 多人点赞 2017-11-17 15:06:09
    目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。在回归问题和一些机器学习算法中,以及训练神经网络的过程中,还有PCA等通常需要对原始数据进行中心化(Zero-center

    简介:
    意义:数据中心化和标准化在回归分析中是取消由于量纲不同、自身变异或者数值相差较大所引起的误差。
    原理:数据标准化:是指数值减去均值,再除以标准差;
    数据中心化:是指变量减去它的均值。
    目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。

    在回归问题和一些机器学习算法中,以及训练神经网络的过程中,还有PCA等通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction)处理和标准化(Standardization或Normalization)处理。

    • 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。计算过程由下式表示:x=xμσ
    • 原因:在一些实际问题中,我们得到的样本数据都是多个维度的,即一个样本是用多个特征来表征的。很显然,这些特征的量纲和数值得量级都是不一样的,而通过标准化处理,可以使得不同的特征具有相同的尺度(Scale)。这样,在学习参数的时候,不同特征对参数的影响程度就一样了。简言之,当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理。

    下图是二维的示例:

    这里写图片描述

    • 左图表示的是原始数据
    • 中间的是中心化后的数据,可以看出就是一个平移的过程,平移后中心点是(0,0)。同时中心化后的数据对向量也容易描述,因为是以原点为基准的。
    • 右图将中心化后的数据除以标准差,得到为标准化的数据,可以看出每个维度上的尺度是一致的(红色线段的长度表示尺度),而没有处理之前的数据是不同的尺度标准。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。

    参考:https://www.zhihu.com/question/37069477

    展开全文
  • 在回归问题和一些机器学习算法中,...目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。 计算过程由下式表示: 下面解释一下为什么需要使用这些数据预处理步骤。 在一些实际问题...

    在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction)处理和标准化(Standardization或Normalization)处理。目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。
    计算过程由下式表示:

    数学期望
    方差
    在这里插入图片描述

    下面解释一下为什么需要使用这些数据预处理步骤。
    在一些实际问题中,我们得到的样本数据都是多个维度的,即一个样本是用多个特征来表征的。比如在预测房价的问题中,影响房价
    yy
    的因素有房子面积
    x1 x1
    、卧室数量
    x2 x2
    等,我们得到的样本数据就是
    (x1,x2) (x1,x2)
    这样一些样本点,这里的
    (x1)(x1)

    (x2)(x2)
    又被称为特征。很显然,这些特征的量纲和数值得量级都是不一样的,在预测房价时,如果直接使用原始的数据值,那么他们对房价的影响程度将是不一样的,而通过标准化处理,可以使得不同的特征具有相同的尺度(Scale)。这样,在使用梯度下降法学习参数的时候,不同特征对参数的影响程度就一样了。简言之,当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理。
    下图中以二维数据为例:左图表示的是原始数据;中间的是中心化后的数据,数据被移动大原点周围;右图将中心化后的数据除以标准差,得到为标准化的数据,可以看出每个维度上的尺度是一致的(红色线段的长度表示尺度)。

    image.png

    其实,在不同的问题中,中心化和标准化有着不同的意义,
    比如在训练神经网络的过程中,通过将数据标准化,能够加速权重参数的收敛。
    另外,对于主成分分析(PCA)问题,也需要对数据进行中心化和标准化等预处理步骤。

    对数据进行中心化预处理,这样做的目的是要增加基向量的正交性。

    对数据标准化的目的是消除特征之间的差异性。便于对一心一意学习权重。

    参考
    https://www.zhihu.com/question/37069477/answer/132387124

    展开全文
  • 在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered 或者 Mean-subtraction)处理和标准化(Standardization 或者 Normalization)处理。 1.矩阵中心化 矩阵...

    本文作为学习笔记,内容摘抄自网页+自己的感想。如有错误的地方,还望指正。


    在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered 或者 Mean-subtraction)处理和标准化(Standardization 或者 Normalization)处理。

    1.矩阵中心化

    矩阵中心化是使用数据减去数据的均值。\mu表示n个数据样本的均值,xi表示数据样本,则数据中心化使用如下公式计算:xi'=(xi-\mu),i=1,2,3,...,n。(假定数据样本进行了中心化,即\sum\nolimits_i{x_i=0})下面的图是数据做中心化(centering)前后的对比,可以看到其实就是一个平移的过程,平移后所有数据的中心是(0,0)。


    2.矩阵标准化

    • 目的:通过对数据进行标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。(相对一维数据来说,也就是相对矩阵的每一列,数据的每一个维度)
    • 计算过程由下式表示:x'=\frac{x-\mu}{\sigma}\mu表示均值,\sigma表示标准差,(\mu\sigma都可以看成是行向量形式,它们的每个元素分布表示矩阵每一列的均值和方差)可以看出矩阵中心化是标准化的一步,将中心化的矩阵除以标准差得到标准化矩阵。
    • 下面解释一下为什么需要使用这些数据预处理步骤:
      在一些实际问题中,我们得到的样本数据都是多个维度的,即一个样本是用多个特征来表示的。比如在预测房价的问题中,影响房价y的因素有房子面积x1,卧室数量x2等,我们得到的样本数据就是(x1,x2)这样一些样本点,这里的x1,x2又被称为特征。很显然,这些特征的量纲和数值的量级都是不一样的(比如房子面积x1的单位是..m2,80m2,100m2;而卧室数量x2单位是..间,1间,2间),在预测房价时,如果直接使用原始的数据值,那么它们对房价的影响程度将是不一样的,而通过标准化处理,可以使得不同的特征具有相同的尺度(Scale)。这样,在使用梯度下降法学习参数的时候,不同特征对参数的影响程度就一样了。
    • 简言之,当原始数据不同维度上的特征的尺度(单位)不一致时,需要标准化步骤对数据进行预处理。
    • 下面中以二维数据为例:左图表示的是原始数据;中间的是中心化后的数据,数据被移动到原点周围;右图将中心化后的数据除以标准差,得到为标准化的数据,可以看出每个维度上的尺度是一致的(红色线段的长度表示尺度)。


    其实,在不同的问题中,中心化和标准化有着不同的意义。

    • 比如在训练神经网络的过程中,通过将数据标准化,能够加速权重参数的收敛;
    • 另外,对于主成分分析(PCA)问题,也需要对数据进行中心化和标准化等预处理步骤。


    [内容出处]www.zhihu.com/question/37…
                   blog.csdn.net/liuweiyuxia…

    展开全文
  • 1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理 ...
  • 机器学习:样本去中心化目的

    千次阅读 2018-11-09 11:12:56
    在回归问题和一些机器学习算法中,以及训练...目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。 计算过程由下式表示: 下面解释一下为什么需要使用这些数据预处理步骤。 在一些实...
  • 中心化和标准化处理

    千次阅读 2017-06-28 09:11:42
    目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。计算过程由下式表示:下面解释一下为什么需要使用这些数据预处理步骤。 在一些实际问题中,我们得到的样本数据都是多个维度的,即...
  • 数据中心化、标准化和归一化

    千次阅读 2018-03-29 15:13:38
    意义:数据中心化和标准化在回归分析中是取消... 目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。 归一化方法: 1、把数变为(0,1)之间的小数 主要是为了数据处理方便提出来
  • 数据预处理-中心化和标准化

    千次阅读 2018-07-13 14:45:16
    一、中心化(又叫零均值化)和...1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Stand...
  • 利用数据集对机器学习或深度学习模型进行训练前要对数据进行预处理,除了数据清洗(如处理数据缺失、数据异常等问题),还有一类数据预处理的方法经常用到,即数据的归一、标准和正则等。作者在浏览了大量网上...
  • 数据中心化,标准化及意义

    千次阅读 2019-07-17 19:25:02
    通过中心化和标准化处理,最终得到均值为0,标准差为1的服从标准正态分布的数据。 在多指标评价体系中,由于各评价指标的性质不同,通常具有不同的量纲和数量级。当各指标间的水平相差很大时,如果直接用原始指标值...
  • 3.一个去中心化数据中心操作系统模型 3.1定义和概念 3.2要求 3.2.1效率要求 3.2.2安全要求 3.2.3其他要求 3.3分布式对象 3.4资源命名 3.5资源管理 3.6永久存储 3.7并发访问 3.8总结 前言 本文是Malte...
  • 目的:通过中心化和标准化处理,最终得到均值为0,标准差为1的服从标准正态分布的数据。 原理: 中心化(又叫零均值化):是指变量减去它的均值。其实就是一个平移的过程,平移后所有数据的中心是(0,0)。 ...
  • 数据标准化处理

    千次阅读 2019-03-28 21:11:36
    数据标准是一个常用的数据预处理操作,目的处理不同规模和量纲的数据,使其缩放到相同的数据区间和范围,以减少规模、特征、分布差异等对模型的影响。除了用作模型计算,标准后的数据还具有了直接计算并生成...
  • 1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理 ...
  • 通过中心化和标准化处理,最终得到均值为0,标准差为1的服从标准正态分布的数据。 原理 中心化(又叫零均值化):是指变量减去它的均值。其实就是一个平移的过程,平移后所有数据的中心是(0,0)。 标准化(又叫...
  • 注明: 本文主要参考...大多数情况下数据中的特征会以不同的测量单位展现,无论有没有中心化
  • 中心化和标准化

    万次阅读 2017-10-31 09:35:03
    1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理...
  • 样本中心化、标准化

    千次阅读 2019-07-14 12:40:16
    在回归问题和一些机器学习算法中,...目的:通过中心化和标准化处理,得到均值为0,标准差为1的服从标准正态分布的数据。计算过程由下式表示: 下面解释一下为什么需要使用这些数据预处理步骤。先看一个标准化例子...
  • 6.项目中的数据是否会归一化处理,哪个机器学习算法不需要归一化处理 ?答:归一化的目的是处理不同规模和量纲的数据,时期缩放到相同的数据区间和范围,以减少规模、特征、分布差异对模型的影响。Max-Min(线性归一...
  • 中心化(又叫零均值化)和标准化(又叫归一化)

    万次阅读 多人点赞 2018-05-19 12:39:04
    以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理数据标准化(归一化)处理是数据挖掘的...
  • 1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理 ...
  • 首先,数据标准化处理主要包括数据同趋化处理(中心化处理)和无量纲化处理。同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有...
  • 在去中心化计算的应用中,有一个激动人心的应用,在过去的一年里引起了相当大的兴趣,那就是受激励的去中心化在线文件存储系统的概念。目前,如果你想你的文件或者数据安全地在云端备份,你有3种选择:(1). 上传它们...
  • 目录 文章目录目录前文列表网络虚拟什么是网络虚拟云计算环境下的网络虚拟需要解决的问题服务器内部的网络虚拟I/O 虚拟...《数据中心网络架构的问题与演进 — 传统路由交换技术与三层网络架构》 网络虚拟 ...
  • 结构化数据是指如数字和符号等信息,而非结构化数据的覆盖范围极广,常见的非结构化数据包括了:文档(纯文本、格式文档和HTML文档等)、图像、音频和视频等多媒体信息、地图和地理信息、卫星影像、医学影像
  • 创建去中心化应用(dapp)并不比创建常规的应用程序困难多少,只是创建去... 去中心化架构和IPFS分布式数据存储 Kerala,一个IPFS接口 Coinprism,一种管理彩币的钱包服务 Mikro,一个带有内部经济体...
  • 数据可视

    千次阅读 2015-12-11 10:30:33
    前言:数据可视是怎样创造出来的 我多次被炫目的数据可视或信息可视震惊,在我知道这些图片背后的数据来源和创造历程后,更是为之诧异不止。它涉足制图学、图形绘制设计、计算机 视觉、数据采集、统计学、...
  • 随着去中心化运动的不断发展,我思考了去中心化的特点和战略意义,以及我们为何要重新将数字世界去中心化,为此我们仍需付出哪些努力。 去中心化已成主流 从蒂姆·伯纳斯·李振臂高呼要重新将网络去中心化,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 148,423
精华内容 59,369
关键字:

中心化处理数据的目的