精华内容
下载资源
问答
  • 处理数据时,对数据对数的意义

    万次阅读 2018-09-14 10:01:00
    例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。   ...

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。

    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    1. 缩小数据的绝对数值,方便计算。

    例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

     

    2. 取对数后,可以将乘法计算转换称加法计算。

     

    3. 某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

    从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。

    也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。

     

    4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度,例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

    5. 且所得到的数据易消除异方差问题。

    6. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

     

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    转载:https://www.cnblogs.com/zztt/p/3409675.html

    展开全文
  • 例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。 2、取对数后,可以...

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:
    1、缩小数据的绝对数值,方便计算。例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

    2、取对数后,可以将乘法计算转换称加法计算。

    3、某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897,
    log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。
    4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度
    5. 所得到的数据易消除异方差问题。稳定方差

    展开全文
  • 数据处理使用对数的原因

    千次阅读 2019-05-11 12:22:56
    1.对数函数图像 ...例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了。 (2)取对数后,可以将乘法计算转换称加法计算。 某些...

    1.对数函数图像

    2.

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    (1)缩小数据的绝对数值,方便计算。例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了。

    (2)取对数后,可以将乘法计算转换称加法计算。

    某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

    (3)从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。

    也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。
    (4) 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度,例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

    (5)所得到的数据易消除异方差问题。

    在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a1/X, b=(DY/DX)(X/Y)=(DYX)/(DXY)=(DY/Y)/(DX/X) 这正好是弹性的定义。

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    展开全文
  • EViews对数据进行调整(取对数

    千次阅读 2020-05-12 11:54:21
    1.导入数据 具体操作参考第一篇文章() 2. 在操作栏输入 genr lnindex=log(y) (其实就是 genr lny=log(y) 3. 再输入genr lnshibor=log(x) ...这样就可以自变量和因变量取对数啦,减少数据的波动。

    1.导入数据
    导入数据的具体操作参考
    在这里插入图片描述
    2. 在操作栏输入 genr lnindex=log(y) (其实就是 genr lny=log(y)
    在这里插入图片描述
    3. 再输入genr lnshibor=log(x)
    在这里插入图片描述
    这样就可以对自变量和因变量取对数啦,目的是为了减少数据的波动。

    展开全文
  • 数据处理对数的作用

    千次阅读 2018-11-05 19:53:53
    作者:姚岑卓 ...来源:知乎 著作权归作者所有,转载请联系作者获得...对数据做一些变换的目的是它能够让它符合我们所做的假设,使我们能够在已有理论上其分析。 对数变换(log transformation)是特殊的一种数据变换方...
  • 数据处理】为什么数据要取对数

    千次阅读 2016-05-27 20:33:00
    例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。2. 取对数后,可以...
  • 使用lodash对数组对象数据进行排序

    千次阅读 2019-09-12 18:23:31
    对数组对象数据进行排序处理过程: 1、安装lodash依赖 npm i lodash -S 2,引入lodash let _ = require('lodash'); 3、数据排序(升序) let features = [ { code: '11', type: 'Feature', geometry: { typ.....
  • 数据对数的意义

    千次阅读 2021-04-07 12:44:14
    例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。 2. 取对数后,可以将...
  • 例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。 2. 取对数...
  • 数据对数的作用

    万次阅读 2018-10-24 18:08:32
    对数函数在其定义域内是单调递增函数,取对数后不会改变数据的相对关系。 数据对数的作用: 1,缩小数据的绝对数值,方便计算。 2,取对数后,可以将乘法计算转换成加法计算。 3,某些情况下,在数据的整个...
  • 数据对数运算的意义

    千次阅读 2015-07-08 00:43:05
    平时在一些数据处理中,经常...例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数
  • 为什么特征数据要做对数变换?

    千次阅读 2019-05-10 12:42:30
    例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。 取对数后,可以...
  • ML之FE:特征工程处理中常用的数据变换(log取对数变换等)之详细攻略 目录 特征工程处理中常用的数据变换(log取对数变换等)之详细攻略 log取对数变换 特征工程处理中常用的数据变换(log取对数变换等)...
  • 数据预处理之对数变换

    千次阅读 2020-04-26 16:01:42
    对数据做一些变换的目的是它能够让它符合我们所做的假设,使我们能够在已有理论上其分析。 对数变换(log transformation)是特殊的一种数据变换方式,它可以将一类我们理论上未解决的模型问题转化为已经解决的问题...
  • 告诉你为什么数据要取对数

    千次阅读 2017-03-14 21:23:47
    例如,每个数据项的值都很大,许多这样的值进行计算可能超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。 2. 取
  • 数据预处理-对数变换

    千次阅读 2020-03-24 21:13:11
    数据分布的倾斜有很多负面的影响。 我们可以使用特征工程技巧,利用统计或数学变换来减轻数据分布倾斜的影响。使原本密集的区间的值尽可能的分散,原本分散的区间的值尽量的聚合。 Log变换通常用来创建单调的数据...
  • DataScience:深入探讨与分析机器学习中的数据处理之非线性变换—log对数变换、sigmoid/softmax变换 目录 深入探讨与分析机器学习中的数据处理之非线性变换 log对数变换 sigmoid/softmax变换 Sigmoid函数...
  • R 中进行对数变换

    万次阅读 2018-07-20 18:59:14
    R 中进行对数变换 说明:这篇文章是我在学习 R 时看到的,感觉很有用,就翻译了过来。原文:Log Transformations for Skewed and Wide Distributions —– 正文分割线 —– 当数据分布大致对称时,用均值和标准...
  • 对数进行重新排序

    千次阅读 2017-08-15 01:26:34
    更多的我们需要对数据进行遍历处理等,这时候我们从数据库中获取数据时的排序可能就被打乱了, 需要数组重新排序,下面就写写汇总到的一维和二维数组进行重新排序的方法:一维数组:使用php自带的排序函数进行...
  • 为什么数据要取对数

    千次阅读 2018-07-18 18:31:58
    作者:姚岑卓 ...来源:知乎著作权归作者所有,转载请联系作者获得授权。...对数据做一些变换的目的是它能够让它符合我们所做的假设,使我们能够在已有理论上其分析。 对数变换(log transformation)是特殊的一种数据...
  • PHP中对数进行分页处理的原理及分页实例  最近用到了用数组数据分页,所以就整理了一下,希望能大家有用! class PaginationArray{    public $pageArray=array(); //数组  public $...
  • 可以对数据进行差分,对数差分等平稳化处理

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 118,844
精华内容 47,537
关键字:

对数据进行对数处理