精华内容
下载资源
问答
  • 数据取对数的意义

    2021-04-07 12:44:14
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算。 ...

                                        数据取对数的意义

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。
    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    1. 缩小数据的绝对数值,方便计算。

    例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

    2. 取对数后,可以将乘法计算转换称加法计算。

    3. 某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。

    例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

    从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。

    也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。

    4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度。

    例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

    5. 且所得到的数据易消除异方差问题。

    6. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    关于损失函数取对数:

    Submissions are evaluated on Root-Mean-Squared-Error (RMSE) between the logarithm of the predicted value and the logarithm of the observed sales price. (Taking logs means that errors in predicting expensive houses and cheap houses will affect the result equally.)
     

    【参考】:

    https://www.cnblogs.com/zztt/p/3409675.html

    https://zhuanlan.zhihu.com/p/95920193

     

    展开全文
  • 数据取对数的作用

    千次阅读 2018-10-24 18:08:32
    数据取对数的作用: 1,缩小数据的绝对数值,方便计算。 2,取对数后,可以将乘法计算转换成加法计算。 3,某些情况下,在数据的整个值域中的,不同区间的差异带的影响不同。  例:两组数,500和500,200和800...

    对数函数在其定义域内是单调递增函数,取对数后不会改变数据的相对关系。

    数据取对数的作用:

    1,缩小数据的绝对数值,方便计算。

    2,取对数后,可以将乘法计算转换成加法计算。

    3,某些情况下,在数据的整个值域中的,不同区间的差异带的影响不同。

       例:两组数,500和500,200和800,和为1000。从总和看没差别,若取对数:log500=2.69897,log200=2.30103,log800=2.90309

    log500+log500=5.39794,log200+log800=5.20411,前者值更大

    4, 取对数后,不会改变数据的性质和相关关系,但缩小了变量的尺度,使得数据更加平稳,也消弱了模型的共线性、方差性等。

    5,数据易消除异方差问题。

    异方差:如果u_{i}的方差为\sigma _{i}^{2},即方差随观察值不同而发生变化(注意\sigma ^{2}的下标),又称非同方差、非恒定方差。

    6,在经济学中,常取自然对数再做回归。其前面的参数为百分比变化率(dInx=dx/x)也就是弹性

    展开全文
  • 处理数据时,对数据取对数的意义

    万次阅读 2018-09-14 10:01:00
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算。 ...

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。

    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    1. 缩小数据的绝对数值,方便计算。

    例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

     

    2. 取对数后,可以将乘法计算转换称加法计算。

     

    3. 某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

    从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。

    也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。

     

    4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度,例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

    5. 且所得到的数据易消除异方差问题。

    6. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

     

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    转载:https://www.cnblogs.com/zztt/p/3409675.html

    展开全文
  • 数据取对数运算的意义

    千次阅读 2015-07-08 00:43:05
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算...

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。

    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    1. 缩小数据的绝对数值,方便计算。

    例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

     

    2. 取对数后,可以将乘法计算转换称加法计算。

     

    3. 某些情况下,在数据的整个值域中的在不同区间的差异带来的影响不同。例如,中文分词的mmseg算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

    从log函数的图像可以看到,自变量x的值越小,函数值y的变化越快,还是前面的例子,同样是相差了300,但log500-log200>log800-log500,因为前面一对的比后面一对更小。

    也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了。

     

    4. 取对数之后不会改变数据的性质和相关关系,但压缩了变量的尺度,例如800/200=4, 但log800/log200=1.2616,数据更加平稳,也消弱了模型的共线性、异方差性等。

    5. 且所得到的数据易消除异方差问题。

    6. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X求导,1/Y*(DY/DX)=a*1/X, b=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 这正好是弹性的定义。

     

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    展开全文
  • 告诉你为什么数据取对数

    千次阅读 2017-01-13 14:47:27
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1. 缩小数据的绝对数值,方便计算。例如...
  • 平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:1. 缩小数据的绝对数值,方便计算。例如,...
  • [1]数据分析中变量取对数的意义

    千次阅读 2019-07-22 10:56:17
    数据取对数的理论来源 数据取对数的作用 数据取对数的理论来源 参考:https://www.zhihu.com/question/22012482 数据取对数的作用 原始数据取对数是由于基于对数函数在其定义域内是单调增函数,取对数后不会...
  • 数据处理取对数的作用

    千次阅读 2018-11-05 19:53:53
    作者:姚岑卓 ...来源:知乎 著作权归作者所有,转载请联系作者获得授权。 如需要收回,还请联系我,会将其删除,只保留导流的连接 对数据做一些变换的目的是它...对数变换(log transformation)是特殊的一种数据变换方...
  • 为什么数据取对数

    千次阅读 2018-07-18 18:31:58
    作者:姚岑卓 ...来源:知乎著作权归作者所有,转载请联系作者获得授权。 如需要收回,还请联系我,会将其删除,只保留导流的连接   对数据做一些变换的目的是它...对数变换(log transformation)是特殊的一种数据...
  • 平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:1. 缩小数据的绝对数值,方便计算。例如,...
  • EViews对数据进行调整(取对数

    千次阅读 2020-05-12 11:54:21
    1.导入数据 具体操作参考第一篇文章() 2. 在操作栏输入 genr lnindex=log(y) (其实就是 genr lny=log(y) 3. 再输入genr lnshibor=log(x) ...这样就可以对自变量和因变量取对数啦,减少数据的波动。
  • ML之FE:特征工程处理中常用的数据变换(log取对数变换等)之详细攻略 目录 特征工程处理中常用的数据变换(log取对数变换等)之详细攻略 log取对数变换 特征工程处理中常用的数据变换(log取对数变换等)...
  • 平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 1、缩小数据的绝对数值,方便计算。例如,...
  • matlab的colorbar取对数

    2020-11-21 20:25:10
    原来要代表颜色的数bai据取以10为底的对数: log10() 然后用下面语句标注: colorbar('YTick',[-6,-5,-4,-3,-2,-...实际上,数据取对数之后标注的位置是 -6~0 只是用'YTickLabel',让其在对应位置显示需要的文本 ...
  • 为什么特征数据要做对数变换?

    千次阅读 2019-05-10 12:42:30
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: 缩小数据的绝对数值,方便计算。例如,...
  • 似然函数取对数的原因

    万次阅读 2018-07-28 20:31:43
    不仅仅是减少计算量 在计算一个独立同分布数据集的联合概率时,如: X={x1,x2,…,xN}X={x1,x2,…,xN}X=\{x_{1},x_{2},…,x_{N}\} 其联合概率是每个数据点概率的连乘: ...两边取对数则可以将连乘化...
  • 数据处理使用对数的原因

    千次阅读 2019-05-11 12:22:56
    平时在一些数据处理中,经常会原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有: (1)缩小数据的绝对数值,方便计算。...
  • python log取对数

    万次阅读 2017-07-03 11:12:53
    log()方法返回x的自然对数,对于x>0。 语法 以下是log()方法的语法:import mathmath.log( x ) 注意:此函数是无法直接访问的,所以我们需要导入math模块,然后需要用math的静态对象来调用这个函数。 参数 x ...
  • 由于很多经济数据呈指数增长,对各数据取对数之后不会改变数据的性质和关系,可以数据压扁,易缓解/消除异方差问题; 对取对数以后的数据进行线性回归,其前面的参数表示的就是百分比变化率(dlnx=dx/x),△Inx=△x...
  • 1.python取对数 对单个数字 import math math.log(X) #默认以e为底 math.log(5,6)#以6为底,5的对数 即math.log(b,a) #计算以a为底,b的对数 2.对数组取对数 import numpy numpy.log([1,2,3])#以e为底,分别对1...
  • pandas入门: 对一列取对数或者指数

    万次阅读 2020-03-08 22:05:45
    pandas中对某一列数据取对数或者指数相关操作。 创建一个dataframe import pandas as pd import numpy as np df = pd.DataFrame([[2, 3], [3, 4]], columns=list("AB")) 结果如下: A B 0 2 3 1 3 4 log1p ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 88,939
精华内容 35,575
关键字:

怎么把数据取对数