在本系列的内容中，我们已经讨论了简单线性回归模型，多变量回归模型以及选择最优化模型的方法。
费尔南多现在已经构建了一个更好的模型。
price = -55089.98 + 87.34 engineSize + 60.93 horse power + 770.42 width
但是，费尔南多还有更多想法：
如何使用常见的比较单位来估算价格变化？
发动机大小、马力和宽度所预测的价格有多大弹性？
在本篇内容中，我们将解决这些问题。本文将介绍双对数回归模型(log-log regression model)。
概述
为了理解双对数回归模型，我们首先来了解一下导数(derivative)、对数(logarithm)、指数(exponential)以及弹性(elasticity)的概念。
■导数
回到高中，导数可以说是数学教的最有意思的概念之一。
导数是一种表示变化的方式——函数在某个点上的变化量。
如变量y是x的函数，则将y定义为：
y = f(x)
则求y对x的导数，表示为：
dy/dx = df(x)/dx = f'(x)
其含义是：
y相对于x变化的变化，
即：如果x变化，y会有多少变化？
这正是费尔南多需要的，他想知道，受其他变量的变化的影响，价格又会有怎样的变化。
之前提到，多元回归模型的一般形式如下：
y = β0 + β1.x1 + β2.x2 + …+ βn.xn + ?
费尔南多建立的模型如下：
price = β0 + β1.发动机大小
即，将价格作为发动机大小的函数。
费尔南多用发动机大小对汽车价格求导。那是不是只是通过发动机大小的变化，就能体现出价格的变化？
并不是这么简单。线性模型是用来表达线性关系的，如下：
y = mx + c
如果计算y对x的导数，则会给得出：
dy/dx = m . dx/dx + dc/dx
发动机大小本身的变化的导数始终为1，即dx/dx = 1
一个常数与其他任何变量相关的变化的导数始终为0，因为它是一个常数，其值从不改变，即dc/dx = 0
那么公式就变成了：
dy/dx = m
在发动机大小上应用价格导数，将只能得到发动机大小的系数。
如何进行转换呢？接下来认识两个数学概念——指数和对数。
■指数
指数是一种具有两个运算符的函数，底数(b)和指数(n)。其被定义为b^n，形式如下：
f(x) = b^x
底数可以是任何的正数，欧拉数(e)是统计中常用的基数。
在几何上，指数关系具有以下的结构：
x的增长不会使得y相应增长，直到达到某个阈值
到达阈值后，x的小幅增长，会使y急速的上升
■对数
对数是一个有趣的概念。在回归模型中，对数具有一定特征。对数的基本属性是它的底数，典型的底数有2、10和e。
如：
多少个2相乘等于8？2 × 2 × 2 = 8，即答案是 3
也可以表示为 log2(8) = 3
以2为底数的8的对数为3。
对数和指数都有一个常用的底数，被称为欧拉数(e)，其近似值为 2.71828。统计学中经常会用到e。以e为底数的对数称为自然对数。
对数也有很好的变换能力，对数可以将指数关系变换为线性关系。例如下图显示了y和x之间的指数关系：
如果将对数应用于x和y，则log(x)和log(y)之间的关系是线性的，看起来像这样：
■弹性
弹性是衡量一个变量对另一个变量变化的响应程度。假设我们有一个函数：Q = f(P)，那么Q的弹性定义为：
E = P/Q × dQ/dP
dQ/dP是P变化所引起的Q的平均变化
■结合在一起
现在让我们把导数、对数和指数这三个数学概念放在一起看。它们间的关系规则如下：
e的对数是1，即log(e)= 1
指数的对数是指数乘以底数
 log(x)的导数是：1 / x
例如，一个函数y可以表示为：
y = b^x
则log(y) = x log (b)    
那么这对线性回归模型来说意味着什么呢？我们是否可以灵活运用导数、对数和指数，重写线性模型方程，以得出由x的变化所引起的y的变化率呢？
首先，将y和x之间的关系定义为指数关系。
y = α x^β
首先将其表示为双对数函数：log(y)= log(α)+β.log(x)
方程y = α x^β看起来并不像是回归模型：y =β0+β1.x1。当β0= log(α)、β1=β，这个等式可以重写为：log(y)=β0+β1.log(x1)
但它如何表达弹性关系呢？我们求相对于x的log(y)的导数，可得：
d. log(y)/ dx = β1. log(x1)/dx
=> 1/y . dy/dx = β1 . 1/x => β1 = x/y . dy/dx
β1的方程就是弹性。
构建模型
搞清楚了这些概念后，让我们看看费尔南多如何重构模型：
log(价格) = β0 + β1. log(发动机大小) + β2. log(马力) + β3. log(车宽)
他希望根据发动机大小、马力和车辆宽度的变化，来估算汽车价格的变化。
经过对模型的训练，最终得到了如下的参数：
该模型的方程是：
log(价格) = -21.6672 + 0.4702.log(发动机大小) + 0.4621.log(马力) + 6.3564 .log(宽)
对该模型的解释如下：
所有系数都很重要
调整R平方值为0.8276，说明该模型解释了82.76%的数据变化
如果发动机大小增加4.7％，汽车价格将增加10％
如果马力增加4.62％，汽车价格将增加10％
如果汽车的宽度增加6％，汽车价格将增加1％
模型评估
费尔南多现在建好了双对数回归模型，接下来该通过训练和测试数据来评估模型的表现。
他之前已经将数据分成了训练集和测试集。对基于训练数据创建的模型来说，测试数据是不可见的数据。在测试数据上的表现，才是对模型的真正考验。
在训练数据上，模型表现很好，调整R平方值为0.8276，说明该模型可以解释82.76％的训练数据变化。为了使模型可以最终被接受，需要在测试数据上也有良好表现。
经过对模型的测试，计算得出0.8186的调整R平方值。这相当不错，意味着即使对于不可见的数据，模型也能解释81.86％的变化。
请注意，该模型估算的是log(价格)，即价格的对数，而不是价格本身。想要估算汽车价格，需要进行转换。
即将log(价格)作为底数e的指数。
e^log(价格) = 价格
结语
前几篇文章中，统计学习奠定了基础，假设检验讨论了零假设和替代假设，简单线性回归模型简化了回归，之后进入多变量回归模型的世界，又讨论了模型选择方法。而在这篇文章中，我们介绍了双对数回归模型。
到目前为止，构建的回归模型只涉及数值自变量。下一篇文章将讨论交互关系和定性变量的概念。
翻译：TalkingData
作者：Pradeep Menon
来源：Mudium
原文链接：https://towardsdatascience.com/data-science-simplified-part-7-log-log-regression-models-499ecd1495f0
推荐阅读：
机器学习从入门到进阶⑥丨模型选择方法
机器学习从入门到进阶⑤丨多元回归模型
机器学习从入门到进阶④丨线性回归模型
TalkingData——用数据说话
每天一篇好文章，欢迎分享关注

曲线拟合转化为线性拟合
    非线性回归的情况太过复杂，在生产实践中也尽量避免使用这种模型。好在分类算法有很多，而且更多的是为了处理半结构化数据，所以非线性回归相关的内容只做一般了解即可。
    非线性回归一般可以分为一元非线性回归和多元非线性回归。
    一元非线性回归是指两个变量-----一个自变量，一个因变量之间呈现非线性关系，如双曲线、二次曲线、三(多)次曲线、幂曲线、指数曲线、对数曲线等。在解决这些问题时通常建立的是非线性回归方程或者方程组。
    多元非线性回归分析是指两个或两个以上自变量和因变量之间呈现的非线性关系建立非线性回归模型。对多元非线性回归模型求解的传统做法，仍然是想办法把它转化成标准的线性形式的多元回归模型来处理。有些非线性回归模型，经过适当的数学变换，便能得到它的线性化的表达形式，但对另外一些非线性回归模型，仅仅做变量变换根本无济于事。属于前一种情况的非线性回归模型一般称为内蕴的线性回归，而后者则称之为内蕴的非线性回归。
    线性拟合里最简单的就是上述y=ax+b这种形式。除此之外，可以将等式两边转化为几个一次式加和的情况，不论是一元的还是多 元的，都仍然是线性回归研究的范畴。再如:
   20世纪60年代的世界人口状况如表所示。




年份
世界人口（亿）
年份
世界人口（亿）




1960
29.72
1965
32.85


1961
30.61
1966
33.56


1962
31.51
1967
34.20


1963
32.13
1968
34.83


1964
32.34




    根据马尔萨斯人口模型:



公式1
    其中s是人口，t是年份，e是自然常数(约取2.71828),试着推导一下到2030年时世界人口的数量。这个问题是-一个 比较典型的多元线性回归的问题模型。求解如下。

对等式两边同时取In (以e为底的log),得到：
  In s=βt+Ina  
     在这里实际上用的还是线性回归模型，相当于
      y=ax+b   
且
Ins=y
β=a
In a=b
这种使用方式在Python中同样可以套用线性回归的方法，代码如下:
import numpy as np
from scipy.optimize import curve_fit
import matplotlib.pyplot as plt

#原始数据
T = [1960,1961,1962,1963,1964,1965,1966,1967,1968]
S = [29.72,30.61,31.51,32.13,32.34,32.85,33.56,34.20,34.83]

xdata = np.array(T)
ydata = np.log(np.array(S))

def func(x,a,b):
    return a + b*x

#使用非线性最小二乘法拟合函数
popt,pcov = curve_fit(func,xdata,ydata)

#画图
plt.plot(xdata,ydata,'ko',label='Original Noised Data')
plt.plot(xdata,func(xdata,*popt),'r',label='Fitted Curve')
plt.legend()
plt.show()


如图所示，横轴写着+1.96e3,这是用科学记数法来表示的，意思为1.96x103,也就是1 960，横轴上的点就是1 960~ 1 968。纵轴是Ins的值，斜率是β的值，截距是ln a的值，计算完成后通过代换可以计算出β和a的值。



   在这个例子中，最后可以得到β=0.01859, a=4.484 013958 667 16 X 10-15

   代人公式1,求得s的值，单位是亿。

   在预测人口数量时，直接把年份代人即可，如2000年时，代人公式得到s约为62.9亿。
XIANGLIN

2019年12月27日于长沙

目录

变量间的关系分析

什么是相关分析

什么是回归分析

分析步骤

回归分析与相关分析的主要区别

一元线性相关分析

一元线性回归分析

建模

方差分析检验

 t检验

多元回归分析模型建立

线性回归模型基本假设

多元回归分析用途

多元线性相关分析

矩阵相关分析

复相关分析

曲线回归模型

多项式曲线

二次函数

对数函数

指数函数

幂函数

双曲线函数

变量间的关系分析

变量间的关系有两类，一类是变量间存在着完全确定的关系，称为函数关系，另一类是变量间的关系不存在完全的确定性，不能用精缺的数学公式表示，但变量间存在十分密切的关系，这种称为相关关系，存在相关关系的变量称为相关变量。

相关变量间的关系有两种：一种是平行关系，即两个或两个以上变量相互影响。另一种是依存关系，即是一个变量的变化受到另一个或多个变量的影响。相关分析是研究呈平行关系的相关变量之间的关系。而回归分析是研究呈依存关系的相关变量间的关系。表示原因的变量称为自变量-independent variable，表示结果的变量称为因变量-dependent variable。



什么是相关分析

通过计算变量间的相关系数来判断两个变量的相关程度及正负相关。

什么是回归分析

通过研究变量的依存关系，将变量分为因变量和自变量，并确定自变量和因变量的具体关系方程式

分析步骤

建立模型、求解参数、对模型进行检验

回归分析与相关分析的主要区别

1.在回归分析中，解释变量称为自变量，被解释变量称为因变量，相关分析中，并不区分自变量和因变量，各变量处于平的地位。--（自变量就是自己会变得变量，因变量是因为别人改变的）

2.在相关分析中所涉及的变量全部是随机变量，在回归分析中只有只有因变量是随机变量。

3.相关分析研究主要是为刻画两类变量间的线性相关的密切程度，而回归分析不仅可以揭示自变量对因变量的影响大小，还可以由回归方程进行预测和控制。

一元线性相关分析

线性相关分析是用相关系数来表示两个变量间相互的线性关系，总体相关系数的计算公式为：



 δ^2x代表x的总体方差， δ^2y代表y的总体方差，δxy代表x变量与y变量的协方差，相关系数ρ没有单位，在-1到1之间波动，绝对值越接近1越相关，符号代表正相关或复相关。

一元线性回归分析

使用自变量与因变量绘制散点图，如果大致呈直线型，则可以拟合一条直线方程



建模

直线模型为：



 y是因变量y的估计值，x为自变量的实际值，a、b为待估值

几何意义：a是直线方程的截距，b是回归系数

经济意义：a是x=0时y的估计值，b是回归系数

对于上图来说，x与y有直线的趋势，但并不是一一对应的，y与回归方程上的点的差距成为估计误差或残差，残差越小，方程愈加理想。

当误差的平方和最小时，即Q，a和b最合适



对Q求关于a和b的偏导数，并令其分别等于零，可得：



 式中，lxx表示x的离差平方和，lxy表示x与y的离差积和。

方差分析检验

将因变量y实测值的离均差平方和分成两部分即使：



分为：

实测值yi扣除了x对y的线性影响后剩下的变异



和x对y的线性影响，简称为回归评方或回归贡献



然后证明：



 t检验

当β成立时，样本回归系数b服从正态分布，这是可以使用T检验判断是否有数学意义，检验所用统计量为



例如t=10，那么可以判断α=0.05水平处拒绝H0，接受H1，那么x与y存在回归关系



多元回归分析模型建立

一个因变量与多个自变量间的线性数量关系可以用多元线性回归方程来表示



b0是方程中的常数项，bi,i=1,2,3称为偏回归系数。

当我们得到N组观测数据时，模型可表示为：



其矩阵为：



X为设计阵，β为回归系数向量。

线性回归模型基本假设

在建立线性回归模型前，需要对模型做一些假定，经典线性回归模型的基本假设前提为：

1.解释变量一般来说是非随机变量

2.误差等方差及不相关假定（G-M条件）



3.误差正太分布的假定条件为：



4. n>p,即是要求样本容量个数多于解释变量的个数

多元回归分析用途

1.描述解释现象，希望回归方程中的自变量尽可能少一些

2.用于预测，希望预测的均方误差较小

3.用于控制，希望各个回归系数具有较小的方差和均方误差

变量太多，容易引起以下四个问题：

1.增加了模型的复杂度

2.计算量增大

3.估计和预测的精度下降

4.模型应用费用增加

多元线性相关分析

两个变量间的关系称为简单相关，多个变量称为偏相关或复相关

矩阵相关分析

设n个样本的资料矩阵为：



此时任意两个变量间的相关系数构成的矩阵为：



其中rij为任意两个变量之间的简单相关系数，即是：



复相关分析

系数计算：

设y与x1，x2，....，回归模型为



y与x1，x2，....做相关分析就是对y于y^做相关分析，相关系数计算公式为



曲线回归模型

多项式曲线

二次函数

y=a+bx+cx^2



对数函数

y=a+blogx



指数函数

y = ae^bx或y = ae^(b/x)



幂函数

y=ax^b (a>0)



双曲线函数

y = a+b/x



 实战操作见下一篇文章

GloVe模型

glove模型的参考资料链接如下：
https://nlp.stanford.edu/projects/glove/
论文链接（pdf）如下：
https://nlp.stanford.edu/pubs/glove.pdf
GloVe: Global Vectors for Word Representation [Jeffrey Pennington],  [Richard Socher],  [Christopher D. Manning]
GloVe的基本思路
和之前讲过的word2vec（SG和CBOW）一样，glove模型也是一种无监督的词嵌入方法，即词向量学习方法。
glove是一个全局对数双线性回归模型（global log bilinear regression model）。顾名思义，该模型用到了语料库的全局特征，即单词的共现频次矩阵，并且，其优化目标函数是对数线性的，并用回归的形式进行求解。
glove的思想基于这样一个经验，如下图所示：

在glove的论文中，作者举了上表中的这样一个栗子。现在我们已经知道ice和steam这两个词在语料中出现的频率，这两个词被视为目标词（target words) ，也就是需要对它们的词向量进行学习和表征的词语。此时，我们暂且不直接去求解这两个词之间的共现关系（就像word2vec那样），而是基于这两个词的频率，去探索一下given这两个目标词的情况下，其他词的条件概率是一个什么情况，这里的k就是其他词。
首先，我们计算given单词ice的情况下，单词k出现的频率，也就是说，k出现在i的上下文中的概率是多少。这个条件概率记做P(k|ice)，P(k|ice) = X k,ice / X ice，X k, ice是k和ice在同一个context中出现的次数，X ice为ice出现的次数。同理，我们计算P(k|steam)，计算方法一样。这里的k可以是字典中的任何一个单词。
下面，我们观察两个条件概率的比值，也就是对于任一个k，k出现在ice的context中的条件概率，与k出现在steam的context中的条件概率，这两者之间的比值。
上面表格中，作者展示了k取solid，gas，water，fashion这四个值的时候，比值的情况。为啥要取这四个值呢？因为solid和ice语义上是有关的，冰是固体嘛，而solid和steam没有语义的关系；而gas则相反，与steam有语义关系，与ice则无；而water则与ice和steam两者都有关系，一个是水汽，一个是水的固态，即冰；而fashion这个词明显与ice和steam都无关。作者计算了这四个k下的条件概率比值，我们发现，当k与分子上的这个词（ice）接近，而与分母（steam）无关时，这个比值远大于1，而k与分母更接近，则比值远小于1。另外两种情况，要么k与分子分母都有关，要么都无关，这时候，这个比值基本在1附近，表明这两个条件概率其实差不太多。这样一个结论也是符合我们的直觉的。毕竟语义相近，出现在上下文中的比例更高一些嘛，也是合理的。
而正是基于这个朴素的道理，glove的作者决定用一个函数去拟合这个条件概率的比值，即：

其中，i和j就是目标词，k就是用于计算条件概率的上面讲的那个k。拟合ratios of co-occurence probability这个思路是glove中最基本和最重要的。我们来稍微详细讨论一下这个问题。首先，对于词嵌入这个任务来说，我们的目标是让语义相同的词语在向量空间中离得更近一些，因此，我们首先得需要找到在实际的语料中（而非向量空间中）如何数学化地表达两个词语的相似程度。word2vec对这个问题的答案是在context中出现的概率。这个思路自然是对的，但是这种embedding方法相当于绝对地去模拟两个词之间的条件概率。而我们知道，对于人类的自然语言来说，每个单词的意义实际上是建构在词语之间的结构当中的。换句话说，每个词语只有当与其他词语比较时才真正能有其意义。比如NLP中常举例的一个栗子：king - man + woman = queen，这个analogy中，我们其实并不需要实际地知道king和man等词语在实际的世界中所指称的对象（很多抽象概念甚至没有实际指称的经验对象），而是只需要知道这几个词之间的逻辑关系即可。因此，相比起绝对地描述一个词语，通过与第三者的比较，得到第三者与两个词语中的哪个更接近这样一个相对的关系，来表达词语的含义，实际上更符合我们对于语言的认知。很容易联想到的是，这样一来，我们学习出的vector在analogy这个任务上可以被期待做的更好，因为用词向量拟合这个条件概率ratio，本身就是基于两个词向量相对于另外的其他词向量之间关系来做的。所以，作者在abstract中说道：这样学习出来的vector space具有一个meaningful substructure。这个比值关系是glove最基本的思路，理解了这一点，我们下面来看怎么样通过上面这个式子推导出glove的损失函数。
首先，上面的F这个函数是个三元函数，包括了wi，wj，tilde wk。这个F由于拟合的是条件概率的比值，也就是k与i和j的相似性，因此它应该是个相似性的度量。考虑到在vector space中，我们希望词向量之间的关系是linear的（正如前面的king-man+woman=queen的例子），因此，我们将我们的目标词i和j的向量相减，让这个F只和wi-wj有关，即：

这样，只需要计算wk和wi-wj之间的相似度，就可以拟合右边的ratio了。到这里，其实不难发现，由于k要与i和j比较，看看与i,j中哪一个更近，因此这个wi-wj 和wk的关系可以用向量点积（内积）来处理，因为向量内积表示相似度，这样一来，wiTwk表示i和k的相似度，wjTwk为j和k的相似度，如果k和i更接近，则减号前的大，否则减号后的大。

这里，我们发现，如果把i和j换换位置，得到F( (wj-wi)T wk) = Pjk / Pik，和上式相比，我们发现F函数有一个性质，那就是F(x) = 1/ F(-x) 。具备高中数学函数知识就可以猜到，这个F就是一个exp()指数函数。exp(-x) = 1/exp(x)。（这一段内容为了容易理解，与论文中说明方法略有不同）
这样，我们带入指数函数，与Pik和Pjk对应后发现，exp(wiTwk) = Pik，因此，可以得到：

这里我们把Pik = Xik / Xi这个除法通过log拆成了减法。
由于右边有一个log(Xi)，我们这个式子不对称了。试想一下，如果把wiTwk换成wkTwi，那么右边需要 -log(Xi)呢还是 -log(Xk)呢？为了维持这种对称性，我们把-log(Xi)丢掉，但是由于这个term之和i有关，因此可以在左边加一个bi作为i的bias。为了维护对称性，我们只好也对k加一个同样的bias，于是得到：

到这里，我们就已经基本结束了 ，因为我们知道了word vector要拟合的目标。下面就是一些技术性的trick了：

上面的 J 就是最终的loss function。里面有一个f函数，作为加权项。这个函数的设计很有意思，它的性质在上面的1 2 3中已经说明了。下面看一下它的图像：

可以看到，这个函数以Xij为自变量，在取值小的区间递增，而大于某个thr后，即xmax，就开始不再增加。Xij过高的那些word的权重相对就被压下来了。这就意味着，那些高频词组合对模型的影响相对小一些，从而使得那些出现不那么多的词语的co-occurence有机会更多地影响和改变模型。这个思路主要是由于自然语言中天然的长尾效应，为了使得长尾部分不至于被头部掩盖掉，只好通过赋权的方式降低这两个部分在loss中占比的差异。这个想法和自然语言处理中先去停用词（stop-words）的思路是类似的。
以上就是GloVe的基本原理和推导过程。
.

…

…
2020年4月28日01:55:58
北京

春将归去，与汝同车，低声细语。
—— 【日】 松尾芭蕉