逻辑回归

2019-02-28 16:28:15

Q1：逻辑回归的原理 Q2：逻辑回归为什么又叫对率回归 Q3：逻辑回归为什么使用sigmoid Q4：信息熵的定义及推导过程 Q5：逻辑回归损失函数的推导过程 Q6：逻辑回归为什么要用交叉熵作为损失函数，为什么不用平方...

Q6：逻辑回归为什么要用交叉熵作为损失函数，为什么不用平方损失函数

Q7：逻辑回归为什么可以表示概率，表示的是真实的概率吗？

Q12：逻辑回归的特征为什么要做离散化，这样做有什么好处

Q13：逻辑回归的优缺点

参考博客

Q1：逻辑回归的原理

logistic回归是一种广义线性回归（generalized linear model），假设待预测数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据分类的目的。

Q2：逻辑回归为什么又叫对率回归

将逻辑回归的公式进行整理，我们可以得到

如果把一个事件的几率（odds）定义为该事件发生的概率与该事件不发生的概率的比值 p / (1 - p) ，那么逻辑回归可以看作是对于“y=1|x”这一事件的对数几率的线性回归，于是“逻辑回归”这一称谓也就延续了下来。

Q3：逻辑回归为什么使用sigmoid

先来看一下sigmoid函数和它的图像：

图片来源：https://blog.csdn.net/huwenxing0801/article/details/82791879

（1）sigmoid函数的输出范围是(0，1)，符合概率的定义；

（2）sigmoid函数是一个单调递增函数；

（3）对于二分类问题，其满足伯努利分布。

上述的回答过于笼统，下面我将详细的描述为什么会是这个函数。事实上并不是因为sigmoid函数有很多优秀的性质才使得logstic回归选择了它，而是冥冥之中自有定数。

首先贴一个描述指数簇分布和广义线性模型的图。

图片来源：https://blog.csdn.net/qq_19645269/article/details/79551576

明白这两个性质之后，我们就可以开始推导了。

Q4：信息熵的定义及推导过程

信息熵是考虑该随机变量（可以理解为label，只能是分类，不能用于回归）的所有可能取值（即所有可能发生事件）所带来的信息量的期望。表示随机变量的不确定性，显然均匀分布的不确定性最大，当随机变量为一个定值的时候，信息熵是最小的。

假设现在有两个互相独立的事件 $a$ 和事件 $b$ ，这两件事的信息量之和，显然应该是它们两相加 $h(a,b)=h(a)+h(b)$ ；

同时由于事件 $a$ 和事件 $b$ 互相独立，所以有 $p(a,b)=p(a)*p(b)$ ；

一眼看过去这两个公式，好像有那么点 $log$ 联系！

也就是说，我们似乎可以用概率去度量信息量。

于是我们得到了信息量的度量公式，符号很明显是为了把负数变为正数。

$h(x)=-log_2 p(x)$

当一件事情是确定一定发生的，也就是当 $p(x)=1$ 时，该事件的信息量最小，这听起来很符合常理——比如说我们知道父亲一定是男性，众所周知，这句话也就没什么信息量（一个好无聊的例子...）。

那么信息熵则是一个随机变量所有可能取值所带来的信息量的期望，于是就有：

$h(x)=-sum(p(x)log_2 p(x))$

(待补充，均匀分布的信息熵最大)

Q5：逻辑回归损失函数的推导过程

我们从伯努利分布的质量函数说起，对于二分类问题，我们假设 y 是服从伯努利分布的，当样本和参数确定时，属于类别1和类别2的概率也就确定了。

这显然又是一个似然函数，可以通过极大似然估计+梯度下降（牛顿法也行）求解。还是常规操作，先取一个 $log$ 。

于是我们就得到了逻辑回归的损失函数，我们又称其为交叉熵：

Q6：逻辑回归为什么要用交叉熵作为损失函数，为什么不用平方损失函数

当逻辑回归使用平方损失函数时，损失函数是非凸的，有很多局部最小值；而交叉熵则是凸函数，图像如下：

如果使用均方误差，有梯度下降法可知

有绝对值项，很麻烦，而且从上面sigmoid函数的导数图像可知，当自变量 x 很大或很小时，导数接近0，梯度下降的速度将会极其缓慢，用交叉熵则不然，这也要得益于sigmoid函数的优良性质。我们会发现当真实值和预测值的误差较大时，梯度下降会更快；反之则会更慢，这完全符合我们的预期。

Q7：逻辑回归为什么可以表示概率，表示的是真实的概率吗？

当待预测变量 y 确实服从伯努利分布且满足广义线性模型的第三个条件时，可以认为逻辑回归输出的就是真实的概率，训练模型的过程，就确实是在对概率进行建模。但一般都不满足这个条件，所以呢，很多情况下，我们得出的逻辑回归输出值，无法当作真实的概率，只能作为置信度来使用。

这里再简单说明一下怎么判断一个随机变量是否符合二项分布。

二项分布（Binomial Distribution），即重复n次的伯努里试验（Bernoulli Experiment），如果

（1）在每次试验中只有两种可能的结果，而且是互相对立的;

（2）每次实验是独立的,与其它各次试验结果无关;

（3）结果事件发生的概率在整个系列试验中保持不变,则这一系列试验称为伯努力试验.

简单来说就是要满足二分类+对立、每次互相独立、概率不变。

Q8：如何求解逻辑回归的损失函数

这里用批梯度下降法来推导。

几种梯度下降法的优劣：

（1）批梯度下降通常会获得全局最优解，缺点是在更新每个参数的时候需要遍历所有的数据，计算量会很大，并且会有很多的冗余计算，导致的结果是当数据量大的时候，每个参数的更新都会很慢；

（2）随机梯度下降是以高方差频繁更新，优点是使得SGD会跳到新的和潜在更好的局部最优解，速度较快，缺点是使得收敛到局部最优解的过程更加杂乱，且有可能收敛到局部最优解；

（3）小批量梯度下降结合了SGD和BGD的优点，每次更新的时候使用一小部分样本。减少了参数更新的次数，可以达到更加稳定收敛结果，一般在深度学习当中我们采用这种方法。

这里其实还有几个问题，我会专门写一个梯度下降和牛顿法的博客来解释。

（1）如何对模型选择合适的学习率；

（2）如何对参数选择合适的学习率。

Q9：逻辑回归如何防止过拟合

算法层面-正则化：

L1正则，通过增大正则项导致更多参数为0，参数系数化降低模型复杂度，从而抵抗过拟合。
L2正则，通过使得参数都趋于0，变得很小，降低模型的抖动，从而抵抗过拟合。
特征离散化

数据层面：

加大样本量。
通过特征选择减少特征量。

业务层面：

EDA-探索有区分性的特征。
特征派生-不断派生更多强组合的特征。

来源：https://www.zhihu.com/question/269763205/answer/599663035

Q10：逻辑回归如何做多分类

方法一：多分类问题中的拆分策略

有两种简单的拆分策略：

（1）"一对一" (OvO)

（2）"一对其余"(OvR，rest)

OvO将这N个类别两两配对，从而产生N(N-1)/2个二分类任务，例如OvO将为区分类别Ci和Cj训练一个分类器，该分类器把D中的Ci类样例作为正例，Cj类样例作为反例。在测试阶段，新样本将同时提交给所有分类器，于是我们将得到N(N-1)/2个分类结果，最终结果可通过投票产生：即把被预测得最多的类别作为最终分类结果。

OvR则是每次将一个类的样例作为正例、所有其他类的样例作为反例来训练N个分类器。在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果。若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

方法二：多项逻辑回归（softmax regression）

参考：https://blog.csdn.net/luanlong123/article/details/82905408

Q11：逻辑回归和线性回归的异同点

Q12：逻辑回归的特征为什么要做离散化，这样做有什么好处

工业界CTR预估一般都是用LR，而且特征都是离散的。这样做有这么几个好处：

（1）离散特征的增加和减少都很容易，易于模型的快速迭代；

（2）稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；

（3）散化后的特征对异常数据有很强的鲁棒性，更加稳定；

（4）特征离散化后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；

（5）离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；

（6）特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。

当使用连续特征时，一个特征对应于一个权重，那么，如果这个特征权重较大，模型就会很依赖于这个特征，这个特征的一个微小变化可能会导致最终结果产生很大的变化，这样子的模型很危险，当遇到新样本的时候很可能因为对这个特征过分敏感而得到错误的分类结果，也就是泛化能力差，容易过拟合。而使用离散特征的时候，一个特征变成了多个，权重也变为多个，那么之前连续特征对模型的影响力就被分散弱化了，从而降低了过拟合的风险。

总结一下就是：

（1）计算快，易存储；

（2）方便调整特征，更加稳定，更易迭代；相当于简化了模型，降低过拟合的风险。

（3）表达能力提升，更强的鲁棒性；

参考：https://blog.csdn.net/zhangbaoanhadoop/article/details/82657791?utm_source=blogxgwz5

Q13：逻辑回归的优缺点

优点

形式简单，模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响，某个特征的权重值比较高，那么这个特征最后对结果的影响会比较大。

模型效果不错。在工程上是可以接受的（作为baseline)，如果特征工程做的好，效果不会太差，并且特征工程可以大家并行开发，大大加快开发的速度。

训练速度较快。分类的时候，计算量仅仅只和特征的数目相关。并且逻辑回归的分布式优化sgd发展比较成熟，训练的速度可以通过堆机器进一步提高，这样我们可以在短时间内迭代好几个版本的模型。

资源占用小,尤其是内存。因为只需要存储各个维度的特征值，。

方便输出结果调整。逻辑回归可以很方便的得到最后的分类结果，因为输出的是每个样本的概率分数，我们可以很容易的对这些概率分数进行cutoff，也就是划分阈值(大于某个阈值的是一类，小于某个阈值的是一类)。

缺点

准确率并不是很高。因为形式非常的简单(非常类似线性模型)，很难去拟合数据的真实分布。

很难处理数据不平衡的问题。举个例子：如果我们对于一个正负样本非常不平衡的问题比如正负样本比 10000:1.我们把所有样本都预测为正也能使损失函数的值比较小。但是作为一个分类器，它对正负样本的区分能力不会很好。

处理非线性数据较麻烦。逻辑回归在不引入其他方法的情况下，只能处理线性可分的数据，或者进一步说，处理二分类的问题。

逻辑回归本身无法筛选特征。有时候，我们会用GBDT来筛选特征，然后再上逻辑回归。

参考博客

https://blog.csdn.net/qq_19645269/article/details/79551576

https://blog.csdn.net/huwenxing0801/article/details/82791879

https://www.jianshu.com/p/a8d6b40da0cf?utm_campaign=haruki&utm_content=note&utm_medium=reader_share&utm_source=weixin

https://www.zhihu.com/question/269763205

https://blog.csdn.net/zhangbaoanhadoop/article/details/82657791?utm_source=blogxgwz5

https://blog.csdn.net/luanlong123/article/details/82905408

https://www.cnblogs.com/ModifyRong/p/7739955.html

收起

展开全文

逻辑回归(logistics regression)

万次阅读 多人点赞 2018-11-10 22:39:17

逻辑回归(logistics regression) 前几章分别讲了多元线性回归的推理思路和求解过程(解析解求解和梯度下降求解),文章并不以代码和公式推导过程为重点,目的是跟大家一起理解算法.前两章的内容是学习算法的基础,所以...

逻辑回归(logistics regression)

前几章分别讲了多元线性回归的推理思路和求解过程(解析解求解和梯度下降求解),文章并不以代码和公式推导过程为重点,目的是跟大家一起理解算法.前两章的内容是学习算法的基础,所以本章会在前两章的基础上讨论逻辑回归(logistics regression).逻辑回归也属于有监督机器学习.

之前我们了解到了多元线性回归是用线性的关系来拟合一个事情的发生规律,找到这个规律的表达公式,将得到的数据带入公式以用来实现预测的目的,我们习惯将这类预测未来的问题称作回归问题.机器学习中按照目的不同可以分为两大类:回归和分类.今天我们一起讨论的逻辑回归就可以用来完成分类任务.

本文将通过以下几部分来讲解逻辑回归:

一.分类和回归任务的区别

二.逻辑回归不是回归

三.如果是你,你要怎么做

四.把回归函数掰弯

五.选定阈值

六.最大似然估计

七.求解交叉熵损失函数

一.分类和回归任务的区别

我们可以按照任务的种类,将任务分为回归任务和分类任务.那这两者的区别是什么呢?按照较官方些的说法,输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题成为分类问题.

通俗一点讲,我们要预测的结果是一个数,比如要通过一个人的饮食预测一个人的体重,体重的值可以有无限多个,有的人50kg,有的人51kg,在50和51之间也有无限多个数.这种预测结果是某一个确定数,而具体是哪个数有无限多种可能的问题,我们会训练出一个模型,传入参数后得到这个确定的数,这类问题我们称为回归问题.预测的这个变量(体重)因为有无限多种可能,在数轴上是连续的,所以我们称这种变量为连续变量.

我们要预测一个人身体健康或者不健康,预测会得癌症或者不会得癌症,预测他是水瓶座,天蝎座还是射手座,这种结果只有几个值或者多个值的问题,我们可以把每个值都当做一类,预测对象到底属于哪一类.这样的问题称为分类问题.如果一个分类问题的结果只有两个,比如"是"和"不是"两个结果,我们把结果为"是"的样例数据称为"正例",讲结果为"不是"的样例数据称为"负例",对应的,这种结果的变量称为离散型变量.

二.逻辑回归不是回归

从名字来理解逻辑回归.在逻辑回归中,逻辑一词是logistics [lə'dʒɪstɪks]的音译字,并不是因为这个算法是突出逻辑的特性.

至于回归,我们前一段讲到回归任务是结果为连续型变量的任务,logistics regression是用来做分类任务的,为什么叫回归呢?那我们是不是可以假设,逻辑回归就是用回归的办法来做分类的呢.跟上思路.

三.如果是你,你要怎么做

假设刚刚的思路是正确的,逻辑回归就是在用回归的办法做分类任务,那有什么办法可以做到呢,此时我们就先考虑最简单的二分类,结果是正例或者负例的任务.

按照多元线性回归的思路,我们可以先对这个任务进行线性回归,学习出这个事情结果的规律,比如根据人的饮食,作息,工作和生存环境等条件预测一个人"有"或者"没有"得恶性肿瘤,可以先通过回归任务来预测人体内肿瘤的大小,取一个平均值作为阈值,假如平均值为y,肿瘤大小超过y为恶心肿瘤,无肿瘤或大小小于y的,为非恶性.这样通过线性回归加设定阈值的办法,就可以完成一个简单的二分类任务.如下图:

上图中,红色的x轴为肿瘤大小,粉色的线为回归出的函数 $h_{\Theta }(x)$ 的图像,绿色的线为阈值.

预测肿瘤大小还是一个回归问题,得到的结果(肿瘤的大小)也是一个连续型变量.通过设定阈值,就成功将回归问题转化为了分类问题.但是,这样做还存在一个问题.

我们上面的假设,依赖于所有的肿瘤大小都不会特别离谱,如果有一个超大的肿瘤在我们的例子中,阈值就很难设定.加入还是取平均大小为阈值,则会出现下图的情况:

从上边的例子可以看出,使用线性的函数来拟合规律后取阈值的办法是行不通的,行不通的原因在于拟合的函数太直,离群值(也叫异常值)对结果的影响过大,但是我们的整体思路是没有错的,错的是用了太"直"的拟合函数,如果我们用来拟合的函数是非线性的,不这么直,是不是就好一些呢?

所以我们下面来做两件事:

1-找到一个办法解决掉回归的函数严重受离群值影响的办法.

2-选定一个阈值.

四:把回归函数掰弯

没错,本小节用来解决上边说的第一个问题.开玩笑了,无论如何我也不可能掰弯这个函数.我们能做的呢,就是换一个.原来的判别函数我们用线性的y = $w^{T}x$ ,逻辑回归的函数呢,我们目前就用sigmod函数,函数如下:

公式中,e为欧拉常数(是常数,如果不知道,自行百度),Z就是我们熟悉的多元线性回归中的 $W^{T}X$ ,建议现阶段大家先记住逻辑回归的判别函数用它就好了.如果你不服,请参考:朱先生1994的博客(博客讲的很好).

就像我们说多元线性回归的判别函数为 $y = w_{0}x_{0} + w_{1}x_{1} + ... +w_{n}x_{n}$ 一样.追究为什么是他花费的经历会比算法本身更多.

sigmod函数的图像如下:

该函数具有很强的鲁棒性(鲁棒是Robust的音译，也就是健壮和强壮的意思),并且将函数的输入范围(∞,-∞)映射到了输出的(0,1)之间且具有概率意义.具有概率意义是怎么理解呢:将一个样本输入到我们学习到的函数中,输出0.7,意思就是这个样本有70%的概率是正例,1-70%就是30%的概率为负例.

再次强调一下,如果你的数学功底很好,可以看一下我上边分享的为什么是sigmod函数的连接,如果数学一般,我们这个时候没有必要纠结为什么是sigmod,函数那么多为什么选他.学习到后边你自然就理解了.

总结一下上边所讲:我们利用线性回归的办法来拟合然后设置阈值的办法容易受到离群值的影响,sigmod函数可以有效的帮助我们解决这一个问题,所以我们只要在拟合的时候把 $y = w_{0}x_{0} + w_{1}x_{1} + ... +w_{n}x_{n}$ 即y = $W^{T}X$ 换成 $g(z) = \frac{1}{1+e^{-z}}$ 即可,其中

z= $W^{T}X$ ,也就是说g(z) = $\frac{1}{1 + e^{w^{T}x}}$ . 同时,因为g(z)函数的特性,它输出的结果也不再是预测结果,而是一个值预测为正例的概率,预测为负例的概率就是1-g(z).

函数形式表达:

P(y=0|w,x) = 1 – g(z)

P(y=1|w,x) = g(z)

P(正确) = $(g(w,xi))^{y^{i}}$ * $(1-g(w,xi))^{1-y^{i}}$ $y^{i}$ 为某一条样本的预测值,取值范围为0或者1.

到这里,我们得到一个回归函数,它不再像y=wT * x一样受离群值影响,他的输出结果是样本预测为正例的概率(0到1之间的小数).我们接下来解决第二个问题:选定一个阈值.

五:选定阈值

选定阈值的意思就是,当我选阈值为0.5,那么小于0.5的一定是负例,哪怕他是0.49.此时我们判断一个样本为负例一定是准确的吗?其实不一定,因为它还是有49%的概率为正利的.但是即便他是正例的概率为0.1,我们随机选择1w个样本来做预测,还是会有接近100个预测它是负例结果它实际是正例的误差.无论怎么选,误差都是存在的.所以我们选定阈值的时候就是在选择可以接受误差的程度.

我们现在知道了sigmod函数预测结果为一个0到1之间的小数,选定阈值的第一反应,大多都是选0.5,其实实际工作中并不一定是0.5,阈值的设定往往是根据实际情况来判断的.本小节我们只举例让大家理解为什么不完全是0.5,并不会有一个万能的答案,都是根据实际工作情况来定的.

0到1之间的数阈值选作0.5当然是看着最舒服的,可是假设此时我们的业务是像前边的例子一样,做一个肿瘤的良性恶性判断.选定阈值为0.5就意味着,如果一个患者得恶性肿瘤的概率为0.49,模型依旧认为他没有患恶性肿瘤,结果就是造成了严重的医疗事故.此类情况我们应该将阈值设置的小一些.阈值设置的小,加入0.3,一个人患恶性肿瘤的概率超过0.3我们的算法就会报警,造成的结果就是这个人做一个全面检查,比起医疗事故来讲,显然这个更容易接受.

第二种情况,加入我们用来识别验证码,输出的概率为这个验证码识别正确的概率.此时我们大可以将概率设置的高一些.因为即便识别错了又能如何,造成的结果就是在一个session时间段内重试一次.机器识别验证码就是一个不断尝试的过程,错误率本身就很高.

以上两个例子可能不大准确,只做意会,你懂了就好. [此时我的表情无法描述]

到这里,逻辑回归的由来我们就基本理清楚了,现在我们知道了逻辑回归的判别函数就是 $g(z) = \frac{1}{1+e^{-z}}$ ,z= $W^{T}X$ .休息两分钟,我们下面看如何求解逻辑回归,也就是如何找到一组可以让 $g(z) = \frac{1}{1+e^{-z}}$ 全都预测正确的概率最大的W.

六.最大似然估计

此时我们想要找到一组w,使函数 $g(z) = \frac{1}{1+e^{-z}}$ 正确的概率最大.而我们在上面的推理过程中已经得到每个单条样本预测正确概率的公式:

P(正确) = $(g(w,xi))^{y^{i}}$ * $(1-g(w,xi))^{1-y^{i}}$

若想让预测出的结果全部正确的概率最大,根据最大似然估计(多元线性回归推理中有讲过,此处不再赘述),就是所有样本预测正确的概率相乘得到的P(总体正确)最大,此时我们让 ,数学表达形式如下:

上述公式最大时公式中W的值就是我们要的最好的W.下面对公式进行求解.

我们知道,一个连乘的函数是不好计算的,我们可以通过两边同事取log的形式让其变成连加.

得到的这个函数越大,证明我们得到的W就越好.因为在函数最优化的时候习惯让一个函数越小越好,所以我们在前边加一个负号.得到公式如下:

这个函数就是我们逻辑回归(logistics regression)的损失函数,我们叫它交叉熵损失函数.

七.求解交叉熵损失函数

求解损失函数的办法我们还是使用梯度下降,同样在批量梯度下降与随机梯度下降一节有详细写到,此处我们只做简要概括.

求解步骤如下:

1-随机一组W.

2-将W带入交叉熵损失函数,让得到的点沿着负梯度的方向移动.

3-循环第二步.

求解梯度部分同样是对损失函数求偏导,过程如下:

交叉熵损失函数的梯度和最小二乘的梯度形式上完全相同,区别在于,此时的 $h_{\Theta}(x) = g(z)$ ,而最小二乘的 $h_{\Theta} = W^{T}X$ .

PS:加一个总结:逻辑回归为什么对切斜的数据特别敏感(正负例数据比例相差悬殊时预测效果不好)

首先从文章开头部分举例的两个图可以看到,使用线性模型进行分类第一个要面对的问题就是如何降低离群值的影响,而第二大问题就是,在正负例数据比例相差悬殊时预测效果不好.为什么会出现这种情况呢?原因来自于逻辑回归交叉熵损失函数是通过最大似然估计来推导出的.

使用最大似然估计来推导损失函数,那无疑,我们得到的结果就是所有样本被预测正确的最大概率.注意重点是我们得到的结果是预测正确率最大的结果,100个样本预测正确90个和预测正确91个的两组w,我们会选正确91个的这一组.那么,当我们的业务场景是来预测垃圾邮件,预测黄色图片时,我们数据中99%的都是负例(不是垃圾邮件不是黄色图片),如果有两组w,第一组为所有的负例都预测正确,而正利预测错误,正确率为99%,第二组是正利预测正确了,但是负例只预测出了97个,正确率为98%.此时我们算法会认为第一组w是比较好的.但实际我们业务需要的是第二组,因为正例检测结果才是业务的根本.

此时我们需要对数据进行欠采样/重采样来让正负例保持一个差不多的平衡,或者使用树型算法来做分类.一般树型分类的算法对数据倾斜并不是很敏感,但我们在使用的时候还是要对数据进行欠采样/重采样来观察结果是不是有变好.

到这里,逻辑回归就讲解完毕了.请大家帮忙勘误,共同学习.感谢您的耐心阅读.

下一篇:一文读懂L-BFGS算法

收起

展开全文

逻辑回归(logistic regression)的本质——极大似然估计

万次阅读 多人点赞 2017-08-14 19:36:24

逻辑回归是分类当中极为常用的手段，因此，掌握其内在原理是非常必要的。我会争取在本文中尽可能简明地展现逻辑回归(logistic regression)的整个推导过程。


文章目录
1 前言
2 什么是逻辑回归
3 逻辑回归的代价函数
4 利用梯度下降法求参数
5 结束语
6 参考文献

1 前言
逻辑回归是分类当中极为常用的手段，因此，掌握其内在原理是非常必要的。我会争取在本文中尽可能简明地展现逻辑回归(logistic regression)的整个推导过程。
2 什么是逻辑回归
逻辑回归在某些书中也被称为对数几率回归，明明被叫做回归，却用在了分类问题上，我个人认为这是因为逻辑回归用了和回归类似的方法来解决了分类问题。
假设有一个二分类问题，输出为 $y \in \{0, 1\}$ ，而线性回归模型产生的预测值为 $z = w^Tx + b$ 是实数值，我们希望有一个理想的阶跃函数来帮我们实现 $z$ 值到 $0/1$ 值的转化。
 $\phi (z) = \left\{ \begin{aligned} 0 \quad if \ z < 0 \\ 0.5 \quad if \ z=0 \\ 1 \quad if \ z>0 \end{aligned} \right.$ 
然而该函数不连续，我们希望有一个单调可微的函数来供我们使用，于是便找到了 $Sigmoid \ function$ 来替代。
 $\phi (z) = \dfrac{1}{1 + e^{-z}}$ 
两者的图像如下图所示（图片出自文献2）


图1：sigmoid & step function
有了 $Sigmoid \ fuction$ 之后，由于其取值在 $[0,1]$ ，我们就可以将其视为类 $1$ 的后验概率估计 $p(y = 1|x)$ 。说白了，就是如果有了一个测试点 $x$ ，那么就可以用 $Sigmoid \ fuction$ 算出来的结果来当做该点 $x$ 属于类别 $1$ 的概率大小。
于是，非常自然地，我们把 $Sigmoid \ fuction$ 计算得到的值大于等于 $0.5$ 的归为类别 $1$ ，小于 $0.5$ 的归为类别 $0$ 。
 $\hat{y} = \left\{ \begin{aligned} 1 \quad if \ \phi (z) \geq 0.5 \\ 0 \quad \quad \ otherwise \end{aligned} \right.$ 
同时逻辑回归与自适应线性网络非常相似，两者的区别在于逻辑回归的激活函数是 $Sigmoid \ function$ 而自适应线性网络的激活函数是 $y = x$ ，两者的网络结构如下图所示（图片出自文献1）。

图2：自适应线性网络

图3：逻辑回归网络
3 逻辑回归的代价函数
好了，所要用的几个函数我们都有了，接下来要做的就是根据给定的训练集，把参数 $w$ 给求出来了。要找参数 $w$ ，首先就是得把代价函数（cost function）给定义出来，也就是目标函数。
我们第一个想到的自然是模仿线性回归的做法，利用误差平方和来当代价函数。
 $J(w) = \sum_{i} \dfrac{1}{2} (\phi(z^{(i)}) - y^{(i)})^2$ 
其中， $z^{(i)} = w^Tx^{(i)} + b$ ， $i$ 表示第 $i$ 个样本点， $y^{(i)}$ 表示第 $i$ 个样本的真实值， $\phi(z^{(i)})$ 表示第 $i$ 个样本的预测值。
这时，如果我们将 $\phi (z^{(i)}) = \dfrac{1}{1 + e^{-z^{(i)}}}$ 代入的话，会发现这是一个非凸函数，这就意味着代价函数有着许多的局部最小值，这不利于我们的求解。

图4：凸函数和非凸函数
那么我们不妨来换一个思路解决这个问题。前面，我们提到了 $\phi(z)$ 可以视为类 $1$ 的后验估计，所以我们有
 $p(y=1|x;w) = \phi(w^Tx + b)=\phi(z)$ 
 $p(y=0|x;w) = 1 - \phi(z)$ 
其中， $p(y=1|x;w)$ 表示给定 $w$ ，那么 $x$ 点 $y=1$ 的概率大小。
上面两式可以写成一般形式
 $p(y|x;w)=\phi(z)^{y}(1 - \phi(z))^{(1-y)}$ 
接下来我们就要用极大似然估计来根据给定的训练集估计出参数 $w$ 。
 $L(w)=\prod_{i=1}^{n}p(y^{(i)}|x^{(i)};w)=\prod_{i=1}^{n}(\phi(z^{(i)}))^{y^{(i)}}(1-\phi(z^{(i)}))^{1-y^{(i)}}$ 
为了简化运算，我们对上面这个等式的两边都取一个对数
 $l(w)=lnL(w)=\sum_{i = 1}^n y^{(i)}ln(\phi(z^{(i)})) + (1 - y^{(i)})ln(1-\phi(z^{(i)}))$ 
我们现在要求的是使得 $l(w)$ 最大的 $w$ 。没错，我们的代价函数出现了，我们在 $l(w)$ 前面加个负号不就变成就最小了吗？不就变成我们代价函数了吗？
 $J(w)=-l(w)=-\sum_{i = 1}^n y^{(i)}ln(\phi(z^{(i)})) + (1 - y^{(i)})ln(1-\phi(z^{(i)}))$ 
为了更好地理解这个代价函数，我们不妨拿一个例子的来看看
 $J(\phi(z),y;w)=-yln(\phi(z))-(1-y)ln(1-\phi(z))$ 
也就是说
 $J(\phi(z),y;w)=\begin{cases} -ln(\phi(z)) & if \ y=1 \\ -ln(1-\phi(z)) & if \ y=0 \end{cases}$ 
我们来看看这是一个怎么样的函数

图5：代价函数
从图中不难看出，如果样本的值是 $1$ 的话，估计值 $\phi(z)$ 越接近 $1$ 付出的代价就越小，反之越大；同理，如果样本的值是 $0$ 的话，估计值 $\phi(z)$ 越接近 $0$ 付出的代价就越小，反之越大。
4 利用梯度下降法求参数
在开始梯度下降之前，要这里插一句， $sigmoid \ function$ 有一个很好的性质就是
 $\phi'(z) = \phi(z)(1 - \phi(z))$ 
下面会用到这个性质。
还有，我们要明确一点，梯度的负方向就是代价函数下降最快的方向。什么？为什么？好，我来说明一下。借助于泰特展开，我们有
 $f(x + \delta) - f(x) \approx f'(x) \cdot \delta$ 
其中， $f'(x)$ 和 $\delta$ 为向量，那么这两者的内积就等于
 $f'(x) \cdot \delta = ||f'(x)|| \cdot ||\delta|| \cdot cos \theta$ 
当 $\theta=\pi$ 时，也就是 $\delta$ 在 $f'(x)$ 的负方向上时，取得最小值，也就是下降的最快的方向了~
okay？好，坐稳了，我们要开始下降了。
 $w := w + \Delta w, \ \Delta w=-\eta \nabla J(w)$ 
没错，就是这么下降。没反应过来？那我再写详细一些
 $w_j := w_j + \Delta w_j,\ \Delta w_j = -\eta \dfrac{\partial J(w)}{\partial w_j}$ 
其中， $w_j$ 表示第 $j$ 个特征的权重； $\eta$ 为学习率，用来控制步长。
重点来了。
 $\begin{aligned} & \dfrac{\partial J(w)}{w_j} = -\sum_{i=1}^n (y^{(i)}\dfrac{1}{\phi(z^{(i)})}-(1 - y^{(i)})\dfrac{1}{1-\phi(z^{(i)})})\dfrac{\partial \phi(z^{(i)})}{\partial w_j} \\ & =-\sum_{i=1}^n (y^{(i)}\dfrac{1}{\phi(z^{(i)})}-(1 - y^{(i)})\dfrac{1}{1-\phi(z^{(i)})})\phi(z^{(i)})(1-\phi(z^{(i)}))\dfrac{\partial z^{(i)}}{\partial w_j} \\ & =-\sum_{i=1}^n (y^{(i)}(1-\phi(z^{(i)}))-(1-y^{(i)})\phi(z^{(i)}))x_j^{(i)} \\ & =-\sum_{i=1}^n (y^{(i)}-\phi(z^{(i)}))x_j^{(i)} \end{aligned}$ 
所以，在使用梯度下降法更新权重时，只要根据下式即可
 $w_j :=w_j+\eta \sum_{i=1}^n (y^{(i)}-\phi(z^{(i)}))x_j^{(i)}$ 
此式与线性回归时更新权重用的式子极为相似，也许这也是逻辑回归要在后面加上回归两个字的原因吧。
当然，在样本量极大的时候，每次更新权重会非常耗费时间，这时可以采用随机梯度下降法，这时每次迭代时需要将样本重新打乱，然后用下式不断更新权重。
 $w_j := w_j + \eta (y^{(i)}-\phi(z^{(i)}))x_j^{(i)}, for \ i \ in \ range(n)$ 
也就是去掉了求和，而是针对每个样本点都进行更新。
5 结束语
以上就是我参考了基本书中的说法之后对逻辑回归整个推到过程的梳理，也不知道讲清楚没有。

如有不足，还请指正~
6 参考文献
[1] Raschka S. Python Machine Learning[M]. Packt Publishing, 2015.

[2] 周志华. 机器学习 : = Machine learning[M]. 清华大学出版社, 2016.

收起

展开全文

机器学习极大似然估计分类器

逻辑回归 - 理论篇
万次阅读 多人点赞 2014-07-16 15:42:14
什么是逻辑回归？ Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedli...
收起
逻辑回归画图_逻辑回归
2020-08-11 21:53:47
逻辑回归画图翻译自: https://medium.com/@er.amansingh2019/logistic-regression-401b3a7723de逻辑回归画图
收起
python
R语言多元Logistic逻辑回归应用案例
万次阅读 2019-06-14 15:00:55
可以使用阶梯函数通过逐步过程确定多重逻辑回归。此函数选择模型以最小化AIC，而不是像手册中的SAS示例那样根据p值。另请注意，在此示例中，步骤函数找到了与“ 手册”中的过程不同的模型。通常建议不要盲目地遵循...
收起
R语言应用案例
机器学习之逻辑回归(logistics regression)
万次阅读 2020-06-27 19:42:11
逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。因此逻辑回归...
收起
机器学习
第七章 逻辑回归 - 多元逻辑回归
千次阅读 2020-03-10 21:41:43
第七章 逻辑回归 - 多元逻辑回归、一对多分类
收起
逻辑回归详谈
千次阅读 多人点赞 2013-09-01 22:03:56
本文从数学上对逻辑回归做了一个详尽的分析，其中包括回归分析、最小二乘法、sigmoid 函数以及梯度下降等知识点的介绍。
收起
回归分析 sigmoid 梯度下降法最小二乘法
逻辑回归三部曲——逻辑回归(logistics regression)原理-让你彻底读懂逻辑回归
2020-05-05 21:25:52
逻辑回归原理详解
收起
python 深度学习机器学习
逻辑回归详解
千次阅读 2018-08-15 22:08:19
什么是逻辑回归、逻辑回归的损失函数、梯度下降算法推导与逻辑回归的 Python 实现
收起
机器学习 Python
逻辑回归 总结
多人点赞 2021-03-02 09:31:57
逻辑回归 总结概述Sigmoid 函数逻辑回归实现案例一概述 逻辑回归 (Logic Regression) 本质上就是线性回归. 虽然逻辑回归被称为回归, 但实际上是一个分类模型, 用作二分类问题. 逻辑回归的决策边界可以是非线性的. ...
收起
逻辑回归之为什么叫逻辑回归
千次阅读 2019-01-31 11:18:12
为什么叫逻辑回归？我们先欣赏一条S型曲线：再来欣赏一条长得比较像、但是比较直的“曲线”：图一叫做 logistic function，又叫做 sigmod function。图二叫做单位阶跃函数。逻辑函数取值范围是(0, 1)，单位阶跃...
收起
机器学习人工智能
逻辑回归算法总结
2020-04-15 15:23:47
逻辑回归
收起
Sklearn-LogisticRegression逻辑回归
万次阅读 多人点赞 2017-02-06 11:19:53
逻辑回归：可以做概率预测，也可用于分类，仅能用于线性问题。通过计算真实值与预测值的概率，然后变换成损失函数，求损失函数最小值来计算模型参数，从而得出模型。 sklearn.linear_model.LogisticRegression...
收起
python 机器学习数据分析函数
sklearn——线性逻辑回归和非线性逻辑回归
2020-06-07 19:58:02
线性逻辑回归 本文用代码实现怎么利用sklearn来进行线性逻辑回归的计算，下面先来看看用到的数据。这是有两行特征的数据，然后第三行是数据的标签。 python代码首先导入包和载入数据写一个画图的函数，把这些...
收起
机器学习
逻辑回归的通俗解释 逻辑回归的定位
千次阅读 2018-02-07 16:34:32
1 逻辑回归的定位首先，逻辑回归是一种分类（Classification）算法。比如说：给定一封邮件，判断是不是垃圾邮件给出一个交易明细数据，判断这个交易是否是欺诈交易给出一个肿瘤检查的结果数据，判断这个肿瘤...
收起
逻辑回归——一文带你搞懂逻辑回归原理
千次阅读 2020-02-26 16:03:39
目录 1、绘制X轴、Y轴平行线 2、绘制折线图 1）问题一：如何将等式左右连续化 2）问题二：使用... 本人是统计学专业，这里将自己学习中所理解的逻辑回归，给你们做一个详细的说明，希望能帮助到你们...
收起
sigmoid

机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾

1.引言

2.背景

2.1 关于Kaggle

2.2 关于泰坦尼克号之灾

3.说明

4.怎么做？

5.初探数据

6.数据初步分析

6.1 乘客各属性分布

6.2 属性与获救结果的关联统计

7.简单数据预处理

8.逻辑回归建模

9.逻辑回归系统优化

9.1 模型系数关联分析

9.2 交叉验证

9.3 learning curves

10.模型融合(model ensemble)

11.总结

12.关于数据和代码

逻辑回归

Q1：逻辑回归的原理

Q2：逻辑回归为什么又叫对率回归

Q3：逻辑回归为什么使用sigmoid

Q4：信息熵的定义及推导过程

Q5：逻辑回归损失函数的推导过程

Q6：逻辑回归为什么要用交叉熵作为损失函数，为什么不用平方损失函数

Q7：逻辑回归为什么可以表示概率，表示的是真实的概率吗？

Q8：如何求解逻辑回归的损失函数

Q9：逻辑回归如何防止过拟合

Q10：逻辑回归如何做多分类

Q11：逻辑回归和线性回归的异同点

Q12：逻辑回归的特征为什么要做离散化，这样做有什么好处

Q13：逻辑回归的优缺点

参考博客

逻辑回归(logistics regression)

逻辑回归(logistics regression)

逻辑回归(logistic regression)的本质——极大似然估计

文章目录

1 前言

2 什么是逻辑回归

3 逻辑回归的代价函数

4 利用梯度下降法求参数

5 结束语

6 参考文献

逻辑回归 - 理论篇

逻辑回归画图_逻辑回归

R语言多元Logistic逻辑回归 应用案例

机器学习之逻辑回归(logistics regression)

第七章 逻辑回归 - 多元逻辑回归

逻辑回归详谈

逻辑回归三部曲——逻辑回归(logistics regression)原理-让你彻底读懂逻辑回归

逻辑回归详解

逻辑回归 总结

逻辑回归之为什么叫逻辑回归

逻辑回归算法总结

Sklearn-LogisticRegression逻辑回归

sklearn——线性逻辑回归和非线性逻辑回归

逻辑回归的通俗解释 逻辑回归的定位

逻辑回归——一文带你搞懂逻辑回归原理

逻辑回归

R语言多元Logistic逻辑回归应用案例

第七章逻辑回归 - 多元逻辑回归

逻辑回归总结

逻辑回归的通俗解释逻辑回归的定位