《老饼讲解机器学习》http://ml.bbbdata.com/teach#123

---

目录

一.问题

二.流程与代码

(一) 流程

(二)代码

(三)模型表达式

---

sklearn逻辑回归多分类有两种模式：ovr与multinomial。

在multi_class设为auto的时候，如果二分类或者求解器为liblinear时，则为OVR，否则为multinomial, 

多分类时ovr与multinomial的区别请参考：《sklearn逻辑回归多分类ovr与multinomial》

本文讲解sklearn逻辑回归以multinomial模式做多分类的一个简单例子，并提取最后的模型表达式

一.问题

现已采集150组 鸢尾花数据：鸢尾花类别（山鸢尾,杂色鸢尾,弗吉尼亚鸢尾）与四个特征（花萼长度sepal length (cm) 、花萼宽度sepal width (cm)、花瓣长度petal length (cm)、花瓣宽度petal width (cm)）。
则我们可以通过采集的数据训练一个决策模型，之后就可以用该模型进行预测鸢尾花类别

数据如下（即sk-learn中的iris数据）：

花萼长度	花萼宽度	花瓣长度	花瓣宽度	花类别
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
...	...	...	...	...
5.0	3.3	1.4	0.2	0
7.0	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
...	...	...	...	...
5.7	2.8	4.1	1.3	1
6.3	3.3	6.0	2.5	2
5.8	2.7	5.1	1.9	2
7.1	3.0	5.9	2.1	2
...	...	...	...	...
5.9	3.0	5.1	1.8	2

二.流程与代码

(一) 流程

1.数据归一化（用sklearn的逻辑回归一般要作数据归一化）
2.用归一化数据训练逻辑回归模型
3.用训练好的逻辑回归模型预测。
4.模型参数提取

(二)代码

# -*- coding: utf-8 -*-
"""
sklearn逻辑回归多分类例子(带模型公式提取)
"""
from sklearn.linear_model import LogisticRegression
import numpy as np
from sklearn.datasets import load_iris
#----数据加载------

iris = load_iris()    
X    = iris.data
y    = iris.target
#----数据归一化------
xmin   = X.min(axis=0)
xmax   = X.max(axis=0)
X_norm = (X-xmin)/(xmax-xmin)

#-----训练模型--------------------
clf = LogisticRegression(random_state=0,multi_class='multinomial')            
clf.fit(X_norm,y)

#------模型预测-------------------------------
pred_y      = clf.predict(X_norm)
pred_prob_y    = clf.predict_proba(X_norm) 

#------------提取系数w与阈值b-----------------------
w_norm = clf.coef_                             # 模型系数(对应归一化数据)
b_norm = clf.intercept_                           # 模型阈值(对应归一化数据)
w    = w_norm/(xmax-xmin)                       # 模型系数(对应原始数据)
b    = b_norm -  (w_norm/(xmax - xmin)).dot(xmin)      # 模型阈值(对应原始数据)
# ------------用公式预测------------------------------
wxb = X.dot(w.T)+ b
wxb = wxb - wxb.sum(axis=1).reshape((-1, 1)) # 由于担心数值过大会溢出，对wxb作调整
self_prob_y = np.exp(wxb)/np.exp(wxb).sum(axis=1).reshape((-1, 1))
self_pred_y = self_prob_y.argmax(axis=1)


#------------打印信息--------------------------
print("\n------模型参数-------")     
print( "模型系数:",w)
print( "模型阈值:",b)
print("\n-----验证准确性-------")  
print("提取公式计算的概率与sklearn自带预测概率的最大误差", abs(pred_prob_y-self_prob_y).max())

运行结果：

------模型参数-------
模型系数: [[-0.3902573   0.65000868 -0.48485313 -1.16130665]
 [ 0.07259933 -0.59884596  0.0709145  -0.19934931]
 [ 0.31765797 -0.05116272  0.41393863  1.36065596]]
模型阈值: [ 3.18277053  2.06368594 -5.24645647]


-----验证准确性-------
提取公式计算的概率与sklearn自带预测概率的最大误差 3.3306690738754696e-16

(三)模型表达式

由模型系数，得到最后的模式表达式为：

P=

类别预测：哪个的值大，就是哪一类。
概率预测： P归一化后即类别。

备注： sklearn担心e的指数部分太大，产生数值溢出，会再做一些处理。详细见代码里的处理。

---

相关文章

《逻辑回归过拟合分析与解决方案》

《sklearn:一个简单的逻辑回归例子》

《sklearn提取逻辑回归模型系数》

《逻辑回归建模完整流程》

 前言

分类从结果的数量上可以简单的划分为：

1. 二分类（Binary Classification）
2. 多分类（Multinomial  Classification）。

其中二分类是最常见且使用最多的分类场景，解决二分类的算法有很多，比如：

1. 基本的KNN、贝叶斯、SVM
2. Online Ranking中用来做二分类的包括FM、FFM、GBDT、LR、XGBoost等

多分类中比如：

1. 改进版的KNN、改进版的贝叶斯、改进版的SVM等
2. 多类别的逻辑回归

啰嗦了这么多，其实就是为了说这个多分类的逻辑回归。

简介

在统计学里，多类别逻辑回归是一个将逻辑回归一般化成多类别问题得到的分类方法。用更加专业的话来说，它就是一个用来预测一个具有类别分布的因变量不同可能结果的概率的模型。 

另外，多类别逻辑回归也有很多其它的名字，包括polytomous LR，multiclass LR，softmax regression，multinomial logit，maximum entropy classifier，conditional maximum entropy model。 

在多类别逻辑回归中，因变量是根据一系列自变量（就是我们所说的特征、观测变量）来预测得到的。具体来说，就是通过将自变量和相应参数进行线性组合之后，使用某种概率模型来计算预测因变量中得到某个结果的概率，而自变量对应的参数是通过训练数据计算得到的，有时我们将这些参数成为回归系数。

模型分析

1、线性分类器

多分类逻辑回归使用的是跟线性回归一致的线性预测函数，其基本表达式如下：

其中i=[1,n]这里的k是一个回归系数，它表示的是第n个观测变量/特征对地n个结果的影响有多大。这里将1看做x0，我们可以得到上述公式的向量化形式：

这里kn是一个回归系数向量，表示的是观测向量xi表示的观测数据对结果k的影响度，或者叫重要性。

2、逻辑回归

多分类逻辑回归是基于逻辑回归（Logistic Regression）来做的，逻辑回归的基本表示如下：

其中y=1时，f（x）的表达式为：

则y=0时，f（x）的表达式为：

 

3、k-1个独立二元逻辑回归到多分类逻辑回归的扩展

实现多类别逻辑回归模型最简单的方法是，对于所有K个可能的分类结果，我们运行K−1个独立二元逻辑回归模型，在运行过程中把其中一个类别看成是主类别，然后将其它K−1个类别和我们所选择的主类别分别进行回归。通过这样的方式，如果选择结果K作为主类别的话，我们可以得到以下公式。 

其推导过程如下：

这里有个假设的前提：y=K-1和y=K的概率和为1，即：

将逻辑回归的表达式带入可得：

公式两边同时求ln，可得：

在公式（6）中已经引入了所有可能的回归系数集合，对公式（6）两边进行指数化处理，能够得到以下公式：

因为所有概率的和为1，所以可以得到：

这样我们就能计算出所有给定未预测样本情况下某个结果的概率，如下：

回归参数的估计

上面篇幅所涉及到的每一个权重向量kn中的未知系数我们可以通过最大后验估计（MAP）来计算，同时也可以使用其它方法来计算，例如一些基于梯度的算法。

二元逻辑回归对数模型到多分类逻辑回归的扩展

在上文中提到了由K-1个独立二元回归到多分类逻辑回归的扩展，这里介绍另外一种多分类逻辑回归的扩展——使用线性预测器和额外的归一化因子（一个配分函数的对数形式）来对某个结果的概率的对数进行建模。

这里用一个额外项-ln(Z)来确保所有概率能够形成一个概率分布，从而使得这些概率的和等于1。

然后将等式两边的进行指数化，我们可以得到以下公式： 

由于上面说到，所有概率之和等于1，因此我们可以得到Z的推导公式：

通过上边的公式进行计算，可得：

综合以上的公式，我们最后可以得到每一个结果对应的概率公式：

仔细观察的话，我们可以发现，所有的概率都具有以下形式：

我们可以把具有以下形式的函数成为softMax函数： 

这个函数能够将x1,...,xn之间的差别放大，当存在一个xk比所有值中的最大值要小很多的话，那么它对应的softMax函数值就会区域0。相反，当xk是最大值的时候，除非第二大的值跟它很接近，否则的话softMax会趋于1。所以softmax函数可以构造出一个像是平滑函数一样的加权平均函数。 

所以，我们可以把上面的概率公式写成如下softMax函数的形式：

至此，多分类的逻辑回归形式以及介绍完了，后续会进行最大似然函数的学习，敬请期待！

---

扫一扫 关注微信公众号！号主 专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

---

                             【技术服务】，详情点击查看：https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg 

---

 

（五）逻辑回归 - 多分类

​ 图片出处

在 机器学习初探：（四）逻辑回归之二分类一文中，我们介绍了逻辑回归算法（Logistic regression）。逻辑回归属于 有监督学习中的一种 分类方法，其进行分类的主要思想是：根据现有数据 对决策边界线建立回归公式，以此进行分类。相比于线性回归，逻辑回归通过 Sigmoid 函数将线性回归模型的预测值（ ${\Theta }^{T}X$）映射至 0 和 1 之间， 其输出表示样本属于某一类别的概率。

回顾： 逻辑回归模型的基本形式：$h_{\Theta }(x)=\frac{1}{1+e^{-{\Theta }^{T}X}}$

在上一篇文章中，我们主要讨论的是如何使用逻辑回归训练一个二分类任务，即其输出标记仅有两种，比如是否被录取、邮件是否为垃圾邮件等。然而，现实世界的很多分类任务中具有两个以上分类类别，比如天气状况的预测，即存在晴天（$y=1$）、多云（$y=2$）、下雨（$y=3$）、下雪（$y=4$）等至少四类情况。那么如何将前一篇文章中我们建立的二分类逻辑回归模型扩展至多分类的情况呢？

在正式开始介绍之前，我们还是以一个例子来引入。如今，手写数字的自动识别得到了广泛的应用——比如，识别邮政编码、确认银行支票上的金额… 在此篇中，我们将尝试构建一个逻辑回归多分类模型（One-vs-all logistic regression），来实现手写数字（由 0 至 9）的自动识别¹…

图1 手写体识别

逻辑回归多分类（One-vs-all logistic regression）

上面的例子是一个典型的多分类任务，存在0至9共10个类别。那么如何将前一篇文章中我们建立的二分类逻辑回归模型扩展至多分类的情况呢？

一种直观的想法便是，对于每个类别都单独训练一个二分类逻辑回归模型，该模型解决的是判断样本是否属于这一类的问题。比如，下图2中共存在三角（Class 1）、方块（Class 2）、叉叉（Class 3）三个类别，实现上述三个类别的划分共需训练 3 个二分类逻辑回归模型：其中，$h_{\theta }^{(1)}(x)$ 用于区分三角和非三角；$h_{\theta }^{(2)}(x)$ 用来区分方块和非方块；$h_{\theta }^{(3)}(x)$ 用于区分叉叉和非叉叉。这便是 One-vs-all 分类的基本思想。

图2 One-vs-all分类的基本思想

接下来，在做预测的时候，对于每个新的输入，使用训练出的分类器分别计算“样本属于每个类别的概率”，进而，选择概率值最高的那个类别作为该样本的预测类别。

One-vs-all分类基本思想：

• 对于每个类别 $i$, 单独训练一个二分类逻辑回归模型 $h_{\theta }^{(i)}(x)$ 用于预测样本属于类别 $i$ ($y=i$) 的概率
• 对于新的输入 $x$, 选择最大化 $h_{\theta }^{(i)}(x)$ 的类别 $i$ 作为 $x$ 的预测类别

逻辑回归的一般流程

训练 $h_{\theta }^{(i)}(x)$ 的方法与前文机器学习初探：（四）逻辑回归之二分类 的方法一致，即：1）基于输入数据 $x$ 以及初始化参数 $\theta$ 计算损失函数 $J$；2）使用梯度下降算法计算 $\frac{\delta J}{\delta \theta }$； 3）基于对调整步长的设定，使用计算出来的 $\frac{\delta J}{\delta \theta }$ 调整 $\theta$ 值。至此，完成算法的一轮迭代（如下图3²所示）。

图3 使用梯度下降算法训练逻辑回归模型的一般流程

需说明的是，前述文章我们介绍的梯度下降算法均为 Batch gradient descent, 即在每轮迭代（对参数进行一次调整）中，即使用所有的训练样本数据来计算 $J(\theta )$ 和 $\frac{\delta J}{\delta \theta }$，并调整参数的。

对于损失函数、梯度下降算法的实现细节，与机器学习初探：（四）逻辑回归之二分类一文中一致，在此不再赘述。

逻辑回归多分类实例

有了上述的知识储备，我们来具体看一下，如何通过逻辑回归多分类训练一个手写数字的识别模型。

让机器识别图片中的数字，解决这个问题的关键点在于图片的数据形式化表示。一个直觉的思维是，我如果能够找到图像中每个物体或状态的数字规律，就可以实现对图像的识别了？

以手写数字”4“的图片为例，我们眼中看到的数字如下图 4 左所示，那么计算机“看到”的图像是什么样呢？我们知道一幅图像在计算机中是采用数字形式表示的。比如一张黑白图像，计算机中一般采用0-255的数字来表示每个像素点的亮度。如下图 4 中所示，数字“4”的灰度图像由 20 $\times$ 20 的像素点构成，其中，每个像素点在计算机中被表示为一个浮点数字，表示图片中对应位置的灰度强度，即如下图 4 右侧数字网格所示。

图4 计算机中的图像表示

在训练模型时，20 $\times$ 20 的像素网格数据被展开成 400 $\times$ 1 维的向量，相当于一个具有 400 维特征的输入样本，其对应的标签为 $y=4$。在我们的数据集中，共有 5000 个类似的训练样本，机器就可以通过分析输入的数字规律，实现对手写数字的识别了。对于本篇中的手写数字识别问题，需要训练 10 个不同的二分类逻辑回归模型。下图 5 即展示了 10 个分类器的训练过程（其中，横轴为迭代次数、纵轴为损失函数值，不同颜色的线对应 10 个分类器）。可以看到，在迭代到 50 次时，损失函数值基本维持在一定水平，也即模型训练基本稳定。

图5 逻辑回归多分类训练过程

模型训练好之后，我们可以统计一下，若使用训练好的模型进行预测的话，它的效果如何。经统计，我们训练的逻辑回归多分类模型在训练数据集上的预测准确度为 94.9%， 即训练数据中约有 94.9% 的手写数字图片可以被正确识别。

这似乎是个还算不错的结果，但需要注意的是，这仅是在训练数据集上的效果，如果是模型从未见过的数据呢，效果也会这么好吗？这属于模型泛化的问题，我们将在后续的系列文章中进行介绍。此外，上述结果是否还存在进一步提升的空间呢？在后续的文章中，我们将介绍另一类有监督学习算法——神经网络，届时我们将对这个问题进行解答。

小结

在此篇文章中，我们介绍了逻辑回归多分类方法。通过对每个类别单独训练一个二分类逻辑回归模型，来解决多分类的学习任务。

此外，我们回顾了使用梯度下降算法求解逻辑回归模型的一般流程，即：初始化参数值、计算损失函数、计算损失函数关于参数的偏导数、参数调整等过程。

最后，我们首次接触了图像识别问题，了解了计算机中的图像表示方式，并使用逻辑回归多分类训练了一个手写数字识别的模型。

参考资料

---

1. 数据来自吴恩达机器学习课程. ↩︎

2. 吴恩达. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization. ↩︎