原标题：SPSS实例教程：有序多分类Logistic回归
 
1、问题与数据
 
在某胃癌筛查项目中，研究者想了解首诊胃癌分期(Stage)与患者的经济水平的关系，以确定胃癌筛查的重点人群。为了避免性别因素对结论的混杂影响，研究者将性别(Sex)也纳入分析(本例仅为举例说明如何进行软件操作，实际研究中需控制的混杂因素可以更多)。研究者将所有筛查人群的结果如表1，变量赋值如表2。
 
表1. 原始数据
 

 
表2. 变量赋值情况
 

 
2、对数据结构的分析
 
该设计中，因变量为四分类，且分类间有次序关系，针对因变量为分类型数据的情况应该选用Logistic回归，故应采用有序多分类的Logistic回归分析模型进行分析。
 
有序多分类的Logistic回归原理是将因变量的多个分类依次分割为多个二元的Logistic回归，例如本例中因变量首诊胃癌分期有1-4期，分析时拆分为三个二元Logistic回归，分别为(1 vs 2+3+4) 、(1+2 vs 3+4)、(1+2+3 vs 4)，均是较低级与较高级对比。需注意的是，有序多分类Logistic回归的假设是，拆分后的几个二元Logistic回归的自变量系数相等，仅常数项不等。其结果也只输出一组自变量的系数。
 
因此，有序多分类的Logistic回归模型中，必须对自变量系数相等的假设进行检验(又称平行线检验)。如果不满足平行线假设，则考虑使用无序多分类Logistic回归或其他统计方法。
 
3、SPSS分析方法
 
(1)数据录入SPSS
 
首先在SPSS变量视图(Variable View)中新建四个变量：ID代表患者编号，Sex代表性别，Income代表收入水平，Stage代表首诊胃癌分期。赋值参考表1。然后在数据视图(Data View)中录入数据。
 

 
(2)选择Analyze → Regression → Ordinal Logistic
 

 
(3)选项设置
 

 
将因变量Stage放入因变量(Dependent)位置，自变量性别(Sex)、收入水平(Income)为分类变量，故放入因子(Factors)位置。若研究中还有连续型变量需要调整，则放入协变量(Covariate)位置。
 
点击输出(Output)选项，勾选平行线检验(Test of parallel lines)。其余选项维持默认。点击确定(OK)。
 

 
4、结果解读
 
(1)Case Processing Summary
 
给出的是数据的一般情况，这里不进行介绍。
 
(2)模型拟合优度检验
 
有两个，一个是似然比检验结果(Model Fitting Information).该检验的原假设是所有纳入自变量的系数为0，P(Sig.)<0.001，说明至少一个变量系数不为0，且具有统计学显著性。也就是模型整体有意义。
 

 
另一个结果是拟合优度检验(Goodness-of-Fit)结果，提供了Pearson卡方和偏差(Deviance)卡方两个检验结果。但是，这两个检验结果不如上图的似然比检验结果稳健，尤其是纳入的自变量存在连续型变量时，因此推荐以似然比检验结果为准。
 
(3)伪决定系数(Pseudo R-Square)
 
对于分类数据的统计分析，一般情况下伪决定系数都不会很高，对此不必在意。
 
(4)参数估计(Parameter Estimates)
 

 
阈值(Threshold)对应的Stage=1,2,3三个估计值(Estimate)分别是本次分析中拆分的三个二元Logistic回归的常数项。位置(Location)中Sex和Income变量对应的参数估计值为自变量的估计值。其中Income为多分类，在分析中被拆分成了三个哑变量(即Income 取值1、2、3)，分别与Income=4的组进行对比。且有序多分类Logistic回归假定拆分的多个二元回归中自变量系数均相等，因此结果只给出了一组自变量系数。
 
Income=1系数估计值(Estimate)为-1.617意味着，在调整性别变量的情况下，Income=1(即收入水平最低)的组，相比于Income=4(收入水平最高)的组，初诊胃癌分期至少低一个等级的可能性是exp(-1.617)=0.198倍。其他系数解释相同。这说明，收入水平低的人群，其初诊胃癌时病情更严重。
 
Sex变量系数无统计学意义(P=0.428)，如果没有其他证据证明不同性别的初诊胃癌分期有区别，那么从模型精简的角度考虑，应当将Sex变量从模型中去掉再次进行回归，得到收入水平的参数估计值。如果研究者比较肯定不同性别初诊胃癌分期会产生区别，那么即使在本研究中其系数无统计学意义也应保留在模型中(因为无统计学意义有可能是因为样本量小造成的，并不能说明该变量不产生影响)。本研究中予以保留。
 
(5)平行线假设检验(Test of Parallel Lines)
 

 
该检验的原假设是三个二元Logistic回归自变量系数相等，检验P(Sig.)值为0.052，不拒绝原假设，可以认为假设成立，可以使用多重有序Logistic回归。如果将参数无统计学意义的Sex变量去掉，会发现平行线假定检验P值会增大(P=0.175)(是否去掉Sex变量重回归，取决于是否有充足研究证据证明Sex是一个混杂变量，如果是，Sex变量应保留在模型中)。
 
5、结果汇总
 
胃癌患者的初诊分期与患者的收入水平有关。低等收入、中等收入与中高等收入人群与高等收入人群相比，初诊胃癌分期低至少一个等级的可能性分别为0.198(P<0.001)、0.310(P<0.001)、0.640(P=0.071)倍。
 
(更多内容可关注“医咖会”微信公众号：传播医学知识和研究进展，探讨临床研究方法学。)返回搜狐，查看更多
 
责任编辑：

 
一、 关于回归
 
在分类中问题中，如果给定一个输入，其所产生的输出是一个布尔值，那么这是是与否型的答案；而在输出是数值型的值下，我们所希望的学习结果不是C={0, 1}，而是一个连续的函数。我们倾向于将数值的输出写成关于输入的函数，数值输入称为自变量，数值输出称为因变量。我们希望通过对训练数据集学习后得出一个类似下面的函数关系式(这里以简单线性为例)。
 
在二元分类中，我们需要一个这样的函数：它能够接收所有的输入并能预测类别，即0或1。Sigmoid函数正是我们需要的函数，
 

 
sigmoid函数它具有以下性质：
 
a、函数输入为0时，Sigmoid结果为0.5。
 
b、随着输入x值的增大，Sigmoid函数接近1，随着x的减小，其值接近于0。
 
我们将上面拟合得到函数g(x)代入Sigmoid函数中，若g(x)输出值大于0时，Sigmoid函数结果大于0.5，g(x)值小于0时，Sigmoid函数小于0.5。这样Sigmoid函数把g(x)函数值转为为后验概率，也即Sigmoid函数大于0.5概率时，我们将X类标标记为1，而概率小于0.5时，X类标记为0。
 
sigmoid函数值越大，我们越有把握将X正确地分类。
 
二、寻找最佳拟合曲线
 
针对g(x)函数回归系数的求解，我们使用梯度上升优化法多次迭代求出最佳参数。
 
所谓梯度是指多元函数在某一点处的一阶偏导数向量。一个梯度应用直观理解的例子是热传导问题，物体温度沿着各个方向传播速度是不相同的，那么沿着哪条方向温度变化率是最小或最大的呢？还有是在爬山过程中，我们朝着哪个方向迈出一步上升的幅度最大呢？答案是沿着梯度的方向，温度变化率最大、迈出一步上升幅度最大。梯度上升法用于求解最大值，梯度下降法用于求解最小化问题。
 
基于上面提到的理论，我们在训练数据集中经过多次迭代后求解出最佳拟合参数，之后便能够在测试数据集中预测类别。
 
三、公式推导
 

 

 

 
四、更新回归系数
 
根据以上计算得出的梯度公式，我们每次迭代更新回归系数W公式为：
 

 
更新回归系数
 
alpha为学习因子(learning factor)或者称为步长(stepsize)，该参数决定每次沿梯度方向移动多少。alpha值选择很重要，如果alpha值偏大，则可能导致函数摆动甚至发散，如果偏小，使得函数收敛速度很慢，计算开销偏大。同时，运用梯度方法求解最优化问题，最终结果可能不一定是全局最优，可能只是局部最优解。因为，在使用梯度方法优化过程中，它寻找的是最近的一个极值点，因此来说，函数仅存在一个极值点时才能达到全局最优。
 
求解最优化问题，梯度方法较为简单，但结果相当有效。我们还需注意的是标准梯度上升法在每次更新回归系数W时，都要遍历整个数据集，当数据规模很大情况下，内存开销和计算量很大。下面介绍一种在线学习算法--随机梯度上升法。
 
随机梯度上升法基本思想是：在每一次迭代更新回归系数时，其不是遍历整个数据集，而是一次仅用一个样本点来更新回归系数。更高级的思想是，我们不再像上面对alpha参数保持不变，而是随着迭代次数的增加，逐渐减小alpha值，也即越靠近最优解时，我们移动的步长越小以防越过最优解。同时，样本点也可以随机选取以减少周期性波动。
 
五、代码实现
 
1、标准梯度上升法
 
def gradAscent():
 
dataMat = []
 
labelMat = []
 
with open('testSet.txt') as fr:
 
for line in fr.readlines():
 
lineArr = line.strip().split()
 
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
 
labelMat.append(int(lineArr[2]))
 
dataMatrix = mat(dataMat)
 
labelMat = mat(labelMat).transpose()
 
m, n = shape(dataMatrix)
 
alpha = .001
 
maxCycles = 500
 
weights = ones((n, 1))
 
# print 'weights:', weights
 
for k in range(maxCycles):
 
h = sigmoid(dataMatrix * weights)
 
error = (labelMat - h)
 
weights += alpha * dataMatrix.transpose() * error
 
return weights
 
2、sigmoid方法
 
def sigmoid(inx):
 
return 1.0 / (1 + exp(-inx))
 
3、改进的随机梯度上升法
 
def stocGradAscentImproved(numIter=150):
 
"""Improved Stochastic gradient ascent method"""
 
with open('testSet.txt') as fr:
 
for line in fr.readlines():
 
lineArr = line.strip().split()
 
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
 
labelMat.append(int(lineArr[2]))
 
dataMat = array(dataMat)
 
labelMat = array(labelMat)
 
m, n = shape(dataMat)
 
weights = ones(n)
 
for j in range(numIter):
 
dataIndex = range(m)
 
for i in range(m):
 
alpha = 2 / (1.0 + j + i) + 0.01 # 更快地收敛
 
randIndex = int(random.uniform(0, len(dataIndex)))
 
h = sigmoid(sum(dataMat[randIndex] * weights))
 
error = classLabels[randIndex] - h
 
weights += alpha * error * dataMat[randIndex]
 
del dataIndex[randIndex] # 已选过的样本点删除
 
return weights
 
4、其中testSet.txt文件部分内容：
 
-0.017612 14.053064 0
 
-1.395634 4.662541 1
 
-0.752157 6.538620 0
 
-1.322371 7.152853 0
 
0.423363 11.054677 0
 
0.406704 7.067335 1
 
0.667394 12.741452 0
 
-2.460150 6.866805 1
 
0.569411 9.548755 0
 
stocGradAscentImproved方法在训练数据集求解出回归系数W，也即解出拟合曲线了，之后使用测试数据集预测类标号。如果sigmoid函数计算结果值大于0.5，则标记为1，而小于0.5标记为0。
 
在测试数据集上多次迭代求平均错误率。
 
六、总结
 
1、选择合适的分类器函数，这里使用sigmoid函数，我们在高中生物课学习过该参数，即种群S型生长曲线。sigmoid函数能够把拟合计算得到的曲线转换为后验概率，当sigmoid函数值大于0.5时，我们把该类标记为A类，小于0.5时，标记为B类。
 
2、在大规模数据集中，由于标准梯度上升法在每次迭代更新回归系数时，它都是遍历整个数据集，因此，该方法占用的内存空间和计算量很大。
 
3、公式算法应自己推导一遍以便对程序有更好的理解。

 
机器学习：多分类的logistic回归


 

  
Multi-Class Logistic（多分类的Logistic问题）
  
        它适用于那些类别数大于2的分类问题，并且在分类结果中，样本x不是一定只属于某一个类可以得到样本x分别属于多个类的概率（也可以说样本x的估计y符合某一个几何分布），这实际上是属于Generalized Linear Model中讨论的内容。
  
考虑一个结论：如果一个分类问题符合几何分布，那么就可以用Logistic变换来进行之后的运算。
  
------------------------------------------------------------------------
  
公式
  
        假设对于一个样本x，它可能属于K个分类，其估计值分别为F1(x)…FK(x)，Logistic变换如下，logistic变换是一个平滑且将数据规范化（使得向量的长度为1）的过程，结果为属于类别k的概率pk(x)，
  

  
        对于Logistic变换后的结果，损失函数为：
  
    
  
        其中，yk为输入的样本数据的估计值，当一个样本x属于类别k时，yk = 1，否则yk = 0。
  
        将Logistic变换的式子带入损失函数，并且对其求导，可以得到损失函数的梯度：
  
    
  
------------------------------------------------------------------------ 
  
        上面说的比较抽象，下面举个例子：
  
        假设输入数据x可能属于5个分类（分别为1,2,3,4,5），训练数据中，x属于类别3，则y = (0, 0, 1, 0, 0)，假设模型估计得到的F(x) = (0, 0.3, 0.6, 0, 0)，则经过Logistic变换后的数据p(x) = (0.16,0.21,0.29,0.16,0.16)，y - p得到梯度g：(-0.16, -0.21, 0.71, -0.16, -0.16)。观察这里可以得到一个比较有意思的结论：
  
        假设gk为样本当某一维（某一个分类）上的梯度:
  
        gk>0时，越大表示其在这一维上的概率p(x)越应该提高，比如说上面的第三维的概率为0.29，就应该提高，属于应该往“正确的方向”前进
  
越小表示这个估计越“准确”
  
        gk<0时，越小，负得越多表示在这一维上的概率应该降低，比如说第二维0.21就应该得到降低。属于应该朝着“错误的反方向”前进
  
越大，负得越少表示这个估计越“不错误 ”.
  
        总的来说，对于一个样本，最理想的梯度是越接近0的梯度。所以，我们要能够让函数的估计值能够使得梯度往反方向移动（>0的维度上，往负方向移动，<0的维度上，往正方向移动）最终使得梯度尽量=0），并且该算法在会严重关注那些梯度比较大的样本，跟Boost的意思类似。
  
        搬运自：LeftNotEasy博客园
 

线性回归：
 
原理：y[i] = , 根据中心极限定理（由很多因素影响的变量，倾向于服从高斯分布），服从高斯分布，p( | ,x)式子写出来，再把式子里面的替换成(y[i]-x[i]),  p( | ,x)和p(y[i] | ,x)是等价的，所以p(y[i] | ,x)也服从自变量是(y[i]-x[i])的高斯分布；目标是使得似然函数最大，即所有样本i的p(y[i] | ,x)连乘最大，高斯分布们连乘，取对数，得到最小化(y[i]-x[i])^2们相加；
 
解析解的求解：把所有样本写成矩阵X(每行一个样本), 目标是最小化和自己的内积，等价于; 对求导使其等于0，经过推导可得的最优取值；
 
梯度下降求解：(y[i]-)^2对求导，得到梯度；沿梯度的负方向前进，可使(y[i]-)^2尽快往局部最小值走去；
 
加2次项正则的，叫Ridge回归；加1次项正则的，叫LASSO回归；2次项正则效果更好，1次项正则有稀疏化参数的作用；
 
线性回归优点：可解释(参数表示每个维度的重要性）；缺点：对异常值敏感；对非线性数据拟合不好（可以引入2阶或者高阶特征）
 
 
 
Logistic回归：
 
定义函数p(x)=sigmoid(x)，p'(x)=p(x)*(1-p(x))
 
二分类任务，分为正例的概率p(x | ) = sigmoid(x)
 
训练的目标是最大化似然函数（所有训练样本的(p(x[i] | )^y[i])*((1-p(x[i] | )^(1-y[i])) 的乘积), 取对数，前面加负号，就变成了最小化对数似然之和，也就是交叉熵损失函数的样子；
 
损失函数求导技巧（应用复合函数求导的链式法则，写成连乘形式，每次解决一小步）：设p=sigmoid(z), z=x；先把损失函数对p求导，乘上p对z求导(等于p(1-p))，乘上z对求导(等于x)；结果检查：线性回归，Logistic回归，softmax回归，这三者的梯度都长得一模一样！
 
xgboost做二分类任务时，用的就是拟合z!
 
 
 
softmax回归的公式推导
 
原理：极大似然-->负对数损失函数；一共K个分界面(K个)；训练时，每个batch要对这K个分界面求梯度，用梯度下降分别更新这K个分界面。
 
求导技巧：可以先对一个样本求导，省得每次都要写样本ID的i;  可以先对整体作为变量z[k]，损失函数L对z[k]求导；中间有一步求对z[k]的导数，要分成2种情况:i=k时和i<>k时；