对数线性模型
看到上面的交叉单元格，以及单元格内的频数数据，你是否很快就会联想到可以使用卡方检验来分析分类变量A和分类变量B的相关关系？上面这个表只有一个行变量和一个列变量，因此使用卡方检验非常方便快捷，但是当涉及的分类变量很多，例如研究4个以上分类变量之间的相关关系时，卡方检验就不够用了，因为它不可以同时对多个分类变量之间的相关关系给出一个综合评价，也不可以在控制其它变量作用的同时对变量的效应做出估计，而对数线性模型可以解决卡方检验不能解决的这些问题，它可以一次性给出多个分类变量之间的两两相关关系。
前面提到对数线性模型与混合线性模型有相同的地方，都是围绕分类变量展开的，因此首先回顾混合线性模型，可以参考下面的表格，混合线性模型表格中的数据不是频数数据，而是连续型数据，可以理解成某项血液指标：
在混合线性模型中，将每个单元格内血液指标y的变异看作是病症类型(A)变量，治疗效果(B)变量、病症类型(A)和治疗效果(B)交互作用、随机误差共同影响的总和。如果将每个单元格中的数据换成频数，例如，总共调查了180名患者，这些患者的人数(频数)分布情况如下：
如果要研究病症类型与治疗效果是否相关，也就是研究病症类型是否影响到治疗效率，如果两者无关，可以发现一般类型和特殊类型的治疗效果人数比例是基本相同的，反映到对数线性模型中，就是研究交互作用项是否等于零。从对数线性模型可以看出，对数线性模型除了能够解决分类变量(因素)之间是否相关的问题，还能够分析分类变量对频数的独立影响，也就是分类变量对频数的主效应。
对数线性模型VS方差分析模型
前面介绍对数线性模型的分析逻辑是以方差分析模型(一般线性模型)为基础，由此可见它们的作用是类似的，都能够分析每个变量的主效应及变量之间的交互效应。对数线性模型与方差分析模型的差异为：方差分析模型的因变量是连续性变量，对数据的分布要求为正态性和方差齐性；对数线性模型主要研究多个分类变量之间的独立性和相关性，对数线性模型一般不分因变量和自变量，只分析各分类变量对交叉单元格内频数的影响，通常频数服从多项式分布。
对数线性模型VS逻辑回归模型
通过前面的介绍，大家可以发现很多对数线性模型能够分析的问题其实用逻辑回归模型也能够进行分析。对数线性模型主要研究多个分类变量之间的独立性与相关性，而逻辑回归模型的因变量也是分类变量，如果自变量也是分类变量，那么就和对数线性模型的效果相同了。
差别在于，一般对数线性模型通常将频数数据做自然对数变换(ln)，而逻辑回归对频数的处理是做常用对数变换(lg)；此外，对数线性模型不用区分因变量和自变量，而逻辑回归则需要明确因变量和自变量。因此对数线性模型与逻辑回归两种方法之间存在着非常密切的联系，两者的分析结果是等价的。对数线性模型的应用不如逻辑回归普遍，主要原因是如果考虑的分类变量太多，对数线性模型过于复杂。
SPSS的对数线性模块
SPSS的对数线性菜单总共提供了三个子菜单：常规、分对数和选择模型；这三个子菜单的分析过程都应用对数线性模型的基本原理，但在拟和方法和结果输出上有不同。常规菜单在分析中只考虑变量之间是否相关，不考虑它们之间的因果关系，不过分析者可以在最后的结果解释中加入经验解释。
分对数菜单；有些情况，分析者已经明白变量之间的因果关系，此时继续用常规模型就无法利用因果信息，这样就会增添很多结果解释的工作量。这种情况适合使用分对数菜单。
选择模型菜单；在建立模型之前，分析者往往会收集很多变量信息，但是那些变量之间相关，那些变量不相关，那些变量应该纳入模型，那些变量应该剔除，除了根据经验进行选择以外，很难取舍。选择模型菜单能够对变量进行筛选，帮助分析者筛选出有用的变量，这样就能使原本复杂的模型简化，排除一些变量的影响。
总结一下
以上这些内容的介绍，我们通过方差分析模型引出对数线性模型。大家可以根据这个规律理解清楚对数线性模型的分析逻辑。在SPSS中，根据数据情况的不同，应该选择合适的菜单进行分析，接下来，我们会分别制作文章，详解介绍。

线性回归是一种研究影响关系的方法，在实际研究里非常常见。本文就来梳理下线性回归分析的分析流程，闲话少说，我们开始吧！
线性回归
回归分析实质上就是研究一个或多个自变量X对一个因变量Y(定量数据)的影响关系情况。
当自变量为1个时，是一元线性回归，又称作简单线性回归；自变量为2个及以上时，称为多元线性回归。在SPSSAU里均是使用【通用方法】里的【线性回归】实现分析的。
SPSSAU-线性回归
Step1：数据类型
线性回归要求因变量Y(被解释变量)一定是定量数据，如果因变量Y为定类数据，则可以采用【进阶方法】中的【logit回归】。
Step2：变量筛选
对于引入模型的自变量，通常没有个数要求。但从经验上看，不要一次性放入太多自变量。如果同时自变量太多，容易引起共线性问题。建议根据专业知识进行选择，同时样本量不能过少，通常要满足样本个数是自变量的20倍以上。
如果自变量为定类数据，需要对变量进行哑变量处理。可以在SPSSAU的【数据处理】→【生成变量】进行设置。具体步骤可以查看：什么是虚拟变量？怎么设置才正确？
控制变量，可以是定量数据，也可以是定类数据。一般来说更多是定类数据，如：性别，年龄，工作年限等人口统计学变量。通常情况下，不需要处理，可以直接和自变量一起放入X分析框分析即可。
Step3：正态性检验
理论上，回归分析的因变量Y要求需服从正态分布，SPSSAU提供多种检验正态性的方法。
如果数据不正态，可以做对数处理。若数据为问卷数据，建议可跳过正态性检验这一步。原因在于问卷数据属于定序数据，很难保证正态性，且数据本身变化幅度就不大，即使对数处理效果也不明显。
Step4：散点图和相关分析
一般来说，回归分析之前需要做相关分析，原因在于相关分析可以先了解是否有关系，回归分析是研究有没有影响关系，有相关关系但并不一定有回归影响关系。当然回归分析之前也可以使用散点图直观查看数据关系情况等。
Step5：SPSSAU操作
研究：在线英语学习购买因素研究
①操作步骤
将性别、年龄、月收入水平、产品、促销、渠道、价格、个性化服务、隐私保护共九个变量作为自变量，而将购买意愿作为因变量进行线性回归分析。勾选“保存残差和预测值”。
②指标解读
线性回归分析结果
非标准化系数(B)：非标准化回归系数。回归模型方程中使用的是非标准化系数。标准化系数(Beta)：标准化回归系数。可用于比较自变量对Y的影响程度。Beta值越大说明该变量对Y的影响越大t值：t检验的过程值，回归分析中涉及两种检验(t检验和F检验)，t检验分别检验每一个X对Y的影响关系，通过t检验说明这个X对Y有显著的影响关系；F检验用于检验模型整体的影响关系，通过F检验，则说明模型中至少有一个X对Y有显著的影响关系。此处的t值，为t检验的过程值，用于计算P值。一般无需关注。p值：t检验所得p值。P值小于0.05即说明，其所对应的X对因变量存在显著性影响关系。VIF值：共线性指标。大于5说明存在共线性问题。R：决定系数，模型拟合指标。反应Y的波动有多少比例能被X的波动描述。调整R：调整后的决定系数，也是模型拟合指标。当x个数较多是调整R比R更为准确。F检验：通过F检验，说明模型中至少有一个X对Y有显著的影响关系。分析时主要关注后面的P值即可。D-W值：D-W检验值，Durbin-Watson检验，是自相关性的一项检验方法。如果D-W值在2附近(1.7~2.3之间)，则说明没有自相关性，模型构建良好。
③结果分析
分析时可按照“分析建议”给出的步骤来分析。
SPSSAU-分析建议
SPSSAU-智能分析
SPSSAU-智能分析
模型公式显示在智能分析中，可直接使用。
本例中得到的分析结果为：
产品、促销、个性化服务、保护隐私四个变量对购买意愿有正向影响关系。
Step6：模型后检验
到这里很多人认为已经分析完了，可以得出结果，实际上还远远没结束。回归模型有很多限制条件，上述步骤里我们只是构建了模型，至于模型质量如何，模型是否满足线性回归的前提条件，都需要在这一步进行确认。
通常需要对线性回归模型检验以下几个方面：
多重共线性
在进行线性回归分析时，容易出现自变量之间彼此相关的现象，我们称这种现象为多重共线性。
当出现严重共线性问题时，会导致分析结果不稳定，甚至出现回归系数的符号与实际情况完全相反的情况，因而需要及时进行处理。
①诊断指标
检验多重共线性，可查看分析结果中的VIF值。
VIF>5说明存在共线性问题，VIF>10，说明存在严重的多重共线性问题，模型构建较差，需要进行处理。
②处理方法
(1)增加分析的样本量，是解释共线性问题的一种办法，但在实际操作中较难实现。
(2)对自变量进行相关分析，找出相关系数高的变量，手工移出后再做线性回归分析。
(3)采用逐步回归法，让系统自动筛选出最优分析项，剔除引起多重共线性的变量。
(4)如果不想涉及核心自变量，不希望剔除，可使用岭回归分析。
残差独立性(自相关)
残差独立性是线性回归方程的基本前提之一。如果回归方程存在自相关，说明可能存在与因变量相关的因素没有引入回归方程，整体模型构建较差。
①诊断指标
D-W值用于判断自相关性，判断标准是2附近即可(1.8~2.2之间)，如果达标说明没有自相关性，即样本之间并没有干扰关系。
②处理方法
问卷数据基本不会出现自相关问题，如有自相关问题时建议查看因变量Y的数据。
残差正态性
残差正态性也是线性回归方程的基本前提之一。在分析时可保存残差项，然后使用“正态图”直观检测残差正态性情况。
regressionXXXX_residual代表残差值regressionXXXX_prediction 代表预测值
残差正态图
如果残差直观上满足正态性，说明模型构建较好，反之说明模型构建较差。如果残差正态性非常糟糕，建议重新构建模型，比如对Y取对数后再次构建模型等。
残差方差齐性(异方差)
①检验方法
方差齐性可以通过散点图来考察，在分析时可保存残差项，以模型自变量X或因变量Y为横坐标，残差值为纵坐标，作散点图。
如果随着预测值的增加，残差值保持相同的离散程度，则说明方差齐。
如果残差值随着预测值的增加而变宽或变窄，则说明有异方差。
②异方差的处理方法
处理异方差问题有三种办法，分别是数据处理、稳健标准误回归、FGLS回归(可行广义最小二乘法回归)。
异方差问题在计量经济中较常出现，问卷数据很少出现异方差问题，建议查看帮助手册。
异常值
除此之外，如果回归分析出现各类异常，可能存在异常值应该回归模型。在散点图里可观察到是否有异常值存在。
如果剔除观察值后，回归方程的标准差显著减小，也可以判断改观察值为异常值。
总结
以上就是线性回归分析的分析流程梳理，但在实际研究过程中，理论与实际操作会有较大“距离”，具体还需要结合实际研究考察。

在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。
线性模型形式简单，易于建模，但却蕴含着机器学习中一些重要的基本思想，许多功能更为强大的非线性模型(nonlinear model)实际上就是在线性模型的基础上通过引入层级结构或高维映射而得。
一，一元线性回归
我画了一张图描述这个过程，给定数据集D = {(x1,y1),(x2,y2),......,(xm,ym)}，其中xi=(xi1;xi2;...;xid),yi属于R。线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。（如图）
线性回归试图产生这样的模型：
如何确定w和b？w和b的目的是最小化f(x)与y的差别，这里可以使用均方误差，即：
其中，线性回归就是指通过确定w和b使E(w,b)最小化的过程。这个过程称为线性回归模型的最小二乘参数估计。我们可将E(w,b)对w和b求导，得到
令两式为0可得到w和b最优解的闭式解：
一元线性回归的实现(PYTHON):
X=[1,2,3,4,5,6,7,8]
Y=[3.24,5.26,6.48,10.45,12.58,13.25,17.55,20.00]
Xsum=0.0
X2sum=0.0
Ysum=0.0
XY=0.0
n=len(X)
for i in range(n):
    Xsum+=X[i]
    Ysum+=Y[i]
    XY+=X[i]*Y[i]
    X2sum+=X[i]**2
k=(Xsum*Ysum/n-XY)/(Xsum**2/n-X2sum)
b=(Ysum-k*Xsum)/n
print('The regre.equa is y=%f*x+%f' % (k,b) )
二，多元线性回归
多元线性回归只是较复杂的而已。设想一个多元数据集，并构成函数。
f(x) = w1x1+w2x2+......+wdxd+b,
有f(x) = wTx+b
对于m组样例组成的数据集，实际上构成了
与一元线性回归类似，多元线性回归也可利用最小二乘法来对w和b进行估计。如果把数据集表示为m*(d+1)大小的矩阵X，其中每行对应一个图例，该行前d个元素对应于图例的d个属性。将最后一个元素恒置为1，即：
同样的，y也应该写成向量形式：y=(y1;y2;......;ym)
此时，我们可以求得w：
令E等于下式，对w求导可以得到
此时，当XTX为满秩矩阵或正定矩阵时，令上式为零，可得
最终可得线性模型：
多元线性回归的Python实现：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
'''
Data:
data,label
58,187.8
2.7,26.72
99.4,322.84
10.1,68.36
22.7,118.72
39.9,101.64
97.4,399.64
51,226.6
14.6,25.56
25.7,65.52
27,84.2
26.5,144.4
11.8,21.48
11.1,34.96
69,207.4
14,19.4
69.4,283.84
35.6,93.16
14.8,19.28
51.7,179.12
'''

data = pd.read_csv('Data.csv')

TRAIN_NUM = len(data)
TRAIN_DIM = data.ndim - 1
train_data = data.values[0:TRAIN_NUM, 0:TRAIN_DIM]
train_label = data.values[0:TRAIN_NUM, TRAIN_DIM]

def linear(data_x, data_y):
    m = len(data_y)
    n = np.size(data_x, 1) + 1
    x = np.mat([[1] + list(data_x[i]) for i in range(m)])
    y = np.mat(data_y).T
    theta = (x.T * x).I * x.T * y
    return theta

theta = linear(train_data, train_label)

print('Theta = ', theta)

n_grids = 100
x_axis = np.linspace(1, 100, n_grids)
y_axis = theta.T * np.mat([[1] + [x_axis[i]] for i in range(n_grids)]).T
plt.figure('Linear Regression')
plt.plot(x_axis, y_axis.tolist()[0], 'k')
plt.scatter(train_data[0:TRAIN_NUM, 0:TRAIN_DIM], train_label)
plt.show()
三，对数线性回归
它实际是让ewTx+b逼近y，虽然形式上是线性回归，但是实际是求取输入空间到输出空间的非线性函数映射。这里的对数函数起到了将线性回归模型的预测值与真实标记相联系的作用。
四，广义线性模型
更一般地，考虑单调可微函数g(·)，令
概括的来说，上述模型为广义线性模型，其中g(.)称为联系函数。
五，对数几率回归/逻辑回归
对于分类问题，我们需要再找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。比如使用对数几率函数：
对数几率函数是一种sigmoid函数，代入广义线性模型可得：
若将y视为x为正例的可能性，1-y为其为反例的可能性，两者的比值为x为正例的相对可能性。对于几率取对数得到的就是“对数几率”。对数几率回归也叫逻辑回归。
在逻辑回归中，你需要找到最适合的w和b，来得到x（比如作为一张猫的图片，你想知道这是一只猫的概率）
Cost function是m个样本的Loss function的平均值，反映了m个样本的预测输出y^y^与真实样本输出y的平均接近程度。Cost function可表示为：
Cost function是关于待求系数w和b的函数。我们的目标就是迭代计算出最佳的w和b值，梯度下降得到最小化Cost function，直到接近于0。
六，线性判别分析
LDA是一种监督学习的降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。假设有两类数据，分别为红色和蓝色，如下图所示，这些数据特征是二维的，希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。LDA的目标是最大化广义瑞利商。
很显然，右图的效果更好一点。
这里可以直接参考博客，讲的很棒：https://blog.csdn.net/ruthywei/article/details/83045288

精品论文 参考文献
受教育程度、收入与初婚年龄的相关性分析
王俊雅　南开大学　天津　300071摘　要：本文研究主题：分析个人受教育程度、收入与初婚年龄的定量关系。研究方法：利用CGSS2008相关数据，运用stata12.1进行相关分析、回归分析。最后得出研究结果：受教育程度、收入与初婚年龄相关；受教育程度越高、个人收入越高，初婚年龄越大；并且受教育程度和收入对男女两性初婚年龄影响的程度不同，对于女性的影响要大于男性。关键词：初婚年龄　受教育程度　个人收入　        一、研究背景        1.研究意义。初婚是家庭生命周期成形的起点,其行为模式的变化,特别是初婚年龄的变化,对一个地区或国家的人口和经济的影响是巨大的。我们研究初婚年龄的影响因素,看似简单的相关却可能发现一些隐藏在背后的经济和社会问题。例如教育程度对于初婚年龄的影响，收入对于初婚年龄的影响，同样的因素对男女两性是否产生不同的影响都具有重要的社会学意义。初婚年龄反映了一个社会中婚姻和家庭的变迁，而且会对国家的人口再生产有巨大影响，研究其影响因素具有重要的现实意义。        2.本文研究问题及研究假设。本文主要对影响初婚年龄的因素进行实证研究。本文将运用CGSS2008的数据，通过对个人受教育程度和收入这两个因素为指标的分析，研究初婚年龄与个人所处的地位是否有相关关系，并分析是否具有性别差异。研究假设：初婚年龄与收入和受教育水平具有相关关系，并且这种相关关系具有性别差异。        二、数据来源与研究方法        1.数据来源与变量。本研究使用2008年中国综合社会调查(CGSS2008)的数据。样本覆盖了中国内地28个省(自治区、直辖市)样本量为6000个。得到有效样本量为4760个。该调查收集了大量关于受访者及其家庭成员的教育经历、职业经历与婚姻经历的信息。        (1)因变量：初婚年龄。这里采用CGSS中，第一次结婚者会直接采集其第一次结婚的时间点减去出生年份。而非第一次结婚者会对采集其第一次结婚的年份减去出生年份。(2)个人收入：为使数据成正态分布，收入取了收入对数。(3)受教育水平：我们将教育水平???作化为研究对象最高学历在正式制度下的年期。(4)控制变量：性别。        2.研究方法。本文数据采用stata12.1软件进行统计分析。首先对变量进行描述分析，然后用相关分析计算出各个变量之间的相关系数，最后进行回归分析，得出初婚年龄与各个指标之间的定量关系。        三、受教育程度、收入与初婚年龄的相关分析        1.对数据进行描述性分析。(1)变量平均值、方差、最值初婚年龄、受教育程度、收入的描述性分析。通过描述性统计分析可知，在CGSS2008中平均初婚年龄为23.83岁，平均受教育年限为9.40年。平均年收入为14313.23元。(2)受教育年限与初婚年龄的散点图及拟合直线。做一元回归曲线图可以看出，受教育程度和初婚年龄拟合较好，两者的关系比较稳定。一般而言，随着受教育程度增高，初婚年龄随之增大。可以进一步进行相关分析。(3)收入对数与初婚年龄的散点图及拟合直线。从一元回归曲线图可以看出，收入和初婚年龄拟合较好，两者的关系比较稳定。一般而言，随着收入增加，初婚年龄随之增大。可以进一步进行相关分析。        2.受教育程度、收入与初婚年龄的相关分析。(1)不控制性别变量，分别计算受教育程度、收入与初婚年龄的相关系数。经计算受教育程度和初婚年龄的相关系数为：0.2646；这说明受教育程度和初婚年龄的相关关系为正相关且为弱相关，随着受教育程度的升高，初婚年龄随之推后。个人收入和初婚年龄也成正相关，相关程度为：0.1445，相关微弱。也就是说，随着个人收入的增长，初婚年龄会随着延迟。(2)不控制性别变量，计算受教育程度和收入的相关系数。利用另一种计算方法(皮尔逊相关系数)，计算初婚年龄、收入、受教育程度三者相关关系。除了上述收入与教育程度对初婚年龄相关外，在显著性水平P=0.05的情况下,可以发现受教育程度和收入相关系数为：0.291，也呈现弱相关。        四、控制性别变量，分别计算受教育程度、收入与初婚年龄的相关系数        1.控制性别变量，受教育程度与初婚年龄的相关系数。当控制性别变量后，对女性来说，受教育程度和初婚年龄的相关系数为：0.2924，对男性来说，受教育程度和初婚年龄的相关系数为：0.2143.表明受教育程度对于女性的初婚年龄影响程度要大于男性。        2.控制性别变量，收入与初婚年龄的相关系数。当控制性别变量后，对女性来说，收入和初婚年龄的相关系数为：0.2022，对男性来说，受教育程度和初婚年龄的相关系数为：0.1058。表