广义线性模型（GLM）

首先术语广义线性模型（GLM）通常是指给定连续和/或分类预测变量的连续响应变量的常规线性回归模型。它包括多元线性回归，以及ANOVA和ANCOVA（仅具有固定效果）。形式为
yi〜N（xβ，σ²），其中xi包含已知的协变量，β包含要估计的系数。这些模型使用最小二乘和加权最小二乘拟合。

术语广义线性模型（GLIM或GLM）是指由McCullagh和Nelder（1982，第二版，1989）推广的一类更大的模型。在这些模型中，假设响应变量yi遵循均值为μi的指数族分布，并假定为xβ的某些（通常是非线性）函数。有些人会称它们为“非线性”，因为μi通常是协变量的非线性函数，但是McCullagh和Nelder认为它们是线性的，因为协变量仅通过线性组合xTiβ影响yi的分布。第一个广泛使用的适合这些模型的软件包称为GLIM。

广义线性模型（GLM）是一类广泛的模型，包括线性回归，ANOVA，泊松回归，对数线性模型等。下表提供了遵循Agresti（2013年第4章）的GLM的简要概述：

任何GLM都有三个组成部分：

随机分量–指响应变量的概率分布（Y）； 例如 线性回归中Y的正态分布，或二进制逻辑回归中Y的二项分布。 也称为噪声模型或误差模型。

系统组件-在模型中指定解释变量（X1，X2，… Xk），更具体地说，在创建所谓的线性预测变量时将其线性组合。

链接函数，η或g（μ）-指定随机和系统分量之间的链接。 它表示响应的期望值如何与解释变量的线性预测变量相关； 例如，对于线性回归，η= g（E（Yi））= E（Yi）；对于逻辑回归，η= logit（π）。

GLM与传统（OLS）回归相比的优势

我们不需要将响应Y转换为具有正态分布
链接的选择与随机分量的选择是分开的，因此我们在建模方面具有更大的灵活性
如果链接产生加性效应，则我们不需要恒定的方差。
通过最大似然估计拟合模型； 因此，估计器的最佳属性。
我们将讨论对数线性和逻辑回归模型的所有推理工具和模型检查也适用于其他GLM。 例如偏差，残差，置信区间，过度分散。

线性回归

线性回归尝试通过将线性方程式拟合到观测数据来模拟两个变量之间的关系。一个变量被认为是解释性变量，另一个被认为是因变量。例如，建模者可能希望使用线性回归模型将个体的体重与其身高相关联。
在尝试将线性模型拟合到观测数据之前，建模者应首先确定目标变量之间是否存在关系。这并不一定意味着一个变量会导致另一个变量（例如，较高的SAT分数不会导致较高的大学成绩），但是这两个变量之间存在一定的显着相关性。散点图可能是确定两个变量之间关系强度的有用工具。如果建议的解释变量和因变量之间似乎没有关联（即散点图未指示任何增加或减少的趋势），则将线性回归模型拟合到数据可能不会提供有用的模型。相关变量的一个有价值的数值度量是相关系数，它是一个介于-1和1之间的值，表示两个变量所观察到的数据的相关强度。

线性回归线的方程式为Y = a + bX，其中X是解释变量，Y是因变量。线的斜率是b，a是截距（x = 0时y的值）。

最小二乘回归

拟合回归线的最常见方法是最小二乘法。此方法通过最小化每个数据点到该线的垂直偏差的平方和来计算观测数据的最佳拟合线（如果点正好位于拟合线上，则其垂直偏差为0）。因为偏差首先被平方，然后求和，所以在正值和负值之间没有抵消（具体介绍参见我的另一篇文章）。

至于为什么最小二乘是线性回归时的最优方法，参见我的另一篇推导过程（‘最小二乘误差及其概率解释’）。

本文转载自https://www.cnblogs.com/sumai/p/5240170.html。

广义线性模型（Generalized Linear Model）

http://www.cnblogs.com/sumai

1.指数分布族

   我们在建模的时候，关心的目标变量Y可能服从很多种分布。像线性回归，我们会假设目标变量Y服从正态分布，而逻辑回归，则假设服从伯努利分布。在广义线性模型的理论框架中，则假设目标变量Y则是服从指数分布族，正态分布和伯努利分布都属于指数分布族，因此线性回归和逻辑回归可以看作是广义线性模型的特例。那什么是指数分布族呢？若一个分布的概率密度或者概率分布可以写成这个形式，那么它就属于指数分布族。

   

　　其中，η成为分布的自然参数（nature parameter）；T(y)是充分统计量（sufficient statistic），通常T(y)=y。当参数 a、b、T 都固定的时候，就定义了一个以η为参数的函数族。

 

2.广义线性模型（GLM）

   下面我们看 GLM 的形式化定义，GLM 有三个假设：

• (1)y| x; θ 满足一个以η为参数的指数分布，那么可以求得η的表达式。
• (2) 给定x，我们的目标是要预测T(y)的期望值，大多数情况下T(y) = y，那么我们实际上要确定一个h(x)，使得h(x)=E[y| x]。
• (3)η=θ^Tx。（如果η是向量，那么η_i=θ^T_ix）

   以逻辑回归作简单的例子说明，首先Y服从伯努利分布，并且写成指数分布族形式，Φ是Y=1的概率。

    

   接着我们可以发现，T(y)=y， Φ =1/(1 + e^−η)

   
　

   η以不同的映射函数与其它概率分布函数中的参数发生联系，从而得到不同的模型，广义线性模型正是将指数分布族中的所有成员（每个成员正好有一个这样的联系）都作为线性模型的扩展，通过各种非线性的连接函数将线性函数映射到其他空间，从而大大扩大了线性模型可解决的问题。

 

3. Softmax Regression

   Softmax Regression是GLM的另外一个例子。假设预测值 y 有 k 种可能，即 y∈{1,2,…,k}。比如 k=3 时，可以看作是要将一封未知邮件分为垃圾邮件、个人邮件还是工作邮件这三类。

   

• 步骤一：

     假设y服从推广的伯努利分布（多项式分布中n=1的情况），总共有k个类别，用k-1个参数代表y属于每一类的概率。

　　接着，我们要把y的分布写成指数分布族的形式。首先，先考虑伯努利分布的表达式为：，这是y只有两个分类的情况。现在，我们的y有k个情况，这是我们引入一个示性函数1{.}（1{True} = 1, 1{False} = 0）。

     那么这时候y服从分布：，然后我们把它写成指数分布族的形式。  

     其中，

 

• 步骤二：

   这时候，T(y)是一组 k-1 维的向量，不再是 y，如下所示：

   

   构建h_θ(x)

   

   再用自然参数η来表示Φ

   

 

• 步骤三：

   最后，用特征的线性组合去表示自然参数。

   

   

 

   那么就建立了假设函数，最后就获得了最大似然估计

   

   对该式子可以使用梯度下降算法或者牛顿方法求得参数θ后，使用假设函数h对新的样例进行预测，即可完成多类分类任务。对于互斥的多分类问题，这种模型比较合适，而对于非互斥的多分类问题，构建k个one-vs-all逻辑回归模型更为合适。

机器学习(三)线性回归模型、广义线性回归模型、非线性回归模型

 

线性回归（数据集要满足正态分布）

一元线性回归模型：

在这里会想到，如何确定方程中的系数呢？我们先来了解最小二乘法，简单来说就是这个点作y轴的平行线与直线相交，那一段y值的平方求和起来最小就是了

那我们怎么求呢？在这之前大家先要了解一些偏导数的知识

为了方便大家理解，举一个通俗易懂的例子

 

多元线性回归模型

也就是一元线性回归是一个因素的，多元的话有多个因素建模，当考虑的因素为2个的话，还可以用三维坐标查看，因素多的话就不太好画出来了

使用的方法还是最小二乘法，还是偏导数，不过不像一元线性回归那样是二元一次方程组了，变为m+1元一次方程组

 

虚拟变量

在我们多元线性回归模型的时候，可能会遇到非连续性的变量，这下我们该怎么办？？

比如，性别男和女，不可能就用0，1来直接扔进去模拟（简单来说就是分情况，针对不同情况模拟当然模拟效果就会好一点）

介绍一下哑变量（虚拟变量）：

为了简便，现在模型的维度就有因变量销售额，自变量性别，单价

• 相加模型（只影响截距项）

把性别的男女，新增两个变量

性别，单价---->单价(h)，isman，iswoman

y=a+bh+c*isman+d*iswoman

只影响截距的意思，分多种情况拟合出来的，得出来的不同情况模型永远是平行的

 

• 乘法模型(只影响斜率)

性别，单价---->单价(h)，isman*单价，iswoman*单价

y=a+c*isman*h+d*iswoman*h

 

• 混合模型(都影响)

性别，单价---->单价(h)，isman*单价，iswoman*单价，isman，iswoman

y=a+c*isman*h+d*iswoman*h+e*isman+f*iswoman

 

线性回归会遇到以下的问题

• 对于多元线性回归如何选取变量？

逐步回归（这种方法不是很好，Lasso会比较好）

里面的指标指的是什么指标呢？

 

怎么评价我们模拟的模型好不好呢？需要回归诊断

 样本是否符合正态分布假设？

R语言里面有专门的函数

 是否存在离群值导致模型产生较大误差？

作图观察剔除

 线性模型是否合理？误差是否满足独立性、等方差、正态分布等假设条件？

 是否存在多重共线性？

 

广义线性回归模型

常见的广义线性回归

逻辑回归

上面的例题利用逻辑回归我们算得

 

非线性回归模型

• 对数法
• 指数法
• 幂函数法
• 多项式回归模型