感谢评论区的人指出，我已经对这篇文章进行了修改，修改的内容为：
- 增加了如何求回归模型中参数的置信区间
当当当，下面开始进入正题：
回归模型中最简单的是线性回归模型
在一般的统计学教材中，关于这部分会涉及很多公式，这里我们不谈这些，只谈一下，如何用R语言建立回归模型。
首先，说一下线性回归分析的步骤
先假设一个概率模型，这里，我们限定为直线模型 
 (其中，
 为直线截距，
为直线斜率，
为随机误差
利用最小二乘法估计上述模型中的未知数。利用最小二乘法，可以得到一个误差平方和(SSE)比任何其他直线模型的SSE都小的模型 
指定随机误差分量
 的概率分布
对所有的x值，
为常数
 具有正态分布
 是独立的 尽管上述假定不一定完全满足，但一般我们近似认为满足，并用
 作为
的一个无偏估计量，来代替
 (这个值也称为均方误差或MSE)
评价模型。包括检验斜率
 为0的原假设(t检验)、斜率的置信区间、计算相关系数(
)、决定系数(
)
如果经过上述步骤，如果对模型比较满意，可以利用给定的x值估计y的均值E(y)或者给出y 的预测区间
下面我以一道问题，来介绍在R中如何构建线性回归模型。
假定一家火灾保险公司想建立重大住宅火灾的火灾赔偿基金和住宅与最贱消防站距离的关系。结果如下表所示。试建立二者的线性回归模型。
首先在excel中复制数据，然后在R中读取，将数据赋值给info变量:
> info <- read.table("clipboard",header = T)
    > info
      x    y
    1  3.4 26.2
    2  1.8 17.8
    3  4.6 31.3
    4  2.3 23.1
    5  3.1 27.5
    6  5.5 36.0
    7  0.7 14.1
    8  3.0 22.3
    9  2.6 19.6
    10 4.3 31.3
    11 2.1 24.0
    12 1.1 17.3
    13 6.1 43.2
    14 4.8 36.4
    15 3.8 26.1
(这里提个问题，欢迎在留言中回复哦。这个info是什么类型数据，另外，如何得到它的列标题？
然后，为了发现二者关系，我们利用plot函数先绘制出两变量间的散点图
plot(info,col = 2)
绘制的图像如下图所示
由图可以看出，这两个变量(距离 vs. 赔偿金额) 可能为线性关系，下面我们要进行线性拟合
在R中，线性拟合的函数为lm。它的具体用法是:
lm(formula, data)
结合本例子，解释一下常用参数的含义
formula : 它的写法是y~x，表示y是因变量，x是自变量。本例子中写为info
 x (ps.formula在R中是一类特殊的对象，可以参阅我的这篇文章)
data： 需要进行拟合的数据,可忽略 因此代码如下 lm(info
 x)
结果为
Call:
    lm(formula = info$y ~ info$x)
    
    Coefficients:
    (Intercept)       info$x  
         10.278        4.919
Coefficients表示拟合后的系数 左边的Intercep为拟合直线的截距，右边的为斜率 也就是说该拟合的直线方程为y = 4.919x+10.278
上述只给出了拟合直线的斜率和截距，其他的信息呢？比如相关系数(用来判定相关性的)、斜率的置信区间呢？有这些信息，我么才能评价该模型。 为了获取更加详细的信息，可以使用summary函数，给出拟合的更多的信息
summary(lm(info$y~info$ x))
结果为
Call:
    lm(formula = info$y ~ info$x)
    
    Residuals:
        Min      1Q  Median      3Q     Max 
    -3.4682 -1.4705 -0.1311  1.7915  3.3915 
    
    Coefficients:
                Estimate Std. Error t value Pr(>|t|)    
    (Intercept)  10.2779     1.4203   7.237 6.59e-06 ***
    info$x        4.9193     0.3927  12.525 1.25e-08 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
    
    Residual standard error: 2.316 on 13 degrees of freedom
    Multiple R-squared:  0.9235,	Adjusted R-squared:  0.9176 
    F-statistic: 156.9 on 1 and 13 DF,  p-value: 1.248e-08
其中
Residuals为残差，结果给出了参数的四分位数以及极值的信息。
Coefficients 除了给出了截距和斜率值，外还提供了很多信息。由数据可以看出，斜率的T检验的值为12.525 (这个值大于
，对应的p值为1.25e-08小于0.05，从而拒绝原假设，表明火灾和消防站之间的距离对火灾赔偿金的预测贡献了信息。后面的星号越多，线性关系越显著。
R-squared 为决定系数(
)，为0.9235，开平方，可以计算出相关系数r 为0.9
虽然通过summary函数可以得到线性模型的很多信息，但是有的时候信息太多，反而会扰乱我们的分析，我们只需要某一个具体的值，例如决定系数等等。可以参考下表中总结了对拟合线性模型非常有用的函数。
比如，通过anova可以得出均方误差（Mean Sq 那项）为5.37
> anova(lm(formula = info$y ~ info$x))
    Analysis of Variance Table
    
    Response: info$y
              Df Sum Sq Mean Sq F value    Pr(>F)    
    info$x     1 841.77  841.77  156.89 1.248e-08 ***
    Residuals 13  69.75    5.37                      
    ---
又比如，我们往往想知道线性回归模型中参数(尤其是斜率 
 )的置信区间,这时候就要用到
confint函数。
> confint(lm(info$y~info$x))
               2.5 %    97.5 %
(Intercept) 7.209605 13.346252
info$x      4.070851  5.767811
可以看到斜率的95%置信区间为[4.071,5.768]。
好了，关于在R中如何利用线性模型求解的介绍就到这里，如果有什么问题欢迎在下方留言。

常用的三个线性模型的原理及python实现——线性回归（Linear Regression）、对数几率回归（Logostic Regression）、线性判别分析（Linear Discriminant）。 这可能会是对线性模型介绍最全面的博客
文章目录
一、线性模型 （Linear Model）
二、线性回归 （Linear Regression）
三、对数几率回归（Logistic Regression）
四、线性判别分析（Linear Discriminant Analysis）
五、三个模型结果对比图
六、更多资源下载

一、线性模型 （Linear Model）
对于一个具有d个属性的对象来说，我们可以用下面这一组向量描述

向量中的每个值都是对象一个属性的值，由上可以看出，线性模型是一个通过属性的线性组合来进行对象判定的函数，即

用向量的形式可以写成

其中

当求得w与b后，线性模型就得以确定。线性模型是最简单也是最常用的模型之一，同时，很多更为强大的非线性模型也是由线性模型发展来的，所以，了解掌握线性模型十分必要
二、线性回归 （Linear Regression）
线性回归是指，模型试图学得

求解模型的关键在于，如何求得w与b，解决问题的落点在于，如何衡量f(x)与y 差距，通常我们使用均方误差来衡量这种差距的大小，即

均方差有非常良好的几何意义，它对应了常用的欧几里得距离即“欧式距离”。基于均方误差最小化的原理来求解模型的方法叫做“最小二乘法”（least square method），在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小，现令

将其对w和b分别求导，并令其导数为0，可得

对于更一般的情形，若样本由d个属性描述，此时我们应当求解

这就是我们通常所说的多元线性回归（multivariate linear regression）

现在利用最小二乘法对w和b进行估计。将w和b统一记为

同时也把数据集D表示为一个 *m x  (d + 1)*的矩阵 X

将标记也写成向量形式

此时的求解方程可以写为

用上式对w进行求导，当X 的转置与其相乘为满秩矩阵或者正定矩阵时，令导数为0可得

最终得到的多元线性回归模型如下

基于上述理论，其python源码如下：

'''
1.using least square method figure out linear regression
'''
import numpy as np
import matplotlib.pyplot as plt

def linear_regression(x,y):     
    def preprocess(x):
        X = np.mat(x)
        b = np.mat([1]*len(x))
        X = np.hstack((X,b.T))
        return X

    def cal_w(x,y):
        X = preprocess(x)
        Y = np.mat(y).T
        return (X.T*X).I*X.T*Y     
    
    return preprocess(x)*cal_w(x,y),cal_w(x,y).tolist()

其测试代码如下（注本文所有的代码原为一个文件，运行时，请完整复制全部代码）

#visiable and output test
x = [[0.697,0.460],[0.774,0.376],[0.634,0.264],[0.608,0.318],[0.556,0.215],[0.403,0.237],[0.481,0.149],
     [0.437,0.211],[0.666,0.091],[0.243,0.267],[0.245,0.057],[0.343,0.099],[0.639,0.161],[0.657,0.198],
     [0.360,0.370],[0.593,0.042],[0.719,0.103]]
y = [1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0]
yy,w = linear_regression(x,y)
i,x1,x2 = 0,[],[]
while i < len(x):
    x1.append(x[i][0])
    x2.append(x[i][1])
    i += 1

i = 0
plt.figure(1)
plt.subplot(121)
plt.title('linear regression')
while i < len(x1):
    if y[i] == 0:
        plt.scatter(x1[i],x2[i],color = 'r')
    elif y[i] == 1:
        plt.scatter(x1[i],x2[i],color = 'g')
    i += 1
a = -(w[2][0]/w[1][0])
b = -(w[0][0]+w[2][0])/w[1][0]
plt.plot([0,1],[a,b])

三、对数几率回归（Logistic Regression）
对数几率回归实质上使用Sigmoid函数对线性回归的结果进行了一次非线形的转换，Sigmoid函数如下

将线性模型带入可得

该式实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”（logistic regression），将上式取常用对数，可转化为

现在我们开始对w和b进行估计，将上式中的y视为类后验概率估计

则可以将模型转化为

显然有


到这里，我们便可以使用“极大似然法”（maximum likelihood method）来估计w和b，给定数据集如下

对率回归模型最大化“对数似然”,记为式 1

即令每个样本属于其真实标记的概率越大越好，现令

再令

此时，便可将之前式1里的似然项改写为

由此可知，式1等于

这是一个高阶可导连续凸函数，接下来给出牛顿法的推导公式，首先为
设置任意值

设定允许误差，再代入下式循环求解求解

其中


基于上述理论，其python源码如下：
'''
2.Newton method figure out logistic regression
'''

def logistic_regression(x,y,error,n):
    def preprocess(x,y):
        X = np.mat(x)
        b = np.mat([1]*len(x))
        X = np.hstack((X,b.T))
        w = [1]*(len(x[0])+1)
        W = np.mat(w).T
        Y = y
        return X,W,Y   
    
    def func_p(X,W):
        a = (X*W).tolist()
        b = float(a[0][0])
        temp = np.exp(b)/(1+np.exp(b))
        return temp
    
    def dfunc(X,Y,W):
        i,num,sum1 = 0,len(X),0
        while i < num:
            temp = Y[i] - func_p(X[i],W)
            sum1 += X[i]*temp
            i += 1
        return sum1*(-1)
    
    def d2func(X,Y,W):
        i,num,sum1 = 0,len(X),0
        while i < num:         
            temp = func_p(X[i],W)*(1 - func_p(X[i],W))
            sum1 += X[i]*(X[i].T)*temp
            i += 1
        sum1 = sum1.tolist()
        return float(sum1[0][0])

    def Newton(x,y,error,n):
        X,W,Y = preprocess(x,y)
        i = 1
        while i < n:
            d1 = dfunc(X,Y,W)
            a = (d1*d1.T).tolist()
            a = float(a[0][0])
            if a < error:
                return W
                break
            temp = dfunc(X,Y,W)
            W = W - temp.T*(d2func(X,Y,W)**(-1))
            i += 1
        if i == n:
            return 'error'
    
    w = Newton(x,y,error,n)
    X,W,Y = preprocess(x,y)
    yy = (X*w).tolist()
    w = w.tolist()
    return w,yy


测试代码如下

#visiable and output test           
w,yy = logistic_regression(x,y,0.0001,1000)

i,x1,x2,z = 0,[],[],[]
while i < len(x):
    x1.append(x[i][0])
    x2.append(x[i][1])
    z.append(yy[i][0])
    i += 1

i = 0

plt.subplot(122)
plt.title('logistic regression')
while i < len(x1):
    if y[i] == 0:
        plt.scatter(x1[i],x2[i],color = 'r')
    elif y[i] == 1:
        plt.scatter(x1[i],x2[i],color = 'g')
    i += 1
a = -(w[2][0]/w[1][0])
b = -(w[0][0]+w[2][0])/w[1][0]
plt.plot([0,1],[a,b])

四、线性判别分析（Linear Discriminant Analysis）
线性判别分析是一种经典的线形学习方法，最早由费舍尔（Fisher）在二分类问题上提出，所以也称为“Fisher判别分析”

其思想非常朴素：给定训练样例集，设法将样例点投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对测试样例进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。这里只讲述二分类问题的原理和求解，给定数据集

再分别令

表示i（等于0或1）类示例的集合、均值向量、协方差矩阵，将数据投影到直线w上，则两类样本的中心在直线上的投影分别为

若将所有样本点都投影到直线上，则两类样本的协方差分别为

想要使同类样例的投影点尽可能接近，可以让同类样例的协方差尽可能小，即

尽可能小；同时，也想要让异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大，即

尽可能的大，则可以定义最大化目标

定义类内散度矩阵（within class scatter matrix）

以及类间散度矩阵（between class）

可将最大化目标重写为

由拉格朗日乘法子可从上式求出

由此可解出二分类问题的LDA模型，基于上述理论，其python源码如下：
'''
3.Linear Discriminant Analysis for binary classification problem
'''

def LDA(x,y):
    def preprocess(x,y):
        i = 0
        X0,X1 = [],[]
        while i < len(y):
            if y[i] == 0:
                X0.append(x[i])
            elif y[i] == 1:
                X1.append(x[i])
            i += 1
        return X0,X1
    
    def average(X):
        X = np.mat(X)
        i = 1
        while i < len(X):
            X[0] = X[0] + X[i]
            i += 1
        res = X[0]/i
        return res
    
    def Sw(X0,X1,u0,u1):
        X_0 = np.mat(X0)
        X_1 = np.mat(X1)
        Sw0,i = 0,0
        temp0 = (X_0 - u0).T*((X_0 - u0))
#        while i < len(temp0):
#            Sw0 += float(temp0[i,i])
#            i += 1
#        Sw1,i = 0,0
        temp1 = (X_1 - u1).T*((X_1 - u1))
#        while i < len(temp1):
#            Sw1 += float(temp1[i,i])
#            i += 1
#        return Sw0+Sw1
        return temp0 + temp1
       
    X0,X1 = preprocess(x,y)
    u0,u1 = average(X0),average(X1)

    SW = Sw(X0,X1,u0,u1)
    return (SW**(-1)*numpy.mat(u0-u1).T).tolist()   

#visiable and output test           
W = LDA(x,y)

i,x1,x2,z = 0,[],[],[]
while i < len(x):
    x1.append(x[i][0])
    x2.append(x[i][1])
    i += 1
i = 0
plt.figure(2)
plt.subplot(121)
plt.title('LDA')
while i < len(x1):
    if y[i] == 0:
        plt.scatter(x1[i],x2[i],color = 'r')
    elif y[i] == 1:
        plt.scatter(x1[i],x2[i],color = 'g')
    i += 1
print(W)

plt.plot([0,-W[0][0]],[0,-W[1][0]])

五、三个模型结果对比图
完整代码地址：https://github.com/LiangjunFeng/Machine-Learning/blob/master/1.linear_model.py

六、更多资源下载
微信搜索“老和山算法指南”获取更多下载链接与技术交流群


有问题可以私信博主，点赞关注的一般都会回复，一起努力，谢谢支持。

BG：在box-cox变换中，当λ = 0时即为对数变换。
当所分析变量的标准差相对于均值而言比较大时，这种变换特别有用。对数据作对数变换常常起到降低数据波动性和减少不对称性的作用。。这一变换也能有效消除异方差性
library(MASS)
library(openxlsx)
data= read.xlsx("data104.xlsx",sheet = 1) #导入数据
attach(data)
op
plot(size,effort)            #图4-4(a)
plot(log(size),log(effort))  #图4-4(b)
#绘制频率分布直方图
hist(effort) #图4-5(a)
hist(size)   #图4-5(b)
effor 和 size 这两个变量的频率分布图表明，它们并不满足正态分布。为了接近正态分布，必须变换这些变量(通过频率分布图判断变量是否满足正态分布)
1.先进行基本的线性回归，利用得到的模型进行box-cox变换
lm1=lm(effort~size+t14)  #拟合线性回归模型
summary(lm1)
#绘制残差图进行残差分析
plot(fitted(lm1),resid(lm1),cex=1.2,pch=21,col="red",bg="orange",xlab="Fitted value",ylab="Residuals")
boxcox(lm1,lambda=seq(0,1,by=0.1))  #进行box-cox变换
从残差图可以看到误差项不满足Gauss-Markov假设。
右图的Box-Cox变换建议问哦们λ可以取在[0.05,0.6]范围内，对投入工作量(effort) 取对数有一定的可信度(λ=0 几乎落在置信域内)
进行对数变换
lm2=lm(log(effort)~size+t14)
summary(lm2)
#绘制残差图
plot(fitted(lm2),resid(lm2),cex=1.2,pch=21,col="red",bg="orange",xlab="Fitted value",ylab="Residuals")
书上的结果时残差范围大致在[-25,40]内，不满足Gauss-Markov假设
与书上结果不符，上图参擦汗图表示这个模型是可行的。
2.试图拟合 effort 与 log(size)，t14 的回归方程。
lm3=lm(effort~log(size)+t14)
summary(lm3)
#绘制残差图
plot(fitted(lm3),resid(lm3),cex=1.2,pch=21,col="red",bg="orange",xlab="Fitted value",ylab="Residuals")
#box-cox变换求λ
boxcox(lm3,lambda=seq(0,1,by=0.1))
根据右图，Box-Cox变换建议我们取 λ=0
建立如下方程 ln(effort) = β0 + β1ln(size) + β2 t14 + e
lm4=lm(log(effort)~log(size)+t14) #进行线性回归
summary(lm4)
#绘制残差图
plot(fitted(lm4),resid(lm4),cex=1.2,pch=21,col="red",bg="orange",xlab="Fitted value",ylab="Residuals")
#进行box-cox变换
boxcox(lm4,lambda=seq(0,1,by=0.1))
因为λ=1 包含在box-cox图像所示的置信域内，说明不进行变换也是ok的
而且通过残差分析，可以看出这个模型是合理的。

并不是大的量和小的量放在一起大的就要对数，那我必然要问你，为什么不选择开N次方呢？或者把小的求阶乘(当然这种操作可能也不太“自然”)？
事实上选择如何处理特征是要有一定的“具象”理由的，常见的两个原因有：
一：在对变量和预测值做线性相关性分析以后发现不是线性关系。你可以简单的理解为，随便挑一个特征x_0，把y=f(x_0)画出图来一看，线是弯的，本来就不是直的。然后我们就可以根据数据来猜测甚至干脆试试到底是幂关系还是指数关系或是其他。尝试过以后再做线性相关性分析，看看是不是这么处理就线性了。
二：“量纲”统一，曾经我在做一个新词发现的操作时需要用到的两个指标分别是词频f和左/右邻字的分布熵e，如果从数学的角度上看我们显然不能把f+e当做一个指标，因为词频相当于是一种分布的概率值，而熵是概率的对数的期望。所以如果我们联想类比物理中“量纲”的概念，我们就可以很快想到，用log f+e可能会是一个可行的指标，至少他们的缩放是同级别的，都是概率的对数级别的。
最后，就是真的要理解业务。这个很重要。如果在工作中，就去和销售或客户代表聊聊，也许专业人士的经验会告诉你，在他们的领域中，早就有前人发现这些变量间大概的关系了。比如可能是个微分方程，其实很多现实规律都来源于一些差分方程，而差分方程常常能解出一堆带e的n次方的东西。