在复习了概率论和统计学的相关概念后，按照《计量统计学》内容的章节安排，开始自学第二篇“回归分析基础”的一元线性回归。
一元线性回归这一章的概念并不多，基本上是围绕一元线性回归模型这一方程展开的，并对系数的估计、回归的方法（最小二乘）、回归方法也就是最小二乘的假设以及最小二乘一元线性回归的拟合优度R^2的介绍（1个中心+4个方面）。
一元线性回归模型的系数有什么含义？其中 
 的含义最有意思，可以解释为“X变化一个单位所引起的Y的变化”。这么有意思的系数是怎么求出来的呢？最小二乘。为什么要选择最小二乘这种方法来回归呢？因为一是大家都用（相当于一种共识的语言，大家彼此都知道是基于什么来进行讨论），二是无偏、一致（可以较好的反映现实）。最小二乘要发挥出其对现实较好的反映程度或者说是对总体较好的估计程度，就不得不有一些前提假设来保证（详见图）。
就我个人的理解，回归是一种思想。我们使用计量方法所要解决的科学问题，就是在总体未知的前提下，通过随机方法获取样本，并根据样本数据来估计总体特征。其中，所使用的方法，就是回归思想的工具载体。建立了一元线性回归的思想，我们使用一些基本的数据来解决一些简单的问题。当问题更加复杂时，或者说一元线性回归无法较好的解决问题时，多元线性回归就出场了——相比于一元回归，多元回归能更好的消除遗漏变量导致的偏差。当变量间的关系未必是线性时，非线性模型就有了更大的用武之地。
根据数据的不同类型，在一元或多元回归的基础上，可以是分析面板数据时可能会用到的固定效应模型，可以是分析二因值变量时用到的logit，可以是分析时间序列数据时用到的VAR模型；当然，也可以根据变量间的关系不同，比如双向因果关系时，可能会用到工具变量等。也就是说，在掌握了一元、多元线性与非线性的回归基础后，升阶的方法是根据更加具体的研究问题（如解决问题所用的数据类型或变量间的不同关系）所决定的。当然，因为随着研究的推进，遇到的问题会更加琐碎，为了更好的解决问题，可能方法在选定后还会有进一步优化或调整的需要。比如分析时间序列数据可以用到AR模型，但是涉及多个变量时可以用VAR模型；当数据类型是面板数据（包含时间序列信息）时甚至有PVAR模型。如果你选择了PVAR模型来解决你的问题，一定是你先发现了问题，然后在解决问题的过程中根据需要一步一步地找到了PVAR模型；决不是你从一篇文章中看到了很炫的PVAR模型，然后为了运用这个模型而仓促的找了一个需要被解决的问题。
当你理清了计量方法在整个研究中的位置，整个自学过程其实就是种下了一颗种子，然后慢慢地长出来一棵技能树。这棵技能树上，主干的部分当然要点亮（概率、统计与回归基础），有些枝桠要点亮（几个常用的方法），但并不是所有的枝桠都需要点亮——你完全可以在需要的时候再去点它（不是那么常用的方法），前提是你已经在心中有了这么一棵树。
下一章自学将迎来关于一元线性回归的假设检验与置信区间。重在点滴积累。

简单一元线性回归实现python
简单一元线性回归实现python
简单一元线性回归实现python
#线性回归梯度下降
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import seaborn as sns
import datetimefrom sklearn.linear_model
importLinearRegression
matplotlib.rcParams['font.family']='kaiti'
df=pd.read_csv('C:/Users/韭菜盒子/Desktop/Salary_Data.csv',delimiter=',',encoding='utf-8'
x_data=df.iloc[:,0].values
#print(x_data)
x_data=pd.DataFrame(x_data)
x_data=x_data.values
y_data=df.iloc[:,1].values
# print(y_data)
y_data=pd.DataFrame(y_data)y_data=y_data.values
# plt.scatter(x_data,y_data,)
# plt.show()
k=0
#参数
b=0
#参数
lr=0.001
#学习率
epochs=10000
#迭代次数
class lineral_model1(object):
#手写
m=float(len(x_data))
def loss_function(self,x_data,y_data,k,b):
error=0
for i in range(len(x_data)):
error+=(((k*x_data[i])+b)-y_data[i])**2
return error/2.0/self.m
#损失函数
#梯度下降法求参数
def gradient_decent(self,x_data,y_data,k,b,epochs,lr):
for i in range(epochs):
k_brad=0
b_brad=0
for j in range(len(x_data)):
k_brad += (1/self.m)* x_data[j]*(((k *x_data[j])+b)-y_data[j])
b_brad +=(1/self.m) * (((k*x_data[j])+b)-y_data[j])
k=k-lr*k_brad
b=b-lr*b_brad
return k,b
benben=lineral_model1()
error1=benben.loss_function(x_data,y_data,k,b)
print(error1)
#k,b为0 时的损失函数值
k1,r1=benben.gradient_decent(x_data,y_data,k,b,epochs,lr)
#print(k1,r1)
plt.plot(x_data,y_data,'b.')
plt.plot(x_data,k1*x_data+r1,'r',label='me')
error2=benben.loss_function(x_data,y_data,k1,r1)
#调用进行梯度下降后的k,b，求得此时损失函数的值
#直接掉包实现
#sklearn
model=LinearRegression()
model.fit(x_data,y_data)
plt.plot(x_data,model.predict(x_data),'b',label='sklearn')
plt.legend()
plt.show()
简单一元线性回归实现python相关教程

一、前言
大数据、人工智能机器学习实战性归纳总结，实例可以直接运行。如果您读后感觉总结的有收获请关注我，支持我进一步为大家做贡献，支持我就是支持科技的发展谢谢。
大家在学习机器学习的时候大多数都是以一元线性回归入门，使用的是Python工具，由于机器学习入门比较难，很多人一开始弄不清楚头绪，其实一元线性回归在拟合曲线计算回归系数的时候还是有一些步骤的，比如最小二乘法，求残差，通过求导求极值。为了是大家能够快速看见结果，然后再慢慢的研习里面的原理，特给大家总结此文章，目的为：
1、了解一元线性回归的拟合过程
2、能够使用Python实现一元线性回归的拟合过程
3、了解一元线性模型拟合优度的测量评价
本案例的实验环境为：
1、Python3.6以上版本
2、Python的基本数学库numpy、pandans、matplotlib、sklearn
3、Python的PyCharm开发环境
二、案例描述
一般来说房屋的售价和面积有很大的关系，也就是说面积是房屋的售价很大的一个权重，下面是一个房屋销售的数据如下：
在2000年以前某地区正常来说房屋售价为2000元/平方米，在以后的时间里有可能每个月房价稍稍有点浮动，但是浮动不大，整体还是近似的处于线性状态，请根据以上数据建立线性回归方程，并预测8平方米的售价。
三、一元线性回归的一个简单实现
1、概述
一元线性回归分析预测法，是根据自变量x和因变量Y的相关关系，建立x与Y的线性回归方程进行预测的方法。
两变量之间的关系
(1)函数关系：当自变量取值一定时，因变量取值由它唯一确定，这是确定关系。
(2)相关关系：当自变量取值一定时，因变量的取值带有一定的随机性，(例子：一块农田的水稻产量与施肥量之间的关系)这是不确定关系。
我们主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系(称为相关关系)，又是不确定的。
使用最小二乘法求解回归系数：
最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲最小二乘法，专指线性回归方程!最小二乘法公式为b=y(平均)-a*x(平均)。
2、一元线性回归检验指标：拟合优度
拟合优度就是相关系数的平方R^2，R^2最大值为1。R^2的值越接近1，说明回归直线对观测值的拟合程度越好;反之，R^2的值越小，说明回归直线对观测值的拟合程度越差。r2_score函数是计算 R^{2}
3、一元线性回归模型拟合效果的判别：均方误差MSE
均方误差MSE用来检测预测值和真实值之间的偏差，
先给出已经调试通过的源代码：
import numpy as np
from matplotlib import pyplot as plt
from sklearn.linear_model import LinearRegression
# x轴数据
x_data = np.arange(7)
# y轴数据
y_data = np.array([2,4,6.09,8,10.1,12.1,14.06])
print(x_data)
print(y_data)
# 转换成sklearn框架能够识别的维度
x_data = x_data[:, np.newaxis]
y_data = y_data[:, np.newaxis]
# 建立模型
model = LinearRegression()
# 开始训练
model.fit(x_data, y_data)
# 斜率 print("coefficients: ", model.coef_)
w = model.coef_[0]
# 截距
print("intercept: ", model.intercept_)
b = model.intercept_
# 测试
x_test = np.array([[7]])
predict = model.predict(x_test)
print("predict: ", predict)
plt.plot(x_data, y_data, "b.")
plt.plot(x_data, model.predict(x_data), "r")
#plt.plot(x_data, b + w * x_data, "r")
plt.show()
下面详细说下实现步骤，根据步骤和数据大家对照自己的教材逐步体会原理，消化最小二乘法等推导步骤：
组织数据
步骤1：组织训练数据
x_data = np.arange(7)
上述数据代表1平方米、2平方米...7平方米
y_data = np.array([2,4,6.09,8,10.1,12.1,14.06])
步骤2 ：组织测试数据
上述数据代表1平方米售价2000元、2平方米售价4千元、3平方米售价6.09元...
为了简单起见，在拟合完毕直线后给出测试数据是1平方米、2平方米...7平方米，8平方米，即：
x_test = np.array([[7]])
就是预测房价8平方米的价格是多少
建立回归方程
通过Python提供的一元线性回归方法将训练集x_data、y_data来训练模型，如下所示：
model = LinearRegression()# 开始训练model.fit(x_data, y_data)
预测房价
将测试数据x_data = np.arange(7)输入：
predict = model.predict(x_test)print("predict: ", predict)可以得到房价8平米的预测值为：predict:  [[16.10571429]]
拟合优度分析
Python提供的相应的函数为：
sklearn.metrics.r2_score(y_true, y_pred, sample_weight=None, multioutput=’uniform_average’)
计算我们的拟合优度：
from sklearn.metrics import r2_scorey_true = [2, 4, 6, 8,10,12,14]y_pred = [2,4,6.09,8,10.1,12.1,14.06]print(r2_score(y_true, y_pred))
输出结果为：0.9997169642857143
说明我们的线性拟合度还是十分不错的。
均方误差MSE检验
Python为我们提供了均方误差MSE检验的方法mean_squared_error()，实现如下：
#真实值
y_true = [2, 4, 6, 8,10,12,14]
#预测值
y_pred = [2,4,6.09,8,10.1,12.1,14.06]
from sklearn.metrics import mean_squared_error
print(mean_squared_error(y_true,y_pred))
结果为：0.004528571428571414
从结果来看，均方误差非常小，看来拟合的效果还是很理想的。

对于一元线性回归模型的学习，将根据模型的学习思维进行相应的总结，具体如下。
一、模型的目的
通过样本数据规律来进行预测未来
二、模型的公式和参数
公式：
其中X为自变量，Y为因变量，为残差(实际值和估计值之间的差)
三、模型的解释
如果X增加一个单位，在B0不变的情况下，Y增加B1个单位。如果B1为0，则Y等于B0
四、模型参数的计算
一元线性回归模型的计算为使用最小二乘法进行计算。其中参数的计算如下：
考试中的涉及的计算方式：
Ø 如果提供了协方差和方差，就直接按照上述公式计算。
Ø 如果提供了两组数据，则使用金融计算器进行计算。
第一步：2nd+7，进入数据输入页面
第二步：输入X，按enter，输入Y，按enter。直到输入完成所有数据
第三步：2ND+8，然后按下一个箭头，则会依次显示标准差、方差、a(为截距)、b(斜率)。
五、模型的假设
1. 自变量和因变量间存在线性关系。因为我们这个设置的是线性回归方程，所以要满足这个前提条件
2. 自变量不随机。因为在线性方程中X和残差是不相关，同时残差项是随机数，如果自变量也是随机，那么X和残差项是相关的。
3. 残差项的期望为0。因为残差项是正态分布的随机数，所以相加为0.
4. 残差项的方差必须是常数。也就是残差项是稳定的，各值对应的残差的波动性为常数。如果残差项恒定，这称为同方差性，不恒定，则为异方差性。例如：前一个数据对应的残差项的方差和后一百个数据对应的残差的方差是一致的。
5. 残差项与残差项之间互不关联。不能有正相关，也不能有负相关。
6. 残差项是一个服从正态分布的随机数。
六、模型的分析。
方差分析表
DF SS MSS
Regression 1 RSS RSS/1
Error n-2 SSE SSE/(n-2)
Total n-1 TSS
估计标准误：SEE=根号MSE
决定系数：RSS/TSS=1-SSE/TSS,用于表示模型可以解释数据的百分比，例如0.8，则模型可以解释80%的预估数据。
七、模型的假设检验
第一种方法：关键值，找到关键值，看看有没有落在拒绝域中
第二种方法：P值法，找到P值，看其是否小于a
第三种方法：置信区间