import pandas as pd
import numpy as np
import matplotlib
import random
from matplotlib import pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

x = np.array(range(30))
temp_y = 10 + 2*x + x**2 + x**3
y = temp_y + 1500*np.random.normal(size=30)  #添加噪声

x = x.reshape(30,1)
y = y.reshape(30,1)

#线性回归
clf1 = LinearRegression()  
clf1.fit(x,y)
y_l = clf1.predict(x)  #线性回归预测值

#非线性回归
ployfeat = PolynomialFeatures(degree=3)  #根据degree的值转换为相应的多项式（非线性回归）
x_p = ployfeat.fit_transform(x)
clf2 = LinearRegression()
clf2.fit(x_p,y)

 

font={"family":"FangSong",'size':12}
matplotlib.rc("font",**font)
plt.figure(figsize = (12,6))
plt.plot(x,y_l,label = "线性回归")
plt.scatter(x,y,label="real value")
plt.plot(x,np.matmul(x_p,clf.coef_.reshape(4,1)) + clf.intercept_,label="非线性回归")
plt.legend()
plt.show()

print("线性回归方程为: y = {} + {}x".format(clf1.intercept_[0],clf1.coef_[0,0]))
print("非线性回归曲线方程为 y = {}+{}x+{}x^2+{}x^3".format(clf2.intercept_[0],clf2.coef_[0,1],clf2.coef_[0,2],clf2.coef_[0,3]))

线性回归方程为: y = -4556.410727239843 + 790.8913721234021x
非线性回归曲线方程为 y = 466.91615911474946+-105.82078955667033x+12.7617011678153x^2+0.6880360959150948x^3

1.什么是线性回归？

回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。回归模型正是表示从输入变量到输出变量之间映射的函数。线性回归几乎是最简单的模型了，它假设因变量和自变量之间是线性关系的，一条直线简单明了。

2.适用场景

自变量和因变量之间是线性关系

适用于low dimension， 而且每一维之间都没有共线性。

3.原理

线性回归模型

f(x)=WX + b

目的：找出W，使得f(x1)尽可能的接近y1

损失函数

想要评价一个模型的优良，就需要一个度量标准。对于回归问题，最常用的度量标准就是均方差（MSE，Mean Squared Error），均方差是指预测值和实际值之间的平均方差。平均方差越小，说明测试值和实际值之间的差距越小，即模型性能更优。

均方误差为损失函数。

均方误差最小化目标函数的方法称为最小二乘法。原因：有十分好的几何意义，对应了常用的欧式距离。在线性回归中，就是找到一个直线，使得所有样本到直线的欧式距离最小。

推导：

包含了使用最小二乘法进行求解，还有最小二乘法和最大似然估计的联系：

线性回归的优缺点

优点

• 直接。

• 快速。

• 可解释性好。

缺点

• 需要严格的假设。

• 需处理异常值，对异常值很敏感，对输入数据差

参考链接：

1.多种回归方式讲解：https://www.jianshu.com/p/b628c90e1c1c