多项式回归
项目链接：https://github.com/Wchenguang/gglearn/blob/master/PolynomialClassifier/李航机器学习-讲解/PolynomialClassifier.ipynb
公式推导

损失函数定义为平方损失函数

$\begin{array}{l}{\cos t=\frac{1}{2}(f(X)-Y)^{2}} \\ {L=\frac{1}{N} \times \sum_{i=1}^{N} \frac{1}{2}\left(\sum_{j=0}^{M}\left(w_{j} x_{i}^{j}\right)-y_{i}\right)^{2}}\end{array}$

求导并使导数为0，直接求出权值

$\begin{array}{c}\begin{array}{l}{\frac{\partial L}{\partial w_{k}}=\frac{1}{N} \times \sum_{i=1}^{N} \frac{1}{2} \times 2\left(x_{i}^{k} \times\left(\sum_{j=0}^{M}\left(w_{j} x_{i}^{k}\right)-y_{i}\right)\right)} \\ {=\frac{1}{N} \times \sum_{i=1}^{N}\left(x_{i}^{k} \times \sum_{j=0}^{M}\left(w_{j} x_{i}^{j}\right)-x_{i}^{k} \times y_{i}\right)} \\ {=0}\end{array} \\ {\downarrow} \\
x_{1}^{k} \sum_{j=1}^{m} w_{j} x_{1}^{j}+x_{2}^{K} \sum_{j=1}^{m} w_{j} x_{2}^{j} \cdots x_{n}^{K} \sum_{j=1}^{m} w_{j} x_{n}^{j}=\sum_{i=1}^{n} x_{i}^{k} y_{i}
\\ {\downarrow} \\
\left[x_{1}^{k} \dots x_{n}^{k}\right]
\begin{bmatrix}
x_{1}^{0}& \cdots\ &x_{1}^{m}\\
&  \cdots\  &\\
&\vdots \\
x_{n}^{0}& \cdots\ &x_{n}^{m}
\end{bmatrix}
\left[\begin{array}{c}{w_{0}} \\ {\vdots} \\ {w_{m}}\end{array}\right] = \left[x_{1}^{k} \cdots\ x_{n}^{k}\right] \left[\begin{array}{c}{y_{1}} \\ {\vdots} \\ {y_{n}}\end{array}\right]
\end{array}$

上式所求的$w_{k}$可以用含有$w_{0} w_{1} \cdots\ w_{k-1} w_{k+1}\cdots\ w_{m}$ 的式子表示，这些$w$值表示的是相应权重值的最优解，因而可以利用线性代数将所有权重值求出

$\begin{array}{c}\left[x_{1}^{k} \dots x_{n}^{k}\right]
\begin{bmatrix}
x_{1}^{0}& \cdots\ &x_{1}^{m}\\
&  \cdots\  &\\
&\vdots \\
x_{n}^{0}& \cdots\ &x_{n}^{m}
\end{bmatrix}
\left[\begin{array}{c}{w_{0}} \\ {\vdots} \\ {w_{m}}\end{array}\right] = \left[x_{1}^{k} \cdots\ x_{n}^{k}\right] \left[\begin{array}{c}{y_{1}} \\ {\vdots} \\ {y_{n}}\end{array}\right] \\ {\downarrow} \\ 
\begin{bmatrix}
x_{1}^{0}& \cdots\ &x_{n}^{0}\\
&  \cdots\  &\\
&\vdots \\
x_{1}^{m}& \cdots\ &x_{n}^{m}
\end{bmatrix}
\begin{bmatrix}
x_{1}^{0}& \cdots\ &x_{1}^{m}\\
&  \cdots\  &\\
&\vdots \\
x_{n}^{0}& \cdots\ &x_{n}^{m}
\end{bmatrix}
\left[\begin{array}{c}{w_{0}} \\ {\vdots} \\ {w_{m}}\end{array}\right] = 
\begin{bmatrix}
x_{1}^{0}& \cdots\ &x_{n}^{0}\\
&  \cdots\  &\\
&\vdots \\
x_{1}^{m}& \cdots\ &x_{n}^{m}
\end{bmatrix}
\left[\begin{array}{c}{y_{1}} \\ {\vdots} \\ {y_{n}}\end{array}\right]
\end{array}$

由上式即可得梯度下降中的正规方程

$\begin{array}{c} x^{\top} x w =x^{\top} y \\ {\downarrow} \\ w =\left(x^{\top} x\right)^{-1} x^{\top} y \end{array}$

实现多项式分类器PolynomialRegression
import numpy as np
class PolynomialRegression:
    '''
    只支持numpy数组的输入
    '''
    def __init__(self):
        pass
    def fit(self, x, y):
        '''
        只支持二维数组
        '''
        x= np.hstack((np.ones((len(x), 1)), x))
        x = np.mat(x)
        y = np.mat(y)
        self.w = np.mat((x.T * x).I * x.T * y)
        return self
    def transform(self, x):
        x= np.hstack((np.ones((len(x), 1)), x))
        x = np.mat(x)
        return x * self.w
    def fit_transform(self, x, y):
        x= np.hstack((np.ones((len(x), 1)), x))
        x = np.mat(x)
        y = np.mat(y)
        self.w = (x.T * x).I * x.T * y
        return x * self.w
           #if __name__ == 'main':
for i in range(10, 51, 10):
    x = np.random.randint(1, 100, (40, i))
    y = np.random.randint(1, 100, (40, 1))
    reg_result = PolynomialRegression().fit(x, y).transform(x)
    import matplotlib.pyplot as plt
    fig = plt.figure(num = 1, figsize = (15, 8))
    plt.plot(np.arange(len(y)), y, label = 'real_y')
    plt.plot(np.arange(len(reg_result)), reg_result, label = 'pred_y')
    plt.legend()
    plt.show()


运行结果

多变量线性回归代价函数为：



其中： 


正规方程是通过求解下面的方程来找出使得代价函数最小的参数：



设有m个训练实例，每个实例有n个特征，则训练实例集为：

 

其中表示第i个实例第j个特征。

特征参数为：



输出变量为：



故代价函数为：



进行求导，等价于如下的形式：



求导公式：





其中第一项：


第二项：
 

该矩阵求导为分母布局下的标量/向量形式： 

故有， 


第三项：
 

该矩阵求导为分母布局下的标量/向量形式： 

故有： 


第四项：
 

其中为标量，可看成一个常数。 

该矩阵求导为分母布局下的标量/向量形式： 

故有： 


综上，正规方程为：



最终可得特征参数的表示：

之前我们曾经学习了简单线性回归模型的推导、sklearn实战，并尝试从零搭建了一个简单线性回归的模型工具。
但是我们遇到的数据并不总是线性的，这时如果我们还拿线性模型去拟合，我们模型的效果就会大打折扣。不过不用担心，我们仍然可以使用线性回归的方法来拟合非线性的数据，只不过我们要先对输入数据做一些处理。
一、快速理解多项式回归原理
我们先来回顾一下简单线性回归的假设：
$\hat{y}=\alpha + \beta x$
假如我们通过散点图发现变量y与x之间的关系大致符合二次分布，那么上述的假设就不太合适了，我们可以假设：
$\hat{y}=\alpha + \beta_1 x + \beta_2 x^2$
我们的残差依然是:
$error = y - \hat{y}$
与简单线性回归相同，我们的目标是最小化残差平方和：
$RSS(SSE) = \sum_{i=1}^{n}{(y_i-\hat{y_i})^2} = \sum_{i=1}^{n}{[y_i-(\alpha + \beta_1 x_i + \beta_2 x_i^2)]^2}$
然后我们分别对α、β1和β2求偏导，使其为0，我们可以得到三个等式，求解即可。
这部分推理与简单线性回归的推理部分极为相似，感兴趣的可以直接阅读我的《三步教你从零掌握简单线性回归》一文。
二、scikit-learn实战
那么接下来，我们就直接来看scikit-learn实战部分了。先放代码和输出，然后我们再详解一下：
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import matplotlib.pyplot as plt
import seaborn as sns
sns.set()

X_train = [[6], [8], [10], [14], [18]]
y_train = [[7], [9], [13], [17.5], [18]]
X_test = [[6], [8], [11], [16]]
y_test = [[8], [12], [15], [18]]

# 简单线性回归
model = LinearRegression()
model.fit(X_train, y_train)
xx = np.linspace(0, 26, 100)
yy = model.predict(xx.reshape(xx.shape[0], 1))
plt.scatter(x=X_train, y=y_train, color='k')
plt.plot(xx, yy, '-g')

# 多项式回归
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.fit_transform(X_test)
model2 = LinearRegression()
model2.fit(X_train_quadratic, y_train)
xx2 = quadratic_featurizer.transform(xx[:, np.newaxis])
yy2 = model2.predict(xx2)
plt.plot(xx, yy2, '-r')

print('X_train:\n', X_train)
print('X_train_quadratic:\n', X_train_quadratic)
print('X_test:\n', X_test)
print('X_test_quadratic:\n', X_test_quadratic)
print('简单线性回归R2：', model.score(X_test, y_test))
print('二次回归R2：', model2.score(X_test_quadratic, y_test));

输出为：
X_train:
 [[6], [8], [10], [14], [18]]
X_train_quadratic:
 [[  1.   6.  36.]
 [  1.   8.  64.]
 [  1.  10. 100.]
 [  1.  14. 196.]
 [  1.  18. 324.]]
X_test:
 [[6], [8], [11], [16]]
X_test_quadratic:
 [[  1.   6.  36.]
 [  1.   8.  64.]
 [  1.  11. 121.]
 [  1.  16. 256.]]
简单线性回归R2： 0.809726797707665
二次回归R2： 0.8675443656345073


三、步骤详解
我们来看看在每一步我们都做了什么。
第一步，我们导入了必要的库。
第二步，我们创建了训练集和测试集。
第三步，我们拟合了简单线性回归，并且绘制了预测的直线。
第四步，我们使用sklearn.preprocessing.PolynomialFeatures方法，将我们的原始特征集生成了n*3的数据集，其中第一列对应常数项α，相当于x的零次方，因此这一列都是1；第二列对应一次项，因此这一列与我们的原始数据是一致的；第三列对应二次项，因此这一列是我们原始数据的平方。
第四步，我们拿前边用PolynomialFeatures处理的数据集做一个多元线性回归，然后用训练好的模型预测一条曲线，并将其绘制出来。
第五步，输出数据方便理解；输出模型分数用于对比效果。
看到这里你可能已经明白了，多项式回归虽然拟合了多项式曲线，但其本质仍然是线性回归，只不过我们将输入的特征做了些调整，增加了它们的多次项数据作为新特征。其实除了多项式回归，我们还可以使用这种方法拟合更多的曲线，我们只需要对原始特征作出不同的处理即可。
你学会了吗？

https://www.toutiao.com/a6642221691839709704/

 

2019-01-03 18:52:31

之前我们曾经学习了简单线性回归模型的推导、sklearn实战，并尝试从零搭建了一个简单线性回归的模型工具。

有任何问题都可以在下方留言，我都会耐心解答。

但是我们遇到的数据并不总是线性的，这时如果我们还拿线性模型去拟合，我们模型的效果就会大打折扣。不过不用担心，我们仍然可以使用线性回归的方法来拟合非线性的数据，只不过我们要先对输入数据做一些处理。

一、快速理解多项式回归原理

我们先来回顾一下简单线性回归的假设：



 

 

假如我们通过散点图发现变量y与x之间的关系大致符合二次分布，那么上述的假设就不太合适了，我们可以假设：



 

 

我们的残差依然是:



 

 

与简单线性回归相同，我们的目标是最小化残差平方和：



 

 

然后我们分别对α、β1和β2求偏导，使其为0，我们可以得到三个等式，求解即可。

这部分推理与简单线性回归的推理部分极为相似，感兴趣的可以直接阅读我的《三步教你从零掌握简单线性回归》一文。

二、scikit-learn实战

那么接下来，我们就直接来看scikit-learn实战部分了。先放代码和输出，然后我们再详解一下：

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import matplotlib.pyplot as plt
import seaborn as sns
sns.set()
X_train = [[6], [8], [10], [14], [18]]
y_train = [[7], [9], [13], [17.5], [18]]
X_test = [[6], [8], [11], [16]]
y_test = [[8], [12], [15], [18]]
# 简单线性回归
model = LinearRegression()
model.fit(X_train, y_train)
xx = np.linspace(0, 26, 100)
yy = model.predict(xx.reshape(xx.shape[0], 1))
plt.scatter(x=X_train, y=y_train, color='k')
plt.plot(xx, yy, '-g')
# 多项式回归
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.fit_transform(X_test)
model2 = LinearRegression()
model2.fit(X_train_quadratic, y_train)
xx2 = quadratic_featurizer.transform(xx[:, np.newaxis])
yy2 = model2.predict(xx2)
plt.plot(xx, yy2, '-r')
print('X_train:
', X_train)
print('X_train_quadratic:
', X_train_quadratic)
print('X_test:
', X_test)
print('X_test_quadratic:
', X_test_quadratic)
print('简单线性回归R2：', model.score(X_test, y_test))
print('二次回归R2：', model2.score(X_test_quadratic, y_test));


输出为：

X_train:
 [[6], [8], [10], [14], [18]]
X_train_quadratic:
 [[ 1. 6. 36.]
 [ 1. 8. 64.]
 [ 1. 10. 100.]
 [ 1. 14. 196.]
 [ 1. 18. 324.]]
X_test:
 [[6], [8], [11], [16]]
X_test_quadratic:
 [[ 1. 6. 36.]
 [ 1. 8. 64.]
 [ 1. 11. 121.]
 [ 1. 16. 256.]]
简单线性回归R2： 0.809726797707665
二次回归R2： 0.8675443656345073




 

三、步骤详解

我们来看看在每一步我们都做了什么。

第一步，我们导入了必要的库。

第二步，我们创建了训练集和测试集。

第三步，我们拟合了简单线性回归，并且绘制了预测的直线。

第四步，我们使用sklearn.preprocessing.PolynomialFeatures方法，将我们的原始特征集生成了n*3的数据集，其中第一列对应常数项α，相当于x的零次方，因此这一列都是1；第二列对应一次项，因此这一列与我们的原始数据是一致的；第三列对应二次项，因此这一列是我们原始数据的平方。

第四步，我们拿前边用PolynomialFeatures处理的数据集做一个多元线性回归，然后用训练好的模型预测一条曲线，并将其绘制出来。

第五步，输出数据方便理解；输出模型分数用于对比效果。

看到这里你可能已经明白了，多项式回归虽然拟合了多项式曲线，但其本质仍然是线性回归，只不过我们将输入的特征做了些调整，增加了它们的多次项数据作为新特征。其实除了多项式回归，我们还可以使用这种方法拟合更多的曲线，我们只需要对原始特征作出不同的处理即可。

你学会了吗？