本篇主要记录一元与多元微分中的导数与微分的类比学习

一元微分

导数与微分

导数(derivative)： 实际上导数是一种特殊的极限，其意义是指函数值在某点的变化率(aka.斜率，tangent line)
$$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$$
微分(differential)：微分的实质是将不均匀变化的函数用均匀的方式表示，其意义是指函数改变量的近似值。
可微的定义：
$$\Delta y=f(x_0+\Delta x)-f(x_0)=A\Delta x+o(\Delta x)$$ $$即dy=A\Delta x$$
$\text{graphic understanding}:$

我们不难发现在上述公式中，我们把一个非均匀变化的函数用线性的方式$(A\Delta x+o(x))$近似表示出来了，可能你会有疑问 ‘这$A\Delta x和o(x)$是个啥？怎么就表示出来了？’ 别急马上揭晓，我们的目的是用线性的方式表达函数的改变量$\Delta y$，公式中$A\Delta x$是$f(x)$的线性主要部分(${}^1$线性${}^2$主部)，既然有主部那当然就会有次要部分即$o(\Delta x)$，$o(\Delta x)=\Delta y-dy$是在$\Delta x\to 0$时可以忽略的高阶无穷小部分。
我们说回到$A\Delta x$，当中的$A$其实就是$\tan \alpha$，而导数$f^{\prime }(x_0)=\tan \alpha$，在这里我们也发现了导数和微分的联系，可微$\rightleftharpoons$可导，并且当$\Delta x\to 0$时$\Delta y$无限的接近$dy$，于是我们便得到了
$$\begin{gathered} dy=A\Delta x \\ dy=f^{\prime }(x_0)dx \end{gathered}$$
对微分的认识 ：微分中引入了一个新的符号 $\boxed{d}$，在初学的过程中总是对$d$这个符号的认识不清晰，而$dx$其实就是表示当$\Delta x\to 0$ 时$x_0$的微小增量。

多元微分

高数中多元主要研究对象为二元，以下偏导数与全微分(全增量)的理解需要掌握多元函数中平面点集、极限、连续的基本概念。
其中邻域、边界、区域、聚点的理解可以对比一元函数学习更易理解。

偏导数与全微分

偏导数(partial/del/… derivative)：
在实际问题中，我们常常需要了解一个受到多种因素制约的变量，在控制其他因素固定不变的情况下，只考虑一种因素变化的问题，即控制变量法，而在数学中就是多元函数在其他自变量固定不变的情况下，函数随一个自变量变化的变化率问题。
$$\text{if}\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}\exists 记为\frac{\partial z}{\partial x}|\begin{array}{c}x=x_0\\ y=y_0\end{array},z_x^{\prime }|\begin{array}{c}x=x_0\\ y=y_0\end{array},f_x^{\prime }(x_0,y_0)$$
$\text{graphic understanding}:$

可以将一元函数中的导数概念移植到多元函数中，鉴于多元就是两个或以上的自变量，我们通过用二元函数对象来研究会更加的直观，所以对应一元中的平面直角坐标系就可以使用空间直角坐标系来理解。
如图，我们以$\partial x$为例，我们可以控制令$y=y_0$，得到$M_0{T}_x$截面，截出一条曲线$z=f(x,y_0)$这就是偏导数$\frac{\partial z}{\partial x}$，$\frac{\partial z}{\partial y}$同理，至此我们就得到了函数随一个自变量变化的变化率。

例：$z=f(x,y)=x^2+3xy+y^2$在点$(1,2)$处的偏导数
对$x$求导，$y$看作常数，得：
$$f_x^{\prime }(x,y)=2x+3y$$
对$y$求导，$x$看作常数，得：
$$f_y^{\prime }(x,y)=2y+3x$$
代入点$(1,2)$，得：
$$f_x^{\prime }(1,2)=8,f_y^{\prime }(1,2)=7$$

全微分(total differential)：
我们已经了解了一元函数中增量与微分之间的关系$(dy=f^{\prime }(x_0)dx)$和多元函数的偏导数，将这两点结合起来不难得到二元函数的偏增量与偏微分之间的关系：
$$\begin{gathered} f(x+\Delta x,y)-f(x,y)=f_x(x,y)\Delta x+o(\Delta x) \\ f(x,y+\Delta y)-f(x,y)=f_y(x,y)\Delta y+o(\Delta y) \end{gathered}$$
而全微分就是指多元函数中自变量$x,y$都取得增量时因变量$z$所获得的全增量$\Delta z$的问题。 了解这些内容之后，就可以得出全微分的概念。
$$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)=A\Delta x+B\Delta y+o(\rho )$$$$即dz=A\Delta x+B\Delta y=\frac{\partial z}{\partial x}\Delta x+\frac{\partial z}{\partial y}\Delta y$$
补充：$\rho =\sqrt{(x+\Delta x-x{)}^2+(y+\Delta y-y{)}^2}$ $($ 平面上两点之间距离公式 $)$全微分中的次要部分为$\Delta x\Delta y$是$\rho$的高阶无穷小。

$\text{graphic understanding}:$

类似于一元函数中用线性的方式来近似表示函数的增量，在多元函数中我们可以用一小块切平面来近似代替二元曲线在某点邻近的一块曲面。
$$道阻且长，行则将至$$

目录

前言

一、机器学习的三要素

二、线性模型的基本形式

三、线性回归

3.1一元线性回归

3.1.1最小二乘法

 3.1.2极大似然估计

 3.1.3求解 ​和​ 

3.1.4算法处理前的向量化

 3.2多元线性回归

 3.2.1最小二乘法导出​

3.2.2证明​为凸函数

3.2.3求解未知数集合​

总结

---

前言

       随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文主要记录了有关机器学习问题线性模型中的一元线性回归和多元线性回归问题，思路均来源于周志华老师《机器学习》第三章中一元线性回归以及多元线性回归部分的内容。

---

一、机器学习的三要素

1.模型：根据具体问题，确定假设空间——此篇介绍为线性模型；

2.策略：根据评价标准，确定选取最优模型的策略（通常会产生一个“损失函数”）——此篇以“均方误差”为标准，根据最小二乘法、最大似然估计法来确定损失函数最小的等价条件；

3.算法：求解损失函数，确定最优模型——此篇中计算等价条件中未知数与的取值。

二、线性模型的基本形式

        对于给定的d个属性描述的示例,其中为在第个属性上的取值。

线性模型：学得一个通过属性的线性组合来进行预测的函数形式为：,转化为向量形式为：。

,将与学得之后,模型即可确定。

      此种方法的优点在于形式简单，易于建模，可解释性强，其中直观的表达了各个属性在预测中的重要性，即为对标记结果的决定性程度。

      以下从回归任务开始，继而讨论二分类和多分类任务。

三、线性回归

 对于给定数据集，其中 ， 。“线性回归” 意在学得一个线性模型尽可能准确的预测实值输出标记。

3.1一元线性回归

     若输入属性的数目仅为一个，则可省略属性的下标，转化为，其中;

对于离散的属性，若属性之间存在“序”的关系，则可对其进行连续化，以下示例：

 一元线性回归目的：学得，使得，重点即为确定与。

 根本思路为：以均方误差作为性能量度，即目标为：试图将均方误差最小化。

以下先以“发际线高度”和“计算机水平”的关系一例来讲解两种计算方法，这两种方法殊途同归：

3.1.1最小二乘法

我们假设采集到的样本数据如下图分布：

可以看出样本点偏向于服从线性分布，构造出模型。（图中黑色直线）

要使均方误差最小，即满足:

，其中与表示与的解；表示使目标函数f(x)取最小值时的变量值。

对应的几何意义为“欧氏距离”，（对应图中蓝色线段长度），对应损失函数。

        这种基于均方误差最小化，利用所有样本到直线上的欧式距离最短来进行模型求解的方法为“最小二乘法”。

 3.1.2极大似然估计

      对于离散型（或连续性）随机变量，假设其概率质量函数为，即概率密度为，其中为已知样本，例如有为来自的n个独立同分布的样本，则为待估计的参数值（可能为多个）。

      其联合概率，即为“多元的概率分布中多个随机变量分别满足各自条件的概率”，用公式表示为：。此为关于的函数，称为样本的似然函数。

根本想法：使得观测样本出现概率最大的分布即为代求分布，即意向求得使得取得最大值，即为的估计值。

 具体计算方法参考下例：

        另外，我们可以通过对数函数来简化似连乘项，转化为含连加项的对数似然函数：可大大减少计算量。

下面我们进入比较神奇的一步：

        假设线性回归为以下模型：，其中为不受控制的随机误差，可以假设其服从均值为0的正态分布 ，(中心极限定理：在适当的条件下,大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布），则对应的概率密度函数为：   ，将用等价代替可得到下式：。

       可以发现转化为了关于的函数，即为服从均值为的正态分布，即,则可使用极大似然估计的方法来估计和的值：

 即可转化为：求使得取最大值的情况。

其中m与为常数，则对似然函数的最大化等价于最小化。

惊讶的发现此等价条件与最小二乘法下得到的公式一样！

下面我们结合这个条件开始求解和的值：

 3.1.3求解 和 

       求解思路为：证明为关于 和 的凸函数利用凸函数求最值的方法来求解出 和 。

①数学分析中对于凸函数的定义与高数中相反：

 ②多元函数导数的定义：

        即为：将函数关于每一个变量的偏导数排列成列向量，以下列出多元函数的一阶导数、二阶导数的表达方式：

 ③综合以上两类定义，存在以下定理：

       类比一元函数判断凹凸性，对于∈是非空开凸集，,且在上二阶连续可微，则若的Hessian矩阵在上是半正定的，则是上的凸函数。

则存在转化条件：证明为凸函数 证明海塞矩阵半正定性。

④开始证明矩阵的正定性：

先对各个二阶偏导项进行化简：

 =  =  = = ；

 =  =  =  = ;

 =  =  = 。

 =  = =  = ;

 =  ;   =  。

       将以上计算结果表达式带入到海塞矩阵中，并通过半正定矩阵的判断定理——顺序主子式非负，整得此矩阵半正定，继而得出为关于 和 的凸函数：

以下只需证明：即可。

证：==     = ；  由于 = 成立，

原式转化为： =    = = ,得证。

 ⑤根据凸函数求最值的方法求解出 和 ：

 令两偏导数为0：

 =  =0    （i） 

     (ii)    

3.1.4算法处理前的向量化

       对于这种连加项，若想要用Python来实现，只能通过用循环，但如果可以对此式进行向量化，则可以转化为矩阵运算，再利用NumPy类库，可大大增加计算效率。

向量化：代入 =  , 转化为：

令,为去除其均值后的;

,为去除其均值后的。

则   。

 3.2多元线性回归

        对于给定数据集，更多的情形是样本由个属性来描述，此时试图学得 ，使得 ,即为“多元线性回归”。

        与一元线性回归的研究方式相似，首先由最小二乘法导出损失函数,再求解其中的参数，将两个参数吸收入向量·形式：=。

 3.2.1最小二乘法导出

对于，将也处理成向量乘积的形式,从而简化后续的计算式复杂度,得到与一元回归中类似的形式：

则总体表达式可转化为;

       由最小二乘法可得:即为简化后的损失函数的表达方式。

对损失函数的表达式进行向量化：

3.2.2证明为凸函数

        在上述过程中，我们通过对损失函数的向量化，得到它的向量表达式，若想证明其为凸函数，需要通过求取其标量对向量的偏导数，求取其海塞矩阵，并证明其半正定性（涉及到矩阵分析的内容）：

 

3.2.3求解未知数集合

      类比一元回归问题，利用凸函数的性质，求取的值：

---

总结

       以上思路来源于《机器学习》这本书第三章的内容，一元线性回归和多元线性回归为本书中的重点内容，公式推导过程复杂但不难理解，条理清晰，需要耐心。内容仅代表个人的思路和理解，如有错误欢迎指正！

多元复合函数不同的复合形式，分三种情形讨论。

1.一元函数与多元函数复合的情形

定理1：如果函数$u=\phi (t)$及$v=\psi (t)$都在点t可导，函数$z=f(u,v)$在对应点$(u,v)$具有连续偏导数，那么复合函数$z=f[\phi (t),\psi (t)]$在点t可导，且有
$$\frac{dz}{dt}=\frac{\partial z}{\partial u}\frac{du}{dt}+\frac{\partial z}{\partial v}\frac{dv}{dt}\text{\hspace{1em}(1)}$$
用同样的方法，可把定理推广到复合函数的中间变量多于两个的情形。

例如，设
$$z=f(u,v,w),u=\phi (t),v=\psi (t),w=w(t)$$
复合而得复合函数
$$z=f[\phi (t),\psi (t),w(t)]$$
则在与定理相类似的条件下，这复合函数在点t可导，且其导数可用下列公式计算：
$$\frac{dz}{dt}=\frac{\partial z}{\partial u}\frac{du}{dt}+\frac{\partial z}{\partial v}\frac{dv}{dt}+\frac{\partial z}{\partial w}\frac{dw}{dt}\text{\hspace{1em}(2)}$$
在公式（1）及公式（2）中的导数$\frac{dz}{dt}$称为全导数。

2. 多元函数与多元函数复合的情形

定理2：如果函数$u=\phi (x,y)$及$v=\psi (x,y)$都在点$(x,y)$具有对x及对y的偏导数，函数$z=f(u,v)$在对应点$(u,v)$具有连续偏导数，那么复合函数$z=f[\phi (x,y),\psi (x,y)]$在点$(x,y)$的两个偏导数都存在，且有
$$\begin{gathered} \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial y} \end{gathered}$$
类似地，设$u=\phi (x,y)、v=\psi (x,y)$及$w=\omega (x,y)$都在点$(x,y)$具有对x及对y的偏导数，函数$z=f(u,v,m)$在对应点$(u,v,w)$具有连续偏导数，则复合函数
$$z=f([\phi (x,y),\psi (x,y),\omega (x,y)])$$
在点$(x,y)$的两个偏导数都存在，且可用下列公式计算：
$$\begin{gathered} \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial x}+\frac{\partial z}{\partial w}\frac{\partial w}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial y}+\frac{\partial z}{\partial w}\frac{\partial w}{\partial y} \end{gathered}$$

3.其他情形

定理3：如果函数$u=\phi (x,y)$在点$(x,y)$具有对x及对y的偏导数，函数$v=\psi (y)$在点y可导，函数$z=f(u,v)$在对应点$(u,v)$具有连续偏导数，那么复合函数$z=f[\phi (x,y),\psi (y)]$在点$(x,y)$的两个偏导数都存在，且有
$$\begin{gathered} \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{dv}{dy} \end{gathered}$$
上述情形实际上是情形2的一种特例，即在情形2中，如变量v与x无关，从而$\frac{\partial v}{\partial x}=0$；在v对y求导时，由于$v=\psi (y)$是一元函数，故$\frac{\partial v}{\partial y}$换成了$\frac{dv}{dy}$，这就得上述结果。

在情形3中，还会遇到这样的情形：复合函数的某些中间变量本身又是复合函数的自变量。

例如，设$z=f(u,x,y)$具有连续偏导数，而$u=\phi (x,y)$具有偏导数，则复合函数$z=f[\phi (x,y),x,y]$可看做情形2中当$v=x,w=y$的特殊情形。

因此
$$\begin{gathered} \frac{\partial v}{\partial x}=1,\frac{\partial w}{\partial x}=0 \\ \frac{\partial v}{\partial y}=0,\frac{\partial w}{\partial y}=1 \end{gathered}$$
从而复合函数$z=f[\phi (x,y),x,y]$具有对自变量x及y的偏导数，且有情形2的定理知
$$\begin{gathered} \frac{\partial z}{\partial x}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial f}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial f}{\partial y} \end{gathered}$$
注意：这里$\frac{\partial z}{\partial x}$与$\frac{\partial f}{\partial x}$是不同的，$\frac{\partial z}{\partial x}$是把复合函数$z=f[\phi (x,y),x,y]$中的y看做不变而对x的偏导数，$\frac{\partial f}{\partial x}$是把$f(u,x,y)$中的u及y看做不变而对x的偏导数。$\frac{\partial z}{\partial y}$与$\frac{\partial f}{\partial y}$也有类似的区别。