精华内容
下载资源
问答
  • 2019-02-03 11:39:29

    线性回归action精讲

    线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。


    一元与多元

    回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

    基本流程

    • 数据预处理
    • 导入语言库
    • 导入数据集合
    • 分离数据集合
    • 算法拟合
    • 可视化处理

    一元线性回归

    Simple Linear Regression

    Step 1: 数据预处理

    @Avik-Jain
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    
    dataset = pd.read_csv('studentscores.csv')
    X = dataset.iloc[ : ,   : 1 ].values
    Y = dataset.iloc[ : , 1 ].values
    
    from sklearn.cross_validation import train_test_split
    X_train, X_test, Y_train, Y_test = train_test_split( X, Y, test_size = 1/4, random_state = 0) 
    

    Step 2: 将简单线性回归模型拟合到训练集

    from sklearn.linear_model import LinearRegression
    regressor = LinearRegression()
    regressor = regressor.fit(X_train, Y_train)
    

    Step 3:预测结果

    Y_pred = regressor.predict(X_test)
    

    Step 4: 可视化处理

    使训练集可视化

    plt.scatter(X_train , Y_train, color = 'red')
    plt.plot(X_train , regressor.predict(X_train), color ='blue')
    

    使测试结果可视化

    plt.scatter(X_test , Y_test, color = 'red')
    plt.plot(X_test , regressor.predict(X_test), color ='blue')
    

    多元线性回归

    Multiple Linear Regression

    Step 1: 数据预处理

    导入语言库

    @Avik-Jain
    import pandas as pd
    import numpy as np
    

    导入数据集

    dataset = pd.read_csv('50_Startups.csv')
    X = dataset.iloc[ : , :-1].values
    Y = dataset.iloc[ : ,  4 ].values
    

    编码分类数据

    from sklearn.preprocessing import LabelEncoder, OneHotEncoder
    labelencoder = LabelEncoder()
    X[: , 3] = labelencoder.fit_transform(X[ : , 3])
    onehotencoder = OneHotEncoder(categorical_features = [3])
    X = onehotencoder.fit_transform(X).toarray()
    

    避免虚拟变量陷阱

    X = X[: , 1:]
    

    将数据集拆分为Training集和测试集

    from sklearn.cross_validation import train_test_split
    X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 0)
    

    Step 2: 将多元线性回归拟合到训练集

    from sklearn.linear_model import LinearRegression
    regressor = LinearRegression()
    regressor.fit(X_train, Y_train)
    

    Step 3: 预测测试集结果

    y_pred = regressor.predict(X_test)
    
    更多相关内容
  • 一元与多元数据分析实验报告.pdf
  • 该数据为信息分析预测进行一元多元线性回归所用到的数据,包含厦门2019年的天气数据。
  • 基于spss的一元线性回归与多元线性回归案例,个人整理出的,包含了部分案例、实验报告、题目,及部分题目答案,适合作为spss、MATLAB等软件数据分析题目联系
  • 关于一元回归分析和多元回归分析的matlab代码,含有测试数据,直接就可以运行,然后出图,注释清楚,通俗易懂,每一步都有注释,比较详细。
  • 一元多元逻辑回归的实现——tensorflow2 https://blog.csdn.net/qq_43940950/article/details/122807943
  • 一元函数微分学与多元函数微分学的对比学习

    本篇主要记录一元与多元微分中的导数与微分的类比学习

    一元微分

    导数与微分

    导数(derivative): 实际上导数是一种特殊的极限,其意义是指函数值在某点的变化率(aka.斜率,tangent line)
    lim ⁡ x → x 0 f ( x ) − f ( x 0 ) x − x 0 \lim\limits_{x\rightarrow x_0} \cfrac{f(x) - f(x_0)}{x-x_0} xx0limxx0f(x)f(x0)
    微分(differential):微分的实质是将不均匀变化的函数用均匀的方式表示,其意义是指函数改变量近似值
    可微的定义:
    Δ y = f ( x 0 + Δ x ) − f ( x 0 ) = A Δ x + o ( Δ x ) \Delta y = f(x_0 + \Delta x) - f(x_0) = A\Delta x + o(\Delta x) Δy=f(x0+Δx)f(x0)=AΔx+o(Δx) 即   d y = A Δ x 即~dy = A\Delta x  dy=AΔx
    graphic  understanding : \large \text {graphic~ understanding}: graphic  understanding:
    在这里插入图片描述
    我们不难发现在上述公式中,我们把一个非均匀变化的函数用线性的方式 ( A Δ x + o ( x ) ) \Big(A\Delta x + o(x)\Big) (AΔx+o(x))近似表示出来了,可能你会有疑问 ‘这 A Δ x 和 o ( x ) A\Delta x 和 o(x) AΔxo(x)是个啥?怎么就表示出来了?’ 别急马上揭晓,我们的目的是用线性的方式表达函数的改变量 Δ y \Delta y Δy,公式中   A Δ x   ~A\Delta x~  AΔx    f ( x )   ~f(x)~  f(x) 线性主要部分( 1 ^1 1线性 2 ^2 2主部),既然有主部那当然就会有次要部分即 o ( Δ x ) o(\Delta x) o(Δx) o ( Δ x ) = Δ y − d y o(\Delta x) = \Delta y - dy o(Δx)=Δydy是在 Δ x → 0 \Delta x\rightarrow 0 Δx0时可以忽略的高阶无穷小部分。
    我们说回到   A Δ x   ~A\Delta x~  AΔx ,当中的 A A A其实就是 tan ⁡ α \tan\alpha tanα,而导数 f ′ ( x 0 ) = tan ⁡ α f'(x_0) = \tan\alpha f(x0)=tanα,在这里我们也发现了导数和微分的联系,可微 ⇌ \rightleftharpoons 可导,并且当 Δ x → 0 \Delta x\rightarrow 0 Δx0   Δ y   ~\Delta y~  Δy 无限的接近   d y   ~dy~  dy ,于是我们便得到了
    d y = A Δ x d y = f ′ ( x 0 ) d x dy = A\Delta x\\ dy = f'(x_0)dx dy=AΔxdy=f(x0)dx
    对微分的认识 :微分中引入了一个新的符号 d \fbox {d} d,在初学的过程中总是对   d   ~d~  d 这个符号的认识不清晰,而   d x   ~dx~  dx 其实就是表示当 Δ x → 0 \Delta x\rightarrow 0 Δx0   x 0   ~x_0~  x0 微小增量

    多元微分

    高数中多元主要研究对象为二元,以下偏导数与全微分(全增量)的理解需要掌握多元函数中平面点集、极限、连续的基本概念。
    其中邻域、边界、区域、聚点的理解可以对比一元函数学习更易理解。

    偏导数与全微分

    偏导数(partial/del/… derivative)
    在实际问题中,我们常常需要了解一个受到多种因素制约的变量,在控制其他因素固定不变的情况下,只考虑一种因素变化的问题,即控制变量法,而在数学中就是多元函数在其他自变量固定不变的情况下,函数随一个自变量变化的变化率问题。
    if lim ⁡ Δ x → 0 f ( x 0 + Δ x , y 0 ) − f ( x 0 , y 0 ) Δ x ∃ 记 为 ∂ z ∂ x ∣ x = x 0 y = y 0   , z x ′ ∣ x = x 0 y = y 0   , f x ′ ( x 0 , y 0 ) \text{if}\quad\lim_{\Delta x\rightarrow 0}\cfrac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}\quad\exists\quad记为\frac{\partial z}{\partial x}\Big|\tiny\begin{matrix} x=x_0 \\ y=y_0 \end{matrix}\ , \quad\large z'_x\Big |\tiny\begin{matrix} x=x_0 \\ y=y_0 \end{matrix} \normalsize \ ,\quad f'_x(x_0,y_0) ifΔx0limΔxf(x0+Δx,y0)f(x0,y0)xzx=x0y=y0 ,zxx=x0y=y0 ,fx(x0,y0)
    graphic  understanding : \large \text {graphic~ understanding}: graphic  understanding:

    可以将一元函数中的导数概念移植到多元函数中,鉴于多元就是两个或以上的自变量,我们通过用二元函数对象来研究会更加的直观,所以对应一元中的平面直角坐标系就可以使用空间直角坐标系来理解。在这里插入图片描述
    如图,我们以   ∂ x   ~\partial x~  x 为例,我们可以控制令 y = y 0 y=y_0 y=y0,得到 M 0 T x M_0T_x M0Tx截面,截出一条曲线 z = f ( x , y 0 ) z=f(x,y_0) z=f(x,y0)这就是偏导数   ∂ z ∂ x   ~\cfrac{\partial z}{\partial x}~  xz    ∂ z ∂ y   ~\cfrac{\partial z}{\partial y}~  yz 同理,至此我们就得到了函数随一个自变量变化的变化率

    z = f ( x , y ) = x 2 + 3 x y + y 2 z=f(x,y)=x^2+3xy+y^2 z=f(x,y)=x2+3xy+y2在点 ( 1 , 2 ) (1,2) (1,2)处的偏导数
      x   ~x~  x 求导,   y   ~y~  y 看作常数,得:
    f x ′ ( x , y ) = 2 x + 3 y f'_x(x,y)=2x+3y fx(x,y)=2x+3y
      y   ~y~  y 求导,   x   ~x~  x 看作常数,得:
    f y ′ ( x , y ) = 2 y + 3 x f'_y(x,y)=2y+3x fy(x,y)=2y+3x
    代入点 ( 1 , 2 ) (1,2) (1,2),得:
    f x ′ ( 1 , 2 ) = 8 ,   f y ′ ( 1 , 2 ) = 7 f'_x(1,2)=8,~f'_y(1,2)=7 fx(1,2)=8, fy(1,2)=7

    全微分(total differential)
    我们已经了解了一元函数中增量与微分之间的关系 ( d y = f ′ ( x 0 ) d x ) \Big( dy = f'(x_0)dx\Big) (dy=f(x0)dx)和多元函数的偏导数,将这两点结合起来不难得到二元函数的偏增量与偏微分之间的关系
    f ( x + Δ x , y ) − f ( x , y ) = f x ( x , y ) Δ x + o ( Δ x ) f ( x , y + Δ y ) − f ( x , y ) = f y ( x , y ) Δ y + o ( Δ y ) f(x+\Delta x,y) - f(x,y)=f_x(x,y)\Delta x+o(\Delta x)\\ f(x,y+\Delta y) - f(x,y)= f_y(x,y)\Delta y +o(\Delta y) f(x+Δx,y)f(x,y)=fx(x,y)Δx+o(Δx)f(x,y+Δy)f(x,y)=fy(x,y)Δy+o(Δy)
    而全微分就是指多元函数中自变量   x , y   ~x,y~  x,y 都取得增量时因变量   z   ~z~  z 所获得的全增量 Δ z \Delta z Δz的问题。 了解这些内容之后,就可以得出全微分的概念。
    Δ z = f ( x + Δ x , y + Δ y ) − f ( x , y ) = A Δ x + B Δ y + o ( ρ ) \Delta z = f(x+\Delta x, y+\Delta y) - f(x,y)=A\Delta x+B\Delta y+o(\rho)\\ Δz=f(x+Δx,y+Δy)f(x,y)=AΔx+BΔy+o(ρ) 即   d z = A Δ x + B Δ y = ∂ z ∂ x Δ x + ∂ z ∂ y Δ y 即~dz=A\Delta x+B\Delta y= \cfrac{\partial z}{\partial x}\Delta x+\cfrac{\partial z}{\partial y}\Delta y  dz=AΔx+BΔy=xzΔx+yzΔy
    补充: ρ = ( x + Δ x − x ) 2 + ( y + Δ y − y ) 2 \rho=\sqrt{(x+\Delta x - x)^2+(y+\Delta y-y)^2} ρ=(x+Δxx)2+(y+Δyy)2 ( \Big ( ( 平面上两点之间距离公式 ) \Big) )全微分中的次要部分为 Δ x Δ y \Delta x\Delta y ΔxΔy ρ \rho ρ的高阶无穷小。

    graphic  understanding : \large \text {graphic~ understanding}: graphic  understanding:

    类似于一元函数中用线性的方式来近似表示函数的增量,在多元函数中我们可以用一小块切平面来近似代替二元曲线在某点邻近的一块曲面在这里插入图片描述
    道 阻 且 长 , 行 则 将 至 道阻且长,行则将至

    展开全文
  • 最小二乘法,一元多元拟合!C++版本和MATLAB版本!项目均可运行,有数据,有结果!
  • 该数据为信息分析预测进行一元多元线性回归所用到的数据,包含厦门2019年的天气数据。
  • 随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文主要记录了有关机器学习问题线性模型中的一元线性回归和多元线性回归问题,思路均来源于周志华老师《机器学习》第三章中...

    目录

    前言

    一、机器学习的三要素

    二、线性模型的基本形式

    三、线性回归

    3.1一元线性回归

    3.1.1最小二乘法

     3.1.2极大似然估计

     3.1.3求解 ​和​ 

    3.1.4算法处理前的向量化

     3.2多元线性回归

     3.2.1最小二乘法导出​

    3.2.2证明​为凸函数

    3.2.3求解未知数集合​

    总结





    前言

           随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文主要记录了有关机器学习问题线性模型中的一元线性回归和多元线性回归问题,思路均来源于周志华老师《机器学习》第三章中一元线性回归以及多元线性回归部分的内容。


    一、机器学习的三要素

    1.模型:根据具体问题,确定假设空间——此篇介绍为线性模型

    2.策略:根据评价标准,确定选取最优模型的策略(通常会产生一个“损失函数”)——此篇以“均方误差”为标准,根据最小二乘法、最大似然估计法来确定损失函数最小的等价条件

    3.算法:求解损失函数,确定最优模型——此篇中计算等价条件中未知数\omegab的取值



    二、线性模型的基本形式

            对于给定的d个属性描述的示例\large x=(x1;x2;x3;....;xd),其中\large xi\large x在第\large i个属性上的取值。

    线性模型:学得一个通过属性的线性组合来进行预测的函数形式为:\large f(x)=\omega 1x1+\omega 2x2+...+\omega dxd+b,转化为向量形式为:\large f(x)=\omega ^{T}+b

    \large \omega =\left ( \omega 1;\omega 2;...;\omega d \right ),将\large \omega\large b学得之后,模型即可确定。

          此种方法的优点在于形式简单,易于建模,可解释性强,其中\large \omega直观的表达了各个属性在预测中的重要性,即为对标记结果的决定性程度。

          以下从回归任务开始,继而讨论二分类和多分类任务。



    三、线性回归

     对于给定数据集\large D=\left \{ (x1,y1),(x2,y2),...,(xm,ym) \right \},其中 \large xi=(xi1;xi2;xi3;...;xid), \large yi\epsilon R。“线性回归” 意在学得一个线性模型尽可能准确的预测实值输出标记。

    3.1一元线性回归

         若输入属性的数目仅为一个,则可省略属性的下标,转化为\large D=\left \{ (xi;yi) \right \}_{i=1}^{m},其中\large xi\epsilon R;

    对于离散的属性,若属性之间存在“序”的关系,则可对其进行连续化,以下示例:

     一元线性回归目的:学得\large f(xi)=\omega xi+b,使得\large f(xi)\approx yi,重点即为确定\large \omega\large b

     根本思路为:以均方误差作为性能量度,即目标为:试图将均方误差最小化。

    以下先以“发际线高度”和“计算机水平”的关系一例来讲解两种计算方法,这两种方法殊途同归

    3.1.1最小二乘法

    我们假设采集到的样本数据如下图分布:

    可以看出样本点偏向于服从线性分布,构造出模型\large f(x)=\omega x+b(图中黑色直线)

    要使均方误差最小,即满足:

    (\omega^{*},b^{*} )=argmin_{(\omega ,b)}\sum_{i=1}^{m}(f(xi)-yi)^{2}=argmin_{(\omega ,b)}\sum_{i=1}^{m}(yi-\omega xi-b)^{2},其中\large \omega ^{*}\large b^{*}表示\large \omega\large b的解;\large argmin表示使目标函数f(x)取最小值时的变量值。

    对应的几何意义为“欧氏距离”(对应图中蓝色线段长度),对应损失函数\large E(\omega ,b)=\sum_{i=1}^{m}(f(xi)-yi)^{2}=\sum_{i=1}^{m}(yi-\omega xi-b)^{2}

            这种基于均方误差最小化,利用所有样本到直线上的欧式距离最短来进行模型求解的方法为“最小二乘法”

     3.1.2极大似然估计

          对于离散型(或连续性)随机变量X,假设其概率质量函数为P(x;\theta ),即概率密度为p(x;\theta ),其中x已知样本,例如有x1,x2,x3,...,xn为来自X的n个独立同分布的样本,则\theta待估计的参数值(可能为多个)。

          其联合概率,即为“多元的概率分布中多个随机变量分别满足各自条件的概率”,用公式表示为:L(\theta )=\prod_{i=1}^{n}P(xi;\theta )。此为关于\theta的函数,称为样本的似然函数。

    根本想法:使得观测样本出现概率最大的分布即为代求分布,即意向求得\theta ^{*}使得L(\theta )取得最大值,即为\theta的估计值。

     具体计算方法参考下例:

            另外,我们可以通过对数函数ln来简化似连乘项,转化为含连加项的对数似然函数:lnL(\mu ,\sigma ^{2})可大大减少计算量。

    下面我们进入比较神奇的一步:

            假设线性回归为以下模型:y=\omega x+b+\epsilon,其中\epsilon为不受控制的随机误差,可以假设其服从均值为0的正态分布\epsilon \sim N(0,\sigma ^{2}) ,(中心极限定理:在适当的条件下,大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布),则对应\epsilon的概率密度函数为:p(\epsilon )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{\epsilon ^{2}}{2\sigma ^{2}})   ,将\epsilony-(\omega x+b)等价代替可得到下式:p(y)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y-(\omega x+b)) ^{2}}{2\sigma ^{2}})

           可以发现转化为了关于y的函数,即为y服从均值为(\omega x+b)的正态分布,即y \sim N(\omega x+b,\sigma ^{2}),则可使用极大似然估计的方法来估计\omegab的值:

     即可转化为:求使得lnL(\omega ,b)=mln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{m}(yi-\omega xi-b)^{2}取最大值的情况。

    其中m与\sigma为常数,则对似然函数的最大化等价于最小化\sum_{i=1}^{m}(yi-\omega xi-b)^{2}

    惊讶的发现此等价条件与最小二乘法下得到的公式一样!

    下面我们结合这个条件开始求解\omegab的值:

     3.1.3求解 \omegab 

           求解思路为:证明\sum_{i=1}^{m}(yi-\omega xi-b)^{2}为关于 \omegab 的凸函数\rightarrow利用凸函数求最值的方法来求解出 \omegab 

    ①数学分析中对于凸函数的定义与高数中相反:

     ②多元函数导数的定义:

            即为:将函数关于每一个变量的偏导数排列成列向量,以下列出多元函数的一阶导数、二阶导数的表达方式:

     ③综合以上两类定义,存在以下定理:

           类比一元函数判断凹凸性,对于DR^{n}是非空开凸集,f:D\subset R^{n}\rightarrow R,且f(x)D上二阶连续可微,则若f(x)Hessian矩阵在D上是半正定的,则f(x)D上的凸函数。

    则存在转化条件:证明\sum_{i=1}^{m}(yi-\omega xi-b)^{2}为凸函数\Rightarrow 证明海塞矩阵半正定性。

    ④开始证明矩阵的正定性:

    先对各个二阶偏导项进行化简:

    \frac{\partial E_{(\omega ,b)}}{\partial \omega } = \frac{\partial }{\partial \omega }\left [ \sum_{i=1}^{m}(yi-\omega xi-b)^{2} \right ] = \sum_{i=1}^{m}\frac{\partial }{\partial \omega } (yi-\omega xi-b)^{2} = \sum_{i=1}^{m}2\cdot (yi-\omega xi-b)\cdot (-xi)=2(\omega \sum_{i=1}^{m}xi^{2}-\sum_{i=1}^{m}(yi-b)xi) ;

    \frac{\partial^2 E_{(\omega ,b)}}{\partial \omega ^2} = \frac{\partial }{\partial \omega }\left ( \frac{\partial E_{(\omega ,b)}}{\partial \omega } \right ) = \frac{\partial }{\partial \omega }\left [ 2(\omega \sum_{i=1}^{m}xi^{2}-\sum_{i=1}^{m}(yi-b)xi) \right ] = 2\sum_{i=1}^{m}xi^{2}\omega = 2\sum_{i=1}^{m}xi^{2};

    \frac{\partial E_{(\omega ,b)}}{\partial \omega\partial b } = \frac{\partial }{\partial b }\left [ 2(\omega \sum_{i=1}^{m}xi^{2}-\sum_{i=1}^{m}(yi-b)xi) \right ] = \frac{\partial }{\partial b }\left [ -2(\sum_{i=1}^{m}yixi-\sum_{i=1}^{m}bxi) \right ] = 2\sum_{i=1}^{m}xi

    \frac{\partial E_{(\omega ,b)}}{\partial b } = \frac{\partial }{\partial b }\left [ \sum_{i=1}^{m}(yi-\omega xi-b)^{2} \right ] =\sum_{i=1}^{m}\frac{\partial }{\partial b } (yi-\omega xi-b)^{2} = \sum_{i=1}^{m}2\cdot (yi-\omega xi-b)\cdot (-1) = 2(mb-\sum_{i=1}^{m}(yi-\omega xi));

    \frac{\partial E_{(\omega ,b)}}{\partial b \partial \omega } = 2\sum_{i=1}^{m}xi ;  \frac{\partial^2 E_{(\omega ,b)}}{\partial b ^2} = 2m 。

           将以上计算结果表达式带入到海塞矩阵中,并通过半正定矩阵的判断定理——顺序主子式非负,整得此矩阵半正定,继而得出E(\omega ,b)为关于 \omegab 的凸函数:

    以下只需证明:4m\sum_{i=1}^{m}xi^{2}-4(\sum_{i=1}^{m}xi)^{2}\geqslant 0即可。

    4m\sum_{i=1}^{m}xi^{2}-4(\sum_{i=1}^{m}xi)^{2}=4m\sum_{i=1}^{m}xi^{2}-4\cdot m\cdot \frac{1}{m}(\sum_{i=1}^{m}xi)\cdot (\sum_{i=1}^{m}xi)=    4m\sum_{i=1}^{m} xi^{2}-4 {m}\cdot \bar{x}\cdot \sum_{i=1}^{m}xi = 4m(\sum_{i=1}^{m} xi^{2}-\bar{x}\cdot \sum_{i=1}^{m}xi);  由于\sum_{i=1}^{m}xi\cdot \bar{x} = \sum_{i=1}^{m} \bar{x}^{^{2}}成立,

    原式转化为:4m(\sum_{i=1}^{m} xi^{2}-\bar{x}\cdot \sum_{i=1}^{m}xi) = 4m\sum_{i=1}^{m} (xi^{2}-\bar{x}\cdot xi-\bar{x}\cdot xi+\bar{x}\cdot xi)   =4m\sum_{i=1}^{m} (xi^{2}-\bar{x}\cdot xi-\bar{x}\cdot xi+\bar{x}^{2}) = 4m\sum_{i=1}^{m}(xi-\bar{x})^{2}\geqslant 0,得证。

     ⑤根据凸函数求最值的方法求解出 \omegab :

     令两偏导数为0:

    \frac{\partial E_{(\omega ,b)}}{\partial b } = 2(mb-\sum_{i=1}^{m}(yi-\omega xi)) =0    (i)\Rightarrow b=\frac{1}{m}\sum_{i=1}^{m}(yi-\omega xi)= \frac{1}{m}\sum_{i=1}^{m}yi-\omega \cdot \frac{1}{m}\sum_{i=1}^{m}xi=\bar{y}-\omega \bar{x}

    \frac{\partial E_{(\omega ,b)}}{\partial \omega } =2(\omega \sum_{i=1}^{m}xi^{2}-\sum_{i=1}^{m}(yi-b)xi) =0   (ii)    \overset{b=\bar{y}-\omega \bar{x}}{\rightarrow}

    3.1.4算法处理前的向量化

           对于这种连加项,若想要用Python来实现,只能通过用循环,但如果可以对此式进行向量化,则可以转化为矩阵运算,再利用NumPy类库,可大大增加计算效率。

    向量化:代入\frac{1}{m}(\sum_{i=1}^{m}xi)^{2} = \bar{x}\cdot \sum_{i=1}^{m}xi , 转化为:\omega =\frac{\sum_{i=1}^{m}yi(xi-\bar{x})}{\sum_{i=1}^{m}(xi^{2}-xi\bar{x})}=

    \omega =\frac{\sum_{i=1}^{m}(yixi-yi\bar{x}-yi\bar{x}+\bar{x}\bar{y})}{\sum_{i=1}^{m}(xi^{2}-xi\bar{x}-xi\bar{x}+\bar{x}^{2})}=\frac{\sum_{i=1}^{m}(xi-\bar{x})(yi-\bar{y})}{\sum_{i=1}^{m}(xi-\bar{x})^{2}}

    x=(x1,x2,..,xm)^{T},x_{d}=(x1-\bar{x},x2-\bar{x},...,xm-\bar{x})^{T}为去除其均值后的x;

    y=(y1,y2,..,ym)^{T},y_{d}=(y1-\bar{y},y2-\bar{y},...,ym-\bar{y})^{T}为去除其均值后的y

    则   \omega =\frac{x_{d}^{T}y_{d}}{x_{d}^{T}X_{d}}

     3.2多元线性回归

            对于给定数据集\large D=\left \{ (x1,y1),(x2,y2),...,(xm,ym) \right \},更多的情形是样本由d个属性来描述,此时试图学得f(xi)=\omega ^{T}xi+b ,使得\large f(xi)\approx yi ,即为“多元线性回归”。

            与一元线性回归的研究方式相似,首先由最小二乘法导出损失函数E_{\hat{\omega }},再求解其中的参数,将两个参数吸收入向量·形式:\hat{\omega}=(\omega ;b)

     3.2.1最小二乘法导出E_{\hat{\omega }}

    对于f(xi)=\omega ^{T}xi+b,将b也处理成向量乘积的形式,从而简化后续的计算式复杂度,得到与一元回归中类似的形式:

    f(xi)=( \omega 1 \omega2 \omega 3... \omega _{d} \omega _{d+1})\begin{pmatrix} xi1\\ xi2\\ .\\ .\\ xid\\ 1\\ \end{pmatrix}则总体表达式可转化为f(\hat{x_{i}})=\hat{\omega ^{T}}\hat{x_{i}};

           由最小二乘法可得:E_{\hat{\omega }}=\sum_{i=1}^{m}(yi-f(\hat{xi}))^{2}=\sum_{i=1}^{m}(yi-\hat{\omega }^{T}\hat{xi})^{2}即为简化后的损失函数的表达方式。

    对损失函数的表达式进行向量化:

    3.2.2证明E_{\hat{\omega }}为凸函数

            在上述过程中,我们通过对损失函数的向量化,得到它的向量表达式E_{\hat{\omega }}=(y-X\hat{\omega })^{T}(y-X\hat{\omega }),若想证明其为凸函数,需要通过求取其标量对向量的偏导数,求取其海塞矩阵\bigtriangledown ^{2}E_{\hat{\omega }},并证明其半正定性(涉及到矩阵分析的内容):

     

    3.2.3求解未知数集合\hat{\omega}

          类比一元回归问题,利用凸函数的性质,求取\hat{\omega}的值:








    总结

           以上思路来源于《机器学习》这本书第三章的内容,一元线性回归和多元线性回归为本书中的重点内容,公式推导过程复杂但不难理解,条理清晰,需要耐心。内容仅代表个人的思路和理解,如有错误欢迎指正!

    展开全文
  • 1.一元函数与多元函数复合的情形 定理1:如果函数u=φ(t)u=\varphi (t)u=φ(t)及v=ψ(t)v=\psi(t)v=ψ(t)都在点t可导,函数z=f(u,v)z=f(u,v)z=f(u,v)在对应点(u,v)(u,v)(u,v)具有连续偏导数,那么复合函数z=f[φ(t),...

    多元复合函数不同的复合形式,分三种情形讨论。

    1.一元函数与多元函数复合的情形

    定理1:如果函数 u = φ ( t ) u=\varphi (t) u=φ(t) v = ψ ( t ) v=\psi(t) v=ψ(t)都在点t可导,函数 z = f ( u , v ) z=f(u,v) z=f(u,v)在对应点 ( u , v ) (u,v) (u,v)具有连续偏导数,那么复合函数 z = f [ φ ( t ) , ψ ( t ) ] z=f[\varphi(t),\psi(t)] z=f[φ(t),ψ(t)]在点t可导,且有
    d z d t = ∂ z ∂ u d u d t + ∂ z ∂ v d v d t (1) \frac{dz}{dt}=\frac{\partial z}{\partial u}\frac{du}{dt}+\frac{\partial z}{\partial v}\frac{dv}{dt} \tag{1} dtdz=uzdtdu+vzdtdv(1)
    用同样的方法,可把定理推广到复合函数的中间变量多于两个的情形。

    例如,设
    z = f ( u , v , w ) , u = φ ( t ) , v = ψ ( t ) , w = w ( t ) z=f(u,v,w),u=\varphi(t),v=\psi(t),w=w(t) z=f(u,v,w),u=φ(t),v=ψ(t),w=w(t)
    复合而得复合函数
    z = f [ φ ( t ) , ψ ( t ) , w ( t ) ] z=f[\varphi(t),\psi(t),w(t)] z=f[φ(t),ψ(t),w(t)]
    则在与定理相类似的条件下,这复合函数在点t可导,且其导数可用下列公式计算:
    d z d t = ∂ z ∂ u d u d t + ∂ z ∂ v d v d t + ∂ z ∂ w d w d t (2) \frac{dz}{dt}=\frac{\partial z}{\partial u}\frac{du}{dt}+\frac{\partial z}{\partial v}\frac{dv}{dt}+\frac{\partial z}{\partial w}\frac{dw}{dt} \tag{2} dtdz=uzdtdu+vzdtdv+wzdtdw(2)
    在公式(1)及公式(2)中的导数 d z d t \frac{dz}{dt} dtdz称为全导数。

    2. 多元函数与多元函数复合的情形

    定理2:如果函数 u = φ ( x , y ) u=\varphi(x,y) u=φ(x,y) v = ψ ( x , y ) v=\psi(x,y) v=ψ(x,y)都在点 ( x , y ) (x,y) (x,y)具有对x及对y的偏导数,函数 z = f ( u , v ) z=f(u,v) z=f(u,v)在对应点 ( u , v ) (u,v) (u,v)具有连续偏导数,那么复合函数 z = f [ φ ( x , y ) , ψ ( x , y ) ] z=f[\varphi(x,y),\psi(x,y)] z=f[φ(x,y),ψ(x,y)]在点 ( x , y ) (x,y) (x,y)的两个偏导数都存在,且有
    ∂ z ∂ x = ∂ z ∂ u ∂ u ∂ x + ∂ z ∂ v ∂ v ∂ x ∂ z ∂ y = ∂ z ∂ u ∂ u ∂ y + ∂ z ∂ v ∂ v ∂ y \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial y} xz=uzxu+vzxvyz=uzyu+vzyv
    类似地,设 u = φ ( x , y ) 、 v = ψ ( x , y ) u=\varphi(x,y)、v=\psi(x,y) u=φ(x,y)v=ψ(x,y) w = ω ( x , y ) w=\omega(x,y) w=ω(x,y)都在点 ( x , y ) (x,y) (x,y)具有对x及对y的偏导数,函数 z = f ( u , v , m ) z=f(u,v,m) z=f(u,v,m)在对应点 ( u , v , w ) (u,v,w) (u,v,w)具有连续偏导数,则复合函数
    z = f ( [ φ ( x , y ) , ψ ( x , y ) , ω ( x , y ) ] ) z=f([\varphi(x,y),\psi(x,y),\omega(x,y)]) z=f([φ(x,y),ψ(x,y),ω(x,y)])
    在点 ( x , y ) (x,y) (x,y)的两个偏导数都存在,且可用下列公式计算:
    ∂ z ∂ x = ∂ z ∂ u ∂ u ∂ x + ∂ z ∂ v ∂ v ∂ x + ∂ z ∂ w ∂ w ∂ x ∂ z ∂ y = ∂ z ∂ u ∂ u ∂ y + ∂ z ∂ v ∂ v ∂ y + ∂ z ∂ w ∂ w ∂ y \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial x}+\frac{\partial z}{\partial w}\frac{\partial w}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{\partial v}{\partial y}+\frac{\partial z}{\partial w}\frac{\partial w}{\partial y} xz=uzxu+vzxv+wzxwyz=uzyu+vzyv+wzyw

    3.其他情形

    定理3:如果函数 u = φ ( x , y ) u=\varphi(x,y) u=φ(x,y)在点 ( x , y ) (x,y) (x,y)具有对x及对y的偏导数,函数 v = ψ ( y ) v=\psi(y) v=ψ(y)在点y可导,函数 z = f ( u , v ) z=f(u,v) z=f(u,v)在对应点 ( u , v ) (u,v) (u,v)具有连续偏导数,那么复合函数 z = f [ φ ( x , y ) , ψ ( y ) ] z=f[\varphi(x,y),\psi(y)] z=f[φ(x,y),ψ(y)]在点 ( x , y ) (x,y) (x,y)的两个偏导数都存在,且有
    ∂ z ∂ x = ∂ z ∂ u ∂ u ∂ x ∂ z ∂ y = ∂ z ∂ u ∂ u ∂ y + ∂ z ∂ v d v d y \frac{\partial z}{\partial x}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial z}{\partial v}\frac{dv}{dy} xz=uzxuyz=uzyu+vzdydv
    上述情形实际上是情形2的一种特例,即在情形2中,如变量v与x无关,从而 ∂ v ∂ x = 0 \frac{\partial v}{\partial x}=0 xv=0;在v对y求导时,由于 v = ψ ( y ) v=\psi(y) v=ψ(y)是一元函数,故 ∂ v ∂ y \frac{\partial v}{\partial y} yv换成了 d v d y \frac{dv}{dy} dydv,这就得上述结果。

    在情形3中,还会遇到这样的情形:复合函数的某些中间变量本身又是复合函数的自变量。

    例如,设 z = f ( u , x , y ) z=f(u,x,y) z=f(u,x,y)具有连续偏导数,而 u = φ ( x , y ) u=\varphi(x,y) u=φ(x,y)具有偏导数,则复合函数 z = f [ φ ( x , y ) , x , y ] z=f[\varphi(x,y),x,y] z=f[φ(x,y),x,y]可看做情形2中当 v = x , w = y v=x,w=y v=x,w=y的特殊情形。

    因此
    ∂ v ∂ x = 1 , ∂ w ∂ x = 0 ∂ v ∂ y = 0 , ∂ w ∂ y = 1 \frac{\partial v}{\partial x}=1,\quad \frac{\partial w}{\partial x}=0 \\ \frac{\partial v}{\partial y}=0,\quad \frac{\partial w}{\partial y}=1 xv=1,xw=0yv=0,yw=1
    从而复合函数 z = f [ φ ( x , y ) , x , y ] z=f[\varphi(x,y),x,y] z=f[φ(x,y),x,y]具有对自变量x及y的偏导数,且有情形2的定理知
    ∂ z ∂ x = ∂ f ∂ u ∂ u ∂ x + ∂ f ∂ x ∂ z ∂ y = ∂ f ∂ u ∂ u ∂ y + ∂ f ∂ y \frac{\partial z}{\partial x}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial f}{\partial x} \\ \frac{\partial z}{\partial y}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial y}+\frac{\partial f}{\partial y} xz=ufxu+xfyz=ufyu+yf
    注意:这里 ∂ z ∂ x \frac{\partial z}{\partial x} xz ∂ f ∂ x \frac{\partial f}{\partial x} xf是不同的, ∂ z ∂ x \frac{\partial z}{\partial x} xz是把复合函数 z = f [ φ ( x , y ) , x , y ] z=f[\varphi(x,y),x,y] z=f[φ(x,y),x,y]中的y看做不变而对x的偏导数, ∂ f ∂ x \frac{\partial f}{\partial x} xf是把 f ( u , x , y ) f(u,x,y) f(u,x,y)中的u及y看做不变而对x的偏导数。 ∂ z ∂ y \frac{\partial z}{\partial y} yz ∂ f ∂ y \frac{\partial f}{\partial y} yf也有类似的区别。

    展开全文
  • 线性回归模型建模步骤 (一元线性回归、多元线性回归)
  • 跨文化交际一元时间&多元时间收集.pdf
  • 一. 函数极限方法: 等价代换, 洛必达法则, 泰勒公式, 导数定义, 拉格朗日中值定理注:$$x rightarrow 0时, x-sin x sim frac{1}{6} x^{3}, x-arcsin x sim-frac{1}{6} x^{3}, x-tan x sim-frac{1}{3} x^{3}$$$$x-...
  • 多元与一元认知

    2021-09-26 00:08:55
    多元认知如何形成一元认知的?即人们是如何把多种逻辑压入到一次逻辑推理过程中的呢?这是智能领域的研究梗!随之会衍生出了这样一些问题:人们是如何把多种态、势压入到一次感、知过程中的呢?人们是如...
  • matlab中包含多种回归、拟合函数,其中回归分为一元与多元线性回归,函数有polyfitregress。 1.一元线性回归之旧轿车价格案例 一元回归就是只有一个未知量,一个因变量,形如y=a*x+b的一次函数,已知数据xy,去...
  • 线性回归:LinearRegression 误差 真实值和预测值之间肯定存在的差异用ε表示,误差项越小越好。 yi=θTxi+ϵi(1)y^i=\theta^Tx^i+\epsilon^i(1)yi=θTxi+ϵi(1) 误差εi是独立并且具有相同分布,并且服从均值为0...
  • 一元函数梯度下降 例如:函数,起初在处,然后沿着梯度的反方向走,才最快达到最低点。公式为:,不断的迭代。 梯度下降的求解步骤: 1.设置初始位置 2.参数步长或者叫作学习率,最大迭代次数和阈值。 3..求损失...
  • 一元多元线性回归.doc
  • 第11章 一元线性回归 11.1 变量间关系的度量 变量之间的关系可分为两种类型,即函数关系和相关关系。其中,函数关系是一一确定的关系,给定一个自变量x,因变量y依确定的关系取相应的值;变量之间存在的不确定性的...
  • 变量间的关系分析 变量间的关系有两类,一类是变量间存在完全确定的关系,即函数关系(y=2x+1),另一类是变量间不存在完全的确定关系,不能用准确的数学公式来表示出来,这些变量间存在具有十分密切的关系,但是不能...
  • 一元回归及多元回归模型

    千次阅读 2021-11-18 11:23:27
    请研究使用时长(x)车辆市场价格(y)之间的关系。 分析 对于使用时长和市场价格之间的关系,首先应利用plot绘图函数进行数据点的刻画,结合所学知识进行初步判断,进行多项式拟合,并验证设想。 x=1:10; y=...
  • Python实现一元多元线性回归

    千次阅读 2021-05-08 15:19:20
    1.实现一元(或多元)线性回归 a. 根据对客观现象的定性认识初步判断现象之间的相关性 b. 绘制散点图 c. 进行回归分析,拟合出回归模型 d. 对回归模型进行检验—计算相关系数、异方差检验(散点图) e. 进行回归预测...
  • 一元线性回归分析预测法与多元回归分析报告.doc
  • 一元线性回归分析与多元线性回归分析比较PPT学习教案.pptx
  • 一阶二阶这类的词, 一是表达量化的程度, 二是表达逻辑系统多有表达能力. 我们一步步来, 首先是命题逻辑(很少部分人叫它作零阶逻辑). 在命题逻辑里, 每一个字母就代表一个命题, 所以命题逻辑只能表达句子之间的关系, ...
  • Excel关于求解一元多元线性回归方程图解详细.doc
  • java实现一元多元、对数、指数等拟合(最小二乘法拟合直线、曲线)
  • 这其实和高中学的最小二乘法一模一样,不过值得注意的是,这里的2其实是可以消去的,这对结果的影响不大,之所以保留是因为,方便之后求导所得的2消掉。 梯度下降法: 开始就说过,斜率和截距是要通过迭代计算求得...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,824
精华内容 5,529
关键字:

一元与多元的区别