精华内容
下载资源
问答
  • 正规方程

    2019-10-29 16:35:26
    一、什么是正规方程 二、正规方程的使用 三、不可逆情况 四、正规方程与梯度下降法的比较 一、什么是正规方程 梯度下降法计算参数最优解,过程是对代价函数的每个参数求偏导,通过迭代算法一步步更新,直到收敛...

    目录

    一、什么是正规方程

    二、正规方程的使用

    三、不可逆情况

    四、正规方程与梯度下降法的比较


    一、什么是正规方程

    梯度下降法计算参数最优解,过程是对代价函数的每个参数求偏导,通过迭代算法一步步更新,直到收敛到全局最小值,从而得到最优参数。

    正规方程是一次性求得最优解。

    思想:对于一个简单函数,对参数求导,将其值置为0,就得到参数的值。像下面这样:

                               

    现实例子有很多参数,我们要对这些参数都求偏导数,得到各个参数的最优解,也就是全局最优解。但是困难在于,这样做非常浪费时间。

    二、正规方程的使用

    举例如下:

                                          

    这里4个样本,以及4个特征变量x1,x2,x3,x4,观测结果是y,在列代价函数的时候,需要加上一个末尾参数x0,如下:

                                        

    再将特征参数保存在X矩阵中,对观测结果做同样的操作并保存在向量y中,如图:

                                         

    然后我们通过下面这个公式得出参数θ最优解。

                                                        

    关于这个式子推到:

                     

    对于一个训练样本的所有特征参数可以用x(i)向量来表示(注意x0(i)要加上) ,而设计矩阵就可以表示为X,是所有样本向量的转置,y是观测结果的向量,这样表示之后可以用上面那个公式直接计算Θ的最优解。

    三、不可逆情况

    注意到正规方程有一个求逆矩阵的过程,当矩阵不可逆,一般有两种原因:

    • 多余特征(线性相关)
    • 太多特征(例如:m≤n),解决办法:删除一些特征,或正则化

    其实,本质原因还是线性知识:

    首先,这是两个必要条件,

    根据性质:r(ATA) = r(A),ATA可逆性可转化为A的可逆性。

    第一种:实际上是线性相关的列向量,矩阵的秩 < 矩阵的维度,不可逆;

    第二种:

    • m < n时,也就是维度小于向量个数,在这里也就是样本数小于特征数,线性相关
    • m = n时,当|A| = 0时不可逆,|A| != 0时可逆

    四、正规方程与梯度下降法的比较

    梯度下降法:

    缺点:

    • 需要选择学习率α
    • 需要多次迭代

    优点:

    • 当特征参数大的时候,梯度下降也能很好工作

    正规方程:

    缺点:

    • 需要计算,计算量大约是矩阵维度的三次方,复杂度高。
    • 特征参数大的时候,计算缓慢

    优点:

    • 不需要学习率α
    • 不需要多次迭代

    总结:取决于特征向量的个数,数量小于10000时,选择正规方程;大于10000,考虑梯度下降或其他算法。

    展开全文
  • 正规方程参数推导

    2020-05-21 10:07:11
    正规方程

    正规方程
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 正规方程

    2018-11-27 17:08:00
    正规方程法是利用矩阵求解的 公式为θ=(X^TX)^-1X^Ty Octave:pinv(x'*x)*x'*y 正规方程法不需要特征缩放 设计矩阵 有m个样本(x^(1),y^(1)),.....,(x^(m),y^(m));n个特征 x(i) 的维度是n+1,向量里是n+1个的...

    正规方程法是利用矩阵求解的

    公式为θ=(X^TX)^-1X^Ty

    Octave:pinv(x'*x)*x'*y

    正规方程法不需要特征缩放

    设计矩阵

    有m个样本(x^(1),y^(1)),.....,(x^(m),y^(m));n个特征

    x(i) 的维度是n+1,向量里是n+1个的特征向量,X是m个x(i) 的转置矩阵

    对比一下正规方程法与梯度下降的优缺点

     

    梯度下降 正规方程

    优:当特征数量很多时

    也能很快的拟合好  

    优:不需要学习率α

    缺:需要学习率α

    为了找到合适的α

    需要运行很多次

    缺:如果特征n的的数量很大

    x的维度也会很大,需要很多

    时间来计算(XTX)-1

     

    当XTX不可逆时,我们首先可以查看所有的特征,看是否有特征线性相关,如果有,二者删齐一;然后看是否有太多的特征,可以选择一些不影响的特征删除

    转载于:https://www.cnblogs.com/fromzore/p/10027571.html

    展开全文
  • 正规方程法 问题:矩阵XTXX^TXXTX不可逆(奇异矩阵)的2种常见原因: 1、特征之间存在线性关系。如:x2=x1∗3.14x_2 = x_1 * 3.14x2​=x1​∗3.14,解决办法:删除一个 2、样本数量m小于等于特征数量n。解决办法:...

    正规方程法

    公式:hθ=θTxh_θ = θ^Txθ=(XTX)1XTyθ = (X^TX)^{-1}X^Ty

    问题:矩阵XTXX^TX不可逆(奇异矩阵)的2种常见原因:

    1、特征之间存在线性关系。如:x2=x13.14x_2 = x_1 * 3.14,解决办法:删除一个。
    2、样本数量m小于等于特征数量n。解决办法:正则化或者减少特征数量。

    python

    import pandas as pd
    import random
    import numpy as np
    import matplotlib.pyplot as plt
    
    def xita(data):
        y = np.matmul(data[['x0','x1','x2','x3','x4']].values.T,data[['x0','x1','x2','x3','x4']].values)
        i = np.matmul(np.matrix(y).I,data[['x0','x1','x2','x3','x4']].values.T)
        return np.matmul(i,data['y'].values.reshape(100,1))
    
    vectors_set = []
    for i in range(100):
        x0 = 1
        x1 = random.randint(1,10)
        x2 = random.randint(1,10)
        x3 = random.randint(1,10)
        x4 = random.randint(1,10)
        y = (0.6 + 0.3*x1 + 0.2*x2 + 0.5*x3 + 0.7*x4) + random.randint(-1,1)
        vectors_set.append([x0,x1,x2,x3,x4,y])
    data = pd.DataFrame(vectors_set,columns=['x0','x1','x2','x3','x4','y'])
    
    a = xita(data)
    a
    

    在这里插入图片描述

    在这里插入图片描述

    梯度下降法和正规方程法的选择

    正规方程法的时间复杂度是n3n^3,当特征超过10000个以上时,建议选择梯度下降法求解,当特征小于10000时,建议选择正规方程法求解。

    展开全文
  • 正规方程推导

    2019-11-24 11:06:23
    正规方程是通过求解下面的方程来找出使得代价函数最小的参数: 设有m个训练实例,每个实例有n个特征,则训练实例集为: 其中表示第i个实例第j个特征。 特征参数为: 输出变量为: 故代价函数为: ...
  • 正规方程

    2017-01-17 12:19:13
    正规方程组与梯度下降都是用来求参数的方法,梯度下降在上一篇博文中已经讲述过,下面来讲一下正规方程组。 首先,前提知识A是一个输入矩阵,,也就是对A中的每个元素求偏导,举例, 然后引入了矩阵的迹,,这是...
  • python解正规方程

    2018-11-06 18:20:13
    正规方程解出向量
  • 13、正规方程

    2021-04-13 15:31:01
    对于某些线性回归问题,正规方程方法是更好的解决方案。 在微积分中:通常如果要确定参数????的值,会求出对应的偏导,然后置零,解出???? 。 假设我们的训练集特征矩阵为 X(包含了 X0 = 1)并且我们的训练集结果为...
  • 正规方程推导详解

    2020-01-17 16:20:49
    当我们在求解梯度下降算法的时候,经常会用到正规方程来求解w的值,这个时候就用到正规方程来求解是最快的方法,但是正规方程又是怎么来的呢?我们来看看:首先我们设我们的损失函数为MSE train,那么这个时候我们只...
  • 正规方程证明

    2018-11-29 20:39:56
    正规方程是通过求解下面的方程来找出使得代价函数最小的参数: 设有m个训练实例,每个实例有n个特征,则训练实例集为: 其中表示第i个实例第j个特征。 特征参数为: 输出变量为: 故代价函数为: 进行求导,...
  • 正规方程回归算法Python实现 原始数据 假设关系为 y=3+x+2z ==== y=a+bx+cz 。。。 canshu=(bianliang.T*bianliang).I*bianliang.T*y #.T转置,.I逆矩阵,*矩阵相乘
  • 数据挖掘——正规方程拟合直线

    万次阅读 2020-05-21 07:45:37
    (1)请写出相应的正规方程。 (2)并通过求解正规方程来计算这3个点的最佳直线拟合。 二、实验目的 画出原始数据的散点图; 画出拟合的直线。 三、实验内容 1、首先对数据进行特征处理 2、然后求出...
  • python实现正规方程

    2020-02-16 16:53:45
    用python实现正规方程 我们需要使用numpy,这是一个很方便的数学运算库,没有的话可以打开cmd输入装一个 pip install numpy 然后我们只需要导入numpy import numpy as np 那么求解可逆矩阵的逆我们可以用 numpy....
  • 在某些情况中可以使用正规方程直接求θ的最优解。 正规方程的优缺点: 优点: 1.不需要指定学习速率α 2.不需要进行多次迭代 缺点: 1.由于正规方程需要求解(XTX)-1,所以当n很大(n>10000)时进行计算的速度会很...
  • 线性回归的正规方程

    千次阅读 2018-10-27 11:33:16
    线性回归的正规方程 本文阐述线性回归的正规方程推导过程,为满足广义性,采用多变量的线性回归代价函数进行推导。 多变量线性回归的梯度下降算法是用来求其代价函数最小值的算法,但是对于某些线性回归问题,可以...
  • 文章目录正规方程概述思路分析求解参数代码分析带入数据总结 正规方程概述     正规方程不同于线性回归,线性回归是基于梯度下降的参数优化,一步步逼近代价函数最小值,而正规方程则是基于...
  • 正规方程前言一、批量梯度下降(Batch Gradient Descent)1.算法介绍2.Python代码二、正规方程(Normal Equation)1.算法介绍2.Python代码三、二者比较 前言 对于求解线性回归问题,尤其是多变量线性回归,可以使用...
  • 文章目录正规方程方法梯度下降和正规方程的对比 正规方程方法 使用正规方程解法的时候注意矩阵不可逆的情况 用np.linalg.det()求解矩阵A的行列式|A|,如果行列式为0,不可逆,否则可逆。 import numpy as np ...
  • 对于某些线性回归的问题,除了用梯度下降,也可以用正规方程的方法。如: 对于上图,如果要求代价函数曲线的最低点,由高等数学的知识,可以令,而当是向量时,可以令。假设我们的训练集特征矩阵为X(包含了),...
  • 如何理解正规方程

    2019-02-09 18:34:32
    在理解线性回归时,我们提到了使用梯度下降来求解最小二乘问题,但在线性回归中,还有一种不需要迭代的方法来求解最小二乘问题,这就是正规方程。这是基于矩阵求导来及计算的 还是上次的数据 x = [[1, 1, 1, 1, 1]...
  • 机器学习-正规方程

    2019-10-31 16:34:41
    一、什么是正规方程 梯度下降法计算参数最优解,过程是对代价函数的每个参数求偏导,通过迭代算法一步步更新,直到收敛到全局最小值,从而得到最优参数。 正规方程是一次性求得最优解。 思想:对于一个简单函数,对...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,258
精华内容 503
关键字:

正规方程