精华内容
下载资源
问答
  • 8.线性回归之非线性回归

    千次阅读 2018-11-02 13:27:36
    起步 非线性回归是线性回归的延伸,线性就是每个变量的指数都是 1,而非线性就是至少有一个变量的指数不是 1。...通过变量代换,可以将很非线性回归转化为线性回归。比如目标函数假设是 y = ...

    起步

    非线性回归是线性回归的延伸,线性就是每个变量的指数都是 1,而非线性就是至少有一个变量的指数不是 1。生活中,很多现象之间的关系往往不是线性关系。选择合适的曲线类型不是一件轻而易举的工作,主要依靠专业知识和经验。常用的曲线类型有 幂函数,指数函数,抛物线函数,对数函数和S型函数 。

    化非线性回归为线性回归

    通过变量代换,可以将很多的非线性回归转化为线性回归。比如目标函数假设是 y = b0 + b1x + b2x^2 。那么另 z1 = x, z2 = x^2 。目标函数就变为 y = b0 + b1z1 + b2z2。就可以用线性回归来解方程了而用上一篇文章《线性回归之多元线性回归》就能解决线性回归的问题。常见的转化模型有:

    逻辑回归

    逻辑回归是(Logistic Regression)是非线性回归中的一种,在分类问题上有的也能采用逻辑回归分类。这是一个二分器。比如根据肿瘤的大小来判断其良性或恶性,线性方程显然不能够胜任了:

    逻辑回归模型中,先给定线性函数:

    虽然这边是 θ 表示,但其实和线性回归中 b 是一个意思,都是作为自变量的系数。在二分类器中,经常需要一个分界线作为区分两类结果。再次需要一个函数进行曲线平滑化,由此引入 Sigmoid 函数进行转化:

    这样,以0.5作为分界线。因此逻辑回归的最终目标函数就是:

    回归就是用来得到样本属于某个分类的概率。因此在分类结果中,假设y值是0或1,那么正例(y=1):

    反例(y=-1):

    回想起之前线性中用到的损失函数:

    我们的目标很明确,就是找到一组 θ ,使得我们的损失函数 J(θ) 最小。最常用的求解方法有两种:梯度下降法( gradient descent ), 牛顿迭代方法( Newton's method)。两种方法都是通过迭代求得的数值解,但是牛顿迭代方法的收敛速度更加快。牛顿迭代方法在此不介绍。

     注:如果在逻辑回归中运用这种损失函数,得到的函数J是一个非凸函数,存在多个局部最小值,很难进行求解,因此需要换一个 COST 函数。重新定义个cost函数如下:

    梯度下降求解逻辑回归

    这就好比是下山,下一步的方向选的是最陡的方向。梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解。当然,如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解。θ 的更新方程如下:

    其中偏导数是:

    如果将 θ 视为矩阵,可以进行批量更新:

     

    展开全文
  • 机器学习(三)线性回归模型、广义线性回归模型、非线性回归模型   线性回归(数据集要满足正态分布) 一元线性回归模型: 在这里会想到,如何确定方程中的系数呢?我们先来了解最小二乘法,简单来说就是这个点...

    机器学习(三)线性回归模型、广义线性回归模型、非线性回归模型

     

    线性回归(数据集要满足正态分布)

    一元线性回归模型:

    在这里会想到,如何确定方程中的系数呢?我们先来了解最小二乘法,简单来说就是这个点作y轴的平行线与直线相交,那一段y值的平方求和起来最小就是了

    那我们怎么求呢?在这之前大家先要了解一些偏导数的知识

    为了方便大家理解,举一个通俗易懂的例子

     

    多元线性回归模型

    也就是一元线性回归是一个因素的,多元的话有多个因素建模,当考虑的因素为2个的话,还可以用三维坐标查看,因素多的话就不太好画出来了

    使用的方法还是最小二乘法,还是偏导数,不过不像一元线性回归那样是二元一次方程组了,变为m+1元一次方程组

     

    虚拟变量

    在我们多元线性回归模型的时候,可能会遇到非连续性的变量,这下我们该怎么办??

    比如,性别男和女,不可能就用0,1来直接扔进去模拟(简单来说就是分情况,针对不同情况模拟当然模拟效果就会好一点)

    介绍一下哑变量(虚拟变量):

    为了简便,现在模型的维度就有因变量销售额,自变量性别,单价

    • 相加模型(只影响截距项)

    把性别的男女,新增两个变量

    性别,单价---->单价(h),isman,iswoman

    y=a+bh+c*isman+d*iswoman

    只影响截距的意思,分多种情况拟合出来的,得出来的不同情况模型永远是平行的

     

    • 乘法模型(只影响斜率)

    性别,单价---->单价(h),isman*单价,iswoman*单价

    y=a+c*isman*h+d*iswoman*h

     

    • 混合模型(都影响)

    性别,单价---->单价(h),isman*单价,iswoman*单价,isman,iswoman

    y=a+c*isman*h+d*iswoman*h+e*isman+f*iswoman

     

    线性回归会遇到以下的问题

    • 对于多元线性回归如何选取变量?

    逐步回归(这种方法不是很好,Lasso会比较好)

    里面的指标指的是什么指标呢?

     

    怎么评价我们模拟的模型好不好呢?需要回归诊断

     样本是否符合正态分布假设?

    R语言里面有专门的函数


     是否存在离群值导致模型产生较大误差?

    作图观察剔除


     线性模型是否合理?误差是否满足独立性、等方差、正态分布等假设条件?


     是否存在多重共线性?

     

    广义线性回归模型

    常见的广义线性回归

    逻辑回归

    上面的例题利用逻辑回归我们算得

     

    非线性回归模型

    • 对数法
    • 指数法
    • 幂函数法
    • 多项式回归模型

     

    展开全文
  • Matlab与1stOpt多元非线性回归

    千次阅读 2020-10-29 21:08:46
    Matlab与1stOpt多元非线性回归,其中1stOpt无需设置初始值。


    使用Matlab和1stOpt对 y = b1 * x1b2 * x2b3 * x3b4 进行拟合。


    1 Matlab多元非线性回归

    Matlab常使用nlinfit函数进行多元非线性回归,主要语法:beta = nlinfit(X, Y, modelfun, beta0),其中,X为预测变量,Y为响应值,modelfun为指定的模型,beta0为参数初始值。其中,beta0对参数beta的估计起到很重要的作用,直接影响beta的优劣。

    Matlab中,首先构造modelfun = ‘beta(1) .* X(:,1) .^ beta(2) .* X(:,2) .^ beta(3) .* X(:,3) .^ beta(4)’,以及beta0,然后使用beta = nlinfit(X, Y, mymodel, beta0)语句求解,结果为:
    [1.125319074808870e-11; 0.206682275666316; 9.346992572477125; -0.713319766492658],R值为0.849547658794089。


    2 1stOpt多元非线性回归

    为了避免初始值对beta估计的影响,可以使用1stOpt软件进行估计,需要试用版软件可以下载1stOpt试用版本安装包及操作手册或者在评论区留下联系方式,不过试用版本的参数不得超过4个。
    多元非线性回归,使用1stOpt的编码很简单:

    在这里插入图片描述

    Parameter b1, b2, b3, b4;
    Variable x1, x2, x3, y;
    Function y=b1*x1^b2*x2^b3*x3^b4;
    Data;
    //x1	x2   	x3     	y
    3673831.01000000	39.5763140000000	74.3562590000000	12700.0100000000
    2897388.01000000	39.6674820000000	112.371992000000	5200.01000000000
    2357076.01000000	40.3692350000000	95.2484480000000	9000.01000000000
    769326.010000000	39.4360980000000	133.780490000000	13100.0100000000
    //...共计693条数据
    

    只需定义好参数名,变量名,方程模型以及数据,完场上述后运行,在结果栏进行查看。最重要的是,多元非线性回归中无需设置初始值。
    在这里插入图片描述

    展开全文
  • 通过SPSS软件在人口预测的应用,讲述非线性回归分析的步骤,图文并茂。
  • 非线性回归结果分析

    千次阅读 2020-02-08 17:56:40
    但是,在非线性回归中,每个参数的正确原假设值取决于预期函数以及参数在预期函数中的位置。 步骤 3:确定模型对数据的拟合优度 要确定模型对数据的拟合优度,请检查模型汇总表和失拟表中的统计量。 S 使用 S...

    最近发现一个特别好用的统计软件——minitab
    在他的帮助文档中,很好的总结了如何比较拟合结果的好坏
    以下为具体网址:https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/how-to/nonlinear-regression/interpret-the-results/key-results/#step-3-determine-how-well-the-model-fits-your-data
    我们在非线性和线性拟合后,会得到残差平方和、决定系数R方等等,之前我一直用前两个来比较拟合优度,但是对于不同的拟合方程,他们的残差平方和也不同。当我们确定一个线性模型与数据的吻合程度时,几乎会将所有注意力集中在R-squared上。但是,以前我曾经说过R-squared被高估了。下面会提供一些其他的方法。

    简单概述概述一下。
    在此之前需要明白几个术语:
    其他参数见网址:(https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/how-to/fitted-line-plot/methods-and-formulas/methods-and-formulas/
    响应变量:因变量y
    预测变量:自变量x
    回归标准误差(S):S表示的是观测值到回归线的平均距离,简单的说 ,它告诉你使用回归模型预测响应变量的平均误差。S越小,模型越好,因为它表明,观察值更接近拟线。
    (https://img-blog.csdnimg.cn/20200208173014492.png)
    转自:https://zhuanlan.zhihu.com/p/42074332

    ———————————————————————————————————————————————

    解释非线性回归的主要结果

    目录:

    步骤 1:确定回归线是否与数据拟合
    步骤 2:检查预测变量与响应变量之间的关系
    步骤 3:确定模型对数据的拟合优度
    步骤 4:确定模型是否符合分析的假设条件

    步骤一:确定回归线是否与数据拟合

    如果非线性模型包含一个预测变量,Minitab 会显示拟合线图来表明响应和预测变量数据之间的关系。该图包含回归线,代表回归方程。您可以选择在图中显示 95% 的置信区间和预测区间。

    评估模型与数据的拟合优度以及模型是否符合您的目标。检查拟合线图来确定是否符合下列标准:
    1、具有足够多的观测值来进行拟合
    2、模型与数据中的任何弯曲正确拟合。要确定最佳模型,请在数据包含仿行的情况下,检查图、回归标准误 (S) 以及失拟检验。
    3、查找任何异常值,这些值可能对结果产生较强的效应。尝试确定导致任何异常值的原因。更正任何数据输入错误或测量误差。考虑删除与异常的单次事件(也称为特殊原因)相关联的数据值。然后,重新执行分析。有关检测异常值的更多信息,请转到异常观测值(https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/supporting-topics/model-assumptions/unusual-observations/

    步骤 2:检查预测变量与响应变量之间的关系

    回归方程是回归线的代数表示。将每个预测变量的值输入方程可计算平均响应值。与线性回归不同,非线性回归方程可以采取多种不同形式。

    例如:
    方程
    膨胀系数 = (1.07764 - 0.122693 * 开尔文温度 + 0.00408638 * 开尔文温度 ** 2 -
    1.42627e-006 * 开尔文温度 ** 3) / (1 - 0.00576099 * 开尔文温度 +
    0.000240537 * 开尔文温度 ** 2 - 1.23144e-007 * 开尔文温度 ** 3)
    主要结果:方程
    在这些结果中,存在一个预测变量和七个参数估计值。响应变量是膨胀量,预测变量是开尔文温度。这个冗长的方程描述了响应变量和预测变量之间的关系。开尔文温度每提高一度对于铜膨胀的影响高度取决于起始温度。变化的温度对铜膨胀的影响作用不太容易总结。请评估拟合线图来查看预测变量和响应变量之间的关系。
    如果向方程中输入开尔文温度值,结果为铜膨胀的拟合值

    如果需要确定参数估计值是否在统计意义上显著,请使用参数的置信区间。如果此范围不包含原假设值,则参数的统计意义显著。Minitab 无法计算非线性回归中参数的 p 值。对于线性回归,每个参数的原假设值均为 0(没有效应),而且 p 值以此值为基础。但是,在非线性回归中,每个参数的正确原假设值取决于预期函数以及参数在预期函数中的位置。

    步骤 3:确定模型对数据的拟合优度

    要确定模型对数据的拟合优度,请检查模型汇总表和失拟表中的统计量。

    S
    使用 S 可评估模型描述响应值的程度。

    S 以响应变量的单位进行度量,它表示数据值与拟合值的距离。S 值越低,模型描述响应的程度越高。但是,自身低 S 值并不表明模型符合模型假设。您应检查残差图来验证假设。

    失拟
    当数据包含仿行时,Minitab 会自动显示失拟表。仿行是多个具有相同预测变量值的观测值。如果您的数据不包含仿行,那么不可能计算执行此检验所需的纯误差。仿行的不同响应值代表纯误差,因为只有随机变异可以导致观测响应值之间的差异。

    要确定模型是否正确地指定响应与预测变量之间的关系,请将失拟检验的 p 值与显著性水平进行比较以评估原假设。失拟检验的原假设声明模型正确指定了响应与预测变量之间的关系。通常,显著性水平(用 alpha 或 α 表示)为 0.05 即可。显著性水平 0.05 指示在模型正确指定响应与预测变量之间的关系时得出模型未正确指定此关系的风险为 5%。
    P 值 ≤ α:失拟在统计意义上显著
    如果 p 值小于或等于显著性水平,则得出模型未正确指定关系的结论。要改善模型,可能需要添加项或者变换数据。
    P 值 > α:失拟在统计意义上不显著
    如果 p 值大于显著性水平,则检验不检测任何失拟。

    步骤 4:确定模型是否符合分析的假设条件

    使用残差图可帮助您确定模型是否适用并符合分析的假设。如果不符合此假设,则模型可能无法充分拟合数据,在解释结果时应当格外小心。
    此处具体内容见网址(https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/how-to/nonlinear-regression/interpret-the-results/all-statistics-and-graphs/residual-plots/

    展开全文
  • Python实现多元线性回归

    万次阅读 多人点赞 2018-04-12 21:39:25
    Python实现多元线性回归 线性回归介绍 线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w'x+e,e为误差服从均值为0的...
  • MATLAB用regress作多元非线性回归

    万次阅读 2011-06-09 09:53:00
    在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。...因此多元线性回归比一元线性回归的实用意义更大。  很久没有用MATLAB了,今天在http://www.mathworks.com/help/toolbox/stats/regress.html
  • 非线性回归 当神经网络不是一层的时候,就需要对每一层的输出加一个激活函数,将输出进行非线性的映射,否则不论网络有多少层,线性的变换永远可以视为一次线性的变换,不能解决复杂问题 激活函数 看神经网络中的一...
  • 1 单因素试验的方差分析 2 双因素试验的方差分析 3 一元线性回归 4 多元线性回归
  • matlab实现一元线性回归和多元线性回归

    万次阅读 多人点赞 2018-01-30 10:58:46
    事实上,一种现象常常是与因素相联系的,由个自变量的最优组合共同来预测或估计因变量,比只用一个自变量进行预测或估计更有效,更符合实际。  在实际经济问题中,一个变量往往受到个变量的影响。例如,...
  • 线性回归

    2016-03-01 15:56:29
    线性回归问题
  • 多项式回归是独立x变量和因果y变量之间的非线性关系。 当我们分析有一些弯曲的波动数据时,拟合这种类型的回归是很关键的。 在这篇文章中,我们将学习如何在R中拟合和绘制多项式回归数据。我们在这个回归模型中使用...
  •  前面一篇中学习了单变量的线性回归模型,那么自然就会想到变量线性回归模型,以及非线性模型。这篇我们就学习。  其实,前面的单变量,顾名思义就是样本的特征只有1个,那么变量就是样本的特征有个。同样...
  • 线性回归与逻辑回归

    万次阅读 多人点赞 2016-06-06 17:04:28
    对于连续值预测有线性回归等,而对于离散值/类别预测,我们也可以把逻辑回归等也视作回归算法的一种。  线性回归与逻辑回归是机器学习中比较基础又很常用的内容。线性回归主要用来解决连续值预测的问题,逻辑回归...
  • 线性回归问题

    2015-08-28 10:37:12
    今天在阅读机器学习线性回归问题时,作为一个初学者产生了很疑问。我下面将我的一些思考总结如下,并不是从方法推导和技术使用角度来解析,只是从基础概念上进行一些深度理解: 线性回归模型为:$f(x)=\sum_{j=1...
  • 变量线性回归 原理

    千次阅读 2014-06-27 17:47:56
    也是一个预测房价的例子,但不同的是,影响房价的因素不止是房子的大小,还引入卧室数量(number of bedrooms),走廊数量(number of floors),房子年龄(years),共4个变量。可以用一个向量的形式来表示训练集中的每个...
  • 前面几节都是监督学习方面的算法,监督学习是指有目标变量或预测目标的机器学习方法,回归与分类的不同,就在于其目标变量是连续...本节将从最简单的一元线性回归开始,然后是多元,逐次深入, 下面就开始介绍线...
  • 4、spss做多元线性回归

    千次阅读 2015-04-15 15:19:34
    回归一直是个很重要的主题...回归主要包括线性回归,非线性回归以及分类回归。本文主要讨论多元线性回归(包括一般多元回归,含有虚拟变量的多元回归,以及一点广义差分的知识)。请大家不要觉得本人偷奸耍滑,居然只有
  • 线性回归模型

    2020-03-25 13:37:46
    线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = w’x+e,e为误差服从均值为0的正态分布。 回归分析中,只包括一个自变量和一...
  • 多元线性回归的基础理解

    万次阅读 多人点赞 2018-11-19 01:09:28
    多元线性回归  Multivarate Linear Regression ...现在,我们讨论线性回归的另一种更加强大的版本,那就是可以使用个变量或者个特征。 我们之前开发的线性回归仅能处理单一的特征x,也就是房子的面积...
  • 以下是转载JerryLead博主的,链接为... 对线性回归,logistic回归和一般回归的认识  【转载时请注明来源】:http://www.cnblogs.com/jerrylead  JerryLead  20
  • 方差分析和回归分析是在数理统计学中应用很广泛的分支。 本篇博文介绍单因素试验的方差分析及一元正态线性回归
  • 从这篇博客开始将介绍机器学习中的比较重要的内容——回归,期间会穿插着涉及到的知识点,如正则化。本篇是回归大家族中最简单的一种——线性回归,采用最小二乘法来求得最优解。
  • SPSS线性回归分析回归分析一、线性模型(针对连续因变量,线性关系)(一)简单线性回归(一元线性回归)1、绘制散点图2、建立简单(一元)线性回归模型3、建立模型后,检查预测结果(二)多重回归分析1、绘制矩阵...
  • 一般线性模型和线性回归模型Interpretability is one of the biggest challenges in machine learning. A model has more interpretability than another one if its decisions are easier for a human to ...
  • 入门机器学习(二)--变量线性回归

    千次阅读 2019-04-15 22:59:09
    变量线性回归的假设函数可以表示为: 对上式进行简化,另x0=1,则特征矩阵X以及系数矩阵θ可以表示为: 则假设函数可以被表示为: 2. 多元梯度下降法 假设函数为: 其中x0=1 代价函...
  • 线性回归算法

    千次阅读 2018-09-09 22:08:38
    线性回归 什么是线性回归 如果我们能够建立了回归背后的数学模型,我们便可以根据输入变量来预测输出量。这个数学模型就是回归方程,里面的系数就是回归系数。求解这些回归系数的过程就是回归。 一元线性回归 ...
  • 线性回归分析

    千次阅读 2014-09-29 16:19:48
    简单线性回归模型描述了两个变量x和y之间的关系,用以下方程表示。θ0  和θ1 为参数,ξ为误差。 y=θ0 +θ1 x + ξ 如在数据集MASS cats中,它包含了两个随机变量Bwt和Hwt的样本数据,主要描述成年雄猫和雌猫的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,156
精华内容 7,262
关键字:

多因素非线性回归