精华内容
下载资源
问答
  • 一直对线性非线性没有很准确的定义认识,今天特意查了查,特此记录下。 怎样区分线性和非线性 1.线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数;  非线性non-line则指不按照比例...

    一直对线性非线性没有很准确的定义认识,今天特意查了查,特此记录下。

    怎样区分线性和非线性

    1.线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数;

       非线性non-line则指不按照比例不成直线关系,一节导数不为常数。

    2.线性可以认为是1次曲线,比如比如y=ax+b ,即成一条直线

        非线性可认为是2次以上的曲线,比如y=ax^2+bx+c,(x^2是x的2次方),即不为直线的即可。

    3.两个变量之间的关系是一次函数的关系图像是直线,这样的两个变量之间就是“线性关系”

       如果不是一次函数关系,图像不是直线,就是“非线性关系”。

    4.线性与非线性,常用于区别函数y = f (x)对自变量x的依赖关系。线性函数即一次函数,其图像为一条直线。其它函数则为非线性函数,其图像不是直线。

    5.在数学上,线性关系是指自变量x与因变量yo之间可以表示成y=ax+b ,(a,b为常数),即说x与y之间成线性关系。

      不能表示成y=ax+b ,(a,b为常数),即非线性关系,非线性关系可以是二次,三次等函数关系,也可能是没有关系。

    线性模型和非线性模型的区别

     误区

      1、线性和非线性的区别是是否可以用直线将样本划分开(这个观点是对的)

      2、和同学讨论到logistics模型是线性还是非线性的,很难理解!(logistics模型是广义线性模型)

      3、区分一下回归和分类问题,线性模型是可以用来曲线拟合(回归)的,但是线性模型模型的分类一定是一条直线的,例如logistics模型。

    线性模型和非线性模型区别

      1、线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型

      2、区分是否为线性模型,主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x,那么此模型为线性模型。或者判断决策边界是否是线性的

            3、举例

    ææ ·åºå线æ§åé线æ§_线æ§ä¸é线æ§çåºå«ï¼çº¿æ§åæã线æ§æ¨¡åï¼

    画出y和x是曲线关系,但是它是线性模型,因为x1*w1中可以观察到x1只被一个w1影响

    ææ ·åºå线æ§åé线æ§_线æ§ä¸é线æ§çåºå«ï¼çº¿æ§åæã线æ§æ¨¡åï¼

    此模型是非线性模型,观察到x1不仅仅被参数w1影响,还被w5影响,如果自变量x被两个以上的参数影响,那么此模型是非线性的!

     4、其实最简单判别一个模型是否为线性的,只需要判别决策边界是否是直线,也就是是否能用一条直线来划分

      神经网络是非线性

      虽然神经网络的每个节点是一个logistics模型,但是组合起来就是一个非线性模型。

      此处我们仅仅考虑三层神经网络

    ææ ·åºå线æ§åé线æ§_线æ§ä¸é线æ§çåºå«ï¼çº¿æ§åæã线æ§æ¨¡åï¼

     第一层的表达式

    ææ ·åºå线æ§åé线æ§_线æ§ä¸é线æ§çåºå«ï¼çº¿æ§åæã线æ§æ¨¡åï¼

     第二层的表达式

    ææ ·åºå线æ§åé线æ§_线æ§ä¸é线æ§çåºå«ï¼çº¿æ§åæã线æ§æ¨¡åï¼

    将第一层的表达式带入第二层表达式中,可以观察到x1变量不仅仅被w1影响还被k2影响,所以此模型不是一个线性模型,是个非线性模型。

     

    展开全文
  • 线性特征与非线性特征 “线性”与“非线性”是数学上的叫法。线性,指的就是两个变量之间成正比例的关系,在平面直角坐标系中表现出来,就是一条直线;而非线性指的就是两个变量之间不成正比,在直角坐标系中是曲线...

    一.线性特征与非线性特征

    • “线性”与“非线性”是数学上的叫法。线性,指的就是两个变量之间成正比例的关系,在平面直角坐标系中表现出来,就是一条直线;而非线性指的就是两个变量之间不成正比,在直角坐标系中是曲线而非直线,例如一元二次方程的抛物线、对数函数等等关系。一切不是一次函数的关系,都是非线性的
    • 线性特征:次数为1的特征。这些特征对结果的影响是满足加法原则的,即整体等于部分之和
    • 非线性特征:次数不是1的特征,如一些高维特征。这些特征不满足加法原则,例如在寒夜中一支火把给你体表温度的提升是1℃,但两支火把对你体表温度的提升或许不是2℃,而是1.5℃,此时,“火把数量”这个特征就不满足加法原则

    二.线性模型与非线性模型

    这是个见仁见智的问题,也就是说,它似乎没有一个确定的答案,因而我们不纠结于到底把这个模型称作“线性model”or“非线性model”,从这么僵化的论战里跳脱出来,好好掰扯一下这个问题:

    • 首先,我认为model终归是要解决实际问题的一种方法,而到底是选择线性还是非线性的model,最初还是要取决于我们的数据是线性可分还是线性不可分的,也就是说,在model是不是线性的之前,还有“问题(样本)是不是线性的”这样一个问题
      • 样本是否为线性可分这个问题就很简单了,线性可分,指的就是我们能够找到一条直线(或高维的超平面),将大多数样本完成分离,比如线性可分SVM;若样本线性不可分,则需要使用SVM的核函数对特征进行映射,将特征空间映射到高维空间中去,这时候就是线性不可分SVM了(我这个叫法似乎不太专业...)
    • 若我们的样本是线性可分的,那么我们直接使用线性model就可以解决分类问题,如LR。下图是LR的决策边界示意图:

    • 那么LR就是标准的线性模型咯?我觉得最好不要这样武断的去决断,因为若将特征映射到高维,LR也可以在二维平面绘制出曲线的决策边界,完成对在二维空间中线性不可分的样本的分类,如下图,LR的判别函数以及决策边界:

    •  所以我觉得,线性的model不一定非得是线性的,它可以通过一些方式将自己变成“非线性”model,例如非线性SVM使用核技巧对原始特征空间的映射、例如LR中引入高维的特征等等,我们毕竟很难说,加了核函数的SVM就不是SVM了吧?

    最后,我想简单聊一下如何增强已有模型的“非线性”能力,或者如何让自己的模型更具有分类非线性样本的能力(以下仅仅是个人理解,欢迎拍砖!)

    1. 我们可以向LR学习,将输出的线性结果进行一次非线性函数的转换,将线性结果变成非线性的。例如sigmoid函数。
    2. 我们可以向SVM的核函数学习,将特征空间向高维映射,在更高的维度上寻找分隔超平面,在原始特征维度上自然就是非线性的了。
    3. 第二条中的SVM核函数,尤其是rbf核,向高维的映射方式我们不清楚,理论上是可以将特征映射到无限维度上去。我们在处理实际问题时也可以自造高维特征,例如组合特征、单纯使用某个特征的二次方或高次方等等,这其实也是和核函数将原始特征空间向更高维映射的方法几乎是一个意思。sklean中的一些专门用于生成组合特征的方法,就在做类似的事情。总之,一切利用已有的特征,进行特征组合、one-hot编码等方式产生新组合的方式,都可以被看做是将特征向高维去映射的一个方法,导致的结果就是使样本更“线性可分”,从增加数据优良性质这个角度进行提升分类结果

     

    展开全文
  • 非线性是自然界复杂性的典型性质之一,那么你对非线性了解多少呢?什么是非线性非线性(non-linear),即 变量之间的数学关系,不是直线而是曲线、曲面、或不确定的属性,叫非线性非线性是自然界复杂性的典型性质之...

    14abb97ab0eb1803136286bb81181526.png

    非线性是自然界复杂性的典型性质之一,那么你对非线性了解多少呢?

    什么是非线性

    非线性(non-linear),即 变量之间的数学关系,不是直线而是曲线、曲面、或不确定的属性,叫非线性。非线性是自然界复杂性的典型性质之一;与线性相比,非线性更接近客观事物性质本身,是量化研究认识复杂知识的重要方法之一;凡是能用非线性描述的关系,通称非线性关系。

    狭义的非线性是指不按比例、不成直线的数量关系,无法用线性形式表现的数量关系,如曲线、曲面等。而广义上看,是自变量以特殊的形式变化而产生的不同于传统的映射关系,如迭代关系的函数,上一次演算的映射为下一次演算的自变量,显然这是无法用通常的线性函数描绘和形容的。很显然,自然界事物的变化规律不是像简单的函数图像,他们当中存在着并非一一对应的关系。如果说线性关系是互不相干的独立关系,那么非线性则是体现相互作用的关系,正是这种相互作用,使得整体不再是简单地全部等于部分之和,而可能出现不同于"线性叠加"的增益或亏损。

    线性与非线性的区别

    非线性是相对于线性而言的,是对线性的否定,线性是非线性的特例,所以要弄清非线性的概念,明确什么是非线性,首先必须明确什么是线性,其次对非线性的界定必须从数学表述和物理意义两个方面阐述,才能较完整地理解非线性的概念。

    ① 线性

    对线性的界定,一般是从相互关联的两个角度来进行的:其一,叠加原理成立:“如果ψlψ2是方程的两个解,那么aψl+bψ2也是它的一个解,换言之,两个态的叠加仍然是一个态。”叠加原理成立意味着所考察系统的子系统间没有非线性相互作用。其二,物理变量间的函数关系是直线,变量间的变化率是恒量,这意味着函数的斜率在其定义域内处处存在且相等,变量间的比例关系在变量的整个定义域内是对称的。

    ② 非线性

    在明确了线性的含义后,相应地非线性概念就易于界定:

    其一,“定义非线性算符N(φ)为对一些a、b或φψ不满足L(aφ+bψ)=aL(φ)+bL(ψ)的算符”,即叠加原理不成立,这意味着φψ间存在着耦合,对(aφ+bψ)的操作,等于分别对φψ操作外,再加上对φψ的交叉项(耦合项)的操作,或者φψ是不连续(有突变或断裂)、不可微(有折点)的。

    其二,作为等价的另一种表述,我们可以从另一个角度来理解非线性:在用于描述一个系统的一套确定的物理变量中,一个系统的—个变量最初的变化所造成的此变量或其它变量的相应变化是不成比例的,换言之,变量间的变化率不是恒量,函数的斜率在其定义域中有不存在或不相等的地方,概括地说,就是物理变量间的一级增量关系在变量的定义域内是不对称的。可以说,这种对称破缺是非线性关系的最基本的体现,也是非线性系统复杂性的根源。

    对非线性概念的这两种表述实际上是等价的,其一叠加原理不成立必将导致其二物理变量关系不对称;反之,如果物理变量关系不对称,那么叠加原理将不成立。之所以采用了两种表述,是因为在不同的场合,对于不同的对象,两种表述有各自的方便之处,如前者对于考察系统中整体与部分的关系、微分方程的性质是方便的,后者对于考察特定的变量间的关系(包括变量的时间行为)将是方便的。

    关于非线性概念需要强调的是,线性或非线性的提法是相对于物理变量而言的,也就是说,只有物理变量的关系才是判断是否是非线性的根据,而非物理变量的关系不能成为非线性与否的判据。这里所说的物理变量是指那些可以观测的、人们感兴趣的、对人类有意义的变量。例如分形理论中,简单分形的分维D是恒量,在无标度区间内lnN=DlnLlnNlnL是线性关系,但是显然不能籍此得出简单分形是线性的结论。这里的物理变量是NL,而不是经过对数变换的nNlnL,即人们可观测的、感兴趣的、对人们有意义的是NL,而不是lnNlnLNL的关系N=LD是非线性的,所以可得出分形是非线性的结论。再如,物价对时间的直接关系正是人们感兴趣的、对人们有意义的,而且两者的关系是非线性的,所以物价随时间的变化是一种非线性现象。

    非线性的性质

    非线性科学正处于发展过程之中,它所研究的各门具体科学中的非线性普适类,有已经形成的 (如混沌、分形、孤子),有正在形成的,还会有将要形成的,所以非线性的性质还没有完全呈现出来,这里也就不可能全面地讨论非线性的性质。下面仅从“非线性与线性的关系”、“非线性的物理机制”和“非线性与稳定性”三个方面作初步探讨。

    非线性与线性是相对而言的,两者是一对矛盾的概念,一方面两者在一定程度上可以相互转化,另一方面两者又存在本质区别,再者两者同时存在于—个系统中,规定着系统相应方面的性质。

    (1) 非线性与线性的密切联系

    首先,在数学上一些线性方程可转化为非线性方程来解。物理上的一些非线性问题,也可以通过数学变换而转化为线性方程来研究。如非线性的KdV方程通过散射反演方法化为线性的可积方程,从而求出了精确的解析解;一些非线性不强的问题,可用线性逼近方法将其转化为若干线性问题来求近似解,这是已在各门学科中广泛采用并相当有效的的方法。

    其次,在某些情况下,由方程得到的解析解并不能提供更多的信息,无助于更好地理解系统的行为,而从解的非线性形式中,我们却可以方便地得到所研究系统的重要性质。如:考虑这样一个简单方程:d2X/dt²+X=0,它的解是X=Acos(t)+Bsin(t),从这个非线性形式中,我们容易知道它是个周期函数,满足cos(t+2π)=cos(t),sin(t+2π)=sin(t)。而从cos(t)和sin(t)的解析形式中,极难证明其具有相应的周期性这一重要性质。所以,认为线性方程可以得到解析解, 非线性方程难以得到解析解,因而线性能给出比非线性更多的有用信息是不确切的。这意味着,对某些问题从非线性的角度考察不仅是可能的,而且有时也是必要的。

    所以,线性与非线性在一定程度上是可以相互转化的,这表明了线性与非线性之间有密切的联系。

    (2) 非线性与线性的本质区别

    非线性与线性虽然可以通过数学变换而相互转化,在数学上有一定的联系,但是在同一视角、同一层次、同一参照系下,非线性与线性又是有本质区别的。

    在数学上,线性函数关系是直线,而非线性函数关系是非直线,包括各种曲线、折线、不连续的线等;线性方程满足叠加原理,非线性方程不满足叠加原理;线性方程易于求出解析解,而非线性方程一般不能得出解析解。

    在物理上,近线性问题(它不是我们所说的非线性问题)可用线性逼近方法求出一定精确度的解,即依据具体问题对精确度的要求,逐次解出若干个线性问题,把它们叠加起来,就能得到很好的近似解。但是对于非线性问题,由于存有小参数发散及收敛慢等问题,线性逼近方法将失效,特别是对于高速运动状态、强烈的相互作用、长时间的动态行为等非线性很强的情况,线性方法将完全无能为力。线性逼近方法这些局限性,导致非线性方法的不可替代,在无法用线性方法处理的强非线性的地方,只能用非线性方法。线性逼近方法并非经常能奏效,这不光是方法论问题,也是自然观问题,自然界既有量变又有质变,在质变中, 自然界要经历跃变或转折,这是线性所不能包容的。

    (3) 非线性与线性在同一系统中的作用

    非线性与线性有一定的联系又有本质区别,它们常同时存在于一个系统之中,规定着系统不同侧面的性质,一个确定的系统,一般都同时具有线性和非线性两种性质:

    • 首先,在一个给定的非线性系统中,它的非线性性质决定它的平衡构造或说稳定机制是否存在,及存在的地方。
    • 其次,系统的线性性质决定着系统关于其平衡点(稳定结构)的小振动的规律,即系统在稳定点附近的线性展开性质。

    (来源:正脉科工CAE)

    展开全文
  • 饱和非线性和非饱和非线性

    千次阅读 2019-09-05 11:09:55
    饱和非线性 饱和的激活函数会将输出结果缩放到有限的区间: sigmoid激活函数的范围是[0, 1],所以它是饱和的 tanh激活函数的范围是[-1,1],所以它是饱和的。 非饱和非线性 非饱和的激活函数会将输出结果缩放到无穷...

    ImageNet Classification with Deep Convolutional Neural Networks第三节解释了他们使用的卷积神经网络架构。

    饱和非线性

    饱和的激活函数会将输出结果缩放到有限的区间:
    sigmoid激活函数的范围是[0, 1],所以它是饱和的
    在这里插入图片描述
    tanh激活函数的范围是[-1,1],所以它是饱和的。
    在这里插入图片描述

    非饱和非线性

    非饱和的激活函数会将输出结果缩放到无穷区间
    在这里插入图片描述
    对于ReLU激活函数f(x) = max(0, x),当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。
    在这里插入图片描述

    展开全文
  • 数据结构 线性 非线性Here you will learn about difference between linear and non linear data structure. 在这里,您将了解线性和非线性数据结构之间的区别。 Data structures are basically a way of storing...
  • 一、线性函数与非线性函数的区别 线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数; 非线性non-line则指不按照比例不成直线关系,一阶导数不为常数。 参考链接: 机器学习中的线性...
  • 线性与非线性

    万次阅读 2018-10-12 22:02:11
    一、怎样区分线性和非线性 1、线性linear指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;  非线性non-linear则指不按比例、不成直线的关系,一阶导数不为常数。 2、线性的可以认为...
  • 线性结构VS非线性结构

    千次阅读 2021-03-16 10:54:27
    线性结构 线性结构作为最常用的数据结构,其特点是数据元素之间存在一对一的线性关系 线性结构有两种不同的存储结构,即顺序存储结构和链式存储...非线性结构包括:二维数组,多维数组,广义表,树结构,图结构 ...
  • 多元函数拟合——最小二乘拟合多元函数最小二乘拟合1.1 多元函数线性回归三级目录1.2 多元函数1.3 非线性回归 多元函数最小二乘拟合 1.1 多元函数线性回归 三级目录 1.2 多元函数 1.3 非线性回归 ...
  • 线性和非线性解释: 线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动,在数学上可以理解为一阶导数为常数的函数。 非线性non-linear则指不按比例、不成直线的关系,代表不规则...
  • 线性关系 与 非线性关系

    万次阅读 2017-08-14 06:13:42
    非线性non-linear则指不按比例、不成直线的关系,代表不规则的运动和突变。 线性:指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数; 线性:指量与量之间按比例、成直线的关系,在...
  • 线性、非线性分类器&数据的线性、非线性 一、线性分类器:   有无数个可划分这两个线性可分类的超平面 在二维空间里面,一个线性分类器是一条线。图14.8展示了五个分类例子。这些线有一个函数形式w1x1­+...
  • 什么是线性和非线性 线性与非线性的区别

    万次阅读 多人点赞 2014-12-29 14:04:22
     非线性non-linear则指不按比例、不成直线的关系,一阶导数不为常数。 2. 线性的可以认为是1次曲线,比如y=ax+b ,即成一条直线  非线性的可以认为是2次以上的曲线,比如y=ax^2+bx+c,(x^2是x的2次方),即不...
  • 最优化理论·非线性最小二乘

    万次阅读 多人点赞 2017-02-24 10:20:53
    最优化理论·非线性最小二乘标签(空格分隔): 数学 非线性最小二乘问题是椭圆拟合中最易遇到的优化问题,本文主要对非线性二乘的基本分析做简单介绍 1. 什么是最小二乘问题目标函数能够写为m个函数平方和的优化...
  • 如何区分线性与非线性

    千次阅读 2020-09-15 19:49:21
    首先,你要分清,你有问题的是线性函数与非线性函数,还是线性模型和非线性模型。 我在二刷机器学习的学习视频时,发现我没有理解视频中说的线性模型是什么? 线性函数与非线性函数概念区分 线性函数:是指量与量...
  • matlab 万能实用的非线性曲线拟合方法

    万次阅读 多人点赞 2018-08-13 09:43:41
    在科学计算和工程应用中,经常会遇到需要拟合一系列的离散数据,最近找了很多相关的文章方法,在这里进行总结一下其中最完整、几乎能解决所有离散参数非线性拟合的方法   第一步:得到散点数据 根据你的实际...
  • 1.简介在Matlab中,fmincon函数可以求解带约束的非线性多变量函数(Constrained nonlinear multivariable function)的最小值,即可以用来求解非线性规划问题matlab中,非线性规划模型的写法如下2.基本语法[x,fval]=...
  • 线性系统和非线性系统

    千次阅读 2019-04-21 09:53:59
    一、线性和非线性的区别? 线形指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;飞线性则指不按比例、不成直线的关系代表不规则的运动和突变。 二、如何判断一个系统是线形还是非线性系统...
  • 本课程主要讲述如何使用python进行线性回归与非线性回归分析,包括: 基于statsmodel的线性回归方法 基于sklearn的线性回归方法 基于Numpy的一元多项式非线性回归方法 基于sklearn的多元多项式非线性回归方法 基于...
  • Matlab 线性拟合 非线性拟合

    千次阅读 2019-01-24 12:04:24
    Matlab 线性拟合 非线性拟合
  • 线性与非线性的理解

    2019-10-15 23:46:41
    1.问题的线性非线性 理解的区别:现有的样本点能否在输入空间上,用线性超平面区分; 2.模型的线性非线性 基础数学说,线性指变量之间的数值关系,即满足成比例。因此,变量之间的多项式、指数等关系都算是非线性。 ...
  • 非线性规划

    2019-01-10 11:01:40
    非线性规划 流程总图: 定义: 如果目标函数或者约束条件中至少有一个是非线性函数时的最优化问题叫非线性规划问题。 比如目标函数是 f(x)=kx+b x>9 线性规划 f(x)=xlogx x>9 非线性规划 线性规划 ...
  • 线性和非线性

    千次阅读 2018-12-12 11:00:27
    线性:一次函数(注意:不是指一元函数),在2维平面上是一条直线,在3维空间上是一张平面,更高维度就无法描述了。...非线性:高次函数 例如:  (一元二次函数)(在平面上是一条曲线)  (二元二次函数)(...
  • 数据结构中线性与非线性From a signalling perspective, the world is a noisy place. In order to make sense of anything, we have to be selective with our attention. 从信号的角度看,世界是一个嘈杂的地方。 ...
  • 非线性SVM

    2018-06-23 00:06:52
    非线性SVM与核函数 非线性分类问题 核技巧 非线性分类问题 用一个超曲面将正负例分开,但是非线性问题往往不好求解,所以将其转化为一个线性问题,通过非线性型变换: 将原空间的数据映射到新空间 在新...
  • 线性结构和非线性结构

    千次阅读 多人点赞 2019-01-11 14:04:59
    线性结构和非线性结构 线性结构是一个有序数据元素的集合。 其中数据元素之间的关系是一对一的关系,即除了第一个和最后一个数据元素之外,其它数据元素都是首尾相接的。 常用的线性结构有:线性表,栈,队列,双...
  • 线性规划和非线性规划的区别是: 1.1.目标或约束条件不同 线性规划目标和约束均为线性函数, 非线性规划目标或约束中存在非线性函数 1.2.最优解范围不同 如果最优解存在,线性规划只能存在可行域的边界上找到...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 62,613
精华内容 25,045
关键字:

非线性