精华内容
下载资源
问答
  • 通俗理解线性回归(一)

    万次阅读 多人点赞 2018-08-29 22:04:03
    假设线性回归是个黑盒子,那按照程序员的思维来说,这个黑盒子就是个函数,然后呢,我们只要往这个函数传一些参数作为输入,就能得到一个结果作为输出。那回归是什么意思呢?其实说白了,就是这个黑盒子输出的结果是...

    本人已经打算将这一系列博文做成动画趣味科普的形式来呈现,感兴趣的话可以点这里

    #0 什么是回归?
    假设线性回归是个黑盒子,那按照程序员的思维来说,这个黑盒子就是个函数,然后呢,我们只要往这个函数传一些参数作为输入,就能得到一个结果作为输出。那回归是什么意思呢?其实说白了,就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢?非常简单,举个栗子:比如我告诉你我这里有间房子,这间房子有40平,在地铁口,然后你来猜一猜我的房子总共值多少钱?这就是连续值,因为房子可能值80万,也可能值80.2万,也可能值80.111万。再比如,我告诉你我有间房子,120平,在地铁口,总共值180万,然后你来猜猜我这间房子会有几个卧室?那这就是离散值了。因为卧室的个数只可能是1, 2, 3,4,充其量到5个封顶了,而且卧室个数也不可能是什么1.1, 2.9个。所以呢,对于ML萌新来说,你只要知道我要完成的任务是预测一个连续值的话,那这个任务就是回归。是离散值的话就是分类。(PS:目前只讨论监督学习)

    #1 线性回归
    OK,现在既然已经知道什么是回归,那现在就要来聊一聊啥叫线性。其实这玩意也很简单,我们在上初中的时候都学过直线方程对不对?来来来,我们来回忆一下直线方程是啥?
    y=kx+by=kx+b
    喏,这就是初中数学老师教我们的直线方程。那上过初中的同学都知道,这个式子表达的是,当我知道k(参数)和b(参数)的情况下,我随便给一个x我都能通过这个方程算出y来。而且呢,这个式子是线性的,为什么呢?因为从直觉上来说,你都知道,这个式子的函数图像是条直线。。。。从理论上来说,这式子满足线性系统的性质。(至于线性系统是啥,我就不扯了,不然没完没了)那有的同学可能会觉得疑惑,这一节要说的是线性回归,我扯这个low逼直线方程干啥?其实,说白了,线性回归无非就是在N维空间中找一个形式像直线方程一样的函数来拟合数据而已。比如说,我现在有这么一张图,横坐标代表房子的面积,纵坐标代表房价。
    这里写图片描述
    然后呢,线性回归就是要找一条直线,并且让这条直线尽可能地拟合图中的数据点。
    那如果让1000个老铁来找这条直线就可能找出1000种直线来,比如这样
    这里写图片描述
    这样
    这里写图片描述
    或者这样
    这里写图片描述
    喏,其实找直线的过程就是在做线性回归,只不过这个叫法更有逼格而已。。。

    #2 损失函数
    那既然是找直线,那肯定是要有一个评判的标准,来评判哪条直线才是最好的。OK,道理我们都懂,那咋评判呢?其实简单的雅痞。。。只要算一下实际房价和我找出的直线根据房子大小预测出来的房价之间的差距就行了。说白了就是算两点的距离。当我们把所有实际房价和预测出来的房价的差距(距离)算出来然后做个加和,我们就能量化出现在我们预测的房价和实际房价之间的误差。例如下图中我画了很多条小数线,每一条小数线就是实际房价和预测房价的差距(距离)
    这里写图片描述
    然后把每条小竖线的长度加起来就等于我们现在通过这条直线预测出的房价与实际房价之间的差距。那每条小竖线的长度的加和怎么算?其实就是欧式距离加和,公式如下。(其中y(i)表示的是实际房价,y^(i)表示的是预测房价)
    这里写图片描述
    这个欧氏距离加和其实就是用来量化预测结果和真实结果的误差的一个函数。在ML中称它为损失函数(说白了就是计算误差的函数)。那有了这个函数,我们就相当于有了一个评判标准,当这个函数的值越小,就越说明我们找到的这条直线越能拟合我们的房价数据。所以说啊,线性回归无非就是通过这个损失函数做为评判标准来找出一条直线。

    刚刚我举的例子是一维的例子(特征只有房子大小),那现在我们假设我的数据中还有一个特征是楼间距,那图像可能就是酱紫了。
    这里写图片描述
    从图我们可以看得出来,就算是在二维空间中,还是找一条直线来拟合我们的数据。所以啊,换汤不换药,损失函数还是这个欧式距离加和。
    这里写图片描述


    先写到这里,因为如果篇幅太长,对于萌新来说不太友好,而且后面想用人话来聊聊线性回归的正规方程解,所以先蓄个力。

    展开全文
  • 线性代数知识汇总

    万次阅读 多人点赞 2016-11-27 16:27:57
    1. 线性代数知识图谱 线性代数是代数学的一个分支,主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。例如,在解析几何里,平面上直线的方程是二元一次方程;空间平面的方程是三元一次...

    1.  线性代数知识图谱

    线性代数是代数学的一个分支,主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形来表达的。例如,在解析几何里,平面上直线的方程是二元一次方程;空间平面的方程是三元一次方程,而空间直线视为两个平面相交,由两个三元一次方程所组成的方程组来表示。含有 n个未知量的一次方程称为线性方程。变于关量是一次的函数称为线性函数线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。

     

    线性(linear)指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数常数的函数

    非线性(non-linear)则指不按比例、不成直线的关系,一阶导数不为常数。

    行列式非零\Leftrightarrow矩阵可逆\Leftrightarrow方阵满秩\Leftrightarrow向量组满秩(向量个数等于维数)

     

     

     

     

     

    2. 行列式

    2.1 定义

          矩阵的行列式,determinate(简称det),是基于矩阵所包含的行列数据计算得到的一个标量。是为求解线性方程组而引入的

    2.2 二阶行列式

          计算方式:对角线法则

          

    2.3 三阶行列式

          计算方式:对角线法则

          

    2.4 n阶行列式

    2.4.1 计算排列的逆序数

             

    2.4.2 计算n阶行列式

          

    2.4.3 简化计算总结

    2.4.4 行列式的3种表示方法

    2.5 行列式的性质

    性质1  行列式与它的转置行列式相等
           注:行列式中行与列具有同等的地位,行列式的性质凡是对行成立的对列也同样成立.

    性质2  互换行列式的两行(列),行列式变号
    推论  如果行列式有两行(列)完全相同,则此行列式为零

    性质3  行列式的某一行(列)中所有的元素都乘以同一个倍数k,等于用数k乘以此行列式.
    推论    行列式的某一行(列)中所有元素的公因子可以提到行列式符号的外面.

    性质4  行列式中如果有两行(列)元素成比例,则此行列式为零.

    性质5  若行列式的某一列(行)的元素都是两数之和,则等于对应的两个行列式之和.

    性质6  把行列式的某一列(行)的各元素乘以同一个倍数然后加到另一列(行)对应的元素上去,行列式不变.

    2.6 计算行列式的方法

         1)利用定义
         2)利用性质把行列式化为上三角形行列式,从而算得行列式的值

     

        定理中包含着三个结论:
           1)方程组有解;(解的存在性) 
           2)解是唯一的;(解的唯一性)
           3)解可以由公式(2)给出.

    定理4   如果线性方程组(1)的系数行列式不等于零,则该线性方程组一定有解,而且解是唯一的 .
    定理4′ 如果线性方程组无解或有两个不同的解,则它的系数行列式必为零.

    齐次线性方程组的相关定理
    定理5   如果齐次线性方程组的系数行列式D不等于0,则齐次线性方程组只有零解,没有非零解.
    定理5′ 如果齐次线性方程组有非零解,则它的系数行列式必为零.   

    1. 用克拉默法则解线性方程组的两个条件
        1) 方程个数等于未知量个数;
        2) 系数行列式不等于零.

    2. 克拉默法则的意义主要在于建立了线性方程组的解和已知的系数以及常数项之间的关系.它主要适用于理论推导.

    2.8 行列式按行(列)展开

          对角线法则只适用于二阶与三阶行列式.
          本节主要考虑如何用低阶行列式来表示高阶行列式.

     

     

    3. 矩阵

    3.1 矩阵的定义

    3.1.1 矩阵与行列式的区别

     

     

    3.2 特殊矩阵

     

    3.3 矩阵与线性变换

    3.4 矩阵的运算

    3.4.1 矩阵的加法

     

    行列式与矩阵加法的比较:

     

    3.4.2 数乘矩阵

     

    3.4.3 矩阵与矩阵相乘

    3.4.4 矩阵的转置

     

    反对称矩阵(skew symmetric matrix)

    3.4.5 方阵的行列式

    3.4.6 伴随矩阵

    3.4.7 共轭矩阵

     

    3.5 可逆矩阵(或称非奇异矩阵)

    3.6 矩阵分块法

    分块矩阵不仅形式上进行转置,而且每一个子块也进行转置.

     

    4. 矩阵的初等变换与线性方程组

    4.1 矩阵的初等变换

    4.2 矩阵之间的等价关系

    4.3 初等变换与矩阵乘法的关系

    4.4 矩阵的秩

     

    4.5 线性方程组的多解

     

     

     

    4. 向量组的线性相关性

    4.1 向量组及其线性组合

     

     

     

     

     

     

     

     

     

    4.2 向量组的线性相关性

     

     

    4.3 向量组的秩

    结论:矩阵的最高阶非零子式一般不是唯一的,但矩阵的秩是唯一的.

     

     

     

     

    4.4 线性方程组的解的结构

    问题:什么是线性方程组的解的结构?

    答:所谓线性方程组的解的结构,就是当线性方程组有无限多个解时,解与解之间的相互关系
     

    备注:
       1)当方程组存在唯一解时,无须讨论解的结构.
       2)下面的讨论都是假设线性方程组有解.

     

     

     

     

    4.5 向量空间

    4.5.1 封闭的概念

             定义:所谓封闭,是指集合中任意两个元素作某一运算得到的结果仍属于该集合.

    4.5.2 向量空间的概念

             定义:设 V 是 n 维向量的集合,如果
             ① 集合 V 非空,
             ② 集合 V 对于向量的加法和乘数两种运算封闭,
                 具体地说,就是:
                 若 a ∈ V, b ∈ V,则a + b ∈ V .(对加法封闭)
                 若 a ∈ V, l ∈ R,则 l a ∈ V .(对乘数封闭)
                 那么就称集合 V 为向量空间

    4.5.3 子空间的概念

             定义:如果向量空间 V 的非空子集合 V1 对于 V 中所定义的加法及乘数两种运算是封闭的,则称 V1 是 V 的子空间

    4.5.4 向量空间的基的概念

     

    5. 相似矩阵及二次型

    5.1  向量的内积、长度及正交性

    5.1.1 向量的内积

    5.1.2 向量的长度或范数

    单位向量:长度为1的向量。

    5.1.3 向量的正交性

    向量正交:向量内积为0。

     

     

    5.1.4 正交矩阵或正交阵

    5.1.5 正交矩阵的性质

    5.2 方阵的特征值与特征向量

    5.2.1  正定矩阵/半正定矩阵

     

    1)矩阵半正定当且仅当它的每个特征值大于等于零(>=0)。

    2)矩阵正定当且仅当它的每个特征值都大于零(>0)。

    5.3 相似矩阵

     

     

     

     

     

    5.4 对称矩阵的对角化

     

     

     

     

     

     

    5.5 二次型及其它标准型

          

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

    展开全文
  • SPSS多元线性回归输出结果的详细解释

    万次阅读 多人点赞 2017-06-27 17:41:05
    最近做了一些用SPSS进行线性回归的实验,还是感觉很多细节把握不好,这里结合我的实验结果,以及网上别人的介绍总结一下,先贴几张SPSS的输出: 下面简单解释一下这三张图中的结果: 第一个表模型汇总表中,...

    先说一句题外话,如果当年在大学里数理统计等课程结合SPSS,SAS,R等软件来讲,应该效果会好很多。

    最近做了一些用SPSS进行线性回归的实验,还是感觉很多细节把握不好,这里结合我的实验结果,以及网上别人的介绍总结一下,先贴几张SPSS的输出:

    下面简单解释一下这三张图中的结果:

    第一个表模型汇总表中,R表示拟合优度(goodness of fit),它是用来衡量估计的模型对观测值的拟合程度。它的值越接近1说明模型越好。调整的R平方比调整前R平方更准确一些,图中的最终调整R方为0.550,表示自变量一共可以解释因变量55%的变化(variance),另外,由于使用的是StepWise Linear Regression (SWLR),分析——回归——线性——“方法”选择“逐步”,所以模型1、2、3的R方逐渐增大,标准误差逐渐减小。

    (据网友的介绍:一般认为,拟合优度达到0.1为小效应(R方0.01),0.3为中等(R方0.09),0.5为大(R方0.25),这是针对自然科学的一般界限。)

     

    第二个表Anova表示方差分析结果,主要看F和sig值两个,F值为方差分析的结果,是一个对整个回归方程的总体检验,指的是整个回归方程有没有使用价值(与随机瞎猜相比),其F值对应的Sig值小于0.05就可以认为回归方程是有用的。另外,从F值的角度来讲:F的值是回归方程的显著性检验,表示的是模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著做出推断。若F>Fa(k,n-k-1),则拒绝原假设,即认为列入模型的各个解释变量联合起来对被解释变量有显著影响,反之,则无显著影响。

     

    这里简单对Fa(k,n-k-1)进行一下解释,k为自变量个数,n为样本容量,n-k-1为自由度。对于我的实验中的情况来讲,k=3,样本容量为146,所以查表的时候应该差Fa(3,142),一般数理统计课本中都有F分布表,a表示的显著性水平(一般取0.05),但我们手头不一定会有课本,就需要借助于excel来查F表,打开excel,在公式区输入:=FINV(0.05,3,142),在单元格中即出现2.668336761,表中的F值显著大于这个值,则认为各个解释变量对因变量有显著影响。

     

    需要注意的是,方差分析是对多个自变量的总体检验,而不是单个自变量(单个自变量在系数表中,为单样本T检验),这就是第三个表回归系数表中的内容。

    系数表格列出了自变量的显著性检验结果(使用单样本T检验),最后一列为T检验的sig,表中均小于0.05,说明自变量对因变量具有显著影响,B表示各个自变量在回归方程中的系数,负值表示IPGF这个自变量对因变量有显著的负向影响,但是由于每个自变量的量纲和取值范围不同,基于B并不能反映各个自变量对因变量影响程度的大小,这时候我们就要借助标准系数。目前表格中的“试用版”实际上是Beta的意思,此时数值越大表示对自变量的影响更大。

     

    从这个分析过程来看,这个实验结果还挺理想的。

    展开全文
  • 经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型:自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有:probit模型、poisson模型、对数线性模型等等。对数线性模型里有:logistic ...

            经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型:自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有:probit模型、poisson模型、对数线性模型等等。对数线性模型里有:logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结,以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下:

    1、逻辑斯蒂分布,logit转换

    2、在二分类问题中,为什么弃用传统的线性回归模型,改用逻辑斯蒂回归?

    3、逻辑回归模型的求解过程?

    4、实际应用逻辑回归时数据预处理的经验总结。但经验有限,如果有哪位网友这块经验丰富,忘指教,先谢过

    5、为什么我们在实际中,经典线性模型的优化目标函数是最小二乘,而逻辑回归则是似然函数

    6、从最根本的广义线性模型角度,导出经典线性模型以及逻辑回归


    1、逻辑斯蒂分布,logit转换

     一个连续随机变量X,如果它的分布函数形式如下,则X服从逻辑斯蒂分布,F(x)的值在0~1之间,它的的图形是一条S型曲线

    2、在二分类问题中,为什么弃用传统的线性回归模型,改用逻辑斯蒂回归?

          线性回归用于二分类时,首先想到下面这种形式,p是属于类别的概率:

         

          但是这时存在的问题是:

          1)等式两边的取值范围不同,右边是负无穷到正无穷,左边是[0,1],这个分类模型的存在问题

          2)实际中的很多问题,都是当x很小或很大时,对于因变量P的影响很小,当x达到中间某个阈值时,影响很大。即实际中很多问题,概率P与自变量并不是直线关系。

          所以,上面这分类模型需要修整,怎么修正呢?统计学家们找到的一种方法是通过logit变换对因变量加以变换,具体如下:

            

          

            从而,        

           

            这里的P完全解决了上面的两个问题。

    3、逻辑回归模型的求解过程?

          1)求解方式

            逻辑回归中,Y服从二项分布,误差服从二项分布,而非高斯分布,所以不能用最小二乘进行模型参数估计,可以用极大似然估计来进行参数估计。

          2)似然函数、目标函数

            严谨一点的公式如下:

            

            似然函数如下:

            

            对数似然函数,优化目标函数如下:

            

             整个逻辑回归问题就转化为求解目标函数,即对数似然函数的极大值的问题,即最优化问题,可采用梯度下降法、拟牛顿法等等。

    4、实际应用逻辑回归时数据预处理的经验总结,但经验有限,如果有哪位网友这块经验丰富,忘指教,先谢过

          1)枚举型的特征直接进行binary

          2)数值型特征,可以:标准化、根据分布进行binary

          3)进行pairwise

    5、为什么我们在实际中,经典线性模型的优化目标函数是最小二乘,而逻辑回归则是似然函数

          下面公式直接从Ng notes里面复制过来。

         1) 经典线性模型的满足下面等式:

          

           这里有个假设,即最后这个误差扰动项独立同分布于均值为0的正态分布,即:

          

          从而:

          

          由于有上面的假设,从而就有下面的似然函数:

          

          从而这线性回归的问题就可转化为最大化下面的对数似然估计,由于下面公式前面的项是常数,所以这个问题等价于最小化下面等式中的最后一项,即least mean squares。

          

          2)逻辑斯蒂回归中,因变量y不再是连续的变量,而是二值的{0,1},中间用到logit变换,将连续性的y值通过此变换映射到比较合理的0~1区间。在广义线性回归用于分类问题中,也有一个假设(对应于上面回归问题中误差项独立同分布于正态分布),其中h(x)是logistic function

          

          即,给定x和参数,y服从二项分布,上面回归问题中,给定x和参数,y服从正态分布。从而。

          

                

          问题不同(一个是分类、一个是回归)对应假设也就不同,决定了logistic regression问题最优化目标函数是上面这项,而非回归问题中的均方误差LMS。

    6、从最根本的广义线性模型角度,导出经典线性模型以及逻辑回归

         1)指数家族

          

            当固定T时,这个分布属于指数家族中的哪种分布就由a和b两个函数决定。下面这种是伯努利分布,对应于逻辑回归问题

                                       

              注:从上面可知 ,从而,在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

            下面这种是高斯分布,对应于经典线性回归问题

                    

          2)GLM(广义线性模型)

            指数家族的问题可以通过广义线性模型来解决。如何构建GLM呢?在给定x和参数后,y的条件概率p(y|x,θ) 需要满足下面三个假设:

            assum1)      y | x; θ ∼ ExponentialFamily(η).

            assum2)      h(x) = E[y|x]. 即给定x,目标是预测T(y)的期望,通常问题中T(y)=y

            assum3)       η = θTx,即η和x之间是线性的

           3)经典线性回归、逻辑回归

           经典线性回归:预测值y是连续的,假设给定x和参数,y的概率分布服从高斯分布(对应构建GLM的第一条假设)。由上面高斯分布和指数家族分布的对应关系可知,η=µ,根据构建GLM的第2、3条假设可将model表示成:

          
            

            逻辑回归:以二分类为例,预测值y是二值的{1,0},假设给定x和参数,y的概率分布服从伯努利分布(对应构建GLM的第一条假设)。由上面高斯分布和指数家族分布的对应关系可知,,根据构建GLM的第2、3条假设可model表示成:

            

            可以从GLM这种角度理解为什么logistic regression的公式是这个形式~


          参考资料:

          [1] NG的lecture notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf

          [2] 其他网络资源

    展开全文
  • 单变量线性回归 绘制散点图 相关系数R 拆分训练集和测试集 多变量线性回归 数据检验(判断是否可以做线性回归) 训练线性回归模型 先甩几个典型的线性回归的模型,帮助大家捡起那些年被忘记的数学。 ● 单...
  • python机器学习手写算法系列——线性回归

    万次阅读 多人点赞 2019-05-06 19:51:29
    本文致力于手把手教你实现一个最简单的机器学习模型--一元线性回归模型。短短的14行代码,就实现了。希望读完以后,你也能自己实现它。并对线性回归有更好的了解,或者从不了解到了解。
  • 一直对线性线性没有很准确的定义认识,今天特意查了查,特此记录下。 怎样区分线性和非线性 1.线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数;  非线性non-line则指不按照比例...
  • 多目标线性规划求解方法及matlab实现

    万次阅读 多人点赞 2018-01-21 14:51:02
    求解多目标线性规划的基本思想是将多目标转化为单目标,常见的方法有理想点法、线性加权法、最大最小法、目标规划法、模糊数学解法等。这里就这几种方法进行举例说明,并用matlab实现。 一、多目标线性规划模型 ...
  • 线性基详解

    万次阅读 多人点赞 2018-11-03 11:07:28
    线性基是一个数的集合,并且每个序列都拥有至少一个线性基,取线性基中若干个数异或起来可以得到原序列中的任何一个数。 线性基三大性质 原序列里面的任意一个数都可以由线性基里面的一些数...
  • 线性结构VS非线性结构

    千次阅读 2021-03-16 10:54:27
    线性结构 线性结构作为最常用的数据结构,其特点是数据元素之间存在一对一的线性关系 线性结构有两种不同的存储结构,即顺序存储结构和链式存储结构。顺序存储的线性表称为顺序表,顺序表中的存储元素是连续的 链式...
  • 线性与非线性

    万次阅读 2018-10-12 22:02:11
    一、怎样区分线性和非线性 1、线性linear指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;  非线性non-linear则指不按比例、不成直线的关系,一阶导数不为常数。 2、线性的可以认为...
  • 线性特征与非线性特征 “线性”与“非线性”是数学上的叫法。线性,指的就是两个变量之间成正比例的关系,在平面直角坐标系中表现出来,就是一条直线;而非线性指的就是两个变量之间不成正比,在直角坐标系中是曲线...
  • 线性关系 与 非线性关系

    万次阅读 2017-08-14 06:13:42
    线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动; 非线性non-linear则指不按比例、不成直线的关系,代表不规则的运动和突变。 线性:指量与量之间按比例、成直线的关系,...
  • 文章目录向量的线性关系线性组合(线性表示)性质向量组的等价性质线性相关与线性无关一些结论例题定理参考 向量的线性关系 用某些向量来表示另一个向量,这是一个线性关系:线性组合 线性组合(线性表示) 下图...
  • 线性回归是回归分析的一种,评估的自变量X与因变量Y之间是一种线性关系。当只有一个自变量时,称为简单线性回归,当具有多个自变量时,称为多元线性回归。 线性关系的理解: 画出来的图像是直的。 每个自变量的最高...
  • 一、线性函数与非线性函数的区别 线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数; 非线性non-line则指不按照比例不成直线关系,一阶导数不为常数。 参考链接: 机器学习中的线性...
  • 多元线性回归模型

    万次阅读 多人点赞 2019-07-02 19:22:12
    多元线性回归模型通常用来研究一个应变量依赖多个自变量的变化关系,如果二者的以来关系可以用线性形式来刻画,则可以建立多元线性模型来进行分析。 1.模型简介 1.1模型的结构 多元线性回归模型通常用来描述变脸y和x...
  • 线性失真与非线性失真

    千次阅读 多人点赞 2019-11-24 21:31:50
    线性失真与非线性失真在模拟电路中往往是不可避免的,这二者不可消灭只能减小,使之不影响系统精度。 线性失真 系统若只存在线性失真,则输出信号中不会出现新的频率分量,各个频率的输出波形也不会变化,这种幅度的...
  • 如何区分线性与非线性

    千次阅读 2020-09-15 19:49:21
    首先,你要分清,你有问题的是线性函数与非线性函数,还是线性模型和非线性模型。 我在二刷机器学习的学习视频时,发现我没有理解视频中说的线性模型是什么? 线性函数与非线性函数概念区分 线性函数:是指量与量...
  • 线性、非线性分类器&数据的线性、非线性 一、线性分类器:   有无数个可划分这两个线性可分类的超平面 在二维空间里面,一个线性分类器是一条线。图14.8展示了五个分类例子。这些线有一个函数形式w1x1­+...
  • Matlab 线性拟合 非线性拟合

    千次阅读 2019-01-24 12:04:24
    Matlab 线性拟合 非线性拟合
  • 本课程主要讲述如何使用python进行线性回归与非线性回归分析,包括: 基于statsmodel的线性回归方法 基于sklearn的线性回归方法 基于Numpy的一元多项式非线性回归方法 ...
  • 线性系统和非线性系统

    千次阅读 2019-04-21 09:53:59
    一、线性和非线性的区别? 线形指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;飞线性则指不按比例、不成直线的关系代表不规则的运动和突变。 二、如何判断一个系统是线形还是非线性系统...
  • 线性规划和线性回归

    千次阅读 2018-11-27 15:50:29
    线性规划 定义:研究线性约束条件下线性目标函数的极值问题的数学理论和方法(百度) 也就是说有几个线性约束条件,目标是对线性函数求极值。 基本模型结构: 目标函数z(决策变量x):minz=f(x)min \quad z=f(x...
  • 线性相关和线性无关

    千次阅读 2019-02-09 15:59:02
    线性表出:设α₁,α₂,…,αₑ(e≥1)是域P上线性空间V中的有限个向量,若V中向量α可以表示为α=k₁α₁+k₂α₂+…+kₑαₑ(kₐ∈P,a=1,2,…,e),则称α是向量组α₁,α₂,…,αₑ的一个线性组合,亦称...
  • 目录 线性组合 ...线性空间就是,若干个向量通过线性组合所得到的一个集合。 以下用两个向量的线性组合为例,更多的向量也可类推。 1. u⃗,v⃗两向量不共线.u→,v→两向量不共线.\vec u,...
  • 线性结构和非线性结构

    千次阅读 多人点赞 2019-01-11 14:04:59
    线性结构和非线性结构 线性结构是一个有序数据元素的集合。 其中数据元素之间的关系是一对一的关系,即除了第一个和最后一个数据元素之外,其它数据元素都是首尾相接的。 常用的线性结构有:线性表,栈,队列,双...
  • 线性相关性和线性无关性

    千次阅读 2019-05-20 16:18:39
    设有n维向量组a1,a2,a3.....an,如果存在一组不全为0的数k1,k2....kn,使得 a1*k1+a2*k2+......+an*kn=0;...方程组只有零解的时候,线性相关,线性相关的充分必要条件是R(A)<m,其中m代表的是a1,a2,....,a...
  • 线性模型

    千次阅读 2019-06-30 19:02:00
    这周主要学习了线性回归、对数几率回归、线性判别分析、多分类学习以及类别不平衡问题,着重讲解了前两个问题。 线性模型基本形式: 给定由d个属性描述对的示例,其中是第个属性上的取值,线性模型试图学得一个...
  • 线性相关和线性无关证明方法

    万次阅读 2016-10-15 11:01:39
    线性相关和线性无关证明方法常用方法

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 307,296
精华内容 122,918
关键字:

线性