精华内容
下载资源
问答
  • 线性关系 与 非线性关系
    万次阅读
    2017-08-14 06:13:42

     

     

    线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动;
    非线性non-linear则指不按比例、不成直线的关系,代表不规则的运动和突变。
    
    
    线性:指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;
    线性:指量与量之间按比例、成直线的关系,在数学上可以理解为一阶导数为常数的函数;
    非线性:则指不按比例、不成直线的关系,一阶导数不为常数。
    线性关系:
    
    两个变量之间存在一次方函数关系,就称它们之间存在线性关系。正比例关系是线性关系中的特例,反比例关系不是线性关系。更通俗一点讲,如果把这两个变量分别作为点的横坐标与纵坐标,其图象是平面上的一条直线,则这两个变量之间的关系就是线性关系。即如果可以用一个二元一次方程来表达两个变量之间关系的话,这两个变量之间的关系称为线性关系,因而,二元一次方程也称为线性方程。推而广之,含有n个变量的一次方程,也称为n元线性方程,不过这已经与直线没有什么关系了(其实这里是超平面的概念)。
    线性方程:
    
    线性方程也称一次方程。指未知数都是一次的方程。其一般的形式是ax+by+...+cz+d=0
    线性关系:
    更多相关内容
  • 用线性回归法估计一个因变量与多个自变量之间的线性关系
  • 线性和非线性解释: 线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动,在数学上可以理解为一阶...正比例关系是线性关系中的特例,反比例关系不是线性关系。更通俗一点讲,如果...

    线性和非线性解释:

    线性linear,指量与量之间按比例、成直线的关系,在空间和时间上代表规则和光滑的运动,在数学上可以理解为一阶导数为常数的函数。

    非线性non-linear则指不按比例、不成直线的关系,代表不规则的运动和突变,一阶导数不为常数。

    线性关系:

    两个变量之间存在一次方函数关系,就称它们之间存在线性关系。正比例关系是线性关系中的特例,反比例关系不是线性关系。更通俗一点讲,如果把这两个变量分别作为点的横坐标与纵坐标,其图象是平面上的一条直线,则这两个变量之间的关系就是线性关系。即如果可以用一个二元一次方程来表达两个变量之间关系的话,这两个变量之间的关系称为线性关系,因而,二元一次方程也称为线性方程。推而广之,含有n个变量的一次方程,也称为n元线性方程,不过这已经与直线没有什么关系了(其实这里是超平面的概念)。


    线性方程:

    线性方程也称一次方程。指未知数都是一次的方程。其一般的形式是ax+by+...+cz+d=0


    非线性关系:

    非线性是指两个变量间的数学关系,不是直线,而是曲线、曲面、或不确定的属性,是不成简单比例(线性)关系的。非线性是自然界复杂性的典型性质之一;与线性相比,非线性更接近客观事物性质本身,是量化研究认识复杂知识的重要方法之一;范式能用非线性描述的关系,通称非线性关系。

    非线性方程:

    非线性方程对比于线性方程,是含有高次项的方程,一阶导数不为常数的方程组。

    非线性之间的共性:

    非线性关系虽然千变万化,但还是具有某些不同于线性关系的共性。

    线性关系是互不相干的独立关系,而非线性则是相互作用,正是这种相互作用,使得整体不再是简单地全部等于部分之和,而可能出现不同于"线性叠加"的增益或亏损。

    激光的生成就是非线性的!当外加电压较小时,激光器犹如普通电灯,光向四面八方散射;而当外加电压达到某一定值时,会突然出现一种全新现象:受激原子好像听到“向右看齐”的命令,发射出相位和方向都一致的单色光,就是激光。

    迄今为止,对非线性的概念、非线性的性质,并没有清晰的、完整的认识,对其哲学意义也没有充分地开掘。
    --------------------- 

    作者:zbbmm 
    来源:CSDN 
    原文:https://blog.csdn.net/zbbmm/article/details/77152054 

     

    异或与非线性关系

    我们说单层神经网络(感知机)不能解决异或问题,是为什么呢?异或问题与非线性之间又有什么关系呢?

    异或:即两个逻辑不一样即为真,逻辑相同即为假(相同为假,不同为真)

    同或:相同为真,不同为假(解决异或问题和同或问题是一样的)

    如果把异或问题表现为二维的分布,就是这样,这样就很直观的把异或问题表现为点在二维平面上分布的问题。

    感知机是什么?简单来说,感知机就是能够将一个超平面内的点分为两类的一个线性可分。

    感知机模型:

    f(X)=sign(w*X+b),其中sign是符号函数

    感知机模型,对应着一个超平面w*X+b=0,这个超平面的参数是(w,b),w是超平面的法向量,b是超平面的截距。

    我们的目标是,找到一个(w,b),能够将线性可分的数据集T中的所有的样本点正确地分成两类。

    如何找到(w,b)?---感知机学习算法做的事

    现在,如果感知机只有两个输入,就是在二维平面上,对二维平面上的异或问题划线然后分类。

    如上图所示,在”异或“问题上找不到一条直线能把X和O分开,这就是说这是一个不能用直线分类的问题,这类问题叫非线性问题。同理,“同或”问题一样不能解决。如果是“与”“或”问题就是可以解决的,这个可以自己在纸上画一下,一条线就能给分开。

    所谓的感知机不能解决异或问题就是不能解决画一条线的分类问题

     

    展开全文
  • 本篇笔记首先介绍了线性相关和线性无关的概念,关键是找到一组不全为零相关系数使得等成立;然后重点介绍了一些重要的结论,以及向量组线性相关和线性无关的几个充要条件。

    本篇笔记首先介绍了线性相关和线性无关的概念,关键是找到一组不全为零相关系数使得等成立;然后重点介绍了一些重要的结论,以及向量组线性相关和线性无关的几个充要条件。

    1 线性相关与线性无关

    线性相关:设 α 1 , α 2 , . . . , α n \alpha_1,\alpha_2,...,\alpha_n α1,α2,...,αn n n n m m m维向量,若存在一组不全为零的数 k 1 , k 2 , . . . , k n k_1,k_2,...,k_n k1,k2,...,kn,使得 k 1 α 1 + k 2 α 2 + . . . + k n α n = O k_1\alpha_1+k_2\alpha_2+...+k_n\alpha_n=O k1α1+k2α2+...+knαn=O成立,则称向量组 α 1 , α 2 , . . . , α n \alpha_1,\alpha_2,...,\alpha_n α1,α2,...,αn线性相关,而称 k 1 , k 2 , . . . , k n k_1,k_2,...,k_n k1,k2,...,kn为一组相关系数;否则,称向量组 α 1 , α 2 , . . . , α n \alpha_1,\alpha_2,...,\alpha_n α1,α2,...,αn线性无关

    只要找到一组就可以,能找到多组肯定也可以。

    例如: 2 × ( 1 0 ) + 3 × ( 0 1 ) − 1 × ( 2 3 ) = O 2\times\begin{pmatrix}1\\0\end{pmatrix}+3\times\begin{pmatrix}0\\1\end{pmatrix}-1\times\begin{pmatrix}2\\3\end{pmatrix}=O 2×(10)+3×(01)1×(23)=O,相关系数为 2 , 3 , − 1 2,3,-1 2,3,1,不全为0;

    又如: 1 × ( 2 0 ) − 2 × ( 1 0 ) + 0 × ( 8 9 ) = O 1\times\begin{pmatrix}2\\0\end{pmatrix}-2\times\begin{pmatrix}1\\0\end{pmatrix}+0\times\begin{pmatrix}8\\9\end{pmatrix}=O 1×(20)2×(10)+0×(89)=O,相关系数为 1 , − 2 , 0 1,-2,0 1,2,0,也不全为0(注意:不是全不为0,有0可以,但别都是0就行)。

    再如: 0 × ( 2 0 ) + 0 × ( 1 0 ) + 0 × ( 8 9 ) = O 0\times\begin{pmatrix}2\\0\end{pmatrix}+0\times\begin{pmatrix}1\\0\end{pmatrix}+0\times\begin{pmatrix}8\\9\end{pmatrix}=O 0×(20)+0×(10)+0×(89)=O,等式虽然成立,但相关系数为 0 , 0 , 0 0,0,0 0,0,0,不能判断向量是否线性相关或线性无关。

    线性无关
    { ① 不 是 线 性 相 关 ; ② 找 不 到 一 组 不 全 为 零 的 相 关 系 数 使 等 式 成 立 ; ③ 只 有 全 为 零 的 相 关 系 统 使 等 式 成 立 。 \begin{cases} ①&不是线性相关;\\ ②&找不到一组不全为零的相关系数使等式成立;\\ ③&只有全为零的相关系统使等式成立。 \end{cases} 线使使

    2 一些结论

    若向量组中两个向量的分量对应成比例,则向量组必线性相关
    例如: − 1 × ( 1 2 ) + 1 2 × ( 2 4 ) + 0 × ( 5 19 ) + 0 × ( − 1 99 ) = O -1\times\begin{pmatrix}1\\2\end{pmatrix}+\frac{1}{2}\times\begin{pmatrix}2\\4\end{pmatrix}+0\times\begin{pmatrix}5\\19\end{pmatrix}+0\times\begin{pmatrix}-1\\99\end{pmatrix}=O 1×(12)+21×(24)+0×(519)+0×(199)=O

    含有零向量的任意向量组必线性相关
    例如: 0 α 1 + 0 α 2 + 0 α 3 + 1 × O = O 0\alpha_1+0\alpha_2+0\alpha_3+1\times{O}=O 0α1+0α2+0α3+1×O=O

    ③ 特别地:一个零向量必线性相关
    例如: 1 × O = O 1\times{O}=O 1×O=O

    任意一个非零向量必线性无关
    假设非零向量 α ≠ 0 \alpha{\neq}0 α=0,要证其线性相关,那么 k α = 0 k\alpha=0 kα=0,所以 k = 0 k=0 k=0(详见线性代数学习笔记(二十)——向量的定义例3.1.1),这与线性相关定义矛盾,故任意一个非零向量必线性无关。

    ⑤ 由一个向量 α \alpha α构成的向量组线性相关 ⟺ α = 0 {\Longleftrightarrow}\alpha=0 α=0

    3 部分与整体向量组的线性关系

    ★★ 例8:若向量组 α 1 , α 2 , . . . α r \alpha_1,\alpha_2,...\alpha_r α1,α2,...αr线性相关,那么向量组 α 1 , α 2 , . . . α r , α r + 1 , . . . , α s \alpha_1,\alpha_2,...\alpha_r\color{red}{,\alpha_{r+1},...,\alpha_s} α1,α2,...αr,αr+1,...,αs也线性相关。

    例如,若向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性相关,那么向量组 α 1 , α 2 , α 3 , α 4 , α 5 \alpha_1,\alpha_2,\alpha_3\color{red}{,\alpha_4,\alpha_5} α1,α2,α3,α4,α5也线性相关。
    证明:因为向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性相关,所以存在不全为0的数 k 1 , k 2 , k 3 k_1,k_2,k_3 k1,k2,k3
    使得: k 1 α 1 + k 2 α 2 + k 3 α 3 = 0 k_1\alpha_1+k_2\alpha_2+k_3\alpha_3=0 k1α1+k2α2+k3α3=0
    所以: k 1 α 1 + k 2 α 2 + k 3 α 3 + 0 α 4 + 0 α 5 = 0 k_1\alpha_1+k_2\alpha_2+k_3\alpha_3+\color{red}{0\alpha_4+0\alpha_5}\color{black}{=0} k1α1+k2α2+k3α3+0α4+0α5=0
    相关系数 k 1 , k 2 , k 3 , 0 , 0 k_1,k_2,k_3,0,0 k1,k2,k3,0,0不全为0,故向量组 α 1 , α 2 , α 3 , α 4 , α 5 \alpha_1,\alpha_2,\alpha_3,\alpha_4,\alpha_5 α1,α2,α3,α4,α5也线性相关。

    可推出以下命题:
    部 分 组 线 性 相 关 , 则 整 体 组 也 线 性 相 关 \color{red}{部分组线性相关,则整体组也线性相关} 线线

    其逆否命题:
    整 体 组 线 性 无 关 , 则 部 分 组 也 线 性 无 关 \color{red}{整体组线性无关,则部分组也线性无关} 线线

    4 接长与截短向量组的线性关系

    ★★ 例9:若向量组
    α 1 = ( a 11 , a 12 , . . . , a 1 r ) \alpha_1=(a_{11},a_{12},...,a_{1r}) α1=(a11,a12,...,a1r)
    α 2 = ( a 21 , a 22 , . . . , a 2 r ) \alpha_2=(a_{21},a_{22},...,a_{2r}) α2=(a21,a22,...,a2r)
    ⋮ \vdots
    α m = ( a m 1 , a m 2 , . . . , a m r ) \alpha_m=(a_{m1},a_{m2},...,a_{mr}) αm=(am1,am2,...,amr)
    线性无关,则向量组
    γ 1 = ( a 11 , a 12 , . . . , a 1 r , a 1 , r + 1 , . . . , a 1 n ) \gamma_1=(a_{11},a_{12},...,a_{1r}\color{red}{,a_{1,r+1},...,a_{1n}}\color{black}{)} γ1=(a11,a12,...,a1r,a1,r+1,...,a1n)
    γ 2 = ( a 21 , a 22 , . . . , a 2 r , a 2 , r + 1 , . . . , a 2 n ) \gamma_2=(a_{21},a_{22},...,a_{2r}\color{red}{,a_{2,r+1},...,a_{2n}}\color{black}{)} γ2=(a21,a22,...,a2r,a2,r+1,...,a2n)
    ⋮ \vdots
    γ m = ( a m 1 , a m 2 , . . . , a m r , a m , r + 1 , . . . , a m n ) \gamma_m=(a_{m1},a_{m2},...,a_{mr}\color{red}{,a_{m,r+1},...,a_{mn}}\color{black}{)} γm=(am1,am2,...,amr,am,r+1,...,amn)
    也线性无关。

    例如,若 α 1 = ( 1 , 3 , 5 ) \alpha_1=(1,3,5) α1=(1,3,5)
    α 2 = ( 6 , − 1 , 8 ) \alpha_2=(6,-1,8) α2=(6,1,8)
    α 3 = ( − 3 , 3 , 9 ) \alpha_3=(-3,3,9) α3=(3,3,9)
    线性无关,证明
    γ 1 = ( 1 , 3 , 5 , 1 , 6 ) \gamma_1=(1,3,5\color{red}{,1,6}\color{black}{)} γ1=(1,3,5,1,6)
    γ 2 = ( 6 , − 1 , 8 , 3 , 3 ) \gamma_2=(6,-1,8\color{red}{,3,3}\color{black}{)} γ2=(6,1,8,3,3)
    γ 3 = ( − 3 , 3 , 9 , 10 , 8 ) \gamma_3=(-3,3,9\color{red}{,10,8}\color{black}{)} γ3=(3,3,9,10,8)
    也线性无关。

    证明:假设 k 1 γ 1 + k 2 γ 2 + k 3 γ 3 = O k_1\gamma_1+k_2\gamma_2+k_3\gamma_3=O k1γ1+k2γ2+k3γ3=O
    所以: { k 1 + 6 k 2 − 3 k 3 = 0 3 k 1 − k 2 + 3 k 3 = 0 5 k 1 + 8 k 2 + 9 k 3 = 0 k 1 + 3 k 2 + 10 k 3 = 0 6 k 1 + 3 k 2 + 8 k 3 = 0 \begin{cases} k_1+6k_2-3k_3=0\\ 3k_1-k_2+3k_3=0\\ 5k_1+8k_2+9k_3=0\\ k_1+3k_2+10k_3=0\\ 6k_1+3k_2+8k_3=0 \end{cases} k1+6k23k3=03k1k2+3k3=05k1+8k2+9k3=0k1+3k2+10k3=06k1+3k2+8k3=0
    通过观察前三项
    { k 1 + 6 k 2 − 3 k 3 = 0 3 k 1 − k 2 + 3 k 3 = 0 5 k 1 + 8 k 2 + 9 k 3 = 0 \begin{cases} k_1+6k_2-3k_3=0\\ 3k_1-k_2+3k_3=0\\ 5k_1+8k_2+9k_3=0 \end{cases} k1+6k23k3=03k1k2+3k3=05k1+8k2+9k3=0
    可以看出: k 1 α 1 + k 2 α 2 + k 3 α 3 = O k_1\alpha_1+k_2\alpha_2+k_3\alpha_3=O k1α1+k2α2+k3α3=O
    又因为向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性无关,
    所以 k 1 , k 2 , k 3 k_1,k_2,k_3 k1,k2,k3必全为0,
    故向量组 γ 1 , γ 2 , γ 3 \gamma_1,\gamma_2,\gamma_3 γ1,γ2,γ3也线性无关。

    可推出以下命题:
    线 性 无 关 的 向 量 组 , 接 长 向 量 组 也 线 性 无 关 \color{red}{线性无关的向量组,接长向量组也线性无关} 线线

    其逆否命题:
    线 性 相 关 的 向 量 组 , 截 短 向 量 组 也 线 性 相 关 \color{red}{线性相关的向量组,截短向量组也线性相关} 线线

    5 行列式值与向量组的线性关系

    ★★ 例10:如果 n n n n n n维向量(向量的个数等于向量的维数才适用)
    α 1 = ( a 11 , a 12 , . . . , a 1 n ) \alpha_1=(a_{11},a_{12},...,a_{1n}) α1=(a11,a12,...,a1n)
    α 2 = ( a 21 , a 22 , . . . , a 2 n ) \alpha_2=(a_{21},a_{22},...,a_{2n}) α2=(a21,a22,...,a2n)
    ⋮ \vdots
    α n = ( a n 1 , a n 2 , . . . , a n n ) \alpha_n=(a_{n1},a_{n2},...,a_{nn}) αn=(an1,an2,...,ann)
    构成的行列式
    D = ∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n n ∣ ≠ 0 D=\begin{vmatrix} {a_{11}}&{a_{12}}&{\cdots}&{a_{1n}}\\ {a_{21}}&{a_{22}}&{\cdots}&{a_{2n}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {a_{n1}}&{a_{n2}}&{\cdots}&{a_{nn}}\\ \end{vmatrix}{\neq}0 D=a11a21an1a12a22an2a1na2nann=0
    那么, α 1 , α 2 , . . . , α n \alpha_1,\alpha_2,...,\alpha_n α1,α2,...,αn线性无关。

    证明:设存在数 k 1 , k 2 , . . . , k n k_1,k_2,...,k_n k1,k2,...,kn使得 k 1 α 1 + k 2 α 2 + . . . + k n α n = O k_1\alpha_1+k_2\alpha_2+...+k_n\alpha_n=O k1α1+k2α2+...+knαn=O,即
    { a 11 k 1 + a 21 k 2 + . . . + a n 1 k n = 0 a 12 k 1 + a 22 k 2 + . . . + a n 2 k n = 0 ⋮ a 1 n k 1 + a 2 n k 2 + . . . + a n n k n = 0 \begin{cases} a_{11}k_1+a_{21}k_2+...+a_{n1}k_n=0\\ a_{12}k_1+a_{22}k_2+...+a_{n2}k_n=0\\ \vdots\\ a_{1n}k_1+a_{2n}k_2+...+a_{nn}k_n=0 \end{cases} a11k1+a21k2+...+an1kn=0a12k1+a22k2+...+an2kn=0a1nk1+a2nk2+...+annkn=0
    由于该齐次线性方程组的系数行列式 D T = D ≠ 0 D^T=D{\neq}0 DT=D=0
    线性代数学习笔记(七)——克莱姆法则定理 1.5.2可知,
    该齐次线性方程组仅有零解,
    k 1 = k 2 = . . . = k n = 0 k_1=k_2=...=k_n=0 k1=k2=...=kn=0
    故,向量组 α 1 , α 2 , . . . , α n \alpha_1,\alpha_2,...,\alpha_n α1,α2,...,αn线性无关。

    可推出以下命题:
    D ≠ 0 ⟺ 线 性 无 关 \color{red}{D{\neq}0{\Longleftrightarrow}线性无关} D=0线

    其逆否命题:
    D = 0 ⟺ 线 性 相 关 \color{red}{D=0{\Longleftrightarrow}线性相关} D=0线

    举例:判断向量 ( 1 , 0 , 3 ) (1,0,3) (1,0,3) ( 2 , 1 , 1 ) (2,1,1) (2,1,1) ( 1 , 1 , 0 ) (1,1,0) (1,1,0)是线性相关还是线性无关。
    首先判断向量的个数等于向量的维数,即3个3维向量适用上述结论。
    然后求行列式的值,即
    ∣ 1 0 3 2 1 1 1 1 0 ∣ \begin{vmatrix} 1&0&3\\ 2&1&1\\ 1&1&0 \end{vmatrix} 121011310
    若行列式值为0,则线性相关,反之,则线性无关。

    6 单位向量组的线性关系

    例11 n n n维单位向量组线性无关。
    证明:因为 n n n维单位向量组
    ε 1 = ( 1 , 0 , . . . , 0 ) \varepsilon_1=(1,0,...,0) ε1=(1,0,...,0)
    ε 2 = ( 0 , 1 , . . . , 0 ) \varepsilon_2=(0,1,...,0) ε2=(0,1,...,0)
    ⋮ \vdots
    ε n = ( 0 , 0 , . . . , 1 ) \varepsilon_n=(0,0,...,1) εn=(0,0,...,1)
    构成的行列式
    D = ∣ 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ∣ = 1 ≠ 0 D=\begin{vmatrix} 1&0&{\cdots}&0\\ 0&1&{\cdots}&0\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ 0&0&{\cdots}&1\\ \end{vmatrix}=1{\neq}0 D=100010001=1=0
    由例10的结论可知,向量组 ε 1 , ε 2 , . . . , ε n \varepsilon_1,\varepsilon_2,...,\varepsilon_n ε1,ε2,...,εn线性无关。

    7 方程组解与向量组的线性关系

    例12:判断向量 α 1 = ( 1 , 0 , − 1 ) \alpha_1=(1,0,-1) α1=(1,0,1) α 2 = ( − 1 , − 1 , 2 ) \alpha_2=(-1,-1,2) α2=(1,1,2) α 3 = ( 2 , 3 , − 5 ) \alpha_3=(2,3,-5) α3=(2,3,5)是线性相关还是线性无关。如果线性相关,求一组相关系数。
    分析:本题可以用上述例10的结论,以下按照传统方式计算。
    解:第一步:设相关系数,
    设数 k 1 , k 2 , k 3 k_1,k_2,k_3 k1,k2,k3,使得 k 1 α 1 + k 2 α 2 + k 3 α 3 = O k_1\alpha_1+k_2\alpha_2+k_3\alpha_3=O k1α1+k2α2+k3α3=O

    第二步:将向量代入,
    k 1 ( 1 , 0 , − 1 ) + k 2 ( − 1 , − 1 , 2 ) + k 3 ( 2 , 3 , − 5 ) = O k_1(1,0,-1)+k_2(-1,-1,2)+k_3(2,3,-5)=O k1(1,0,1)+k2(1,1,2)+k3(2,3,5)=O

    第三步:联立方程组,
    { k 1 − k 2 + 2 k 3 = 0 − k 2 + 3 k 3 = 0 − k 1 + 2 k 2 − 5 k 3 = 0 \begin{cases} k_1&-&k_2&+&2k_3&=&0\\ &&-k_2&+&3k_3&=&0\\ -k_1&+&2k_2&-&5k_3&=&0 \end{cases} k1k1+k2k22k2++2k33k35k3===000

    第四步:解方程组,
    { k 1 = k 3 k 2 = 3 k 3 \begin{cases} k_1=k_3\\ k_2=3k_3 \end{cases} {k1=k3k2=3k3

    k 3 = 1 k_3=1 k3=1,则 k 1 = 1 k_1=1 k1=1 k 2 = 3 k_2=3 k2=3

    第五步:判断相关性,
    所以存在一组不全为0的数 1 , 3 , 1 1,3,1 1,3,1,使得 α 1 + 3 α 2 + α 3 = O \alpha_1+3\alpha_2+\alpha_3=O α1+3α2+α3=O
    故向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性相关,一组相关系数为 1 , 3 , 1 1,3,1 1,3,1

    能否令 k 3 = 0 k_3=0 k3=0呢?
    答案是不能。
    若令 k 3 = 0 k_3=0 k3=0,则 k 1 = 0 k_1=0 k1=0 k 2 = 0 k_2=0 k2=0

    是否说明向量组 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3线性无关呢?
    答案也是不能。
    线性相关和线性无关的本质是:能否找到一组非零的数使等式成立。

    通过观察上述向量和方程组不难看出:原来的每个向量的分量,直接写成方程组的系数,不管是行向量还是列向量,都按列写成方程组的系数。

    可推出以下命题:
    方 程 组 有 非 零 解 ⟺ 线 性 相 关 \color{red}{方程组有非零解{\Longleftrightarrow}线性相关} 线

    其逆否命题:
    方 程 组 只 有 零 解 ⟺ 线 性 无 关 \color{red}{方程组只有零解{\Longleftrightarrow}线性无关} 线

    回顾:
    线 性 组 合 ⟺ 方 程 组 有 解 \color{red}{线性组合{\Longleftrightarrow}方程组有解} 线
    只要有解就行,具体是零解还是非零解无所谓!

    ★★ 例13:若向量组 α , β , γ \alpha,\beta,\gamma α,β,γ线性无关,则向量组 α + β , β + γ , γ + α \alpha+\beta,\beta+\gamma,\gamma+\alpha α+β,β+γ,γ+α也线性无关。
    证明:设有数 k 1 , k 2 , k 3 k_1,k_2,k_3 k1,k2,k3,使得 k 1 ( α + β ) + k 2 ( β + γ ) + k 3 ( γ + α ) = O k_1(\alpha+\beta)+k_2(\beta+\gamma)+k_3(\gamma+\alpha)=O k1(α+β)+k2(β+γ)+k3(γ+α)=O
    即: ( k 1 + k 3 ) α + ( k 1 + k 2 ) β + ( k 2 + k 3 ) γ = O (k_1+k_3)\alpha+(k_1+k_2)\beta+(k_2+k_3)\gamma=O (k1+k3)α+(k1+k2)β+(k2+k3)γ=O
    因为向量组 α , β , γ \alpha,\beta,\gamma α,β,γ线性无关,故
    { k 1 + k 3 = 0 k 1 + k 2 = 0 k 2 + k 3 = 0 \begin{cases} k_1&&&+&k_3&=&0\\ k_1&+&k_2&&&=&0\\ &&k_2&+&k_3&=&0 \end{cases} k1k1+k2k2++k3k3===000
    由此解得 k 1 = k 2 = k 3 = 0 k_1=k_2=k_3=0 k1=k2=k3=0
    所以向量组 α + β , β + γ , γ + α \alpha+\beta,\beta+\gamma,\gamma+\alpha α+β,β+γ,γ+α线性无关。

    8 引用

    《线性代数》高清教学视频 “惊叹号”系列 宋浩老师_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili_3.2 向量间的线性关系(二)

    展开全文
  • 之前的文章中都是给大家写的变量间线性关系的做法,包括回归和广义线性回归,变量间的非线性关系其实是很常见的,今天给大家写写如何拟合论文中常见的非线性关系。包括多项式回归Polynomial regression和样条回归...

    之前的文章中都是给大家写的变量间线性关系的做法,包括回归和广义线性回归,变量间的非线性关系其实是很常见的,今天给大家写写如何拟合论文中常见的非线性关系。包括多项式回归Polynomial regression和样条回归Spline regression。

    多项式回归

    首先看一个二次项拟合的例子,我现在想探讨苹果内容物apple content和苹果酸度cider acidity的关系,第一步应该是做出apple content和cider acidity关系的散点图,假如是下图:

    那么我很直观地可以看出来,曲线(二次)对数据的拟合明显是好于线性拟合的。

    上面的只是一个2次项拟合的例子,我们其实经常会遇到有可能高次式会把数据拟合的更好,社科论文中其实也常常见到做高次回归的,常见的1次,2次,3次,4次项英文论文中的表达,曲线形状如下:

    拟合出来的一般模型表达式如下:

    而且通常情况下,模型中所有的低次项都不应该被略去。就是我有了4次项,那么应该3,2,1次项都应该有。

    含有二次及以上的模型就叫多项式回归模型。

    样条回归

    之前在机器学习的文章中有给大家写过拟合,我们做多次项拟合的时候,按道理你可以将项的次数调得很高,总是可以近乎完美的拟合我们的复杂的非线性关系,但是问题就是外推性就没有了,这也并不是我们想看到的结果:

    High-degree polynomials allow us to capture complicated nonlinear relationships in the data but are therefore more likely to overfit the training set.

    还有就是自变量和因变量之间的关系在自变量的不同取值范围也并非不变的,比如某个区间是线性的,某个区间是2次曲线,某个区间又成了3次曲线。

    上面两个问题处理方法之一就是样条splines

    所谓样条就是成片段的多次式,一个曲线分多段拟合,段与段之间的分割点叫做结knots

    A spline is a piecewise polynomial function. This means it splits the predictor variable into regions and fits a separate polynomial within each region, which regions connect to each other via knots.

    上图便是用两个结将我们的曲线分成了3个样条。

    通过对关系曲线的划分,我们可以尽可能达到既拟合的好,又好解释的目的

    我们在论文中还会有看到说限制性立方样条(restricted cubic splines),这个又是个啥呢?

    就是我们正常做样条,有可能做出来就是这样的:虽然分段但是不连贯:

    这样的情况下结点处,不连贯的地方解释起来就会很困难了嘛。

    所以,我们更加期望能够得到一个平滑的曲线(增加可解释性),而且首尾都应该是线性的,从而保证预测准确性(减少过拟合的影响),像这样:

    为了得到这么样的效果我们就会给样条加上限制,所以叫做限制性立方样条:

    restrictions need to be imposed so that the spline is continuous (i.e., there is no gap in the spline curve) and “smooth” at each knot。A restricted cubic spline has the additional property that the curve is linear before the first knot and after the last knot.

    样条数量的确定和结位置的选择也是有讲究的,结的个数可以自己定,但是一般不超过5个;结的位置需要尽可能在拐弯的地方

    The number of knots used in the spline is determined by the user, but in practice we have found that generally five or fewer knots are sufficient. The location of the knots also needs to be specified by the user, but it is common that the knot with the smallest value is relatively close to the smallest value of the variable being modelled (e.g., the 5th percentile), while the largest knot is in the neighbourhood of the largest value of the variable being modelled (e.g., the 95th percentile).

    广义可加模型

    上面写的内容,无论是直接拟合,还是分段拟合,我们都是在拟合一个完整的曲线或直线方程,广义可加模型则是将自变量的单独模型相加,下图式子即为一般线性模型和可加模型:

    我们看下图,下图中对于x和y关系的拟合是通过x的3个基础函数相加得到的:

    GAMs automatically learn a nonlinear relationship between each predictor variable and the outcome variable, and then add these effects together linearly, along with the intercept.

    就是说广义可加的原理就是,先弄几个好解释的基础函数,这个基础函数可以是一次的,也可以是多次的,然后再将这些基础函数进行线性组合,从而达到更好地拟合数据的目的

    通过广义可加模型可以同时实现模型的可解释性Interpretability,灵活性flexibility和正则化regularization。

    怎么理解呢,我们先看可解释性,假如一个可加模型是如下形式的基础函数相加得到的:

    x2的作用我们就可以解释为在其它变量不变的情况下,x2和结局之间的关系是线性的,xp对左边的结局在某个点之前也基本是线性增加的,然乎某个点之后xp对结局就无影响了,这个就是将模型相加后才可能实现的解释性。

    灵活性在于,可加模型可以将所有自变量单独建模后相加,我们甚至不需要提前知道xy的关系,完全由数据说话的非参数形式,就比整体的多项式和样条更灵活。

    正则化则可以避免过拟合,可加模型是有一个超参λ的,这个超参决定了曲线的歪扭程度,英文叫做wiggliness,通过对超参的控制就可以很方便地实现方差偏差折中,见下图:

    The level of smoothness is determined by the smoothing parameter, which we denote by λ. The higher the value of λ, the smoother the curve

    当然还有一个问题就是我到底该用多少个基础函数呢?基础函数越多模型就可以越灵活。见下图,这个大家在具体操作的时候也是可以自己设定的:

    实例操练

    我现在手上有如下数据

    我想探究medv和lstat之间的关系,先做个图:

    ggplot(train.data, aes(lstat, medv) ) +
      geom_point() +
      stat_smooth()

    可以看到这两个变量间是非常明显的非线性关系,此时我们需要考虑给自变量加上多次项拟合。

    在R语言中我们可以使用I()来加上变量的高次项,比如我要加二次项,我就可以写出I(x^2)

    lm(medv ~ lstat + I(lstat^2), data = train.data)

    模型结果如下:

    上面就是多次项回归的做法,接下来给大家写写如何做样条回归

    刚刚有写我们做样条的时候是需要设定结的,比如我就设定自变量的第25,50,75百分位为结:

    knots <- quantile(train.data$lstat, p = c(0.25, 0.5, 0.75))

    做一个立方样条回归(默认就是做立方样条),代码如下:

    model <- lm (medv ~ bs(lstat, knots = knots), data = train.data)

    模型输出结果如下:

    我们接着看广义可加模型的R语言做法,我手上有数据如下:

    我现在想弄明白x3与y的关系,但是假如我现在已经知道,x1和x2与y的关系为非线性的,我们是不是要把这个非线性关系控制掉来看我们x3和y的关系呀。所以我们跑一个可加模型来瞅瞅:

    b1 <- gam(y ~ s(x1, bs='ps', sp=0.6) + s(x2, bs='ps', sp=0.6) + x3, data = dat)
    summary(b1)

    上面的代码中bs设定平滑方法,sp设定λ。

    运行上面的代码后得到结果如下:

    就是说在控制了x1和x2的曲线效应后,我们x3对y其实是没有影响的。

    小结

    今天给大家写了多项式回归,样条回归和可加模型,希望能给到大家以启发,感谢大家耐心看完,自己的文章都写的很细,重要代码都在原文中,希望大家都可以自己做一做,请转发本文到朋友圈后私信回复“数据链接”获取所有数据和本人收集的学习资料。如果对您有用请先记得收藏,再点赞分享。

    也欢迎大家的意见和建议,大家想了解什么统计方法都可以在文章下留言,说不定我看见了就会给你写教程哦,有疑问欢迎私信。

    展开全文
  • 文章目录向量的线性关系线性组合(线性表示)性质向量组的等价性质线性相关与线性无关一些结论例题定理参考 向量的线性关系 用某些向量来表示另一个向量,这是一个线性关系:线性组合 线性组合(线性表示) 下图...
  • 线性关系和相关系数

    千次阅读 2019-06-25 02:45:37
    线性关系 定义 两个变量之间存在一次函数关系,就称它们之间存在线性关系。 即如果可以用一个二元一次方程来表达两个变量之间关系的话,这两个变量之间的关系称为线性关系,因而,二元一次方程也称为线性方程...
  • 数据结构的线性关系

    千次阅读 2018-10-21 22:11:40
    数据结构的线性关系 线性关系:里面的每一个元素都是平等的,每个节点至多有一个前驱和一个后继。头部没有前驱,尾部没有后继。其结构类似于一维数组的结构。 如下图所示: 顺序存储结构 删除操作:对某一元素...
  • 1. 什么情况下要研究x与y的非线性关系? 假设我们要研究:喝水越多身体越健康吗? 在这里,喝水量为自变量,身体健康度(假设有该指标)为因变量。 常识告诉我们,适当喝水有益于身体健康,但是一旦饮水过度,反而...
  • 之前我们曾经学习了简单线性回归模型的推导、sklearn实战,并尝试从零搭建了一个简单线性回归的模型工具。 但是我们遇到的数据并不总是线性的,这时如果我们还拿线性模型去拟合,我们模型的效果就会大打折扣。不过...
  • 实际应用中有很多非线性关系的变量很迷惑人,让人误用(多元)线性回归,这篇文章对比分析了线性回归和人工神经网络对这种变量的拟合,然后介绍下这种误用带来的后果,同时也会加深我们对人工神经网络的理解。...
  • Python绘图总结(seaborn篇)之线性关系

    千次阅读 2018-05-15 16:30:19
    线性回归 1、regplot() # 简单使用regplot() sns.regplot(x= "total_bill" , y= "tip" , data=tips) 2、lmplot() # 简单使用lmplot() sns.lmplot(x= "total_bill" , y= "tip" , data=tips) #...
  • ${初等行变换不改变列向量组的线性关系}$ 列向量组之间的线性关系可以通过: $\sum_{i=1}^n a_ix_i=0$ 中系数$x_i$的情况表达,即 $Ax=0$ 的解的情况,线性相关等价于有非零解,线性无关等价于只有0解; 而...
  • 这篇文章将对Iris数据集中的线性关系挖掘进行准备,Iris数据集包含四个维度,两两结合,将会形成12种不同的组合。在进行分析之前,先进行一下各个维度的分布的确认以及共通功能的抽取。
  • 该压缩包内为非线性格兰杰因果关系检验代码,欢迎大家下载
  • 该压缩包内为非线性格兰杰因果关系检验代码,欢迎大家下载
  • 理解不同特征值的特征向量之间的非线性关系我希望尽量用简单直观的方式理解定理,能避免公式推导则避免,相信很多人都和我一样觉得抽象的数学公式很难记:数学公式 特征方程: Ax⃗ =λx⃗  A \vec{x} = \lambda \...
  • 线性本构关系在ABAQUS中的实现
  • 本文根据大量的实验数据进行图形化分析,找出线性速率、角速度和电机PWM线性关系,并得出计算公式。 1. ROS导航机器人驱动功能分析 ROS的navigation包内容十分丰富,并封装完整。开发机器人其实就是开发轮子驱动与...
  • 线性、非线性和单调关系

    千次阅读 2019-03-08 09:42:18
    线性关系是最常见的,但是变量之间还可能具有非线性或单调关系,如下所示。变量之间也有可能没有关系。您应当从创建变量的散点图开始以评估变量之间的关系。 线性关系是可以用直线为其建模的数据趋势。例如,假设...
  • 在一般的大学课本里对于线性系统有明确的定义,即满足均匀性和叠加性的系统。...叠加性指如果y1与x1是线性关系,y2与x2是线性关系,则y1+y2与x1+x2也是线性关系 更一般地,均匀性和叠加性结合起来就
  • 线性那些事儿

    万次阅读 多人点赞 2019-07-06 18:24:42
    我们经常听说,建模时应当尽量避免共线性(collinearity),共线性会导致参数估计不稳定、模型不可靠...其实很多变量都存在少量的共线性关系,但是对建模基本没有造成影响。本文主要探讨的是共线性较严重的情况。 ...
  • 在应力水平低于比例极限时,应力应变关系为线性关系,超过这一极限后,应力应变关系为非线性关系,表现为非弹性或塑性(应变不可恢复状态) 某种材料的应力应变曲线,主要材料试验有:单轴试验、等双轴试验、平面...
  • 线性回归利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做...
  • 线性规划和非线性规划的区别是: 1.1.目标或约束条件不同 线性规划目标和约束均为线性函数, 非线性规划目标或约束中存在非线性函数 1.2.最优解范围不同 如果最优解存在,线性规划只能存在可行域的边界上找到...
  • 关键是,大多数现有研究都采用线性和稳定模型来研究股票价格和宏观经济的相关性,而其真正的因果关系可能是非线性的和动态的。 为了填补这一研究空白,我们研究了股价与宏观经济之间的非线性和动态因果关系。 基于...
  • 多重共线性问题的几种解决方法在多元线性回归模型经典假设中,其重要假定之一是回归模型的解释变量之间不存在线性关系,也就是说,解释变量X1,X2,……,Xk中的任何一个都不能是其他解释变量的线性组合。...
  • 线性模型转换为线性模型&&平滑数据处理

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 382,873
精华内容 153,149
关键字:

线性关系

友情链接: GameP-J.rar