精华内容
下载资源
问答
  • 线性相关
    千次阅读
    2019-05-12 10:25:56

    作为一名不是很优秀的工科大学生,数学水平和理解能力确实有限。 鉴于本人记忆力又不太好,只得将一些感悟及时地写下,以供日后参考。
    昨天我读到通信原理中的随机信号一章,对自相关函数甚是费解。 于是网上搜索加翻看数学基础概率论。 其中我想到,在信号与线性系统分析中也有涉及到信号的自相关函数,它的形式是对应时间点的信号值相乘后积分再取平均。 得到网上某位大佬的指点,我知道这不就和空间几何向量中或者线性代数中也有学过的向量的内积一样吗,向量的内积描述的是两个向量之间的线性相关度, 当两个向量的夹角为零,即两向量方向一致时达到最大值。 当夹角为90度时,垂直时,为0。正交函数同理。
    如果把一连续区间内的一个连续函数值看成是一无穷维度的向量,那么两函数之间的内积就是自相关函数的形式, 即把求和改为求积分。若区间无穷大,则可以写成极限的形式。
    既然二者的含义是相同的,对于信号来说,相关函数则描述的是两个信号之间的线性相关程度。 若把信号延时一段时间与原来的信号作相关, 就得到了信号的自相关函数。自相关函数描述的是,信号的线性相关度与时间差之间的关系, 可以想到若信号是周期的,那么当时间差是周期的整数倍时,总能得到一个最大值。

    对于随机变量来说,相关又是怎么样的一个概念呢? 我们最好不要先拿确知的函数去类比,因为你会发现搞得自己越来越晕。随机变量表示一次实验所有可能的结果和相应的概率,可以分布函数和概率密度函数描述一个随机变量。当一次实验有两个随机变量产生,该怎么描述呢? 我们可以分别用分布函数和概率密度函数描述这两个随机变量。同时,我们还得知道这两个随机变量之间的关系。 由于这是两个不同的随机变量,它们的概率空间中的取值是不同的,所以我们必须在二维的概率空间中求它们的相关度。
    结合上面两种取得线性相关的例子, 我们也可以简单的求得随机变量之间的线性相关。 对向量来说,线性相关形式是对应维度相乘在相加; 信号或函数则是对应自变量的函数值的相乘相加(积分);而随机变量中没有对应关系怎么办?? 我们就把所有情况全部列举出来,随机变量的一个取值对应另一个随机变量的所有取值,这是一个N*M取值空间,并且每一个对应的取值都有对应的概率这里叫做二维概率密度或者联合概率密度(两个取值同时出现的概率)。我们把概率作为权重,对所有可能的取值进行相乘再相加,得到的就称作随机变量的相关系数,其实相关系数和协方差描述的特征是一样的,只不过协方差计算时需要把随机变量的取值减掉均值。
    那么随机过程的自相关函数是什么呢?? 我们先看随机过程是什么? 当随机变量又作为时间的函数时, 这个随时间变化的随机变量就是一个随机过程。 其中的任意一个时间点上的函数值都是一个随机变量。 随机过程怎么描述呢? 我们仍然借用随机变量的那一套规则,随时间变化的均值和方差。 但是相关函数描述的是两个随机变量之间的关系,自然不能仅仅随时间变化,任意两个点的相关都是不同的,所以我们可以把相关函数的变量设为时间的某一个点和距离下一个点的时间长度。又由于相关函数的两个随机变量取自同一个随机过程,所以我们称他为自相关函数。自相关函数描述的是随机过程任意两个时间点的线性相关系数。
    当随机过程是平稳的时候,即随机过程的统计特性与时间起点无关,也就是说一维的概率密度函数在任意时刻都相同,二维概率密度函数在某一时刻和相同时间距离时都相同,这就是与时间起点无关 的含义。
    既然二维概率密度函数和时间起点无关,仅与时间间隔有关,那么自然随机过程的自相关函数也一样只和时间间隔有关。 也就是说对于平稳的随机过程, 仅用与时间间隔有关的自相关函数就可以描述整个随机过程,真是perfect!! 它的形式和确知信号是相同的。 虽然形式是相同的,但要分清两者的不同, 随机变量的自相关是在概率空间中求得的,由于平稳的随机过程使得它的自相关函数与时间起点无关; 确知信号的自相关是在时间范围内求得的,在时间上做了平均,所以和时间起点也没有关系了。
    总结一番:不管是向量的内积还是函数或信号的相关,确知或随机,它所描述的都是线性相关度,即满足一次函数关系,对随机变量也是如此, 即使两个随机变量之间的相关度等于零,也只能说明变量之间没有一点线性关系,但不能说它们相互独立,因为函数关系多得是,2次。。。
    还有就是它们的物理含义。 信号相乘可以用来表示信号的功率, 某一时刻的信号的平方可表示信号的瞬时功率,瞬时功率的积分除以总时间表示的是平均功率。 即有,当自相关函数的时间间隔为零的时候,对确知信号来说表示的就是平均功率。 对随机信号来说,他表示的是某一时刻的瞬时功率,如果是平稳的随机过程,那么在任意时刻的瞬时功率都相等,所以瞬时功率就等于平均功率。我们所讨论的随机过程一般都是平稳的,因此我们就把自相关函数的间隔0也成为随机信号的平均功率。
    再提一下各态历经性, 这是一个非常有趣的特性。 当平稳过程满足一定条件的时候会有这个性质。 即:随机过程的一次实现,称为样本函数,它在时间轴上的取值可以取到所有可能的取值。
    根据书中的例子,当随机过程是均匀分布时,样本函数的时间平均和随机过程的统计平均相同。自相关函数也相同。
    以上自相个人比较浅显的理解,没有严谨的公式推导过程,但已经足够了, 只要过去心坎,记公式什么的都是浮云。

    更多相关内容
  • 用FFT计算循环相关和线性相关,用FFT计算自相关函数
  • 线性相关 线性无关

    千次阅读 2020-06-01 22:34:43
    1.线性相关(linearly dependent)与线性无关的(linearly independent)定义 线性相关的定义为: 对于一组向量v1,v2,⋯ ,vnv_1, v_2, \cdots, v_nv1​,v2​,⋯,vn​,如果存在一组不全为0的整数k1,k2,⋯ ,knk_1, k_2,...

    项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
    欢迎大家star,留言,一起学习进步

    1.线性相关(linearly dependent)与线性无关的(linearly independent)定义

    线性相关的定义为:
    对于一组向量 v 1 , v 2 , ⋯   , v n v_1, v_2, \cdots, v_n v1,v2,,vn,如果存在一组不全为0的整数 k 1 , k 2 , ⋯   , k n k_1, k_2, \cdots, k_n k1,k2,,kn,使得 k 1 v 1 + k 2 v 2 + ⋯ + k n v n = 0 k_1v_1 + k_2v_2 + \cdots + k_nv_n = 0 k1v1+k2v2++knvn=0成立,那么这组向量是线性相关的。如果只有当 k 1 , k 2 , ⋯   , k n k_1, k_2, \cdots, k_n k1,k2,,kn均为0时等式才成立,该向量组为线性无关的。

    2.简单理解

    上面的定义不是特别好理解,下面我们换一种更容易理解的方式。
    如果有一组不全为0的数,那至少有一个数不为0,假设 k n k_n kn不为0,那么该组向量线性相关。
    k 1 v 1 + k 2 v 2 + ⋯ + k n v n = 0 k_1v_1 + k_2v_2 + \cdots + k_nv_n = 0 k1v1+k2v2++knvn=0
    可以得知
    − k 1 v 1 − k 2 v 2 + − ⋯ − k n − 1 v n − 1 = k n v n -k_1v_1 - k_2v_2 +-\cdots -k_{n-1}v_{n-1} = k_nv_n k1v1k2v2+kn1vn1=knvn

    v n = − k 1 k n v 1 − k 2 k n v 2 − ⋯ − k n − 1 k n v n − 1 v_n = -\frac{k_1}{k_n}v_1-\frac{k_2}{k_n}v_2 - \cdots -\frac{k_{n-1}}{k_n}v_{n-1} vn=knk1v1knk2v2knkn1vn1

    不难看出, v n v_n vn可以由其他向量的线性组合表示,也就是说这个向量组是线性相关的。

    3.实例

    再举两个简单例子, v 1 = ( 1 , 0 ) , v 2 = ( 0 , 1 ) v_1 = (1, 0), v_2 = (0, 1) v1=(1,0),v2=(0,1),这就是我们熟悉的笛卡尔坐标系。如果要使得 k 1 v 1 + k 2 v 2 = 0 k_1v_1 + k_2v_2=0 k1v1+k2v2=0,必有 k 1 = k 2 = 0 k_1=k_2=0 k1=k2=0,因此这组向量线性无关。
    如果 v 1 = ( 1 , 1 ) , v 2 = ( − 1 , − 1 ) v_1 = (1, 1), v_2 = (-1, -1) v1=(1,1),v2=(1,1),很明显 v 1 + v 2 = 0 v_1 + v_2 = 0 v1+v2=0,此时存在 k 1 = k 2 = 1 k_1 = k_2 = 1 k1=k2=1,使得 k 1 v 1 + k 2 v 2 = 0 k_1v_1 + k_2v_2 = 0 k1v1+k2v2=0,因此这组向量是线性相关的。

    4.一些结论

    1.当向量组所含向量的个数与向量的维数相等,该向量组线性无关的充要条件为该向量构成的行列式值不为0。
    2.由该向量组构成的齐次方程组,如果该其次方程组有非零解,则该向量组线性相关。如果该方程组只有零解,则该向量组线性无关。
    3.若向量组的秩等于向量的个数,则该向量组是线性无关。如果秩小于向量的个数,则该向量组线性相关。
    4.若向量组所含向量的个数多于向量的维数,该向量组一定线性相关。

    展开全文
  • 线性代数之线性相关线性表示的求法 线性相关 向量是n个m维(每个向量分量的个数)的向量,若存在一组不全为0的 使得 则 是线性相关的,反之线性无关。 线性无关即等价于以下命题: 线性不相关 找不到一组不全0...

    线性代数之线性相关线性表示的求法

    线性相关

    向量是n个m维(每个向量分量的个数)的向量,若存在一组不全为0的 

      使得 是线性相关的,反之线性无关。 

    线性无关即等价于以下命题:

    1. 线性不相关
    2. 找不到一组不全0的   使得
    3.  全为0

    几种情况:

    关于单个向量

    1. 向量组中两个向量成比例,则两个向量必线性相关
    2. 含零向量的任向量组必线性相关(取0向量的系数为1或者k,其余均为0)
    3. 一个零向量必线性相关
    4. 一个非零向量必然线性无关
    5. 一个向量线性相关的充要条件是向量为0向量

    线性表示

    如果向量   则b是向量组A的线性组合,这是向量b可有向量组A线性表示。这里其实转换为了方程有解,全是0也是有解。 

    特别的:

    1. 线性表示时系数可以全是0
    2. 0向量可有任意向量组表示。

    任何向量都可由 (1,0,...0),(0,1,0...0),(0,0,1...0) ...(0,0...0...1)表示

    线性相关例子汇总

    判断线性相关(不含参数)

    该方法是根据矩阵的秩的定义来求,如果找到k阶子式为0,而k-1阶不为0,那么k-1即该矩阵的秩。

    #Sample1(示例一),判断如下向量组是否线性相关:

    1:

    2:

    :针对第一题:

    Step1:首先我们先立方程

    针对其解的情况来判断向量组是否线性相关(有解)或者无关(无解)。

    Step2:于是我们得到下式:

    Step3: 我们对k的行列式化简得到如下行列式:

    该行列式不为0,所以当前关于k的方程组有唯一解,即

    所以当前向量组里的向量 线性无关。

    针对第二题:同样的思路

    Step1:设

    Step2:于是我们得到

    Step3:针对k化简得到如下行列式,易得其为0,所以k有非零解。

    Step4:因为关于k的解有无穷个,所有这里取

    换言之存在不全为0的数使得 线性相关。

    判断线性相关(含参数)

    针对这种类型的问题,一般将它们按照列(行)的形式构成矩阵,对矩阵做行(列)变换,使矩阵变成阶梯型。最后根据矩阵中参数的取值是否使得其所在行(列)为零行来判断向量组的线性相关性。(参数所在行全为0则行列式为0,线性无关,否则相关)。

    #Sample2(示例二):已知向量组

    判断其相关性。

    Step1:因这里向量组的向量个数和向量的维数相同,所以可以按照列组成行列式。

    Step2:第1行的-1倍加到第2行上去,第1行的-5倍加到第3行上去,则得:

    即行列式等于2(t-1)

    Step3:针对Step2里的t进行讨论,如果t=1,则行列式等于0(即方程有无穷非非零解),则线性相关,如果t≠1则行列式不等于0(即方程只有零解),则线性无关。

    线性表示例子汇总

    阶梯法判断线性表示

    利用矩阵的初等变换不改变矩阵的列的线性关系的特点求解。

    #Sample3(示例三)

    向量β=(4,4,1,2)是否可由如下向量组线性表示,如果可以,写出表达式。

    1:

    2:

    针对第一题:

    Step1:用 作为列向量构成矩阵A,则A为

     

    Step2:交换第1和第2行,则化为:

    Step3:第1行的2倍加到第2行上去,第1行的5倍加到第4行上去,第1行乘-1,则最终化为:

    Step4:在对step3里的矩阵化简,第3行的3倍加到第2、4行上去,则得:

    Step5:在对step4里的矩阵化简,第2行的-3倍加到第3行上去,第2行的1倍加到第3行上去,则得:

    Step6:在对step5里的矩阵化简,第3行的1倍加到第4行上去,第3行除以-5,则得:

    Step7:由A的阶梯型可知  这5个向量的向量组的秩(阶梯型里非零行的行数)是4,所以该向量组的秩必定包含β,即β不能由 线性表示。

    针对第二题

    类似第一题,可将构成的矩阵

    化简为:

    则可见即β可由 线性表示,即

    展开全文
  • 继续接着上一次https://www.cnblogs.com/webor2006/p/14306045.html的线性代数的学习继续向前,这次则开始要接触线性代数领域更加核心更加关键的内容:什么是线性相关?什么是线程无关?什么是生成空间...下面开始。...

    继续接着上一次https://www.cnblogs.com/webor2006/p/14306045.html的线性代数的学习继续向前,这次则开始要接触线性代数领域更加核心更加关键的内容:什么是线性相关?什么是线程无关?什么是生成空间...下面开始。

    线性组合:

    先来回忆一下https://www.cnblogs.com/webor2006/p/14245895.html向量的两个最基本的运算:向量加法和标量乘法,用符号表示如下:

    而向量的这两个最基本的运算就构建了线性代数中最重要的一个概念:线性组合。那下面对于线性组合这个概念更具体一点,其实就是指:

    对于若干个n维向量:

    此时对该向量的每一个元素进行一个标量的乘法,比如:

    而此时这个式子就叫做上面向量的一个线性组合。上面这个式子相加的结果还是一个向量,理解这个概念其实可以跟之前学习的线性方程组中定义的一个个的线程方程给联系起来,回忆一下线性方程的定义就是给x1,x2,x3,...,xp,它们的次数都为1,然后它们前面乘以一些系数再相加起来,是不是就跟咱们目前说的线程“组合”很像,只是把之前的未知数改成了向量而已,只是由于向量的加法结果并非是一个常数,而依然是向量,所以对于线性组合这个概念这样理解就稍加顺畅一些。

    而其实在之前线性代数的学习中已经见过很多次线性组合了:

    1、比如三维空间中,有三个标准单位向量【参考https://www.cnblogs.com/webor2006/p/14257300.html】:

     

    对应三维坐标轴如下:

    那么对于三维空间中的任何一个向量,是不是都可以写成:

    进一步抽象:

    所以加上线性组合的概念来阐述就是对于三维空间中的任何一个向量,都是其三个标准单位向量的一个线性组合。

    2、再比如在上次https://www.cnblogs.com/webor2006/p/14271706.html,对于矩阵的乘法是可以以列视角来看待的,回忆一下:

     也就是对于列视角的矩阵*向量的结果就是该矩阵的每一个列向量的线性组合,而这个线性组合所对应的k1,k2等系数也就是右乘的向量中每一个元素的值,所以:矩阵和向量的乘法,可以看做是矩阵的列向量的一个线性组合。比较有意思的是对于这么一个看法跟“之前https://www.cnblogs.com/webor2006/p/14271706.html咱们学习把坐标系中的任意一个向量也可以看成是一个线性组合”两者之间是可以联系起来的,回忆一下:

     

    也就是把一个矩阵看成是一个空间,其实也就是把矩阵*向量看成了是矩阵的列向量的一个线性组合,如下:

    很明显它跟咱们上面举的第一个线性组合的例子其实是一样的,就好比是这个情况:

    对于这些不同的视角都是为了加深对于概念的理解~~

    3、最后要举的一个之前用的线性组合的例子是高斯约旦消元法的一个增广矩阵,如下:

    那它跟咱们目前学习的线性组合的概念是如何挂勾的呢?下面用抽象的视角来审视一下整个消元的过程:

    所以就是:

    紧接着将它下面的元素都消为0,则需要让第二行(r2向量)减去第一行(-r1向量),然后再让第三行(r3向量)+ 3 * 第一行(-r1向量),结果如下:

    其中对于对于标红的这个矩阵中的三行是不是就是原来r1、r2、r3这三个向量的线性组合?好继续消元的过程,此时得处理第二行了:

    首先归一,则需要让第二行乘以-1/2,如下:

    然后将它下面的元素归0,很明显就是第三行+第二行,所以最终为:

    其中对于标红的这个式子归一处理之后,就可以发现:

    发现木有,其实它就等于原来矩阵行向量的一个线性组合,当然接下来还得进行主元上面的归0操作,不过这里略过了,从这个高斯消元的过程中就可以发现对于高斯约旦消元法的结果的每一行,其实是原来矩阵各行的一个线性组合。怎么感觉这个线性组合的概念有点生硬呀,学它很有用么?是的!!!之所以都往这个概念上靠就是为了之后的学习需要,因为这个概念是线性代数的非常核心的概念,在之后的学习中会发现哪里都离不开它,所以先学会用这种视角理解下线性组合是个什么东东既可。

    线性相关和线性无关:

    线性相关:

    接下来继续来学习新概念,如标题所示,这俩是离不开上面所介绍的线性组合的,所以数学的学习就是这么严谨,来不得半点马虎,新的概念完全是由之前所学的概念所推导出来的,回忆一下在上面介绍线性组合举的最后一个例子:

     

    而对于举的这个增广矩阵其实是一个齐次的线性方程组的增广矩阵,关于啥是齐次线性方程组可以回忆https://www.cnblogs.com/webor2006/p/14280299.html

    所以咱们只需要对增广矩阵的系数矩阵进行消元既可,对于结果由于都是0不管怎么进行初等变换依然都是0,而对于系数矩阵而言经过高斯消元之后,其实发现它是一个零向量,如下:

     

    换言之:

    按顺序整理一下就是:

    此时三个系数可以定义为:

    而这里重点要关注的是经过等号左边的运算之后得到了右侧的一个“零向量”,对于零向量它是很特殊的,基于这种特殊,其实对于k1,k2,k3三个其实还有另一个非常平凡能想到的解就是:

    好!!!新概念就要基于此进行推出了,对于若干个n维向量:

     

    存在一组k不全为0,使得:

    则称:

    它们是线性相关。说实话这个概念还是有些抽象的,怎么理解呢?对于咱们这个例子,由于有一组k不全为0也使得最终为零向量:

    此时将r3向量提到左边,其它提到右边就为:

    是不是r3向量就可以表示成r1向量和r2向量的一个线性组合?所以对于这个线性相关就可以理解对于这三个向量并不是那么的独立,其中把r3向量拿出来,它可以用r1和r2的线性组合给表示出来,这就是所谓的线性相关。

    基于此,其实就可以有这么一个跟线性相关的命题了:

    下面来证明一下该命题:

    先来证明正方向:

    就有:

    其中设ki不为0,就会有如下式子了:

    由于ki不为0,所以等式两边都可以除以它,式子就变换成了:

    很明显对于vi向量而言它是其它向量的一个线性组合,这就证明了这个正向的命题,但是这里有个注意点:如果线性相关只能说明是其中“至少”有一个向量可以写成其他向量的线性组合,但不是“所有”向量都可以写成其他向量的线性组合,因为如果向量的系数k为0的话对应的这个向量就不能写成其它向量的线性组合了,注意这个严谨性。

    再来证明反方向 :

    既然“其中一个向量可以写成其他向量的线性组合”,那就可以有如下等式:

    这样将vi向量挪一下位置,就可以表示为:

    其中是不是就可以看到左侧就是v1....vn向量的线性组合中至少存在vi向量前的系数为-1,不为0?

    这不就符合线性相关的概念么?因为再看一下线性相关的定义:

     

    所以反方向的命题也被证明了。

    线性无关【重要】:

    了解了线性相关之后,对立的就是线性无关了,先直接看它的定义,很容易理解:

    一个最简单的例子,就是在之前学习的空间坐标系中的单位向量,回忆一下:

    也就是对于空间中的任何一个坐标都可以表示单位向量的线性组合,而如果想这个线性组合为0的话,是不是只有可能是:

    此时就可以说e1、e2、e3向量就是线性无关的,其中从空间图就可以看到,本身这三个向量就是没有关系的。

    而对于线性无关的向量,很显然任何一个向量都是非常重要的,它不能被其它的向量所取代,所以在之后的学习中会更加的关注“线性无关”,但是!!!也并不是说线性相关就不重要的,它们俩其实是相辅相成的,有时为了证明线性无关也是需要借助于线性相关的性质的,比如咱们来证明:

    也就是有n个标准单位向量,要想证明此命题,可以用反证法,此时就得借助于线性相关啦,所以就会有:

    此时就可以有如下等式:

    既然有一组不全为0的k,所以可以假设ki不等于0,于是就可以将它化为:

    然后再同时除以ki,如下:

     

    而对于等号右侧的线性组织是可以计算出来的,其实就是这个结果向量:

      

    其中第i个元素是为0【记住它,因为之后会拿它做一个对比】,因为线性组合中是没有ei这项的,提到等号左边了呀,而ei是第i个元素为1,其它的元素都为0的标准单位向量,很明显矛盾了呀,因为等号右侧的向量的第i个元素为0,所以e1...en向量线性相关是不可能的,所以就证明了它们是线性无关的。

    线性相关的重要性质:

    线性相关:

    接下来看一下线性相关的重要性质,如下:

    假设有100个三维向量(m=100,n=3,m>n)、4个三维向量(m=4,n=3,m>n),此时就可以百分百肯定它们是线性相关的,但是!!!如果有3个三维向量(m=3,n=3,m=n)就不知道它们到底是线性相关或线性无关了,此时就还需要进一步自己来判断了。

    这里先来探究一下为啥当m>n时就“一定”是线性相关的,先来看这两个向量:

    要判断它们俩是否是线性相关,就得从线性相关的定义出来,很显然得看是否存在k1,k2不全为0,满足下面这个条件:

    而它其实又可以变为以矩阵列的视角和向量的乘积,如下:

    此时就又回了齐次线性方程的求解问题了,看它是否只有唯一的零解,如果是那么这俩向量肯定是线性无关的,否则为线性相关。而关于线性系统的求解在之前已经花了大量时间系统的学习了,其实也很简单,将其系数矩阵化为行最简形式然后再看它非0行的个数和未知数的个数之间的关系,首先用第一行先乘以-1/3,就变为:

    然后将第一行主元下面的行化为0,直接用第二行减去第一行,变为:

    好,目前已经化为行最简形式了,目前这个方程有2个未知数,其中存在有一个自由列,啥叫自由列还有印象么,回忆一下https://www.cnblogs.com/webor2006/p/14280299.html

    也就是非0行只有1个,而未知数有2个,很显然根据之前https://www.cnblogs.com/webor2006/p/14280299.html所学:

    很显然不只有一个解(不只有零解,对于齐性线性方程一定有一个零解,因为等式右边是为0嘛),此时就可以推断出k1、k2不可能全为0,所以就可以得出这两向量:

    是线性相关的,所以再来对咱们对于上面两个向量判断是否线性相关的解题思路进行抽象化一下,进而来进行如下命题的证明:

    就得看是否存在k1,k2,...,km【因为有m个向量,所以就得有m个系数】不全为0,而且要满足:

    而展开来看的话就是:

    再变换成线性系统的求解:

     

    看是否有唯一零解,如果是的则说明这些向量之间是无关的,否则是线性相关的。而由于这是一个齐次线性方程,所以可以直接看系数矩阵既可【因为你不管怎么进行消失消元其结果都为0】,所以对于系数矩阵目前是n行m列,而根据咱们对于线性相关的命题已知的条件:

    拿这个系数矩阵来看,其中m是未知数的系数,而n是矩阵的行数,也就是说矩阵的列数大于行数,当它化为行最简形式的时候,是不是最多也只能是n行为非0行?所以系统矩阵化为行最简形式后,肯定非零行小于列数,所以该齐次线性方程肯定是有无数解,而不仅仅有唯一的零解,这样对于线性相关的这个命题也就得证了。

    线性无关:

    对于上面的命题,相反怎么来论证呢?也就是:

    同样也是回归到齐次线性方程的求解上来:

    而根据之前对于线性系统的求解的总结来看:

     

    当将系统矩阵化为最简形式之后,非零行一定是要等于未知数的个数的才有唯一解。其实答案在之前所推导的一系列命题中:

    所以啥时候才是线性无关的答案就跟之前所学的诸多个命题联系在了一起了,再一次体现了数学的严谨,之前所学都是为后面打基础的,看似没用的理论往往就能解决我们的困惑,所以可以从这命题的任何一个命题取出来都是线性无关的答案,当矩阵A可逆(A是非奇异矩阵)、rref(A) = I、A可以表示成一系列初等矩阵的乘识、Ax=b只有唯一解满足一条都可以认为这些向量是线性无关的,对于这些命题中最简单是矩阵A可逆(A是非奇异矩阵),所以在有些教材中对于m个向量什么时候线性无关定义时就这样定义:

    其中m为啥要等于n呢,因为只有方阵才可逆呀,有时候可会这样陈述这个命题:

    而由于A可逆是在之前的一系列的等价命题中,所以对于之前的系列等价命题又可以加一个命题啦,如下:

    这样就把线性无关跟之前的等价命题联系到了一些,相反的否命题也同样满足各个等价命题的否命题,啥意思?也就是当方阵A的列向量线性相关,可以推出矩阵A不可逆、线性系统Ax=0不只有唯一解、A的行最简形式不是单位矩阵等等,这点也需要明白。

    直观理解线性相关和线性无关:

    对于线性相关这个概念说实话还是非常抽象的,先来回忆一下定义:

    而当时用了一个更直观理解线性相关的方式是指:

    而从另外一个角度来理解:从这些向量所表达的信息来看,线性相关其实就意味着这一组向量中它们的信息是冗余的,这是因为“其中一个向量可以写成其他向量的线性组合”,也不是这个向量很明显没有表达新的信息,也就是存在跟其它向量是重合的;反之线性无关则意味着信息的完全不冗余,因为每一个向量都是独立的,其中一个向量是不能表达成其他向量的线性组织的形式的。说了这段话是不是还是比较抽象,下面则以二维平面的角度来直观感受一下线性相关,按着线性相关的定义:

    也就是只要在二维平面中随便来2个以上的向量,肯定它们都是线性相关的呗,下面来瞅瞅看是不是这样,先随便取2个向量:

    注意这里的“随便”当然不是拿有共线或其中有某条向量是0向量来举例的,关于这些特殊的情况之后再说,目前而言“随便”就是指两个不共面的向量。好,接下来再来取一个向量:

    此时按照定义它们仨肯定是线性相关的对不?那为什么?接下来得做辅助线了,先来将向量u和向量v所在的直线各画一条,如下:

    那此地对于w这个向量一定就能够做出跟向量v和向量u两条直线的平行线,如下:

    此时相交的地方是不是就可以做两个新的向量,如蓝色所示:

    其中这俩蓝色的向量(用k1,k2来表示)其实就是向量u和向量v和某个标量的结果,因为是在同一个方向嘛,所以是跟向量u和向量v相关的,而对于w向量很显然就是k1、k2两个蓝色向量相加的结果,记成:

    此时很明显对于向量w跟向量u和v是线性相关的,对于目前举的这个例子貌似有点牵强呀,刚好是在两夹角的中间,那下面再来取一个位置看看:

    此时同样也可以做向量u,v的直线所在的平行线呀,如下:

    而此时又可以绘制2根蓝色的向量:

    只是这两个蓝色(k1、k2)的向量是向量u,v的反方向,但是依然可以是它们的基数乘积呀,所以对于向量w依然可以表示是k1向量和k2向量的加法形式了,好继续再来取一个向量:

     

    同样的还是可以表示u、v向量跟基数相乘的两个向量相加的结果,如下:

    好,接下来再来弄一个之前提到特殊的情况,就是向量u和向量v共线:

    然后此时在上面任取一个向量w:

    此时w貌似没法表示向量u和向量v线性组合呀,但是!!!向量u是可以表示w和v的线性组合,也就是:

    因为k1可以取0呀,而由于向量u、v是共线的,对于向量u一定是能用向量v乘以一个常数的形式,而k1和k2又不全为0当然可以说u是可以表示w和v的线性组合喽,同理对于向量v也一样:

    所以结论就是其实它们还是线性相关的。

    推论1:

    接下来看一个推论:

    很明显根据线性定义就可以直接推出它:因为n+1>n。但是呢还可以以另一个方式来证明上面的推论:

    此时在这个等式上同时乘以0*vn+1向量,就为:

    而对于它前面的0这个系数其实就是:

    而由于这n+1个k不全为0,也能证明这n个向量是线性相关的。

    推论2:

    对于二维平台中的向量有可能是零向量的情况还木有说,对于它先看一个相关的推论:

    下面来证明一下,先假设i向量是零向量:

    其中对于第i个k可以随便出一个非零的值,所以对于k的情况就为:

    很显然也满足:

     

    其中ki是不为0的,因为能找到一组不全为0的k使得等式满足,那不就是线性相关的定义么?

    上面只是说了线性相关的情况,对于线性无关呢?其实在二维平面中,只要是两个向量不共线,就可以说这两个向量是线性无关的,在三维空间中,三个向量不共面,则这三个向量线性无关。最后对于线性相关和无关的结语为:

    生成空间:

    由线性相关与无关的概念,就可以引出一个非常重要的概念了----生成空间,先来回忆一下在上面论证线性相关以二维平面的一个例子:

    如图也就是表示对于一个二维空间中的任何向量,都可以表示为u和v的线性组合,此时我们就可以说u和v可以生成整个二维空间。对于n维空间而言也一样,若空间中的所有向量,都可以被表示成v1、v2、v3、...、vp向量的线性组合,则称:这些向量可以生成这个空间。还是回到上图的二维空间中来看,我们说u和v可以生成整个二维空间,其实u,v,w也可以生成整个二维空间,这是因为这空间中的任意一个向量都可以写成这三个向量的线性组合,这也很好理解,本身这空间中的任意一个向量都可以用u,v的线性组合来表示,那这个线性组合再加上w之后,w前面的系数取0就可以了呀,所以这二维空间中的任意一个向量也都可以表示成u,v,w这三个向量的线性组合,那既然这样是不是可以再增加一个向量也同样能生成二维空间?是的,那么这里就有一个问题需要探讨了,看下面。

    最少需要几个向量生成二维空间?

    1、肯定不是一个:因为一个向量只能生成这条直线上的其他向量;

    2、肯定不是三个:因为两个向量不共线,其他向量可以表示成这两个向量的线性组合。 所有有一个向量肯定是冗余的,因为咱们这里讨论的是“最少”。

    基于上面两点来看,对于二维空间而言最少需要2个向量,那扩展到n维空间来说,也就有这样一个结论:

    对于一个n维空间,至少【注意这个词】需要n个向量才能够生成

    对于这个结论可以采用反证法来证明:

    证明:对于一个n维空间,至少需要n个向量才能够生成

    假设m个向量可以生成n维空间,且m<n。
    根据定义,则n维空间中的任何一个向量,都可以表示成这m个向量的线性组合。所以此时就可以有如下等式:

    其中等号右边的向量用u来表示,而它又可以变形为:

    上面这是一个非齐次的线性方程组,其中系数矩阵是n行m列的,而目前已知的是n>m,也就是行数大于列数,那么当A化为行最简形式后一定是有零行存在,下面用增广矩阵来表示一下:

    当化为行最简形式之后大概是长这样:

     

    而由于u向量是在空间中任意取的,很显然对于系数矩阵为0行对应的结果un的元素是不能保证为0的,那不为0不就是无解了么?所以此假设不成立,所以命题也就得证了。

    在上面的结论中标红处需要特别注意,“至少”,那“对于n个向量一定可以生成n维空间”很明显是不成立的,比如二维平面上两个向量共线:

    那下面再来探讨:n个向量何时可以生成整个空间呢?其实就是看下面这个增广矩阵看是否一定有解:

    也就是将它化为行最简形式是下面这样:

    非0行有n行,n个未知数,很显然只可能是有唯一解:

    另对这种情况其实对应之前方阵的一系列命题的这种情况:

    所以此时又可以加入一个等价命题了:

    既然是等价,所以对于这些条件只要满足都可以说该方阵A的列向量可以生成n维空间:

    空间的基:

    经过上面生成空间的学习目前我们已经清楚了:“若m个向量生成n维空间,m最小为n(m>=n)”,另外对于线性相关我们也知道了:

    而在上面也已经提到了,往往实际对于线性“无关”这个话题更加感兴趣,因为线性无关的向量都是彼此独立的,都是有用的信息,所以此时以线性无关的角度来看:
    "若m个n维向量线性无关,m最大为n(m <= n)"。

    对于上面的结论一定要注意反着来说就不成立了,比如:对于n个向量是否一定就能生成n维空间呢?不一定,但是!!要想一组向量要想能生成n维空间,那么这组向量至少需要n个;同理n个n维向量是否一定线性无关呢?也不一定,但是!!!要想让这组n维向量线性无关,这组向量最多只能有n个,如果是n+1个向量就一定是线性相关。

    好,对于上面有两处标红的,接下来就可以得出另一个命题了:

    若一组向量既可以生成整个n维空间,并且线性无关,这组向量一定有n个【因为等于就是上面两个命题的交集,只有可能m=n】,则称这组向量为这个n维空间的一组基【基础的意思】。”更加形象的来看空间的基的定义如下:

    对于空间的基这个概念还是有些抽象,下面还是回到坐标系中来进一步理解它,因为很重要!!

    这里还是用之前说明线性相关的这两个向量来举例:

     

    是不是可以看出在二维平面中只要是不共线的两条向量就是整个二维空间的一组基,因为u,v的线性组合可以表示任何二维空间的一组向量,所以u,v可以生成整个二维空间,另外这俩向量由于不共线所以是线性无关的,基于此,是不是发现“一个空间中是有无数组基”?比如再取两个不共线的向量:

    而我们最常用的一组基其实是长这样:

    而通常咱们会让这俩向量进行标准化处理,也就是让两个向量的模等于1,其实就是标准化单位向量,如下:

    那么问题来了,既然这样两个向量也是空间的基:

    既然e1,e2是二维空间的基;u,v也是二维空间的基,那么他们应该具有相同的性质?是的,下面来看一下这个共性:

    在二维空间中,任何一个向量(或者是点)都可以表示成e1,e2的线性组合:

    而在二维空间中,任何一个向量(或者是点)都可以表示成u和v的线性组合!且表示方法唯一【这个唯一性对于线性代数理论是非常重要的】

    基于此,咱们可以拓展到n维空间再叙述一下就是:

    在n维空间,如果给定了一组基,任何一个向量(或者是点)都可以表示成这组基的线性组合!且表示方法唯一。

    下面则来论证一下这个唯一性:

    在n维空间,任何一个向量(或者是点)都可以表示成e1、e2、...、en的线性组合,且表示方法唯一。
    证明:

    对n维空间中的任何一个向量u,看是否一定存在一组k,使得:

    展开来看就是:

    对于它又可以写成矩阵x向量的线性系统了,如下:

     

    而咱们要论证的“表示方法唯一”,其实对于k1...kn这个系数就是向量u在e1...en这组基下面的表示 ,而要想让表示方式唯一,很明显就是看k1...kn的解是否是唯一的,回到上面的这个线性系统中就是看未知数的角是否是唯一,很显然对于目前这个线性系统化为行最简形式的非零行是n行,而未知数的个数也是n个,很显然一定是有解,且唯一!!所以此结论就得证。

    好,有了这个大前提之后,接下来再来论证我们想要的结论:“在n维空间,如果给定了一组基,任何一个向量(或者是点)都可以表示成这组基的线性组合!且表示方法唯一。

    证明:
    对n维空间中的任何一个向量u,看是否一定存在一组k,使得:

    依然将其化为线性系统为:

    由于这组v是n维空间的基,根据空间基的定义就可以得知这组v可以生成整个空间,且线性无关对吧?那怎么就知道该线性系统解唯一呢?此时又得借助于之前的那一系列方阵的等价命题了:

    既然能知道Ax=b只有唯一解,是不是也能说明此线性系统有解且唯一的,所以此结论就得证。

    知道了空间的基之后,再回过头看之前咱们学习的矩阵表示空间这个话题,如下:

     

    其中u、v是空间中的一组基,所以上面式子就可以理解在这样一组基下相应的向量就表示成了(2,2)。

    而它对应的平面坐标的样子如下:

     

    也就是在坐标系下如果在e1,e2这组基下的表示就是(12,8)了,所以有如下等式:

    这样就利用咱们所学的空间基的概念进一步巩固了之前所学的矩阵表示空间的概念了。

    空间的基的更多性质:

    先来回忆一下空间基的定义:

    就有如下两个性质:

    1、n维空间中,任意n个线性无关的的向量,一定是这个n维空间的基。

    2、n维空间中,如果n个向量可以生成整个空间,则这n个向量,是这个n维空间的基。

    其实对于俩特性就来自于方阵的等价命题中:

    下面以三维空间为例再来理解上面的性质,比如:

     

    很显然这两个三维向量是线性无关的,但是不能生成整个空间,因为m<n,2个向量只能形成一个面,而这2个向量的任何一个线性组织只能是在这个平面上,它无法生成不在这个平面上的向量,相应的,如果是:

     

    很显然它们是线性无关且可以生成整个空间,如果再多一个三维向量呢?

    很显然它们是可以生成整个空间的,但是!!!它们不再是线性无关,而变成了线性相关的了。

    下面用文字再整理一下性质:

    另外对于空间的基还有如下一个性质:

    3、如果一组向量:

    它们可以生成n维空间,如果其中的一个向量,是其他向量的线性组合,如果删除这个向量,剩下的向量仍然可以生成整个n维空间。 下面论证一下,假设vi可以是其他向量的线性组合:

    而由于这p个向量能够生成n维空间,那就意味着在这n维空间中任意一个向量u都可以用这p个向量的线性组合来表示:

    此时将vi代入,发现向量u就是除了vi之外p-1个向量的线性组合,所以此性质就得证了。

    基于这个特性,又可以产生下面一个关于空间基的特性了:

    4、如果一组向量:

    可以生成n维空间,则这组向量的一个子集,是n维空间的一组基。关于这个就不论证了,其实也比较容易理解,如果有m个向量,对于它如果大于n的话,就是将m个向量中线性相关的向量进行删除,直到删到这m个向量是线性无关为止,这些m个向量就是整个n维空间的一组基啦,知道这个特性有啥意义呢?很多时候可能并不需要构造n维空间中的一组基,如果我们知道一组向量可以生成n维空间的话,我们只需要从这组向量中挑选出一个子集就能形成n维空间的一组基了,而挑选出的这组向量就是要满足线性无关,而根据咱们所学的性质,对于一组向量既要线性无关,又能生成n维空间,这组向量的子集一定是有n个,换言之就是说只要从这p个向量中挑选出n个线性无关的向量就形成了这n维空间的一组基。

    小结:形成自己的知识图谱:

    最后对咱们这次所学进行一个梳理,说实话学了太多新的概念了,学到这都已经学晕了,所以有必要再重新梳理一下知识图谱,当然对于具体的概念就不细说了:

    首先咱们学习了线性组合的概念,然后由它引出了:

    简单来说线性相关就是一个向量可以用其它向量的线性组合来表示,而线性无关则是一个向量没有任何其它向量的线性组合来表示。

    接下来又引出了生成空间的概念:

    一组向量可以生成某个空间是指在空间中取出任何一个向量都能被这组向量的线性组合所表示,此时又跟线性组合联系在了一起,而由线性无关跟生成空间又引出了一个新的概念:

    其实这也就是此次所学的主要大纲,然后对于之前的方阵的等价命题随着这次的学习又多出了两个:

     

    而其实对于标红的这俩命题又可以引出一个新的命题:

    另外对于空间的基再回忆一下,对于一个空间来说它有无数组基,而最常用的是用标准单位向量所组成的基:

    实际上对于这样的基有一个单独的名字来定义:标准正交基。关于这块之后会学到,先抛出个概念。

    当然也可以空间中任意取两个不共线的向量为基:

    它跟标准正交基其实是存在诸多共性的:二维空间中的任何一个向量或者任何一个点都可以被一组基给唯一的表示出来。最后再来说一个问题,就是既然已经有了标准正交基了,直接都以这样的标准正交基来当空间的基不就可以了,为啥还要泛化出对于空间中任意取两个不共线的向量都可以作为空间的基的情况呢?其实是有时候会对空间的其他基感兴趣,而非只是标准正交基,比如在物理学中要看这个方块在下坡它的受力情况:

    此时要想分析其受力的话用这样的坐标系远比标准正交基(垂直于底平线和平行于底平线)所在的坐标系要有意义:

    虽然这个坐标系是斜的,但是对于我们关注的这个方块其实坐标系还是正的。同样再举一个物理学的例子,对于一个飞机在前进时的受力情况:

    此时就可以从飞机的引擎给飞机带来前进的动力:

     

    以及飞机所受的像风力或者阻力等外界因素所带给它的力:

     

    用这样的坐标系计算就远比标准正交基所代表的坐标系要更加有意义。这次学习木有涉及到编程,纯学概念,但是这些概念都是非常重要的,也是为后续更进一步学好线性代数的高级知识必经之路。

    展开全文
  • n维向量及其运算、向量线性相关与线性无关1 向量间的线性关系2 向量组的等价3 线性相关与线性无关4 定理 1 向量间的线性关系 向量定义:n个数a1,a2...ana_{1},a_{2}...a_{n}a1​,a2​...an​组成的有序数组(a1,a2......
  • 线性组合与线性相关

    千次阅读 2020-09-25 11:18:42
    下面开始引入本课的主题:线性表示。这个概念其实我们并不陌生,就是小学美术老师教过的调色: 1.1 等比混合 这三种颜色的光线同时作用在这三种感光细胞上,混合在一起,就得到了我们所看到的颜色
  • MATLAB实现线性拟合和相关系数 源程序代码
  • 生成空间:以二维空间为例,给定两个非零向量。 其中两个非零向量系数a,b任意取值组合,就...若给定多个向量,移除其中一部分而不减少生成空间,就是线性相关 若所有向量都给生成空间增加了维度,就是线性无关 ...
  • 线性代数 线性相关与线性表示的理解 https://www.zhihu.com/question/39326459/answer/452801233 首先,向量是仅有一行或者一列的特殊矩阵,我们将其每一个元素视为一个维度,n维向量就存在于n维空间内。 我们可以把...
  • 线性表示&线性相关&线性无关

    千次阅读 2021-07-31 10:59:08
    线性相关的充分必要条件是向量组中至少有一个向量可由其余向量线性表示 线性表示 定义 指线性空间中的一个元素可通过另一组元素的线性运算来表示。零向量可由任一组向量线性表示。 等价向量组 性质 ...
  • 这里写目录标题一,n维向量的线性相关1,简介2,公式:3,线性组合,线性表出,表出系数4,向量组之间等价5,线性相关与线性无关的判别 一,n维向量的线性相关 1,简介 设P为域,n是正整数,P中n个元素构成的有序组...
  • 本文介绍了线性空间的概念,线性...线性空间中的多个向量构成的一组向量要么是线性相关的,要么是线性无关的。一个向量空间中的极大线性无关组是该向量空间的基,极大线性无关组所含向量的个数就是对应向量空间的维数。
  • python 线性相关 与 线性拟合

    千次阅读 2021-06-26 21:13:05
    文章目录线性相关皮尔逊相关系数(stats.pearsonr)斯皮尔曼相关系数(stats.spearmanr)线性拟合/回归最小二乘法(optimize.least_squares)R方(R squared)代码实现 线性相关 线性相关分析是描述两变量间直线相关,...
  • 向量组线性相关 定义 例题 定义 向量组 α 1 , α 2 , ⋯   , α s ( s ⩾ 1 ) \alpha_1,\alpha_2,\cdots,\alpha_s(s\geqslant1) α1​,α2​,⋯,αs​(s⩾1) 称为线性相关,如果有数域 P P P 中不全为零的数 k 1 , ...
  • 本篇文章的内容主要是线性相关/无关、秩、伴随矩阵、线性方程组、核与像,我这里也是翻来覆去看了几遍尤其是秩后面这几个东西,所以很有可能理解的不到位,或者直接出现错误,希望各位能够多多包涵,并且提出宝贵的...
  • 线性相关的重要性质

    千次阅读 2019-11-10 21:30:25
    n, 则线性相关 也就是说 向量的个数m 比向量所在的空间的维度n 大的话 那么这组向量是线性相关的 对于若干个n维向量,存在一组K不全为0,使得 则称 线性相关 如果 线性相关则 其中一个向量可以写成其他向量的...
  • 线性代数入门——线性组合与线性表出,线性相关与线性无关线性组合与线性表出线性相关与线性无关 线性组合与线性表出 首先讲解关于线性组合和线性表出的概念 若对于n维向量组 α1,α2,α3,…,αn,β; 存在一组...
  • 线性相关与线性表答(出)2.秩与最大线性无关组3.向量个数与维数三、补充 前言 提示:以下是本篇文章正文内容,下面案例可供参考 一、(非)齐次方程组解的判定 秩 行列式(注:在n个n维向量组) 解的情况 b=0...
  • 线性回归模型是最简单的回归分析模型,下面我们应用线性回归来预测票房。图8-5是计算机模拟生成的500个数据点,每个点表示一部电影,横坐标是预告片搜索量,纵坐标是票房。图8-5称为散点图,是统计分析中最简单、最...
  • 2-2 线性相关与线性无关.PPT
  • 本章主要介绍向量空间的知识,与前两章一样本章也可以通过研究解线性方程组的解把所有知识点串联起来,比如研究齐次线性方程组的解可以得到线性相关、线性无关、零空间、解空间的基(基础解系)、解空间的维数、秩...
  • 基础线性代数知识点总结与回顾 骨骼图:
  • 线性相关常用性质

    千次阅读 2020-11-23 12:15:29
    AB矩阵相乘=0矩阵,则AB秩相加小于A的列数; AB(均为n列)同解,则AB秩相等; https://www.bilibili.com/video/BV1Kx411h7wU?p=5
  • 正式地说,这种冗余被称为线性相关。如果一组向量中的任意一个向量都不能表示成其他向量的线性组合,那么这组向量称为线性无关。如果某个向量是一组向量中某些向量的线性组合,那么我们将这个向量加入这组向量后...
  • 第七章.线性相关系数的计算

    千次阅读 2019-11-23 15:32:42
    7.1.1线性相关系数的计算 线性相关分析是用相关系数来表示两个变量间相互的线性关系,并判断其密切程度的统计方法。 为了下面编程方便起见,我们令X=身高,Y=体重。 > x=ug$height > y=ug$weight > par...
  • 线性相关与线性无关的定义与性质

    万次阅读 多人点赞 2018-11-21 15:20:55
    定义1 线性相关: KnKnK_nK_nKn​Kn​中向量组α1,α2,...,αs(s≥1)α_1,α_2,...,α_s(s\ge1)α1​,α2​,...,αs​(s≥1)称为是线性相关的,如果KKK中有不全为0的k1,k2,...,ksk_1,k_2,...,k_sk1​,k2​,...,ks​...
  • 数学中的线性相关概念

    万次阅读 2017-08-30 13:15:14
    数学中的线性相关概念
  • 线性相关和线性无关

    千次阅读 2019-02-09 15:59:02
    线性表出:设α₁,α₂,…,αₑ(e≥1)是域P上线性空间V中的有限个向量,若V中向量α可以表示为α=k₁α₁+k₂α₂+…+kₑαₑ(kₐ∈P,a=1,2,…,e),则称α是向量组α₁,α₂,…,αₑ的一个线性组合,亦称...
  • 线性相关的本质

    2020-04-17 22:26:35
    但从空间里看线性相关和线性无关,向量就“活”了,定理也就“活”了 重要的三句话和一张图(不要随便扩充) 1.以少表多,多的相关(严格少) 2.部分相关,整体相关;整体无关,部分无关 3.高维无关,低维无关;低维...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 402,157
精华内容 160,862
关键字:

线性相关