目录

 

施密特正交化单位化目的：AA(转置)=E 得到Q（转置）=Q（逆）；

单位化，正交化目的；

相似矩阵理解；

为什么特征向量构成P；

余子式和代数余子式；

特征向量；

对角化；

标准化；

等价，相似，合同；

秩的理解；

特征值和特征向量理解；

二次型；

规范化；

施密特正交化单位化目的：AA(转置)=E 得到Q（转置）=Q（逆）；



施密特正交化就是把非正交基变为正交基的。

（单位化，正交化）AAT=E；这是正交矩阵

其中正交矩阵性质是其逆等于其转置；

这样就能求由逆转置了：



单位化，正交化目的；

(单位化，正交化）AAT=E；这是正交矩阵，

利用正交矩阵性质：其中正交矩阵性质是其逆等于其转置，求转置

施密特正交化公式理解；

向量内积：



 





其中 表示一个向量在另一个向量上的投影，使用上面内积公式带入的到绿线；

两个向量相减表示做垂线；你可以用向量（1，1）-（0，1） 进行体会；

相似矩阵理解

同样的，对于一个线性变换，只要你选定一组基，那么就可以找到一个矩阵来描述这个线性变换。换一组基，就得到一个不同的矩阵。所有这些矩阵都是这同一个线性变换的描述，但又都不是线性变换本身。

但是这样的话，问题就来了如果你给我两张猪的照片，我怎么知道这两张照片上的是同一头猪呢？同样的，你给我两个矩阵，我怎么知道这两个矩阵是描述的同一个线性变换呢？如果是同一个线性变换的不同的矩阵描述，那就是本家兄弟了，见面不认识，岂不成了笑话。

好在，我们可以找到同一个线性变换的矩阵兄弟们的一个性质，那就是：

若矩阵A与B是同一个线性变换的两个不同的描述（之所以会不同，是因为选定了不同的基，也就是选定了不同的坐标系），则一定能找到一个非奇异矩阵P，使得A、B之间满足这样的关系：

A = P-1BP

线性代数稍微熟一点的读者一下就看出来，这就是相似矩阵的定义。没错，所谓相似矩阵，就是同一个线性变换的不同的描述矩阵。按照这个定义，同一头猪的不同角度的照片也可以成为相似照片。俗了一点，不过能让人明白。

而在上面式子里那个矩阵P，其实就是A矩阵所基于的基与B矩阵所基于的基这两组基之间的一个变换关系。关于这个结论，可以用一种非常直觉的方法来证明（而不是一般教科书上那种形式上的证明），

https://blog.csdn.net/frothmoon/article/details/99551072 

其中A = P-1（A对角化）P     A对角化:特征值   P-1，p：特征向量构成的矩阵， 注意：保证特征值和特征向量 一一对应。

为什么特征向量构成P



余子式和代数余子式：

划去元素所在行和列的行列式，代数余子式有  正负号，余子式没有正负。

伴随矩阵就是代数余子式组成的。

矩阵的逆和伴随之间查一个系数，就是矩阵值的倒数。这个性质用来求逆。逆就理解成矩阵的除法。

矩阵的转置就是关于y=x对称的坐标系，把矩阵理解成基坐标系，就行了。  

如果：AA'=E（E为单位矩阵，A'表示“矩阵A的转置”。）则n阶实矩阵A称为正交矩阵

性质：

1. 方阵A正交的充要条件是A的行（列) 向量组是单位正交向量组；

2. 方阵A正交的充要条件是A的n个行（列)向量是n维向量空间的一组标准正交基；

3. A是正交矩阵的充要条件是：A的行向量组两两正交且都是单位向量；

4. A的列向量组也是正交单位向量组。

特征向量

就是基坐标，特征值就是长度，相乘等于Ax，很好理解。

对角化：

就是特征值在主对角线上。

标准化：

当方程式2次的时候，一次项对图像的影响很小，不大会改变图像基本的形状。我们可以利用一次项进行图像的旋转和位置的 位移，对图像进行矫正的很规范的图像；

https://www.matongxue.com/madocs/271.html

 

等价，相似，合同



秩的理解



矩阵的秩：矩阵中所有行向量中极大线性无关组的元素个数。

秩：是图像经过矩阵变换之后的矩阵维度

秩：列空间的维度，行空间的维度，行秩与列秩相等

可以理解为图像所包含的信息的丰富程度。不严谨的讲，低秩表征一种冗余程度。秩越低表示数据冗余性越大，因为用很少几个基就可以表达所有数据了。相反，秩越大表示数据冗余性越小。

特征值和特征向量理解



将特征向量当做一个普通的向量，使用很多个矩阵和它相乘，做乘法之后方向不变的那个矩阵的特征向量就是这个矩阵的特征向量，大小的变动就是特征值。
特征向量其实是个方向，特征值其实是个大小，特征向量所在直线上的向量都是特征向量

特征值分解可以认为：

有一个基，首先左乘一个正交阵变为标准基，然后乘一个对角阵做伸缩变换，然后再乘一个正交阵变回去

矩阵特征值是对特征向量进行伸缩和旋转程度的度量，实数是只进行伸缩，虚数是只进行旋转，复数就是有伸缩有旋转。

 

 

 

二次型

对于一个若此函数，其中的一次项只能对函数图形继续拧放缩和位移，不会改变其形状，常数项更不会改变；

举例： y=x^2和



y=x^2+x



, y=x^2+1


通过矩阵来研究二次函数（方程），这就是线性代数中二次型的重点。对于二次函数或者二次方程，二次部分是主要部分，往往研究二次这部分就够了。

在线代里面，就是通过一个对称矩阵，去研究某个二次型。

对称矩阵⇔二次型矩阵⇔二次型 

一个平面在圆锥体上运动，可以得到圆、椭圆、双曲线，这也是它们之间具有线性关系的来源







二次型理解：https://www.zhihu.com/question/38902714

规范化

是指比如一个椭圆看起来有点歪，不太好处理，我们将它扶正。

二次型矩阵包含了旋转和拉伸两种变换，将其拆分为三个矩阵相乘的形式对其进行规范化只保留拉伸的部分去掉旋转的部分，其中旋转的部分是列向量单位向量并且是正交向量。

二次型矩阵，都是对称矩阵，所以特征值分解总可以得到正交矩阵与对角矩阵。

正定：特征值大于0

第17讲 正交矩阵和施密特正交化
Orthogonal matrices & Gram-Schmidt
网易公开课​open.163.com
本讲我们完成对“正交”的介绍。Gram-Schmidt过程可以将原空间的一组基转变为标准正交基。
正交向量 Orthonormal vectors
满足如下条件的向量q1，q2……qn为标准正交：
换而言之，它们都具有单位长度1，并且彼此正交。标准正交向量是线性无关的。很多线性代数的计算都建立在标准正交基础上，它让一切变得简单可控。
标准正交矩阵 Orthonormal matrix
如果矩阵Q的列向量为标准正交向量，则 
 为单位阵。
注意这里的矩阵Q可以不是方阵。我们已经学过了一系列矩阵，包括三角阵、对角阵、置换矩阵、对称矩阵、行最简梯形矩阵、投影矩阵等等，现在有了“标准正交”矩阵。
一个标准正交的方阵我们称之为“正交矩阵”（orthogonal matrix）。如果Q为方阵，因为
 ，所以
 。
注意必须是方阵，必须是标准正交，而不只是正交。
例如，置换矩阵 
 ，则有 
 ，两者皆为正交矩阵，并且两者乘积为单位阵。
再例如， 
 为正交矩阵。而矩阵 
 并不是正交矩阵，而通过调整得到的矩阵 
 为正交矩阵，在矩阵外面要除以向量的长度。
再比如 
 也是由-1和+1组成的正交矩阵，这种类型的矩阵称之为阿达玛Hadamard矩阵，不同阶数矩阵性质不同并且没有规律，无从判断几阶的阿达玛矩阵为正交阵。
再给一个长方形矩阵的例子，其列向量为标准正交：
 ，我们可以拓展其成为正交矩阵 
 。
标准正交列向量的优势 Orthonormal columns are good
若Q的列向量为标准正交向量，则投影到Q的列空间的投影矩阵为：
因为 
 ，所以
。这种情况会降低很多运算量。如果
Q为方阵，则P=I，因为Q的列向量张成了整个空间，投影过程不会对向量有任何改变。
很多复杂问题使用标准正交向量之后都变得简单。如果基为标准正交，则方程
 的解变为
 ，
 的分量
就等于
。
施密特正交化Gram-Schmidt
从两个线性无关的向量a和b开始，它们张成了一个空间，我们的目标是希望找到两个标准正交的向量q1，q2能张成同样的空间。Schmidt给出的结论是如果我们有一组正交基A和B（注意这个小节A，B，C均为向量），那么我们令它们除以自己的长度就得到标准正交基：
 ,
 。
Gram做了重要的工作，令A=a，我们在a和b张成的空间中，取与A正交的向量做成标准正交基，方法就是将b投影到a的方向，然后取B=b-p（B就是之前谈论过的误差e的方向）。
则有 
如果从等式两端左乘 
 ，可以得到
 。
如果从三个线性无关的向量a、b和c出发，则可以通过从c中减去其在A和B两个方向的投影来得到C。 
例如：a= 
 ，
b=
 ，则有
A=a，B= 
 ，验证计算得
 。
写出q1，q2所组成的矩阵为：
Q= 
Q列向量的空间就是a和b张成的空间。因此矩阵Q和矩阵A= 
 有相同的列空间。
在消元过程中，我们可以对矩阵进行分解得到A=LU，而在对A做施密特正交化的过程也可以用矩阵运算的方式表示为A=QR。此处R为上三角阵。
R为上三角阵，则 
 。这是因为
a1就是q1的方向，而q1和q2为标准正交向量，因此q2的方向与a1垂直，因此内积为0。R在Q右侧相当于对Q做列操作，即A的列向量是Q列向量的线性组合，而Q为A列空间的一组标准正交基，则R的元素实际上是A的列向量基于Q这组标准正交基的权。
采用矩阵的QR分解来帮助求解Ax=b的问题，最大的优势是提高了数值的稳定性。

正交向量组
若有一个向量组 
 它们两两正交，则称这个向量组为正交向量组。
例子：(1,0,0) (0,1,0) (0,0,1) 构成一个正交向量组。
正交基
对于一个n维空间的n个正交向量，它们构成了这个空间的一组基，称其为正交基。
例子：(1,0,0) (0,1,0) (0,0,1) 构成一个正交向量组，在三维空间中它们是一个正交基。
正交矩阵
若一个正交基内的每一个向量均为单位向量（模为1的向量），则称其为规范正交基，若将这些列向量写成矩阵的形式，即 
 ，那么这个方阵（ 
 ）称为正交矩阵。
正交矩阵的三个条件：
（1）矩阵为方阵（2）矩阵的列向量均为单位向量（3）转置矩阵与矩阵的乘积是单位阵
正交矩阵的例子：
正交矩阵一般记作 
 。
正交矩阵的作用
那么我们使用正交矩阵的目的是什么呢？
如果在计算中使用正交阵，可以简化很多地方的计算，例如，对于投影操作来说，我们之前有投影矩阵： 
如果 
 是正交矩阵，则有 
我们之前的最小二乘的方程： 
形式上，都变得简洁了。
Graham-Schimidt正交化
接下来讨论如何由一组向量获得正交的向量组，也就是正交化的问题：
对于两个无关的向量 
 ，如何将其正交化呢？这里借助之前讲到的投影的概念会很好理解：对于二维空间的 
 ,设其正交化后的向量为 
可以做b在a方向的投影，a不变。则有
其实就是投影的知识，这样就得到了正交的向量 
 和 
 。
推广到三个向量则有：

今天晚上王小民同学问了助教姐姐一个问题，为什么对一个一般的矩阵对角化的时候，我们不用做正交单位化，对实对称矩阵对角化的时候却要做呢？这是一个很好的问题，所以和大家分享一下。






最后的结论就是：如果不做正交单位话，我们一样可以通过U（把特征向量按照列写成的矩阵），把一个实对称矩阵对角化为以它的特征值为对角元的对角矩阵。

我们知道，对应一个特征值的特征向量乘以任何一个非零的系数，仍然还是对应着这个特征值的特征向量，如果一个特征值对应多个特征向量，那在它们张成的空间里找出同样数量的线性不相关的向量，也都是这个特征值的特征向量，所以说特征向量并不唯一，也就是说这里的U是不唯一的。

而对于一个实对称矩阵，它的属于不同特征值的特征向量天生就是正交的，这使得我们只要在每个特征值内部选取合适的互相正交的特征向量，就能保证所有的特征向量都正交。而我们刚刚说过，特征向量乘以一个系数，仍然还是特征向量。所以，对于实对称矩阵来说，我们完全可以在诸多的U中选出一个特殊的Q，让Q的每一个列向量都互相正交而且长度为1。这时我们就惊喜的发现，这样的相当于由一组标准正交基当做列向量组成的矩阵Q，正是一个正交矩阵。

于是，我们就清楚的知道了，对实对称矩阵对角化的时候，正交单位化不是必须的，只有当我们想在实对称矩阵的诸多U里选取一个正交矩阵Q时，才需要做。正交矩阵有很多很好的性质，于是乎想从U里找到一个Q也变得情有可原了不是？