马上要开始一大波夏令营面试了，前不久thu叉院的一面问到了概率分布，没有准备好，用了一周左右的时间断断续续的复习了一下线性代数，后面再概率论吧，主要总结了一些基础知识，概念和性质。

文章目录
一、行列式-计算方法与重要性质
二、矩阵的秩，特征值与特征多项式
三、逆，奇异，正交，伴随，实对称，正定矩阵
四、向量组与线性相关（无关）
五、线性方程组的解，与秩的关系
六、二次型的基本内容和重要结论

一、行列式-计算方法与重要性质
$\color{red}\textbf{行列式定义}$

行列式的定义依赖于逆序数与全排列，需要注意的是，行列式只是方阵的概念。



$\color{red}\textbf{行列式计算以及性质}$

行列式的计算除了直接用定义以外，可以使用如下性质进行计算的简化。

1、三角形行列式的值，等于对角线元素的乘积。计算时，一般需要多次运算来把行列式转换为上三角型或下三角型

2、交换行列式中的两行（列），行列式变号（交换）

3、行列式中某行（列）的公因子，可以提出放到行列式之外。（倍乘）（注：矩阵是全部元素都乘，都提取）

4、行列式的某行乘以a，加到另外一行，行列式不变，常用于消去某些元素。（倍加）

5、若行列式中，两行（列）完全一样，则行列式为0；可以推论，如果两行（列）成比例，行列式为0。

6、行列式展开：行列式的值，等于其中某一行（列）的每个元素与其代数余子式乘积的和；但若是另一行（列）的元素与本行（列）的代数余子式乘积求和，则其和为0


$\color{red}\textbf{行列式重要公式}$


拉普拉斯展开式中，m，n分别是A,B矩阵的阶数。

$\color{red}\textbf{方阵的行列式}$

$|A^T|=|A|$
$|kA|=k^n|A|$
$|AB|=|A||B|$
$|A^*|=|A|^{n-1}$，A是n阶矩阵。
$|A|^{-1}=|A^{-1}|$
A的行列数是A所有特征值的乘积。


相关博文：

https://blog.csdn.net/xuejianbest/article/details/85051344utm_medium=distribute.pc_relevant.none-task-blog-baidujs-2

https://blog.csdn.net/xuejianbest/article/details/85050784?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-6-85050784

https://blog.csdn.net/wuxintdrh/article/details/98424632?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%A1%8C%E5%88%97%E5%BC%8F%E7%9A%84%E4%B8%BB%E8%A6%81%E5%85%AC%E5%BC%8F&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-0-98424632

二、矩阵的秩，特征值与特征多项式
矩阵的特征值刻画矩阵的奇异性、反映矩阵所有对角元素的结构、刻画矩阵的正定性。

$\color{red}\textbf{秩}$

一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。即如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数。
如果A中，存在一个i阶子式不为0，且所有i+1阶子式对应的行列式值为0，那么r(A)=i（所谓的i阶子式即在矩阵中人去一个i*i的方阵）
求矩阵的秩时，除了利用定义法和上面的观察法，主要是通过性质，经过初等变换，矩阵秩不变。若A可逆，则r(AB)=r(BA)=r(B)

$\color{red}\textbf{特征值与特征向量}$



物理意义：我们可以将矩阵看成是一个力的混合体，但需要注意的是，这个力的混合体中各个力是相互独立的！即特征向量之间线性无关，是无法做力的合成（这里只是假设其无法合成，有更好的解释以后会补充）的。其中力的个数为矩阵的秩，力的大小为特征值的大小，力的方向即为特征向量的方向。
详细解释见深度理解矩阵的奇异值，特征值
$\color{red}\textbf{特征多项式}$

A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)x=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。



$\color{red}\textbf{特征值相关的重要性质}$

设$A$是n阶矩阵，$\lambda_1,..,\lambda_n$是矩阵$A$的特征值，那么我们有如下两条性质$1:\sum\lambda_i=\sum a_{ii}，2:\prod\lambda_i=|A|$。
不同特征值对应的特征向量线性无关。
实对阵矩阵$A$的不同特征值$\lambda_i$所对应的特征向量$\alpha_i$必然正交。实对称矩阵A的特征值都是实数，特征向量都是实向量。
下三角矩阵，上三角矩阵，对角矩阵的特征值就是矩阵主对角线上的元素。

三、逆，奇异，正交，伴随，实对称，正定矩阵
$\color{red}\textbf{理解矩阵}$

一片很好的文章，在线性空间中，当你选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）。而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量。
简而言之，在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动，用矩阵与向量的乘法施加运动。这就是线性代数中所说的坐标变换。
是的，矩阵的本质是运动的描述。如果以后有人问你矩阵是什么，那么你就可以响亮地告诉他，矩阵的本质是运动的描述。（chensh，说你呢！）

$\color{red}\textbf{矩阵的逆以及计算}$
设$A$是$n$阶矩阵，如果存在$n$阶矩阵$B$，使得$AB=BA=E(单位矩阵)$成立，那么称$A$为可逆矩阵或者非奇异矩阵。
求出逆矩阵的3种手算方法：

待定系数法：对矩阵$A$，直接设一个全为未知数的矩阵$B$，使得$AB=E$，解方程得到$B$的所有值。
伴随矩阵法、A的伴随矩阵是一个n×n的矩阵（记作adj(A)），使得其第i 行第j 列的元素是A关于第j 行第i 列的代数余子式。
初等变换法（初等行变化用的比较多），将矩阵$A$，增广为$A|E$的形式，通过初等变化将其变为$EA^{-1}$。

这三种方法百度百科讲的无比清楚

$\color{red}\textbf{奇异矩阵和非奇异矩阵}$

以下内容来自于这里
首先需要说明的值奇异矩阵和非奇异矩阵都是针对方阵而言的。奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。

非奇异矩阵的英文是nonsingular matrices，从对应的英文单词nonsingular上来讲，singular有一个含义是单数的，那么nonsingular是非单数，与非奇异矩阵的性质对上了，即有矩阵A，矩阵B，满足条件:AB=BA=I，I是一个单元矩阵，那么矩阵A和矩阵B均为非奇异矩阵。非奇异，即A不是单个的，是成对的。

奇异矩阵的判定方法：

行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；

非奇异矩阵的判定方法：

一个矩阵非奇异当且仅当它的行列式不为零。

一个矩阵非奇异当且仅当它代表的线性变换是个自同构。

一个矩阵非奇异当且仅当它的秩为n。

(R(A)<n则行列式为0) 可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。**


$\color{red}\textbf{正交矩阵及其性质}$

如果：$AA^T=E$（E为单位矩阵，$A^T$表示“矩阵A的转置矩阵”。）或$A^TA=E$，则$n$阶实矩阵$A$称为正交矩阵。
正交矩阵的性质：

1)$A^T$是正交矩阵

2)$A$的各行是单位向量且两两正交

3)$A$的各列是单位向量且两两正交

4)$|A|=1$或-1


$\color{red}\textbf{实对称矩阵}$

如果有n阶矩阵A，其矩阵的元素都为实数，且矩阵A的转置等于其本身（aij=aji）(i,j为元素的脚标），则称A为实对称矩阵。

主要性质：

1.实对称矩阵A的不同特征值对应的特征向量是正交的。

2.实对称矩阵A的特征值都是实数，特征向量都是实向量。

3.n阶实对称矩阵A必可相似对角化，且相似对角阵上的元素即为矩阵本身特征值。

4.若A具有k重特征值λ0　必有k个线性无关的特征向量，或者说秩r(λ0E-A)至多为n-k，其中E为单位矩阵。


$\color{red}\textbf{正定，半正定矩阵定义与重要性质}$

在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。在线性代数中，正定矩阵的性质类似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（复域中则对应埃尔米特正定双线性形式）。

（1）广义定义：设$M$是$n$阶方阵，如果对任何非零向量$z$，都有$\mathbf{z^TMz> 0}$，其中$z^T$ 表示$z$的转置，就称$M$为正定矩阵。
例如：B为n阶矩阵，E为单位矩阵，a为正实数。在a充分大时，aE+B为正定矩阵。（B必须为对称阵）
（2）狭义定义：一个$n$阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z，都有$z^TMz> 0$。其中$z^T$表示$z$的转置。

重要性质：
正定矩阵有以下性质   ：

（1）正定矩阵的行列式恒为正；

（2）实对称矩阵A正定当且仅当A与单位矩阵合同；

（3）若A是正定矩阵，则A的逆矩阵也是正定矩阵；

（4）两个正定矩阵的和是正定矩阵；

（5）正实数与正定矩阵的乘积是正定矩阵。

等价命题：
对于n阶实对称矩阵A，下列条件是等价的：

（1）A是正定矩阵；

（2）A的一切顺序主子式均为正；

（3）A的一切主子式均为正；

（4）A的特征值均为正；

（5）存在实可逆矩阵C，使A=C′C；

（6）存在秩为n的m×n实矩阵B，使A=B′B；

（7）存在主对角线元素全为正的实三角矩阵R，使A=R′R [3]  。

判定方法：
根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：

（1）求出A的所有特征值。若A的特征值均为正数，则A是正定的；若A的特征值均为负数，则A为负定的。

（2）计算A的各阶主子式。若A的各阶主子式均大于零，则A是正定的；若A的各阶主子式中，奇数阶主子式为负，偶数阶为正，则A为负定的。
四、向量组与线性相关（无关）
$\color{red}\textbf{线性无关的定义}$

在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立 (linearly independent)，反之称为线性相关(linearly dependent)。
线性相关(Linear dependent)与线性无关(Linear independent)对于理解子空间的基，子空间的维数，以及矩阵的秩等等是重要的.
数学定义：
如果线性空间X中的向量组$\mathbf{x_1,x_2,...,x_j}$存在如下线性关系：
$\mathbf{k_1x_1+k_2x_2+,...,+k_jx_j=0, }$
其中$k_1,...,k_j$为不全为零的实数.则称$\mathbf{x_1,x_2,...,x_j}$线性相关.如果只有当$k_1,...,k_j$全为零时才满足上式,则称$\mathbf{x_1,x_2,...,x_j}$线性无关.

$\color{red}\textbf{向量组的秩}$

通俗的说，就是把这一组向量中的垃圾向量踢出后剩下的高品质向量的个数，假设这一组有5个向量，踢出两个垃圾，还剩3个。
那么这个向量组的秩就是3。那什么是垃圾向量呢？就是能被别人线性表示的向量。比如说向量α1能被α2和α3线性表示，也就是它的工作能被别人取代。那么α1就是垃圾向量！
正式定义：
一个向量组的极大线性无关组所包含的向量的个数，称为向量组的秩；若向量组的向量都是0向量，则规定其秩为0.向量组α1，α2，···，αs的秩记为R{α1，α2，···，αs}或rank{α1，α2，···，αs}。
极大线性无关组：

极大线性无关组（maximal linearly independent system）是线性空间的基对向量集的推广。设V是域P上的线性空间，S是V的子集。若S的一部分向量线性无关，但在这部分向量中，加上S的任一向量后都线性相关，则称这部分向量是S的一个极大线性无关组。V中子集的极大线性无关组不是惟一的，例如，V的基都是V的极大线性无关组。它们所含的向量个数（基数）相同。V的子集S的极大线性无关组所含向量的个数（基数），称为S的秩。只含零向量的子集的秩是零。V的任一子集都与它的极大线性无关组等价。特别地，当S等于V且V是有限维线性空间时，S的秩就是V的维数。–百度百科

五、线性方程组的解，与秩的关系
先给出两个写的很好的blog，1，2，然后结合他俩&书总结一下。
$\color{red}\textbf{线性方程组什么时候无解？多个解？唯一解?}$

$非齐次线性方程组$

非齐次线性方程组:化简后的有效方程组个数小于未知数个数，有多个解。

非齐次线性方程组:化简后的有效方程组个数等于未知数个数，有唯一解。

非齐次线性方程组:化简后的有效方程组出现(0=d)型式不兼容方程，则无解 。
下面从左到右依次是原方程，增广矩阵（非齐次线性方程组，就是方程组的等式右边不为0的方程组，系数加上方程等式右边的矩阵，叫做增广矩阵），以及化简后的增广矩阵，化简后的方程组。



这样，x2可以通过x3来表示，x1也可以通过x3来表示，这样x3就叫做自由变量，x3可以取任意值。所以x1,x2,x3就有无穷多个解。即化简后的有效方程组个数，小于未知数个数。这样的方程组有无穷多个解

$齐次线性方程组$
齐次线性方程组，就是方程组的等式右边全部是0的方程组，只有系数矩阵，不需要增广矩阵，所以不会出现{0=d}形式的不相容方程。所以不会出现无解的情况，那么显然，齐次线性方程组的秩与其系数矩阵的秩肯定是相等（因为增广了一列0，不影响秩的，也就是说它肯定有解。这个也好理解，零向量肯定是他的解嘛。关键问题在于，它什么时候会有非零解。
对于Ax=0的齐次线性方程组，列出其系数矩阵（不需要增广矩阵），使用高斯消元法化简，化为阶梯形矩阵，化简后，判断有效方程组个数是否小于未知数个数，
如果有效方程组个数小于未知数个数，叫做有非零解（多个解）

如果等于，叫做只有零解（唯一解）

$\color{red}\textbf{通过矩阵的秩判断线性方程组的解}$

线性方程组什么时候无解，有多个解，唯一解？
对于非齐次线性方程组，用矩阵的秩r(A)来判断
对线性方程组进行初等变换（高斯消元法），化为最简型（阶梯形）矩阵，
考查系数矩阵$r(A)$，增广矩阵$r(A,b)$，以及方程组未知数个数$n$

如果系数矩阵的秩$r(A)$小于增广矩阵的秩$r(A,b)$，$r(A)<r(A,b)$，那么方程组无解$r(A)<r(A,b)$，那么方程组无解，即$b$不能由$A$的列向量线性表出；
如果系统矩阵的秩小于方程组未知数个数，$r(A)=r(A,b)<n$，那么方程组有多个解$r(A)=r(A,b)<n$，那么方程组有多个解。
如果系统矩阵的秩等于方程组未知数个数，$r(A)=r(A,b)=n$，那么方程组有唯一解$r(A)=r(A,b)=n$，那么方程组有唯一解。

对于齐次线性方程组，用行列式的值 detA来判断。


不存在无解的情况


$r(A)<n$时，等价于$A$的列向量线性相关，那么方程的数目小于未知数的数目，一定有非零解。


$r(A)=n$，即$|A|≠0$，$A$满秩，则只有零解（只有唯一解）


设齐次方程组系数矩阵的秩$r(A)=r<n$，则$Ax=0$的基础解系由$n-r(A)$个线性无关的解向量所构成。



$\color{red}\textbf{线性方程组的求解}$

写出系数矩阵 -> 行初等变换为行简化矩阵 -> 求基础解系 -> 写出通解
这个例子还不错，就是增广矩阵不断的进行初等变换，化为行最简矩阵（在阶梯形矩阵中，若非零行的第一个非零元素全是1，且非零行的第一个元素1所在列的其余元素全为零，就称该矩阵为行最简形矩阵。）



然后每个方程中的第一个未知量通常称为主变量，其余的未知量称之为自由变量。对自由变量$x_1,...,x_k$依次取1，其余取0时求得的解向量即方程的一个解向量，有多少个自由变量，就能求出多少解向量。总结一下：

对非齐次线性方程组而言：


六、二次型的基本内容和重要结论
$\color{red}\textbf{二次型的定义}$

二次型（quadratic-form）：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。线性代数的重要内容之一，它起源于几何学中二次曲线方程和二次曲面方程化为标准形问题的研究。二次型理论与域的特征有关。

二次型是n个变量上的二次齐次多项式。下面给出一个、两个、和三个变量的二次形式：（注意齐次这个定义很重要，每一项都是二次的，而不是二次函数可以有一次项，可以有常数项。）


将上面的多项式写成矩阵的形式：

$f(x_1,x_2,...,x_i)=\mathbf{x^TAx}$

其中$\mathbf{A}=[a_{ij}]$且$\mathbf{A}^T=\mathbf{A}$是一个对称矩阵，那么称$A$是二次型的矩阵，秩$r(A)$称为二次型的秩，记为$r(f)$

$\color{red}\textbf{标准形，规范形，正定二次型}$

标准形：如果二次型中只含有变量的平方项。
规范形：在标准形中，各平方项的系数为1，-1，0。
正负惯性指数:在二次型$x^TAx$的标准形中，正平方项的个数称为二次型的正惯性指数，负平方项的系数称为二次型的负惯性指数。
正定二次型：对二次型$x^TAx$，如果对任何$x\neq0$，恒友$x^TAx>0$，则称二次型是正定二次型，且实对称矩阵$A$是正定矩阵。

文章目录
1 矩阵概念
1.1 矩阵的定义
1.2 与行列式的区别
1.3 矩阵分类
1.3.1 实矩阵与复矩阵
1.3.2 零矩阵
1.3.3 方阵
1.3.4 行矩阵与列矩阵
1.3.5 单位阵
1.3.6 同型矩阵
2 矩阵的运算
2.1 矩阵的加减法
2.2 矩阵的数乘运算
2.3 矩阵乘法
2.3.1 定义
2.3.2 注意点
2.3.2.1 不一定满足交换律
2.3.2.2 没有零元
2.3.3 性质
2.3.3.1 满足结合律与分配律
2.3.3.2 与零矩阵相乘
2.3.3.3 与单位阵相乘
2.4 矩阵的幂（只有方阵才有幂）
2.4.1 定义
2.4.2 性质
2.4.3 注意点
2.4.4 例题
2.5 矩阵的转置
2.5.1 定义
2.5.2 运算规律
3 特殊矩阵（方阵）
3.1 数量矩阵
3.2 对角形矩阵
3.3 上（下）三角形矩阵
3.4 对称与反对称矩阵
3.4.1 对称矩阵
3.4.1.1 定义
3.4.1.2 性质
3.4.2.3 定理
3.4.2 反对称矩阵
3.4.2.1 定义
4 逆矩阵
4.1 方阵的行列式
4.1.1 定义
4.1.2 运算规则
4.1.3 伴随矩阵
4.1.3.1 定义
4.1.3.2 注意点
4.1.3.3 性质
4.2 逆矩阵的定义
4.3 逆矩阵的性质
4.4 逆矩阵的运算规律
4.5 逆矩阵的求法
4.5.1 伴随矩阵法
4.5.2 初等变换法
4.6 逆矩阵的初步应用
4.6.1 例题1
4.6.1.1题目描述
4.6.1.2 解题思路
4.6.1.3 技巧总结
4.6.2 例题2
4.6.1.1题目描述
4.6.1.2 解题思路
4.6.1.3 技巧总结
4.6.3 解矩阵方程
4.6.3.1 题目描述
4.6.3.2 解题思路
4.6.3.3 技巧总结

1 矩阵概念
1.1 矩阵的定义
$m \times n$ 个数，构成的 $m$ 行  $n$ 列的数表
$\begin{bmatrix}
   a_{11} & a_{12} & \cdots & a_{1n}\\
   a_{21} & a_{22} & \cdots & a_{2n}\\
   \vdots & \vdots &  & \vdots\\
   a_{m1} & a_{m2} & \cdots & a_{mn}\\
\end{bmatrix}$
称为 $m$ 行  $n$ 列 矩阵，简称 $m \times n$ 矩阵
1.2 与行列式的区别





行列式
矩阵




本质
一个数
数表


符号
|  |
( )  []


形状
行数 = 列数 （方的）
行数不一定等于列数


1.3 矩阵分类
1.3.1 实矩阵与复矩阵
元素是实数的矩阵称为实矩阵
元素是复数的矩阵称为复矩阵
1.3.2 零矩阵
元素全为零的矩阵称为零矩阵，记作
$O _ {m \times n} = 
\begin{bmatrix}
   0 & 0 & \cdots & 0\\
   0 & 0 & \cdots & 0\\
   \vdots & \vdots &  & \vdots\\
   0 & 0 & \cdots & 0\\
\end{bmatrix}$
1.3.3 方阵
行数与列数相同的矩阵称为方阵
1.3.4 行矩阵与列矩阵
只有一列的矩阵称为列矩阵（列向量），常用 $a, \alpha, x$ 表示
只有一行的矩阵称为行矩阵（行向量），常用 $a ^ T, \alpha  ^ T, x  ^ T$ 表示
1.3.5 单位阵
对角线上元素全是 $1$ ，其他元素全是 $0$ ，的方阵称为单位阵，记作：
$E _ n = 
\begin{bmatrix}
   1 & 0 & \cdots & 0\\
   0 & 1 & \cdots & 0\\
   \vdots & \vdots &  & \vdots\\
   0 & 0 & \cdots & 1\\
\end{bmatrix}$
1.3.6 同型矩阵
两个矩阵的行数相等、列数也相等时，就称它们是同型矩阵
若两个矩阵为同型矩阵，且它们对应元素相等，即
$a_{ij} = b_{ij} (i = 1, 2, \cdots, m; j = 1, 2, \cdots, n)$
那么就称矩阵 $A$ 与矩阵 $B$ 相等，记作
$A = B$
注意：不同型的零矩阵是不同的
2 矩阵的运算
2.1 矩阵的加减法
只有同型矩阵才能相加减
$A + B = 
\begin{bmatrix}
   a_{11} + b_{11} & a_{12} + b_{12} & \cdots & a_{1n} + b_{1n}\\
   a_{21} + b_{21} & a_{22} + b_{22} & \cdots & a_{2n} + b_{2n}\\
   \vdots & \vdots &  & \vdots\\
   a_{m1} + b_{m1} & a_{m2} + b_{m2} & \cdots & a_{mn} + b_{mn}\\
\end{bmatrix}$
$A - B = 
\begin{bmatrix}
   a_{11} - b_{11} & a_{12} - b_{12} & \cdots & a_{1n} - b_{1n}\\
   a_{21} - b_{21} & a_{22} - b_{22} & \cdots & a_{2n} - b_{2n}\\
   \vdots & \vdots &  & \vdots\\
   a_{m1} - b_{m1} & a_{m2} - b_{m2} & \cdots & a_{mn} - b_{mn}\\
\end{bmatrix}$
矩阵加减法满足：
交换律 $A + B = B + A$
结合律 $A + (B + C) = (A + B) + C$
2.2 矩阵的数乘运算
数 $\lambda$ 与矩阵 $A$ 的乘积记作 $\lambda A$ 或者 $A \lambda$，规定为
$\lambda A
 = A \lambda
 = \begin{bmatrix}
   \lambda a_{11} & \lambda a_{12} & \cdots & \lambda a_{1n}\\
   \lambda a_{21} & \lambda a_{22} & \cdots & \lambda a_{2n}\\
   \vdots & \vdots &  & \vdots\\
   \lambda a_{m1} & \lambda a_{m2} & \cdots & \lambda a_{mn}\\
\end{bmatrix}$
提公因子：

矩阵所有元素均有公因子，公因子外提一次
行列式中，某一行有公因子便提一次，所有元素均有公因子，公因子外提 $n$ 次

矩阵数乘运算满足：
$(\lambda \mu) A = \lambda (\mu A)$
$(\lambda + \mu) A = \lambda A + \mu A$
$\lambda (A + B) = \lambda A + \lambda B$
2.3 矩阵乘法
2.3.1 定义
矩阵相乘的前提： 第一个矩阵的列数 = 第二个矩阵的行数
结果矩阵的形状： 第一个矩阵的行数 $\times$ 第二个矩阵的列数
$A _ {m \times n} B _ {n \times s} = C _ {m \times s}$
其中
$c_{ij} = a_{i1}b_{1j} +a_{i2}b_{2} + \cdots + a_{in}b_{nj}$
2.3.2 注意点
2.3.2.1 不一定满足交换律
$AB$ 不一定等于 $BA$， $AB$  有意义， $BA$ 不一定有意义。
如果 $AB = BA$ ，则称 $A$ 与 $B$ 是可交换的
2.3.2.2 没有零元
$A = 
\begin{bmatrix}
   2 & 0 \\
   -1 & 0
\end{bmatrix}
B = 
\begin{bmatrix}
   0 & 0 \\
   1 & 3
\end{bmatrix}
C = 
\begin{bmatrix}
   0 & 0 \\
   2 & 4
\end{bmatrix}$
计算可得 $AB = 0$ 且 $AC = 0$，因此
两个非零矩阵乘积可能为零
$AB = 0$ 不能推出 $A = 0$ 或者 $B = 0$
$AB = AC$ 且 $A$ 不为零矩阵，不能推出 $B = C$
2.3.3 性质
2.3.3.1 满足结合律与分配律
$(AB)C = A(BC)$
$A(B + C) = AB + AC, (A + B)C = AC + BC$
注意分配律中 左乘 与 右乘 顺序不可变
2.3.3.2 与零矩阵相乘
$A _ {m \times n} O _ {n \times s} = O _ {m \times s}$
2.3.3.3 与单位阵相乘
$AE = A, EB = B$
2.4 矩阵的幂（只有方阵才有幂）
2.4.1 定义
$A ^ k = AA \cdots A (k 个 A 相乘) ，A ^ 0 = E$
2.4.2 性质
$A ^ {k _ 1 + k _ 2} = A ^ {k_1} A ^ {k_2}$
$(A ^ {k_1}) ^ {k _ 2} = A ^ {k_1 k_2}$
2.4.3 注意点
$(AB)^k$ 不一定等于 $A ^ k B ^ k$，只有当 $A, B$可交换时才相等
同理 $(A + B) ^ 2$ 不一定等于 $A ^ 2 + 2AB + B ^ 2$，只有当 $A, B$可交换时才相等
$(A - B) ^ 2$ 不一定等于 $A ^ 2 - 2AB + B ^ 2$，只有当 $A, B$可交换时才相等
2.4.4 例题
$A = 
\begin{bmatrix}
1 \\
1 \\
1
\end{bmatrix}
B = 
\begin{bmatrix}
1 & 2 & 3
\end{bmatrix}$
求 $AB$，$BA$， $(AB) ^ 2$， $(AB) ^ {10}$
$AB = 
\begin{bmatrix}
1 & 2 & 3 \\
1 & 2 & 3 \\
1 & 2 & 3 
\end{bmatrix}$
$BA = 6$
$(AB)^2 = ABAB = A(BA)B = A \times 6 \times B = 6AB =
6\begin{bmatrix}
1 & 2 & 3 \\
1 & 2 & 3 \\
1 & 2 & 3 
\end{bmatrix}$
$(AB)^{10} = AB A\cdots BAB = A(BA)\cdots(BA)B = A \times 6^9 \times B = 6^9AB =
6^9\begin{bmatrix}
1 & 2 & 3 \\
1 & 2 & 3 \\
1 & 2 & 3 
\end{bmatrix}$
2.5 矩阵的转置
2.5.1 定义
把矩阵 $A$ 的行换成同序数的列得到一个新矩阵，叫做 $A$ 的转置矩阵，记作 $A ^ T$
2.5.2 运算规律

$(A ^ T) ^ T = A$
$(A + B) ^ T = A ^ T + B ^ T$
$(\lambda A) ^ T = \lambda A ^ T$
$(AB) ^ T = B ^ T A ^ T$
$(ABCD) ^ T = D ^ T C ^ T B ^ T A ^ T$

3 特殊矩阵（方阵）
3.1 数量矩阵
主对角线元素全为 $a$，其他元素全为 $0$ 的矩阵
$\begin{bmatrix}
a & 0 & \cdots & 0 \\
0 & a & \cdots & 0 \\
\vdots & \vdots &  & \vdots \\
0 & 0 & \cdots & a \\
\end{bmatrix}
= a E$
零矩阵和单位阵都是特殊的数量矩阵
3.2 对角形矩阵
$\begin{bmatrix}
a _ 1 & 0 & \cdots & 0 \\
0 & a _ 2 & \cdots & 0 \\
\vdots & \vdots &  & \vdots \\
0 & 0 & \cdots & a _ n \\
\end{bmatrix}
= diag(a_1, a_2, \cdots, a_n)$
3.3 上（下）三角形矩阵
主对角线以下的元素全为零的矩阵叫上三角矩阵
$\begin{bmatrix}
   a_{11} & a_{12} & \cdots & a_{1n}\\
   0 & a_{22} & \cdots & a_{2n}\\
   \vdots & \vdots &  & \vdots\\
   0 & 0 & \cdots & a_{mn}\\
\end{bmatrix}$
3.4 对称与反对称矩阵
3.4.1 对称矩阵
3.4.1.1 定义
$\begin{bmatrix}
   a_{11} & a_{12} & \cdots & a_{1n}\\
   a_{21} & a_{22} & \cdots & a_{2n}\\
   \vdots & \vdots &  & \vdots\\
   a_{m1} & a_{m2} & \cdots & a_{mn}\\
\end{bmatrix}$
其中 $a _ {ij} = a_ {ji}$
3.4.1.2 性质
$A ^ T = A$
若 $A, B$ 同阶对称

$(A + B) ^ T = A ^ T + B ^ T = A + B$
$(A - B) ^ T = A ^ T - B ^ T = A - B$
$(kA) ^ T = k A ^ T = k A$
$(AB) ^ T = B^T A^T = BA$

3.4.2.3 定理

$A, B$ 对称当且仅当 $A, B$ 可交换

3.4.2 反对称矩阵
3.4.2.1 定义
$\begin{bmatrix}
   0 & a_{12} & \cdots & a_{1n}\\
   a_{21} & 0 & \cdots & a_{2n}\\
   \vdots & \vdots &  & \vdots\\
   a_{m1} & a_{m2} & \cdots & 0\\
\end{bmatrix}$
其中 $a _ {ij} = - a_ {ji}$
性质： $A ^ T = - A$
4 逆矩阵
4.1 方阵的行列式
4.1.1 定义
由 $n$ 阶方阵 $A$ 的元素所构成的行列式（各元素的位置不变），称为方阵 $A$ 的行列式，记作 $det A$ 或 $|A|$
4.1.2 运算规则

$|A ^ T| = |A|$
$|\lambda A| = \lambda ^ n |A|$
$|AB| = |A| |B|$

4.1.3 伴随矩阵
4.1.3.1 定义
行列式 $|A|$ 的各个元素的代数余子式 $A_{ij}$ 所构成的如下的矩阵
$A^{*} = 
\begin{bmatrix}
   A_{11} & A_{21} & \cdots & A_{n1}\\
   A_{12} & A_{22} & \cdots & A_{n2}\\
   \vdots & \vdots &  & \vdots\\
   A_{1n} & A_{2n} & \cdots & A_{nn}\\
\end{bmatrix}$
称为矩阵 $A$ 的伴随矩阵，简称伴随阵。
4.1.3.2 注意点
注意代数余子式的顺序，原矩阵的第一行的元素所对应的代数余子式是伴随矩阵的第一列（按行求得代数余子式按列放置构成伴随矩阵）
4.1.3.3 性质
由于：
$a_{j1} A_{i1} + a_{j2} A_{i2} + \cdots + a_{jn} A_{in} = 
\begin{cases}
   D  &\text{if } i = j \\
   0 &\text{else} 
\end{cases}$
所以有性质如下：
$A A^* = A^* A = |A| E$
推论：
无论 $|A|$ 是否为零，都有
$|A^*| = |A| ^ {n - 1}$
4.2 逆矩阵的定义
对于 $n$ 阶矩阵 $A$，如果有一个 $n$ 阶矩阵 $B$，使
$AB = BA = E$
则说矩阵 $A$ 是可逆的，并把矩阵 $B$ 称为矩阵 $A$ 的逆矩阵，简称逆阵
$A$ 的逆矩阵记作 $A ^ {-1}$。即若 $AB = BA = E$，则 $B = A ^ {-1}$
4.3 逆矩阵的性质


如果矩阵 $A$ 是可逆的，那么 $A$ 的逆矩阵是唯一的


矩阵 $A$ 可逆 当且仅当 $|A|$ 不为零  （非奇异方阵 非退化 满秩）


$A ^ {-1} = \frac{1}{|A|} A ^ *$，其中 $A ^ *$  为矩阵 $A$ 的伴随矩阵


4.4 逆矩阵的运算规律

若 $A$ 可逆，则 $A ^ {-1}$ 亦可逆，且 $(A ^ {-1}) ^ {-1} = A$
若 $A$ 可逆，数 $\lambda$ 不为零，则 $\lambda A$ 可逆，且 $(\lambda A) ^ {-1} = \frac{1}{\lambda} A ^ {-1}$
若 $A, B$ 为同阶矩阵且均可逆，则 $AB$ 亦可逆，且 $(AB) ^ {-1} = B ^ {-1} A ^ {-1}$
$(ABCD) ^ {-1} = D ^ {-1} C ^ {-1} B ^ {-1} A ^ {-1}$
若 $A$ 可逆，则 $A ^ T$ 亦可逆，且 $(A ^ T) ^ {-1} = (A ^ {-1}) ^ T$
若 $A$ 可逆，则 $|A ^ {-1}| = |A| ^ {-1}$
若 $A$ 可逆，则 $A ^ *$ 也可逆， $(A ^ *) ^ {-1} = \frac{1}{|A|} A$

4.5 逆矩阵的求法
4.5.1 伴随矩阵法
4.5.2 初等变换法
4.6 逆矩阵的初步应用
4.6.1 例题1
4.6.1.1题目描述
已知 $A + B = AB$ ， 求 $(A - E)$ 的逆矩阵
4.6.1.2 解题思路
$A + B = AB \\
AB - A - B + E = E \\
A(B - E) - (B - E) = E \\
(A - E)(B - E) = E$
所以 $(A - E)$ 的逆矩阵为 $(B - E)$
4.6.1.3 技巧总结
非具体的矩阵求逆，充分运用性质：
若 $AB = BA = E$，则 $B = A ^ {-1}$
将等式左侧分解为 待求矩阵与另一矩阵的乘积，右侧凑出 单位矩阵 $E$
4.6.2 例题2
4.6.1.1题目描述
已知 $A^2 + A - 4E = 0$ ， 求 $(A - E)$ 的逆矩阵
4.6.1.2 解题思路
$A^2 + A - 4E = 0 \\
(A - E)(A + 2E) - 2E = 0 \\
(A - E)(A + 2E) = 2E \\
(A - E)\frac{1}{2}(A + 2E) = E$
所以 $(A - E)$ 的逆矩阵为 $\frac{1}{2}(A + 2E)$
4.6.1.3 技巧总结
非具体的矩阵求逆，充分运用性质：
若 $AB = BA = E$，则 $B = A ^ {-1}$
将等式左侧分解为 待求矩阵与另一矩阵的乘积，右侧凑出 单位矩阵 $E$
4.6.3 解矩阵方程
4.6.3.1 题目描述
已知

$\begin{bmatrix}
   4 & 2 & 3\\
   1 & 1 & 0\\
   -1 & 2 & 3\\
\end{bmatrix}$
求解矩阵方程 $AX = A + 2X$
4.6.3.2 解题思路
$AX = A + 2X \\
AX - 2X = A \\
(A - 2E)X = A$
$(A - 2E) = 
\begin{bmatrix}
   2 & 2 & 3\\
   1 & -1 & 0\\
   -1 & 2 & 1\\
\end{bmatrix}$
经过计算
$|A - 2E| = -1$
因此 $(A - 2E)$ 可逆
$(A - 2E) ^ {-1} (A - 2E) X = (A - 2E) A \\
X = (A - 2E) A$
4.6.3.3 技巧总结

矩阵多项式 提公因式时注意方向（左乘还是右乘）
矩阵不可与数运算，记得乘上单位阵
矩阵不可做分母
先证明可逆，再借助逆矩阵运算

整数定义：
整式是单项式和多项式的统称。

单项式是数字与字母的乘积。

多项式是几个单项式的和。
单项式的次数：
单项式的次数是单项式中所有字母次数的总和。
多项式的次数：
多项式的次数是多项式中次数最高的单项式的次数。
整式的运算：
所有新定义的数学概念都需要定义它们的运算规则，包括加、减、乘、除等。

整式的加减：

如果包含括号先去括号，再合并同类项(同类项是包含字母和次数相同的代数式)

比如：

ab+5ab = 6ab

ac-(1-6ac)=7ac-1
整式的乘法：

1、单项式与单项式相乘，把它们的系数，相同字母的幂分别相乘，其余字母连同它的指数不变，作为积的因式。


2、单项式与多项式相乘，根据分配率用单项式去乘多项式的每一项，再把所得的积相加。


3、多项式与多项式相乘，先用一个多项式的每一项乘另外一个多项式的每一项，再把所得的积相加。



整式的除法：

1、单项式相乘，把系数，同底数幂分别相除后，作为商的因式。对于只在被除数里含有的字母，连同它的指数一起作为商的一个因式。


2、多项式除以单项式，先把这个多项式的每一项分别除以单项式，再把所得的商相加。

前面已经提到了矩阵和向量的乘法运算,这里再对矩阵相乘的概念进行重述。矩阵相乘是基本且常用的运算之一。这里定义矩阵X和矩阵A相乘得到矩阵Y。在定义乘法运算的过程中,需要使X的列数与A的行数相等。将乘法运算写为如下形式。
Y=AX或Y=A.X (1.17)
式(1.17)展示了两种矩阵乘法的书写习惯，前一种是线性代数里常用的矩阵乘法书写形式，后一种在张量分析中常用，代表向量的点乘运算。式(1.18)为写1成分量的形式。
(1.18)
这里有两点需要解释,有时会用字母加下标的方式来表示矩阵元素。而矩阵相乘的过程中,在一部分文献中会写成约定求和的方式,即省略求和符号而用相同的指标/代表求和。对于矩阵的乘法来说,还有其他的乘法形式,如矩阵的哈达玛积( Hadamard Product ) ,就是矩阵的对应元素相乘,其形式如下。
(1.19)
这里需要注意的是，式(1.19)中相同指标并不代表求和，而仅是元素相乘。与之相类似的是矩阵的加法运算，其代表着矩阵对应元素相加。
(1.20)
矩阵运算本身也有着类似于数字运算的法则。
(1)分配率
A(B+C)=AB+AC
(2)结合律：
(AB)C=A(BC)
(3) 交换律：矩阵运算无交换律。
1 矩阵分块运算和线性变换
回顾如下一种简单的等式。
(1.21)
Y=ax+b
这是一种简单的表示形式，它代表x和y之间存在某种关系。如果将x与y看成二维空间中的坐标，那么式(1.21)则代表了空间中的某一条直线。写成矩阵的乘法与加法，则形式如下。
(1.22)
Y=AX+B
式(1.22)实际上代表对矩阵X进行线性变换后得到Y的过程。因此矩阵的线性变换实际上就是对式(1.21)的扩展。这代表X与Y之间存在某种简单的关系。取Y,X, B的某一列向量r,y,b,则公式如下。
(1.23)
y=Ax+b
这代表着对向量 进行线性变换。在给出式(1.22)的过程中,我们需要解释一个细节,就是矩阵的分块运算。对于矩阵的乘法及加法运算,都可以分解为对子矩阵进行相乘运算。例如将式(1.22)中矩阵的每一列看作一个子矩阵(向量) ,那么 可以写成分块形式。式(1.23)中X就来自于x1~xn。
(1.24)
X=[x1,...，xn]
将Y,B均写成类似的形式,那么X与A的乘法可以写成如下形式。
(1.25)
这就是矩阵的分块运算。当然,分块运算还有其他划分形式,读者可参考线性代数的相关内容。如果令y=0,那么式(1.23)就变成了如下形式。
(1.26)
Ax=-6
式(1.26)是一个标准的线性方程组。从矩阵分块运算的角度来看,将n个未知数的m组方程写成了式(1.23)所示的紧凑形式。矩阵可以简化公式的书写。假设.4矩阵是m行n列的,则严格来说还需要Rank (A) =min(m, n)
(1) 如果m=n,那么代表未知数个数与方程个数是相等的,这是一个适定方程。
(2)如果m
(3)如果m >n,那么代表未知数个数小于方程个数,这是一个超定方程。
这就有了3种典型问题。对于适定问题,如果矩阵行列式不等于0,那么方程有唯一解(空间中的一个点) ;对于欠定方程,方程具有无穷多个解(一个空间曲面) ;对于超定方程,仅有近似解。机器学习问题应当都是超定问题,也就是方程个数是多于未知数个数的。但是也有些情况例外,比如深度学习模型,未知数个数可能是大于方程个数的。
现在列举一个简单的例子。假设在二维空间中有(1.0, 1.1) (2.0, 1.9) (3.0,3.1) (4.0, 4.0)共4个点,求解这4个点所在的直线。如果直线方程为y=ax+b ,那么将4个数据点代入后会得到4个方程,而未知数有a.6两个,因此这就是一个典型的超定问题。此时,对于a、6取得任何值都无法很好地描述通过4个点的直线。但若取a=1,b=0,此时虽然无法精确地描述z和y的关系,但是通过这种方式可以得到(1.0, 1.0),与数据点相比(1.0, 1.1)十分接近,因此得到了近似意义(最小二乘)上的解。这是一个非常典型的机器学习问题。从这个例子可以看到,实际上机器学习就是一个从数据中寻找规律的过程。而假设数据符合直线分布就是我们给定的模型,求解给定模型参数的过程称为优化。这里不需要读者对机器学习问题进行更多的思考,我们在之后还会进行更详细的阐释。这里只是说明机器学习问题大部分情况下是一个超定问题,但由于可训练参数(也就是未知数)较多,在训练样本(每个训练数据都是一个方程)不足的情况下深度学习模型可能并非超定问题,此时会面临过拟合风险,因此对于机器学习尤其是深度学习需要海量(数量远超未知数的个数,未知数也就是可训练参数的个数)的样本才能学习到有价值的知识。
1.2矩阵分解
上面提到空间中某一坐标向量可以写成多个向量相加的形式。
(1.27)
对于一组不全为0的向量而言,如果其中的任意一个向量都不能由其他向量以式(1.27)的方式表示,那就代表这组向量线性无关或这组向量是线性独立的。
线性独立的概念很重要。如果几个向量线性不独立,即某个向量可以用其他向量表示,那么这个向量就没有存储的必要。举个简单的例子。
(1.28)
式(1.28)代表向量
仍是线性相关的,也就是说,我们仅需存储3个向量其中的两个就可以恢复第3个向量。这种恢复是无损的,是信息压缩最原始的思想。这里加强约束,式(1.27)中等式右边各个向量
之间的关系如下。
(1.29)
式(1.29)中描述的向量是互相正交的关系,并且是单位向量。
(1.30)
单位向量:长度为1的向量。
向量正交：两个向量内积为0。
坐标基向量是最简单的单位向量。
因此,实际上式(1.27)就是对坐标向量进行的坐标基展开,这是在空间中所用到的概念。当然,并不是所有坐标基向量都是正交的,同样也未必是单位向量。
对于一组矩阵的向量
来说,其中的每个向量都可以用其他多个向量以加权求和的方式表示。
(1.31)
其中，
代表第j个单位向量的第i个元素。同样地
代表第k个向量的第i个元素。此时式(1.31)实际上可以表示为矩阵相乘的形式。
(1.32)
式(1.32)中由向量
组成的矩阵V可以分解为两个矩阵A,E的乘积表示。如果m >k,也就是说,我们可以用少于m个数字来表示向量V,这是一个标准的数据压缩过程。此时, A可以代表矩阵V的特征,如果要恢复V的话,还需要保存E。但是机器学习中通常只需A即可,因为其带有V的信息。
从前面的内容可以知道,式(1.32)是对矩阵进行的线性变换,这个变换的目的在于信息压缩。这个过程中需要的是求解矩阵E。如果W=E^T,则信息压缩方式可以写为如下形式。
W称为变换矩阵。这是通过矩阵的线性变换来完成数据压缩的过程。
1.3方阵的线性变换:特征值分解
特征值分解是最简单的一种矩阵分解形式,也是矩阵算法中最常用的。特征值分解是对方阵而言的。下面将某个矩阵A分解成3个矩阵相乘的形式。
(1.34)
这是一个矩阵相乘的逆运算,也是一个典型的欠定问题,因为矩阵分解并不是唯一的。为了解决这种非唯一性问题,我们对分解后的矩阵加入约束条件。第一个约束就是特征值分解中E矩阵是正交矩阵。
(1.35)
此时,式(1.33)中的变换矩阵W即为E。另外一个约束就是对角矩阵A ,对角线上的元素称为特征值。E中的向量则称为特征向量。
对于特征值分解而言,其本身具有明确的几何意义。如果将矩阵A当作1.1.2节中的仿射变换矩阵,那么前面提到的坐标与矩阵.4相乘实际上代表了对空间的旋转拉伸变换。由此仿射变换本身可以分解为旋转与拉伸。因此式(1.34)中所得到的矩阵,E代表了对空间的旋转变换, A则代表了对空间的拉伸变换。在此,以二维情况进行简单阐述,如图1.9所示。
图1.9 仿射变换图示
1.4非方阵线性变换:奇异值分解
作为矩阵的分解算法,特征值分解最主要的缺陷在于它只能应用于方阵。非方阵情况下的矩阵分解算法,比较有代表性的是奇异值分解(SVD)。
(1.36)
SVD的求解过程可以用特征值分解进行,这就需要将矩阵转换为方阵。
(1.37)
对B进行特征值分解,利用对应元素相等可以得到如下关系。
(1.38)
根据式(1.36)可以得到M的值如下。
(1.39)
由此3个矩阵已经完全确定。因此,有人说矩阵的特征值分解是SVD的基础。同时可以看到,矩阵A在变换为矩阵M的过程中,相当于对矩阵A进行一次线性变换。
1.5其他线性变换:字典学习
对于SVD分解而言,有一个非常大的问题就是约束过于严格,如矩阵与V为正交矩阵,这就导致在计算的过程中,为了满足分解条件,信息压缩的质量可能会降低。因此,产生了另外一个更加宽泛的约束方式.
(1.40)
假设条件N足够稀疏,此时M就称为字典。在这种情况下弱化了正交性假设,所得到的信息压缩效果会更加出色。
本文节选自《深度学习算法与实践》
本书旨在为读者建立完整的深度学习知识体系。全书内容包含3个部分，第一部分为与深度学习相关的数学基础；第二部分为深度学习的算法基础以及相关实现；第三部分为深度学习的实际应用。通过阅读本书，读者可加深对深度学习算法的理解，并将其应用到实际工作中。 本书适用于对深度学习感兴趣并希望从事相关工作的读者，也可作为高校相关专业的教学参考书。