初等矩阵和可逆性

初等矩阵：对单位矩阵 进行 一次 初等变换 得到。

初等矩阵一定是可逆的。
==> 因为初等变换是可逆的，所以初等矩阵是可逆的。

对于一般矩阵，如果可逆的话，怎样得到逆矩阵呢？
根据之前的分析 ==> 如果矩阵A可逆的话，即存在一系列的初等矩阵E，满足 ==>

==> 在等式左右两端 乘以 A的逆

==> 乘法结合律

即矩阵A的逆 等于 对单位矩阵 进行 第一个初等变换，第二个初等变换 …

这个过程 等同于 ==>
与使用线性系统的视角的求逆方法是一样的，只不过解决问题的视角不一样。
之前将求解矩阵的逆的问题 转换成 一个求解线性系统的问题。
而这一次 将解矩阵的逆的问题 和 初等变换联系在了一起。

求解矩阵的逆

矩阵的逆运算

矩阵中$AB=BA=I$，则称B是A的逆矩阵，记为$B=A^{-1}$。只有方阵才有逆矩阵。

求解逆矩阵以下面的例子作为引入，

因为Gauss-Jordan消元法是针对系数矩阵进行操作，而结果矩阵是随着系数矩阵的变化而变化的，所以可以将增广矩阵进一步变化，
$$\left(\begin{array}{ccccc}1& 2& |& 1& 0\\ 3& 4& |& 0& 1\end{array}\right)⟹\left(\begin{array}{ccccc}1& 0& |& x_{11}& x_{12}\\ 0& 1& |& x_{21}& x_{22}\end{array}\right)$$

即左侧是系数矩阵，右侧是与之同形的单位矩阵，经过Gauss-Jordan消元法将左侧的系数矩阵化为行最简形式，如果化为行最简形式后左侧是一个单位矩阵，此时对应着唯一解的情况。上面的过程可以使用符号语言表示为，
$$\left(\begin{array}{ccccc}& A& |& I& \end{array}\right)⟹\left(\begin{array}{ccccc}& I& |& A^{-1}& \end{array}\right)$$

矩阵的逆不可能存在无穷解，即一个方阵不可能存在无数个逆矩阵，只有存在一个逆矩阵或不存在逆矩阵这两种情况。

原因说明：
1.因为线性系统存在无穷解的情况可以看作是增广矩阵的最后一行为全0时对应的情况，但是求解逆矩阵时，增广矩阵右方是单位矩阵，不可能出现最下方的行为全0的情况。

2.当系数矩阵化为行最简形式后存在0行时，此时不存在逆矩阵。

上面的求解矩阵的逆的方式仅仅求取的是矩阵的右逆，与最开始矩阵的逆的定义相比，这看似是不严谨的。但是，另一个性质说明这种求取方式得到的结果是正确的，“如果一个方阵A有右逆B，则B也是A的左逆，即B是A的逆”。(以后给出证明)

实现矩阵的逆

求解矩阵的逆的过程本质上也是求解一个线性系统，只不过在一般的线性系统中，增广矩阵的右侧是一个列向量，而求逆时，增广矩阵的右侧是一个矩阵。所以依旧是在之前笔记的 LinearSystem类的基础上进行改造，

# -*- coding: utf-8 -*-
from .matrix import Matrix
from .vector import Vector
from ._global import EPSILON


class LinearSystem:
    def __init__(self, A, b):
        self._m = A.row_num()
        self._n = A.col_num()
		# 对构造方法进行如下修改
        if isinstance(b, Vector):
            self.Ab = [Vector(A.row_vector(i).underlying_list() + [b[i]]) for i in range(self._m)]
        if isinstance(b, Matrix):
            self.Ab = [Vector(A.row_vector(i).underlying_list() + b.row_vector(i).underlying_list() for i in range(self._m)]

        self.pivots = []

    def _forward(self):
        ......
    def _backward(self):
        ......
    
    # 对Gauss-Jordan消元法的返回值进行修改
    def gauss_jordan_elimination(self):
        self._forward()
        self._backward()
        
        # 检查系数矩阵为0时，结果矩阵不为0。此时是无解的情况
        for i in range(len(self.pivots, self._m):
        	if not abs(self.Ab[i][-1]) < EPSILON:
        		return False
        return True

	def inv(A):
		"""求解矩阵的逆"""
		if A.row_num() != A.col_num():
			return None
		n = A.row_num()
		ls = LinearSystem(A, Matrix.identity(n))
		if not ls.gauss_jordan_elimination():
			return None
		
		invA = [[row[i] for i in range(n, 2*n)] for row in ls.Ab]
		
		return Matrix(invA)
		

初等矩阵

矩阵的初等变换及初等矩阵

以该矩阵乘法进行说明，
$$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\cdot \left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)$$

1. 矩阵的某一行乘以一个常数
   $$\left(\begin{array}{ccc}k& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\cdot \left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)=\left(\begin{array}{ccc}k\cdot a& k\cdot b& k\cdot c\\ d& e& f\\ g& h& i\end{array}\right)$$
   可总结为，
   $\left(\begin{array}{ccc}k& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$单位矩阵的某一行乘以一个常数。
2. 矩阵的一行加(减)另一行
   $$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right)\cdot \left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ d& e& f\\ a+g& b+h& c+i\end{array}\right)$$
   可总结为，
   $\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -p\\ 0& 0& 1\end{array}\right)$单位矩阵的一行加(减)另一行的若干倍。
3. 交换矩阵的两行
   $$\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right)\cdot \left(\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right)=\left(\begin{array}{ccc}a& b& c\\ g& h& i\\ d& e& f\end{array}\right)$$
   可总结为，
   $\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right)$交换单位矩阵的两行。

如上这3种操作统称为“矩阵的初等变换”，任何形式的初等变换都可以用相应形式的矩阵进行表示，而这些用于表示初等变换的矩阵称为“初等矩阵”，通常记为$E$。

回顾之前的Gauss-Jordan消元法，把原矩阵化为行最简形式的过程实际上可以看作是寻找到一系列初等矩阵$E$，使得
$$E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot A=rref(A)$$

初等矩阵和可逆性的关系

初等矩阵一定是可逆的。

因为初等变换是可逆的，所以初等矩阵也是可逆的。对于前一小节的初等矩阵，其对应的逆矩阵形式如下，
$$\left(\begin{array}{ccc}k& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\underrightarrow{\text{逆矩阵}}\left(\begin{array}{ccc}\frac{1}{k}& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)$$
$$\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& -p\\ 0& 0& 1\end{array}\right)\underrightarrow{\text{逆矩阵}}\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& p\\ 0& 0& 1\end{array}\right)$$
$$\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right)\underrightarrow{\text{逆矩阵}}\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right)$$
回顾Gauss-Jordan消元过程求取矩阵的逆，
$$E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot A=rref(A)=I$$
如果矩阵$A$可逆，则存在一系列初等矩阵$E$，使得
$$E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot A\cdot A^{-1}=I\cdot A^{-1}$$
$$E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot I=A^{-1}$$
即，
$$\left(\begin{array}{ccccc}& A& |& I& \end{array}\right)⟹\left(\begin{array}{ccccc}& I& |& A^{-1}& \end{array}\right)$$

矩阵可逆的重要性

加速线性系统计算

对于线性系统$Ax=b$，有如下推导，
$$\begin{gathered} A^{-1}\cdot A\cdot x=A^{-1}\cdot b \\ x=A^{-1}\cdot b \end{gathered}$$
当线性系统的系数矩阵A不变，b会变化的情况下，使用矩阵的逆进行计算会大大加快计算速度。

矩阵的逆相关重要命题

矩阵的逆与很多重要的命题相关，这一系列的命题都是等价的。

对于上面诸多问题的证明，逐一证明时间太长，最好的方式是将四个命题串成串来证明，如

顺时针方向证明各个命题，

1. 证明：对于方阵$A$，若$A$可逆（是非奇异矩阵），则当线性系统 $Ax=0$时，仅有唯一解 $x=0$
   $$A\cdot x=0$$
   两端同乘$A^{-1}$，得到
   $$\begin{gathered} A^{-1}\cdot A\cdot x=A^{-1}\cdot 0 \\ I\cdot x=0 \\ x=0 \end{gathered}$$
2. 证明：若线性系统 $Ax=0$只有唯一的0解，则$A$的行最简形式 $rref(A)=I$
   因为$A$是n*n的矩阵，且$Ax=0$有唯一解，则有$n$个未知数，且$reff(A)$存在$n$个非0行
   根据行最简形式的定义：$rref(A)=I$
3. 证明：若矩阵$A$的行最简形式$rref(A)=I$，则$A$可以表示成一系列初等矩阵的乘积
   依据上面的表述可写出，
   $$E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot A=rref(A)=I$$
   等式两端同乘一连串逆矩阵，
   $$E_1^{-1}\cdot E_2^{-1}\cdot E_3^{-1}\cdot ...\cdot E_p^{-1}\cdot E_p\cdot ...\cdot E_3\cdot E_2\cdot E_1\cdot A=E_1^{-1}\cdot E_2^{-1}\cdot E_3^{-1}\cdot ...\cdot E_p^{-1}\cdot I$$
   可得，
   $$A=E_1^{-1}\cdot E_2^{-1}\cdot E_3^{-1}\cdot ...\cdot E_p^{-1}$$
4. 证明：若矩阵$A$可以表示成一系列初等矩阵的乘积，则该矩阵可逆（是非奇异矩阵）
   $$A=E_1\cdot E_2\cdot E_3\cdot ...\cdot E_p$$
   假设存在一个矩阵$B$，满足
   $$B=E_p^{-1}\cdot ...\cdot E_3^{-1}\cdot E_2^{-1}\cdot E_1^{-1}$$
   有矩阵的逆的运算性质，$B$可以表示为，
   $$B=(E_1\cdot E_2\cdot E_3\cdot ...\cdot E_p{)}^{-1}$$
   计算可得，
   $$\begin{gathered} A\cdot B=I \\ B\cdot A=I \end{gathered}$$
   故，$A$是可逆矩阵，其逆矩阵为$B$。

由此整个环证明完成，随便抽取出两个命题，都可以间接地通过环得出这两个命题是等价的。同时这四个命题的否命题也是等价的。

所谓两个事物“等价”可以很简单的理解为，说其中一件就等同于说另一件。在上面的四个命题中，提及矩阵可逆，则等同于又说了其他三个命题。

在人工智能的基础学习中，经常会用到矩阵相关的问题，这里假设A为n*n阶矩阵，则记录了A矩阵可逆与不可逆的一些性质，希望对大家有帮助：

A可逆的性质：
1 矩阵A可逆的充要条件是A的行列式不等于0。 　
2 可逆矩阵一定是方阵。 　
3 如果矩阵A是可逆的，A的逆矩阵是唯一的。
4 可逆矩阵也被称为非奇异矩阵、满秩矩阵。
5 两个可逆矩阵的乘积依然可逆。 
6 可逆矩阵的转置矩阵也可逆。 
7 矩阵可逆当且仅当它是满秩矩阵。

A矩阵不可逆 
1 |A| = 0
2 A的列(行)向量组线性相关
3 R(A)<n
4 AX=0 有非零解
5 A有特征值0.
6 A不能表示成初等矩阵的乘积
7 A的等价标准形不是单位矩阵