本文为原创，如有错误疏漏，烦请指出。如需转载，请联系笔者，ask.shenyue@http://gmail.com。
一、求系统响应就是求解一阶微分方程
线性系统：
首先问题是，为什么所有的系统都能写成一阶微分方程？因为任何一个n阶微分方程，永远都可以通过将状态扩展为 
 的列向量，写成n个一阶的微分方程。例如一个挂在弹簧上的质量为m的小球： 
 。它是一个二阶微分方程，我们可以通过令 
 将这个二阶微分方程，写成两个一阶微分方程： 
 ，状态量扩展为 
的列向量
。
给定线性系统的状态方程 
 ，A为n阶方阵，B为输入矩阵，假设状态 
 ，输入 
 。看系统的响应，本质上是，给定初始状态 
 ，根据系统的一阶微分方程 
 ，要算出任意时刻t，状态量 
 等于什么。高等数学中学过求解微分方程，而状态方程 
 只是一阶微分方程，还是线性的。在高数课程上，这是一类最容易求解的微分方程，解的形式固定：
由于输出 
 ，将x(t)代入到输出方程，我们有
 .
二、可控性的本质
可控性(controllability)的定义:
给定一个控制系统(线性或者非线性)，给定初始状态 
和初始时间 
 ，假设你想要在某个你指定的时间 
 让状态 
 等于你想要的 
 ，如果你可以通过设计u(t)来达到你的目的，那么系统就称作
状态可控；如果你不管怎么想方设法地设计u(t)，都无法让x(t)在你想要的时刻 
 等于你想要的 
 ，那么系统称作是
状态不可控。
我们知道状态x是n维， 
 ，状态可控也就是希望所有n个状态都可控。但是实际问题中，我们可能只想要 
 可控，其他的状态你不care或者不重要。
探索可控性(controllability)本质与矩阵A的相似对角化的关系(线性系统)：
线性状态方程 
 的解：
由可控性的定义，你想要在时刻 
 到达你想要的位置 
 ，也就是 
 令 
 ，有
对A矩阵进行对角化是为了把系统等价转换成相互独立的子系统：
重新回到线性状态方程 
，假设存在P阵(由A的n个线性无关的特征向量组成)让A相似对角化 
 (详细请参考矩阵的特征值、特征向量与相似对角化)，那么令 
 ，我们有 
 。那么我们可以有 
 ，变成了
n个相互独立的子系统了。
A矩阵对角化使得可控性分析一目了然：
所以对于第1个子系统，只要 
 的 
(
 矩阵的第一行)不全是0，那么就可以求解该方程的输入u使得 
 等于任意我想要的位置。如果第i个子系统 
和第j个方程 
 中的 
 是同一个特征值，也就是 
 ，而且恰好 
 也相等或者 
 ( 
 是)，那么 
 就必须等于 
或者 
 必须等于 
 ，也就是 
 不能任意选取，不符合可控性的定义，也就是系统不可控。所以如果
A矩阵可相似对角化成 
 (详细请参考矩阵的特征值、特征向量与相似对角化)，可控性的条件就是对角矩阵 
 中相同特征值
 
对应的 
 不能线性相关。
那么问题来了，对于那些不能相似对角化而只能约当块对角化的A矩阵(详细请参考矩阵的特征值、特征向量与相似对角化)，可控性的条件又是什么？
假设A有r个特征值， 
维(几何重数)特征空间， 
 维(几何重数)特征空间，一直到最后的特征值 
 维(几何重数)特征空间。所有特征空间一共有 
 维，那么约当对角化后的 
 有m个约当块，
 , 
系统相当于m个独立的子系统。其中， 
 对应 
 个约当块，也就对应 
 个(几何重数)独立子系统； 
 对应 
 个(几何重数)独立子系统，以此类推。所以类似分析，
相同特征值 
 对应的不同约当块的最后一行都是只有 
 ，例如 
 或者 
 ，所以对应 
 的那一行必须线性不相关。
我们还可以得到，如果某个特征值 
 的eigenspace有 
 维，所以它就对应 
 个约当块，所以这 
 个约当块对应的B的那 
 行（A中的 
 个同一个特征值的约当块的最后一行）必须线性不相关。如果输入u的维数 
 ，那么这对应的 
 行怎么也不可能线性不相关，系统不可控。所以我们说，
A矩阵的任何特征值对应的eigenspace维数(几何重数)必须小于等于输入u的维数。

矩阵SVD分解
对称矩阵
概念
对称矩阵性质
正交对角化
对称矩阵一定可以被正交对角化
如果一个矩阵能够被正交对角化，则它一定是对称矩阵
谱定理
奇异值
概念
奇异值几何意义
矩阵SVD分解
SVD分解
证明SVD分解成立
SVD分解过程
实现矩阵SVD分解
SVD分解的用途

对称矩阵
借助对称矩阵可以处理任何矩阵，将任何矩阵都分解成希望的形式。
概念
对称矩阵中所有元素沿主对角线对称，主对角线元素不要求实相同的。用数学语言表述为$A=A^T$。对称矩阵也一定是方阵。
对称矩阵性质

对称矩阵的特征值一定是实数
对称矩阵出现多重特征值时，其几何重数一定等于代数重数。也就意味着对称矩阵一定有$n$个线性无关的特征向量。
对称矩阵一定可以被对角化。这实际上与上一条性质等价。

在之前的笔记中，特征值和特征向量的计算过程涉及到几何重数是否等于代数重数、$n$个特征向量是否线性无关等判断。而在面对对称矩阵时，这些运算都可以免去。也就是说，对称矩阵减去了先前特征值计算过程中的各类复杂情况。
正交对角化
对称矩阵一定可以被正交对角化
正交对角化是对称矩阵另一个良好的性质，对称矩阵的所有的不同的特征值对应的特征向量相互垂直。
对上面的性质进行证明，



对于对称矩阵具有多重特征值的情况，因为对称矩阵几何重数等于代数重数，$k$重相同特征值的特征空间也是$k$维，所以在这个空间中找到$k$个正交基是没有问题的。



也就是说对称矩阵一定可以被正交对角化。
其中$Q$是标准正交矩阵，$Q$矩阵也同样具有良好的性质，$Q^{-1}=Q^T$，所以对称矩阵一定满足$A= QDQ^T$，这也称为对矩阵$A$进行了正交对角化。实际上就是在保证了对角化的基础上，同时满足矩阵$P$是一个标准正交矩阵。
如果一个矩阵能够被正交对角化，则它一定是对称矩阵
对该性质进行证明，


谱定理
实际上就是上面的两个互为充要的条件，因为在有些地方矩阵的特征值或奇异值称为谱。


奇异值
之前讨论的特征值、特征向量、相似型、对角化、对称矩阵和正交对角化的内容都是针对方阵而言的。但是在实际工作中，大部分的数据都是非方阵的。若$A$是一个$m×n$的矩阵，则$A^TA$是一个$n×n$的方阵，且该方阵是对称矩阵。
对上面的结论进行证明，



由此，所有的对阵矩阵的良好性质都能够应用。即 $A^TA$可以被正交对角化，拥有$n$个实数特征值，且相应的特征向量线性无关。
概念
基于上面得证的 $A^TA$的性质，进行下面的一步操作，目前先不考虑这样操作的原因，具体原因会在后面说明，



这就将$A$和$A^TA$的特征值和特征向量之间建立联系，因为 $||A\vec{v_i}||^2$是模的平方，所以 $A^TA$的特征值一定是$≥0$的，
奇异值(singular value)，$\sigma_i=\sqrt{\lambda_i}$，就是 $A\vec{v_i}$ 对应的向量的长度。
一般情况下，计算得到的奇异值按照从大到小的顺序进行排序。
奇异值几何意义
$\{A\vec{v_i}\}$是$A$的列空间的一组正交基，同时满足特征向量$\vec{v_i}$对应的特征值$λ_i ≠ 0$。对这一结论进行证明分成两部分，

证明$A\vec{v_i}$之间的正交性


证明$A\vec{v_i}$构成$A$的列空间的正交基



当$λ_i$等于0时，$A\vec{v_i}$对应的向量就是一个零向量，相应的奇异值也为0。如果矩阵$A$有$r$个不为0的奇异值，则 $\{ A\vec{v_1}, A\vec{v_2}, ……, A\vec{v_r} \}$是矩阵$A$的列空间的一组正交基。$A$的列空间的维度为$r$，即$A$矩阵的秩$rank(A)=r$。$\{ \frac{A\vec{v_1}}{σ_1},  \frac{A\vec{v_2}}{σ_2}, ……, \frac{A\vec{v_r}}{σ_r}  \}$是矩阵$A$的列空间的一组标准正交基。

矩阵SVD分解
这是矩阵最重要的分解形式。SVD分解的全称为“Singular Value Decomposition”，即通过矩阵的奇异值进行分解。SVD分解的优势在于，该方法对矩阵没有任何限制，对于任意形状的矩阵都适用。
SVD分解
SVD分解将矩阵分为三部分



矩阵U和V都是标准正交矩阵。
唯一不是方阵的 $∑$ 比较特殊，


证明SVD分解成立
结合SVD分解的公式，因为U和V都是标准正交矩阵，依据标准正交矩阵的性质$V^T = V^{-1}$。




SVD分解过程
对于一个$m×n$的矩阵$A$，进行SVD分解的步骤如下，

求解对称矩阵 $A^TA$ 的特征值和特征向量
用所有非零的特征值得到所有非零的奇异值 $m×n$ 的$∑$，$∑$中对角线上的奇异值按照从大到小的顺序进行排列
将所有特征向量标准化后得到$n×n$的矩阵$V$
使用$A^TA$这个矩阵所有$r$个不为0的特征值及其对应的$r$个非零特征向量求取$U$矩阵的列向量$\vec{u_i}$，其中$\vec{ui}=\frac{A\vec{v_i}}{σ_i}$。如果 $r<m$，则使用Gram-Schmidt方法对$\vec{u_i}$进行扩充，最终得到$m$维空间的一组正交基。

实现矩阵SVD分解
使用Scipy模块实现SVD分解，
import numpy as np
from scipy.linalg import svd

if __name__ == "__main__":
    A = np.array([[1, 2],
                  [3, 4],
                  [5, 6]])
    U, s, VT = svd(A)
    print(U)    # 3×3的矩阵
    print(s)    # 返回一个一维向量，其中每个元素都是矩阵A^(T)A的奇异值
    print(VT)    # 2×2的矩阵

    # 先创建 ∑ 矩阵
    Sigma = np.zeros(A.shape)
    for i in range(len(s)):    
        Sigma[i][i] = s[i]

    print(U.dot(Sigma).dot(VT))    # 与A矩阵相同
    

SVD分解的用途
SVD分解使用很广泛，几乎在使用线性代数的地方都脱离不开SVD分解。举例说明，

将矩阵$A$看做变换

将$U$和$V$看做是$m$维和$n$维空间的标准正交基。若向量$\vec{x}$是$V$矩阵所在空间的向量，则向量$\vec{x}$可以被矩阵$V$中的列向量表示。



对上面最后一行式子进行说明，$A$矩阵的变换被放在$U$这个坐标系下看，与此同时变换结果的值是在之前$U$坐标系中的值的基础上拉伸奇异值倍。
将奇异值视为权值



对上式进行整理可以得到，



所以SVD可以对原始数据进行压缩、降维、去噪(奇异值很小的数据可以视为噪音)。上式表示将$A$这个$m×n$的数据，看做是一个$r$维的数据，其中($r <= min(m, n)$)。

SVD在图像领域的应用很广泛，利用SVD分解，减少了一定的数据量但是依旧可以很好的表达图像的语义。

这一章的知识太杂了，有必要整理一下

 

什么是矩阵

矩阵元素是的多项式就是矩阵

矩阵的秩

行列式可以是的多项式但是能是零，就可以求

矩阵的逆

首先，求它的行列式，只有行列式为常数且非0；这个矩阵才有逆。

然后求伴随矩阵，再除于这个行列式

矩阵的Smith标准型（不要和Smith正交化搞混）

任何一个矩阵都等价于一个对角型矩阵



对角元素称作是此矩阵的不变因子。

初等变换法求矩阵的Smith标准型

我们知道任何矩阵都和对角矩阵等价，所以一定可以用初等变换去求这个对角矩阵。

练习：p60--63

smith标准型是唯一的

也就是：一旦两个矩阵等价，它们的行列式因子相同；不变因子也相同。

另外：矩阵可逆的充要条件是行列式是非零常数，或者矩阵和单位矩阵等价。

 

初等因子

什么是初等因子



由此可知：如果两个矩阵等价，那么它们的不变因子相等（因为smith矩阵唯一），不变因子相等也就意味着，初等因子相等。

所以：两个矩阵等价的充要条件又多了一个；初等因子相等且秩相等（因为初等因子是排除了不变因子的常数的）

不变因子与初等因子 相似条件

从不变因子中求初等因子：就是不要 1 ，并将 不变因子 以底数不同而分开；有重复；具体看上面的例子；

从不变因子求smith标准型：初等因子，求  不变因子就是Smith矩阵的对角元素

行列式因子求不变因子：不变因子等于行列式因子之间做除法

矩阵的特征多项式是不变因子的乘积

知道初等因子就可以求Jordan标准型：初等因子的次数决定了对角线的元素个数，初等因子的决定了元素。

 

 

 

 

 

 

 

 

 

 

 

奇异值分解（SVD）
特征值分解
奇异值分解
奇异值


奇异值分解是特征值分解的一个普遍化的方法，适用于降维、图片压缩等方面的应用。

特征值分解
矩阵A是一个m*m的实对称矩阵（A=A’），则A可被分解为QEQ’，其中Q是正交矩阵（QQ’=I）。
奇异值分解
特征值分解需要A是实对称矩阵，而奇异值分解是特征值分解的推广。即任何矩阵A都可通过奇异值分解分解为以下形式：

A=UEV’

其中U和V都是单位正交阵，U为左奇异矩阵，V为右奇异矩阵，E仅在对角线方向上有值，称为奇异值。
奇异值
奇异值可以被看作成一个矩阵的代表值，或者说，奇异值能够代表这个矩阵的信息。当奇异值越大时，它代表的信息越多。