UTF8gbsn

实对称矩阵一定可以对角化.
最近看共轭梯度下降的时候看到有人的推导里面用到了这个命题. 虽然以前学过,
但是学得很渣, 所以没有自己想过这个命题怎么样成立的.
现在将这些证明过程梳理一下.

实对称矩阵含有n个实根

首先我们来证明一个命题, 实对称矩阵含有n个实根,
注意,n个实根并不一定都是不同的, 可能含有重根.
比如$(r-1{)}^2=0$就含有两个重根$r=1$.在计算根数目的时候这个方程的解算两个.

• 首先, 任意的矩阵$\mathbf{A}$,它的特征多项式
  $$|\mathbf{A}-\lambda \mathbf{I}|=0$$
  是一个$n$次多项式(这是很显然的).
  由于$n$次多项式必定有$n$个根(在复数域上). 这个命题暂不证明,
  直接使用. 我写过另外一篇文章简要的证明了一下这个定理.

• 有了上一步的结论,
  我们现在只需要证明每一个根${\lambda }_i$是实根就可以了.
  这个证明过程很简单. 假设${\lambda }_i$是任意根之一,
  并且${\alpha }_i$(当然也是在复数域),
  那么根据特征值和特征向量的定义.我们可以得
  $$\mathbf{A}{\alpha }_i={\lambda }_i{\alpha }_i$$ 取共轭得
  $$\mathbf{A}{\overline{\alpha }}_i={\overline{\lambda }}_i{\overline{\alpha }}_i$$
  再进行转置得, 注意$A^T=A$, 对称矩阵.
  $${\overline{\alpha }}_i^T\mathbf{A}={\overline{\lambda }}_i{\overline{\alpha }}_i^T$$
  右边乘${\alpha }_i$得
  $${\overline{\alpha }}_i^T\mathbf{A}{\alpha }_i={\overline{\lambda }}_i{\overline{\alpha }}_i^T{\alpha }_i$$

  再看$\mathbf{A}{\alpha }_i={\lambda }_i{\alpha }_i$,
  对它左边乘${\overline{\alpha }}_i^T$可得
  $${\overline{\alpha }}_i^T\mathbf{A}{\alpha }_i={\lambda }_i{\overline{\alpha }}_i^T{\alpha }_i$$

• 上面两个式子相减得
  $$0=({\overline{\lambda }}_{\mathbf{i}}-{\lambda }_{\mathbf{i}}){\overline{\alpha }}_i^T{\alpha }_i$$
  因为,${\overline{\alpha }}_i^T{\alpha }_i$是非0向量.所以我们可得${\overline{\lambda }}_i-{\lambda }_i=0$.
  也就是说${\lambda }_i$是实数.
  又因为${\lambda }_i$是任意的特征值,所以$\mathbf{A}$,
  的所有特征值都是实数.

实对称矩阵属于不同特征值的特征向量正交

接下来我们再来证明一个命题,实对称矩阵属于不同特征值的特征向量正交.我们先假设两个不同的特征值位${\lambda }_i,{\lambda }_j$,
他们对应的特征向量为${\alpha }_i,{\alpha }_j$. 假如,
我们定义$({\alpha }_i,{\alpha }_j)$表示点积.
那么我们可以按照下面的推导.

$${\lambda }_i({\alpha }_i,{\alpha }_j)=({\lambda }_i{\alpha }_i,{\alpha }_j)=({\mathbf{A}\alpha }_i,{\alpha }_j)={\alpha }_{\mathbf{j}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{i}}={\alpha }_{\mathbf{i}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{j}}$$
$${\lambda }_j({\alpha }_i,{\alpha }_j)=({\alpha }_i,{\lambda }_j{\alpha }_j)=({\alpha }_i,{\mathbf{A}\alpha }_j)={\alpha }_{\mathbf{i}}^{\mathbf{T}}\mathbf{A}{\alpha }_{\mathbf{j}}$$

下相减得$({\lambda }_i-{\lambda }_j)({\alpha }_i,{\alpha }_j)=0$,
又因为${\lambda }_i\ne {\lambda }_j\Rightarrow {\alpha }_i^T\cdot {\alpha }_j=0$,
也就是正交成立.

实对称矩阵可对角化

这里我们使用归纳法来证明.

• 首先假设$n=1$. $\mathbf{A}=a_{11}$. 这个不证自明.

• 假设$n=k-1$, 命题撤成立.

• 现在$n=k$, 我们假设其中一个特征值位${\lambda }_1$,
  那么我可以利用第一个特征值对应的特征向量构造一组$R^n$的正交基.
  $T=({\eta }_1,{\eta }_2,\cdots ,{\eta }_n)$. 那么我们可以得
  $$T^{-1}AT=(T^{-1}{\lambda }_1{\eta }_1,T^{-1}A{\eta }_2,\cdots ,T^{-1}A{\eta }_n)$$
  又因为$T^{-1}T=I$, 那么,
  我们可以得$T^{-1}{\eta }_1={\epsilon }_1$. 那么可得
  $$T^{-1}AT=\left(\begin{array}{cc}{\lambda }_1& \alpha \\ 0& \mathbf{B}\end{array}\right)$$

  由于$A$, 是一个实对称矩阵,
  那么$T^{-1}AT$也是一个实对称矩阵.进而$\alpha =0$.
  由此可见$B$也是一个$(k-1)\times (k-1)$的实对称矩阵. 按照假设,
  它是可以对角化的.现在假设.
  T 2 − 1 B T 2 = d i a g { λ 2 , λ 3 , ⋯   , λ n } T_2^{-1}BT_{2}=diag\{\lambda_2, \lambda_3, \cdots, \lambda_n\} T2−1​BT2​=diag{λ2​,λ3​,⋯,λn​}
  并设 $$T_f=T\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)$$ 那么 $$T_f^{-1}A{T}_f={\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)}^{-1}{T}^{-1}AT\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& T_2^{-1}\end{array}\right)\left(\begin{array}{cc}{\lambda }_1& 0\\ 0& B\end{array}\right)\left(\begin{array}{cc}1& 0\\ 0& T_2\end{array}\right)$$ = ( λ 1 0 0 T 2 − 1 B T 2 ) = d i a g { λ 1 , λ 2 , ⋯   , λ n } =\left( \begin{array}{cc} \lambda_1& 0 \\ 0 & T_2^{-1}BT_{2} \end{array} \right)=diag\{\lambda_1,\lambda_2, \cdots, \lambda_n\} =(λ1​0​0T2−1​BT2​​)=diag{λ1​,λ2​,⋯,λn​}

至此, 原式得证. 也就是说实对称矩阵一定可以对角化.
反过来也说明实对称矩阵的特征多项式的代叔重述等于几何重数.

矩阵相似的定义

设 A与B都是N阶方阵，若是一个可逆的N阶矩阵P，使得，则称A与B相似，记作，P成为由A到B的相似变换矩阵

相似矩阵的性质

1、

矩阵A与它自身相似

2、若，则

如果A与B相似，那么B与A也相似

证明：

所以为B到A的相似变换矩阵

3、若，则

相似具有传递性

证明：

将A代换B

其中为A到C的相似变换矩阵

4、若，则

如果A和B相似，那么A与B等价

因为等价的定义是 ，存在P、Q使得A经过有限次的初等变换，成为B，那么称A与B等价

所以上述明显成立

也意味着，A和B两个矩阵的秩是一样的

5、若，则，意味着如果两个矩阵相似，那么他们的特征值相同，因为特征值相同，所以两个矩阵的迹+行列式都相同

证明：

 

6、 若，

如果A、B相似，那么A的逆和B的逆也相似

证明：

所以，

7、 若，

如果A、B相似，那么A的伴随矩阵和B的伴随矩阵也相似

证明：

因为A、B相似，那么A、B的行列式相同

由6可知，A的逆与B的逆也相似

所以A的伴随跟B的伴随也相似

8、  若 ，

如果A、B相似，那么kA与kB也相似

证明：这个很简单

9、 若 ，

如何A、B相似，那么A的k次方与B的k次方也相似

证明：

10、 若 ，，其中f(x)为多项式

如果A矩阵与B矩阵相似，那么A矩阵的多项式与B矩阵的多项式也相似

证明：

设

根据8+9的性质，就能证明该性质

11、 若 ，

如果A、B相似，那么A的转置和B的转置也相似

证明：

将之代入到

 

矩阵的相似对角化定义

其实就是中的B为对角矩阵（diag），或者称之为，如果不存在矩阵P使得A可以变成对角矩阵，那么就称A不能相似对角化

两个问题，什么样的A可以相似对角化？A如果可以相似对角化，那么是多少？

设

其中

设，其中为n维的列向量

代入等式

...

这不就是特征值和特征向量么

如果两个矩阵相似，那么他们的特征值相同，所以如果A可以相似对角化，里的值就是特征值（见5的证明），P是特征值对应的特征向量，并且P需要可逆

P如果可逆的话，那么P满秩，秩为N，那么线性无关

意味着A如果正好能找到N个线性无关的特征向量，那么A就能相似对角化

而A里可能有很多特征值是相同的

意味着，我们只需要查找A的多重特征值里，恰好有对应数的线性无关的特征向量的话，那么A就能相似对角化

推论：如果A的特征值各不相同，那么A一定可以对角化

对于任意的$n$阶实对称矩阵$A$，存在正交矩阵$Q$，使得
$$Q^{-1}AQ=Q^{T}AQ=diag({\lambda }_1,\dots ,{\lambda }_n)$$
其中${\lambda }_1,\dots ,{\lambda }_n$为$A$的特征值

证明：
当$n=1$时
$$I^{-1}AI=a_{11}$$
成立
假设当$n=k-1$时成立
不妨设$A{\alpha }_1={\lambda }_1{\alpha }_1(\Vert {\alpha }_1{\Vert }_2=1)$
由施密特正交化，存在$n-1$个单位向量${\alpha }_2,{\alpha }_3,\dots ,{\alpha }_n$(其中${\alpha }_2,{\alpha }_3,\dots ,{\alpha }_n$不一定是特征值)
使得${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n$两两正交
令$Q_1=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n)$
$$\begin{array}{rl}{Q}_1^{T}A{Q}_1& =\left(\begin{array}{ccccc}{\alpha }_1^{T}A{\alpha }_1& {\alpha }_1^{T}A{\alpha }_2& {\alpha }_1^{T}A{\alpha }_3& \cdots & {\alpha }_1^{T}A{\alpha }_n\\ {\alpha }_2^{T}A{\alpha }_1& {\alpha }_2^{T}A{\alpha }_2& {\alpha }_2^{T}A{\alpha }_3& \cdots & {\alpha }_2^{T}A{\alpha }_n\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ {\alpha }_n^{T}A{\alpha }_1& {\alpha }_n^{T}A{\alpha }_2& {\alpha }_n^{T}A{\alpha }_3& \cdots & {\alpha }_n^{T}A{\alpha }_n\end{array}\right)\\ & =\left(\begin{array}{ccccc}{\lambda }_1{\alpha }_1^T{\alpha }_1& {\lambda }_1{\alpha }_1^T{\alpha }_2& {\lambda }_1{\alpha }_1^T{\alpha }_3& \cdots & {\lambda }_1{\alpha }_1^T{\alpha }_n\\ {\lambda }_1{\alpha }_2^T{\alpha }_1& {\alpha }_2^{T}A{\alpha }_2& {\alpha }_2^{T}A{\alpha }_3& \cdots & {\alpha }_2^{T}A{\alpha }_n\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ {\lambda }_1{\alpha }_n^T{\alpha }_1& {\alpha }_n^{T}A{\alpha }_2& {\alpha }_n^{T}A{\alpha }_3& \cdots & {\alpha }_n^{T}A{\alpha }_n\end{array}\right)\\ & =\left(\begin{array}{ccccc}{\lambda }_1& 0& 0& \cdots & 0\\ 0& {\alpha }_2^{T}A{\alpha }_2& {\alpha }_2^{T}A{\alpha }_3& \cdots & {\alpha }_2^{T}A{\alpha }_n\\ \cdots & \cdots & \cdots & \cdots & \cdots \\ 0& {\alpha }_n^{T}A{\alpha }_2& {\alpha }_n^{T}A{\alpha }_3& \cdots & {\alpha }_n^{T}A{\alpha }_n\end{array}\right)\\ & =\left(\begin{array}{cc}{\lambda }_1& 0\\ 0& S\end{array}\right)\end{array}$$
$S$是一个$n-1$阶实对称矩阵
由假设
存在正交矩阵$Q$,使得
$$Q^{T}SQ=diag({\lambda }_2,{\lambda }_3,\dots ,{\lambda }_n)$$
令$Q_2=\left(\begin{array}{cc}1& 0\\ 0& Q\end{array}\right)$
显然$Q_2$是$n$阶正交矩阵
$$Q_2^T{Q}_1^{T}A{Q}_1{Q}_2=(Q_1{Q}_2{)}^{T}A(Q_1{Q}_2)=diag({\lambda }_1,\dots ,{\lambda }_n)$$
显然$Q_1{Q}_2$是正交矩阵
由数学归纳法，结论成立

推论

$Q^{T}AQ=diag({\lambda }_1,\dots ,{\lambda }_n)$
$AQ=Qdiag({\lambda }_1,\dots ,{\lambda }_n)$
$(A{x}_1,\dots ,A{x}_n)=({\lambda }_1{x}_1,\dots ,{\lambda }_n{x}_n)$
$A{x}_i={\lambda }_i{x}_i(i=1,2,\dots ,n)$
显然$Q$是$A$的特征向量经过施密特正交化和单位化后得到的正交矩阵

接着证明这个对角矩阵取遍了所有$A$的特征值，且$k$重特征值取了$k$个

等价于证明，实对称矩阵$k$重特征值恰好有$k$个线性无关的特征向量

由几何重复度小于等于代数重复度（by 矩阵论)
$(A-{\lambda }_i)x=0$的基础解系线性无关向量的个数，不会超过${\lambda }_i$的重数
假设${\lambda }_i$的线性无关特征向量小于$k$，则必然有一个特征值对应的线性无关特征向量多了一个，矛盾