特征值和特征向量是指对于矩阵A有，Av=lv，v为特征向量，l为特征值。就是求解一个高次方程：det(A-lI)=0
代码如下：
unit Matrix;
interface
uses
  Math, Windows, SysUtils, Variants, Classes;
Type
TSingleExtendedArray =array of extended;
TDoubleExtendedArray=array of array of extended;
TDoubleLongintArray=array of array of longint;
procedure CalculateEigenVV(var EigenLambda: TSingleExtendedArray; var EigenVector: TDoubleExtendedArray; C: TDoubleLongintArray; N: longint; eps: extended);
implementation
procedure CalculateEigenVV(var EigenLambda: TSingleExtendedArray; var EigenVector: TDoubleExtendedArray; C: TDoubleLongintArray; N: longint; eps: extended);
var
  i, j, fi, fj, p, q, TL, k: longint;
  Change: boolean;
  x, y, cn, sn, Omega, fm, Acurrency: Extended;
  Ja: TDoubleExtendedArray;
begin
  setlength(Ja, N, N);
  setlength(EigenVector, N, N);
  setlength(EigenLambda, N);
  for i := 0 to N - 1 do begin
    EigenVector[i, i] := 1.0; EigenLambda[i] := 0;
    for j := 0 to N - 1 do
      if i <> j then EigenVector[i, j] := 0;
  end;
  Acurrency := 0;
  for i := 0 to N - 1 do
    for j := 0 to N - 1 do begin
      Ja[i, j] := C[i, j];
      Acurrency := Acurrency + Ja[i, j] * Ja[i, j];
    end;
  Acurrency := sqrt(2 * Acurrency);
  Change := true;
  repeat
    if not Change then Acurrency := Acurrency * 0.5;
    Change := false;
    for p := 0 to N - 1 do begin
      for q := p + 1 to N - 1 do
        if Abs(Ja[p, q]) > Acurrency then begin
          x := -Ja[p, q]; y := (Ja[q, q] - Ja[p, p]) / 2;
          if (x <> 0) or (y <> 0) then Omega := x / sqrt(x * x + y * y) else Omega := 1;
          if (y < 0.0) then Omega := -Omega;
          sn := 1.0 + sqrt(1.0 - Omega * Omega);
          sn := Omega / sqrt(2.0 * sn);
          cn := sqrt(1.0 - sn * sn);
          fm := Ja[p, p];
          Ja[p, p] := fm * cn * cn + Ja[q, q] * sn * sn + Ja[p, q] * Omega;
          Ja[q, q] := fm * sn * sn + Ja[q, q] * cn * cn - Ja[p, q] * Omega;
          Ja[p, q] := 0; Ja[q, p] := 0;
          for i := 0 to N - 1 do
            if (i <> p) and (i <> q) then begin
              fm := Ja[p, i];
              Ja[p, i] := fm * cn + Ja[q, i] * sn;
              Ja[q, i] := -fm * sn + Ja[q, i] * cn;
            end;
          for i := 0 to N - 1 do
            if (i <> p) and (i <> q) then begin
              fm := Ja[i, p];
              Ja[i, p] := fm * cn + Ja[i, q] * sn;
              Ja[i, q] := -fm * sn + Ja[i, q] * cn;
            end;
          for i := 0 to N - 1 do begin
            fm := EigenVector[p, i];
            EigenVector[p, i] := fm * cn + EigenVector[q, i] * sn;
            EigenVector[q, i] := -fm * sn + EigenVector[q, i] * cn;
          end;
          for i := 0 to N - 1 do
            EigenLambda[i] := Ja[i, i];
          Change := true; break;
        end;
      if Change then break;
    end;
  until Acurrency <= eps;
  setlength(Ja, 0);
end;
end.

文章目录
power method法求对称矩阵的主特征值
高斯消元法来一个LU分解
奇异值分解的一道题
检测做的对不对！

power method法求对称矩阵的主特征值

clear    
A=[1 1 3 4; 1 5 2 -1; 3 2 7 4; 4 -1 4 6];
x0 = [1;0;0;0];
for i = 1:10
    disp(x0)
    disp((A*x0)'* x0)
    x1 = (A*x0)/norm(A*x0);
    x0 =x1;
end

高斯消元法来一个LU分解

用高斯直接可以得到Doolittle分解


>> L=[1 0 0 0 ;-3 1 0 0; 2 4 1 0; 0 6 -7 1]

L =

     1     0     0     0
    -3     1     0     0
     2     4     1     0
     0     6    -7     1

>> U =[2 -2 4 -4 ; 0 -3 -9 6;0 0 1 8 ; 0 0 0 4]

U =

     2    -2     4    -4
     0    -3    -9     6
     0     0     1     8
     0     0     0     4

>> L*U

ans =

     2    -2     4    -4
    -6     3   -21    18
     4   -16   -27    24
     0   -18   -61   -16

>> 


还需要变一下才能得到Crout分解


>> L=[2 0 0 0 ; -6 -3 0 0 ; 4 -12 1 0;0 -18 -7 4]

L =

     2     0     0     0
    -6    -3     0     0
     4   -12     1     0
     0   -18    -7     4

>> U=[1 -1 2 -2; 0 1 3 -2; 0 0 1 8; 0 0 0 1]

U =

     1    -1     2    -2
     0     1     3    -2
     0     0     1     8
     0     0     0     1

>> L*U

ans =

     2    -2     4    -4
    -6     3   -21    18
     4   -16   -27    24
     0   -18   -61   -16

奇异值分解的一道题
$A=U\Sigma V^T$



我先用

A=[36    -6     6;2    13    22;22    38   -13; 4    26    44]
[X,B] =eig(A'*A)


算出了$V$的每一列！

隐藏在X变量的每一列



>> [X,B] =eig(A'*A)

X =

   -0.6667   -0.6667    0.3333
    0.6667   -0.3333    0.6667
   -0.3333    0.6667    0.6667


B =

   1.0e+03 *

    1.1250         0         0
         0    2.0250         0
         0         0    3.6000


 

然后求出了U的三列！
必须用这种方法去求！
记得标准化哦！

>> A*X(:,1)

ans =

  -30.0000
   -0.0000
   15.0000
   -0.0000

>> A*X(:,2)

ans =

  -18.0000
    9.0000
  -36.0000
   18.0000

>> A*X(:,3)

ans =

   12.0000
   24.0000
   24.0000
   48.0000

 

最后求得U的0对应的特征向量！

[X,B] =eig(A*A')

A =

    36    -6     6
     2    13    22
    22    38   -13
     4    26    44


X =

   -0.0000    0.8944    0.4000   -0.2000
   -0.8944   -0.0000   -0.2000   -0.4000
   -0.0000   -0.4472    0.8000   -0.4000
    0.4472         0   -0.4000   -0.8000


B =

   1.0e+03 *

   -0.0000         0         0         0
         0    1.1250         0         0
         0         0    2.0250         0
         0         0         0    3.6000

检测做的对不对！
    U=[1/5 -2/5    -2/sqrt(5)    0; 
       2/5  1/5      0        2/sqrt(5); 
       2/5  -4/5    1/sqrt(5)    0; 
       4/5   2/5       0    -1/sqrt(5)]

  
   V =[1/3 -2/3  -2/3; 
       2/3 -1/3  2/3; 
       2/3 2/3   -1/3]
    sigma = [60 0 0 ;0 45 0  ; 0 0 sqrt(1125) ; 0 0 0 ]
    
    U*sigma*V'

9.4Jacobi方法
适用：求实正定对称矩阵得全部特征值和特征向量.
思想：对于实对称矩阵 
 ，存在正交矩阵 
 使得
 是对角矩阵，对角线元素就是 
 的特征值， 
 的第 
 列就是对应 
 的特征向量.
如何找正交矩阵？
以二阶矩阵为例
考虑二次型
希望通过坐标旋转将 
 变为标准型 
 .
取 
那么 
 .
一般地，对于 
 阶矩阵， 把它看做许多2阶矩阵，找到某个非对角元素中的 
 ,然后用正交变换把 
 变为0，变换矩阵如下
我们是否能够每次都将其中两个 
 变成0最终得到对角矩阵？（
需要分析）
困难点：当我们一次将其中两个非对角元素变为0后，下一次将其它两个非对角元素变为0时，前一次的非对角元素可能会变为非0.
但是，我们发现非对角元素平方和 
 有如下递推关系
也就是说非对角元素平方和不断减少，最终趋于0！
古典Jacobi方法：每次选取非对角元素最大的，利用正交变换将其变为0.
此时 
 是非对角元素中最大的，有
那么
所以
Jacobi方法小结：
求实对称正定矩阵全部特征值和特征向量.
不断正交变换取极限得过程.
古典Jacobi方法每次选取模最大非对角元素，费时间；也可以按某种次序，比如从上到下从左到右.
精度高，特征向量正交性好.
不适合大规模稀疏矩阵，因为正交变换后会变得不稀疏.
第十章、非线性方程求根
10.1二分法
定理基础：连续函数函数值异号的两点之间至少有一零点.
步骤：选取区间中点，如果就是根则结束，否则看中点与左右哪个函数值异号，就与哪个一起作为新的区间，重复过程直到区间达到精度或找到根.
注意：考虑舍入误差，判断中点是否为根时不用 
 ，而用 
下图例子说明，用 
 作为停止条件有时误差会很大
误差估计： 
给定精度 
 ，则二分次数有如下关系式
二分法小结：
最简单，易于实现
对函数性质要求不高，仅要求连续和函数值异号
不能求偶数重根和复根，收敛速度与 
 的等比数列相同，不算快
因此，二分法在应用时不单独使用，而用来为其他方法提供近似初始根.
10.2迭代法
思路：将 
 改写为等价形式（不唯一） 
 ，利用初始值及迭代公式
得到一串收敛于方程根的序列.
自然想到迭代法的结束条件： 
 ，有无道理呢？
定理 设函数 
 满足下面条件
 时， 
 .（保证迭代能进行下去）
 利普西斯条件，且利普西斯常数满足 
 .
则 
 在区间 
 有唯一解，并且迭代 
 收敛，有如下误差估计式
证明 
解的存在性：
构造辅助函数 
 ，它是连续的，根据第一个条件有
根据连续函数零点存在定理可知有解.
解的唯一性：
假设 
 ，利用利普西斯条件得
即 
 ，所以解唯一.
收敛性：
利用利普西斯条件
归纳得
因为利普西斯常数小于1，所以 
 .
误差估计：
与线性方程组迭代解法证明类似，当时是矩阵的某个范数小于1，这里是利普西斯常数小于1.

文章目录
5. 特征值、特征向量、特征矩阵
5.1 特征值、特征向量
5.1.1 特征值、特征向量的定义与概念
5.1.2 特征方程、特征多项式、特征矩阵的定义与概念
5.1.3 特征值的性质
5.1.4 特征值、特征向量的求法
5.2 相似矩阵、矩阵的相似对角化
5.2.1 相似矩阵
5.2.2 矩阵可相似对角化的充分必要条件
5.2.3 相似矩阵的性质
5.2.4 矩阵相似的必要条件
5.3 实对称矩阵的相似对角化
5.3.1 实对称阵
5.3.2 实对称阵的特征值、特征向量及相似对角化
5.3.3 实对称矩阵正交相似于对角阵的步骤

5. 特征值、特征向量、特征矩阵
本文重点在知识归纳，不帮助理解
5.1 特征值、特征向量
5.1.1 特征值、特征向量的定义与概念
$A$ 是 $n$ 阶方阵，如果对于数 $\lambda$，存在非零向量 $\bm\alpha$，使得
$A\bm\alpha = \lambda\bm\alpha~~(\bm\alpha \ne \bm{0})$
成立，则称 $\lambda$ 是 $A$ 的特征值，$\bm\alpha$ 是 $A$ 对应于 $\lambda$ 的特征向量
5.1.2 特征方程、特征多项式、特征矩阵的定义与概念
由 $A\bm\alpha = \lambda\bm\alpha$ 得 $(\lambda E - A)\bm\alpha = \bm{0}$ 因 $\bm\alpha \ne \bm{0}$，故
$|\lambda E - A|
    =
    \begin{vmatrix}
        \lambda-a_{11} & -a_{12} & \dots & -a_{1n} \\
        -a_{21} & \lambda - a_{22} & \dots & -a_{2n} \\
        \dots \\
        -a_{n1} & -a_{n2} & \dots & \lambda - a_{nn} \\
    \end{vmatrix}
    =
    0$
称为 $A$ 的特征方程，是未知元素 $\lambda$ 的 $n$ 次方程，在复数域内有 $n$ 个根

$|\lambda E - A|$ 称为 $A$ 的特征多项式
矩阵 $\lambda E - A$ 称为特征矩阵

5.1.3 特征值的性质
设 $A = [a_{ij}]_{n \times n}$，$\lambda_i（i = 1,2,\dots,n)$ 是 $A$ 的特征值，则
$\begin{aligned}
        \sum_{i=1}^n\lambda_i & = \sum_{i=1}^na_{ii} \\
        \prod_{i=1}^n\lambda_i & = |A|
    \end{aligned}$
5.1.4 特征值、特征向量的求法
设 $A = [a_{ij}]_{n \times n}$
方法一：

通过 $|\lambda E - A| = 0$ 求出 $A$ 的全部特征值 $\lambda_i$
通过齐次线性方程组 $(\lambda_i\bm{E}-A)\bm{x} = \bm{0}$ 求出 $A$ 的对应于特征值 $\lambda_i$ 的特征向量，其中基础解系即是 $A$ 的对应于 $\lambda_i$ 的线性无关特征向量，通解即是 $A$ 的对应于 $\lambda_i$ 的全体特征向量（除 $\bm{0}$ 向量）

方法二：
利用定义，凡满足关系式 $A\bm\alpha = \lambda\bm\alpha$ 的数 $\lambda$ 即是 $A$ 的特征值

$\bm\alpha~(\bm\alpha \ne \bm{0})$ 即是 $A$ 对应于 $\lambda$ 的特征向量。一般用于抽象矩阵，或元素为文字的矩阵

5.2 相似矩阵、矩阵的相似对角化
5.2.1 相似矩阵
若 $A, B$ 都是 $n$ 阶矩阵，存在可逆矩阵 $P$，使得 $P^{-1}AP = B$，则称 $A$ 相似于 $B$，记为 $A \sim B$

如果 $A \sim \Lambda$，其中 $\Lambda$ 是对角阵，则称 $A$ 可相似对角化，$\Lambda$ 是 $A$ 的相似标准型

5.2.2 矩阵可相似对角化的充分必要条件
定理 1：$n$ 阶矩阵 $A$ 可对角化 $\Leftrightarrow$ $A$ 有 $n$ 个线性无关的特征向量
定理 2：$\lambda_1 \ne \lambda_2$ 是 $A$ 的特征值 $\Rightarrow$ $A$ 的对应于 $\lambda_1, \lambda_2$ 的特征向量 $\bm\alpha_1,\bm\alpha_2$ 线性无关

推论 2.1：$n$ 阶矩阵 $A$ 有 $n$ 个互不相同的特征值 $\lambda_1 \ne \lambda_2 \ne \dots \ne \lambda_n \Rightarrow A$ 有 $n$ 个线性无关特征向量 $\bm{\alpha_1, \alpha_2, \dots, \alpha_n} \Leftrightarrow A$ 可相似于对角阵

定理 3：$\lambda_i$ 是 $n$ 阶矩阵 $A$ 的 $r_i$ 重特征值，则其对应的线性无关特征向量个数小于等于 $r_i$ 个

推论 3.1：$n$ 阶矩阵 $A$ 可相似对角化 $\Leftrightarrow A$ 的每一个 $r_i$ 重特征值对应的线性无关特征向量个数等于该特征值的重数 $r_i$

5.2.3 相似矩阵的性质

反身性，$A \sim A$
对称性，$A \sim B \Rightarrow B \sim A$
传递性，$A \sim B, B \sim C \Rightarrow A \sim C$

5.2.4 矩阵相似的必要条件
$A \sim B
    \Rightarrow
    \left\{
        \begin{aligned}
            & |\lambda E-A| = |\lambda E - B| \\
            & r(A) = r(B) \\
            & A,B~有相同的特征值 \\
            & |A| = |B| = \prod_{i=1}^{n}\lambda_i \\
            & \sum_{i=1}^na_{ii} = \sum_{i=1}^nb_{ii} = \sum_{i=1}^n\lambda_{i} \\
            & tr(A) = tr(B) = tr(\Lambda)
        \end{aligned}
    \right.$
5.3 实对称矩阵的相似对角化
5.3.1 实对称阵
元素 $a_{ij}$ 都是实数的对称矩阵称为实对称矩阵

$a_{ij}$ 都是实数 $\Leftrightarrow$ $a_{ij} = \overline{a_{ij}}$ （$\overline{a_{ij}}$ 是 $a_{ij}$ 的共轭）
记 $\overline{A} = [\overline{a_{ij}}]$，则 $A$ 是实对称阵 $\Leftrightarrow$ $A^T = A$ 且 $\overline{A} = A$

5.3.2 实对称阵的特征值、特征向量及相似对角化
定理 1：实对称矩阵的特征值全部都是实数

定理 2：实对称矩阵的属于不同特征值对应的特征向量相互正交

定理 3：实对称矩阵必相似于对角阵

即存在可逆阵 $P$，使得 $P^{-1}AP = \Lambda$
且存在正交阵 $Q$，使得 $Q^{-1}AQ = Q^TAQ = \Lambda$

5.3.3 实对称矩阵正交相似于对角阵的步骤

解特征方程 $|\lambda E - A| = 0$，求出全部特征值：$\lambda_1,\lambda_2,\dots,\lambda_r$ （均为实数）；（若求得的是特征值的取值范围，则 $\lambda$ 的取值范围应限于实数，去除复数）
求 $(\lambda_i E - A)\bm{x} = \bm{0}$ 的基础解系 $\bm{\alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ik_i}},~~i = 1,2,\dots,r$，即是 $A$ 的属于特征值 $\lambda_i$ 的线性无关的特征向量。若 $\lambda_i$ 是 $k_i$ 重根，则必有 $k_i$ 个线性无关的特征向量。（若求解方程 $(\lambda_iE - A)\bm{x}=\bm{0}$ 的基础解系时，使 $\bm{\alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ik_i}}$ 能相互正交更好，可免去下一步将 $\bm{\alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ik_i}}$ 正交化的工作）
将每个属于 $\lambda_i$ 的特征向量 $\bm{\alpha_{i1}, \alpha_{i2}, \dots, \alpha_{ik_i}}$ 正交化。（不同特征值对应的特征向量已相互正交）正交后的向量组记为 $\bm{\beta_{i1}, \beta_{i2}, \dots, \beta_{ik_i}}$
将全部特征向量单位化，得到标准正交向量组记为

$\bm{\beta_{11}^\circ, \beta_{12}^\circ, \dots, \beta_{1k_i}^\circ, \beta_{21}^\circ, \beta_{22}^\circ, \dots, \beta_{2k_i}^\circ, \dots, \beta_{r1}^\circ, \beta_{r2}^\circ, \dots, \beta_{rk_i}^\circ}$

将 $n$ 个单位正交特征向量合并成正交矩阵，记为

$Q = [\bm{\beta_{11}^\circ, \beta_{12}^\circ, \dots, \beta_{1k_i}^\circ, \beta_{21}^\circ, \beta_{22}^\circ, \dots, \beta_{2k_i}^\circ, \dots, \beta_{r1}^\circ, \beta_{r2}^\circ, \dots, \beta_{rk_i}^\circ}]$
$Q$ 即为所求的正交矩阵，且有
$Q_{-1}AQ = Q^TAQ = \Lambda$
其中 $\Lambda$ 是 $A$ 的全部特征值组成的对角矩阵（注意 $\lambda_i$ 和 $\beta_{ik_i}^\circ$ 的排列次序要求一致）