线性相关

定义

• 定义1：在向量空间 $V$ 的一组向量 $A$ ：${\alpha }_1,{\alpha }_2,\cdots {\alpha }_m$，如果存在不全为零的数 $k_1,k_2,\cdots k_m$ ，使 $$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_m{\alpha }_m=0$$ 则称向量组 $A$ 是线性相关的，否则，称其为线性无关的。
• 定义2：当且仅当 ${\alpha }_1,{\alpha }_2,\cdots {\alpha }_m$ 全为零时，使得使 $$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_m{\alpha }_m=0$$ 成立，称向量组线性无关。

定理：

1. 两个向量 $a$ 、$b$ 共线的充要条件是 $a$、$b$ 线性相关；
2. 三个向量 $a$ 、$b$ 、$c$ 共面的充要条件是 $a$ 、$b$ 、$c$ 线性相关；
3. 向量 $a_1,a_2,\cdot \cdot \cdot ,a_n(n⩾2)$ 线性相关的充要条件是这 $n$ 个向量中的一个为其余 $(n-1)$ 个向量的线性组合，即有 $a_n$ ，且存在数域K中一组数 $k_1,k_2,\cdots k_m$ ，满足 $$a_n=k_1{a}_1+k_2{a}_2+\cdots +k_{n-1}{a}_{n-1}$$

注意：

1. 对于任一向量组而言,，不是线性无关的就是线性相关的；
2. 包含零向量的任何向量组是线性相关的；
3. 含有相互平行的向量的向量组必线性相关；
4. 向量组是线性相关的，那么增加向量的个数，不改变向量的相关性。【局部相关，整体相关】
5. 向量组是线性无关的，那么减少向量的个数，不改变向量的无关性。【整体无关，局部无关】

正交向量

通常，两个向量垂直的充分必要条件是它们夹角的余弦为零，亦即它们的数量积为零。在一般的欧式空间中，仍以内积定义两向量夹角的余弦。

定义：如果对于欧式空间中的两个向量 $x$ 与 $y$ 有 $(x,y)=0$ ，则称 $x$ 与 $y$ 正交 或 垂直 ，记为 $x\perp y$ 。

结论：

1. 当 $x$ 与 $y$ 正交时， $y$ 与 $x$ 也正交；
2. 零向量与任意向量均正交；
3. 如果 $x\perp y$ ，且 $x$ 与 $y$ 线性相关，则此二向量中至少有一个是零向量。

定义：如果欧式空间中一组非零向量两两正交，则称为正交向量组。

定理：设 $x_1,x_2,\cdots x_m$ 是正交向量组，则它们必线性无关。

上述定理可以表明，在 $n$ 维欧式空间中，两两正交的非零向量不能超过 $n$ 个。例如，在平面上找不到三个两两正交的非零向量；在通常的三维空间 $R^3$ 中，找不到四个两两正交的非零向量。

正交基

定义：在欧式空间 $V^n$ 中，由 $n$ 个非零向量组成的正交向量组称为 $V^n$ 的 正交基 ；由单位向量组成的正交基称为 标准正交基 或 法正交基 ；其基向量称为 单位坐标向量 。

一个基为标准正交基的 充要条件 是它的度量矩阵为单位矩阵。

证明：设 $x_1,x_2,\cdots x_n$ 为标准正交基，则由定义有 $$\left(x_i,x_j\right)=x_i^T{x}_j=\{\begin{array}{ll}1& \text{ if }i=j\\ 0& \text{ if }i\ne j\end{array}$$ 可见 ，它的度量矩阵是单位矩阵。反之，如果以单位矩阵为度量矩阵，则由矩阵相等可得 $\left(x_i,x_j\right)=x_i^T{x}_j$ ，即 $x_1,x_2,\cdots x_n$ 为标准正交基。

正交化

定理：对于欧式空间 $V^n$ 的任一基 $x_1,x_2,\cdots x_n$ ，都可以找到一个标准正交基 $y_1,y_2,\cdots y_n$ 。换言之，任一非零欧式空间都有正交基和标准正交基。

这个正交基我们可以通过Gram-Schmidt正交化获得。

Gram-Schmidt正交化方法是将 线性无关 的向量转化为 标准正交化向量 的方法。注意这里的前提，Gram-Schmidt正交化方法是对线性无关的向量操作。

假设欧式空间 $V^n$ 中的任一基为 $x_1,x_2,\cdots x_n$ ，我们通过Gram-Schmidt正交化方法得到该基的正交基和标准正交基。

1. 取 ${\beta }_1=x_1$ ，作所求正交基中的第一个向量。
2. 令 ${\beta }_2=x_2+k{\beta }_1$ ，由于我们要构造的正交基两两向量相互正交，有 $({\beta }_1,{\beta }_2)=0$ ，通过这个条件来计算待定常数 $k$ 。
3. 由 $$({\beta }_1,x_2+k{\beta }_1)=({\beta }_1,x_2)+k({\beta }_1,{\beta }_1)=0$$ 得 $$k=-\frac{(x_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}$$ 代入 ${\beta }_2=x_2+k{\beta }_1$ ，这样就得到两个相互正交的向量 ${\beta }_1$ ，${\beta }_2$，且 ${\beta }_2\ne 0$ 。
4. 令 ${\beta }_3=x_3+k_2{\beta }_2+k_1{\beta }_1$ ，再由正交条件 $({\beta }_1,{\beta }_3)=0$ 及$({\beta }_2,{\beta }_3)=0$ 来决定出常数 $k_1$ 和 $k_2$ 为 $$k_2=-\frac{(x_3,{\beta }_2)}{({\beta }_2,{\beta }_2)},k_1=-\frac{(x_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}$$
5. 以此类推，继续进行下去，直到最后一个向量。

上述获得的向量组 $({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)$ 即为欧式空间 $V^n$ 中的一个 正交基 。再将各向量单位化，即除以各自的模，得到单位正交向量组 $y_1,y_2,\cdots y_n$，也即 标准正交基。
$$y_i=\frac{{\beta }_i}{\left|{\beta }_i\right|},i=1,2,...,n$$ 由基 $x_1,x_2,\cdots x_n$ 求标准正交基 $y_1,y_2,\cdots y_n$ 的过程也称把基 $x_1,x_2,\cdots x_n$ 正交单位化 或 正交规范化 。

为简单起见，以包含四个向量的向量组为例，介绍Schmidt正交化的具体过程。假设向量组为 $x_1=\left(1,1,0,0\right)$ ， $x_2=\left(1,0,1,0\right)$ ， $x_3=\left(-1,0,0,1\right)$ ， $x_4=\left(1,-1,-1,1\right)$ ，求解其标准正交基。

解：首先先把它们正交化。
取 ${\beta }_1=x_1=\left(1,1,0,0\right)$
令 ${\beta }_2=x_2+k{\beta }_1$ ，常数 $k$ 为 $k=-\frac{(x_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}=-\frac{1}{2}$，则
$$\begin{array}{rl}{\beta }_2& =x_2+k{\beta }_1\\ & =\left(1,0,1,0\right)-\frac{1}{2}\left(1,1,0,0\right)\\ & =(\frac{1}{2},-\frac{1}{2},1,0)\end{array}$$

令 ${\beta }_3=x_3+k_2{\beta }_2+k_1{\beta }_1$ ，常数 $k_1$ 与 $k_2$ 为 $k_1=-\frac{(x_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}=\frac{1}{2},k_2=-\frac{(x_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}=-\frac{-1/2}{3/2}=\frac{1}{3}$， 则
$$\begin{array}{rl}{\beta }_3& =x_3+k_2{\beta }_2+k_1{\beta }_1\\ & =\left(-1,0,0,1\right)+\frac{1}{3}(\frac{1}{2},-\frac{1}{2},1,0)+\frac{1}{2}\left(1,1,0,0\right)\\ & =(-\frac{1}{3},\frac{1}{3},\frac{1}{3},1)\end{array}$$

令 ${\beta }_4=x_4+k_3{\beta }_3+k_2{\beta }_2+k_1{\beta }_1$ ，常数 $k_1$ 与 $k_2$ 为 $k_1=-\frac{(x_4,{\beta }_1)}{({\beta }_1,{\beta }_1)}=0,k_2=-\frac{(x_4,{\beta }_2)}{({\beta }_2,{\beta }_2)}=0，k_3=-\frac{(x_4,{\beta }_3)}{({\beta }_3,{\beta }_3)}=0$， 则 $${\beta }_4=x_4+k_3{\beta }_3+k_2{\beta }_2+k_1{\beta }_1=(1,-1,-1,1)$$

再单位化，便有
$$y_1=\frac{{\beta }_1}{\left|{\beta }_1\right|}=\frac{1}{\sqrt{2}}{\beta }_1=(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0,0)$$ $$y_2=\frac{{\beta }_2}{\left|{\beta }_2\right|}=\frac{2}{\sqrt{6}}{\beta }_2=(\frac{1}{\sqrt{6}},-\frac{1}{\sqrt{6}},\frac{2}{\sqrt{6}},0)$$ $$y_3=\frac{{\beta }_3}{\left|{\beta }_3\right|}=\frac{\sqrt{3}}{2}{\beta }_3=(-\frac{1}{\sqrt{12}},\frac{1}{\sqrt{12}},\frac{1}{\sqrt{12}},\frac{3}{\sqrt{12}})$$ $$y_4=\frac{{\beta }_4}{\left|{\beta }_4\right|}=\frac{1}{2}{\beta }_4=(\frac{1}{2},-\frac{1}{2},-\frac{1}{2},\frac{1}{2})$$

将ℝ${}^n$的一个无关组${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,\cdots ,{\mathbf{\alpha }}_k$正交化为${\mathbf{\beta }}_1,{\mathbf{\beta }}_2,\cdots ,{\mathbf{\beta }}_k$的计算公式为：
$$\{\begin{array}{l}{\mathbf{\beta }}_1={\mathbf{\alpha }}_1\\ {\mathbf{\beta }}_2=-\frac{{\mathbf{\beta }}_1\circ {\mathbf{\alpha }}_2}{{\mathbf{\beta }}_1\circ {\mathbf{\beta }}_1}{\mathbf{\beta }}_1+{\mathbf{\alpha }}_2\\ \cdots \cdots \cdots \\ {\mathbf{\beta }}_k=-\frac{{\mathbf{\beta }}_1\circ {\mathbf{\alpha }}_k}{{\mathbf{\beta }}_1\circ {\mathbf{\beta }}_1}{\mathbf{\beta }}_1-\frac{{\mathbf{\beta }}_2\circ {\mathbf{\alpha }}_k}{{\mathbf{\beta }}_2\circ {\mathbf{\beta }}_2}{\mathbf{\beta }}_2-\cdots -\frac{{\mathbf{\beta }}_{k-1}\circ {\mathbf{\alpha }}_k}{{\mathbf{\beta }}_{k-1}\circ {\mathbf{\beta }}_{k-1}}{\mathbf{\beta }}_{k-1}+{\mathbf{\alpha }}_k\end{array}.$$
将上述公式写成下列的Python函数：

import numpy as np                      #导入numpy
def orthogonalize(A):                   #计算存储在A中的向量组正交化
    _,k=A.shape                         #读取向量个数k
    B=A.copy()                          #将A拷贝为B
    for i in range(1,k):                #计算B的第1~k-1列
        for j in range(i):              #计算B[:,i]
            B[:,i]-=(np.dot(B[:,j],A[:,i])/np.dot(B[:,j],B[:,j]))*B[:,j]
    return B                            #正交化结果

程序的第2~8行定义无关向量组正交化函数orthogonalize，无关向量组以列的形式存储于参数A。第3行读取存储在A中的向量个数k。第4行将A的副本拷贝为B，作为正交化向量的初始值。第5~7行的两重for循环完成正交化向量组B的计算，外层for循环扫描B中从第2列（下标为1）开始的每一列（下标为0的第1列存储的是${\mathbf{\alpha }}_1$，不用处理），内层的for循环对B的当前列（下标为i）按公式
$${\mathbf{\beta }}_i=-\frac{{\mathbf{\beta }}_1\circ {\mathbf{\alpha }}_i}{{\mathbf{\beta }}_1\circ {\mathbf{\beta }}_1}{\mathbf{\beta }}_1-\frac{{\mathbf{\beta }}_2\circ {\mathbf{\alpha }}_i}{{\mathbf{\beta }}_2\circ {\mathbf{\beta }}_2}{\mathbf{\beta }}_2-\cdots -\frac{{\mathbf{\beta }}_{i-1}\circ {\mathbf{\alpha }}_i}{{\mathbf{\beta }}_{i-1}\circ {\mathbf{\beta }}_{i-1}}{\mathbf{\beta }}_{i-1}+{\mathbf{\alpha }}_i$$
计算${\mathbf{\beta }}_i$。注意，Python用复合赋值运算符x-=a表示x=x-a。由于B在第4行拷贝为A的副本，故B[:,i]的初始值就是${\mathbf{\alpha }}_i$。而B[:,[1:i]]中存储的是在当前的${\mathbf{\beta }}_i$计算前已经计算完毕的诸${\mathbf{\beta }}_j$，注意numpy的dot函数完成向量的内积运算。循环完成，B中存储的就是正交化后的向量组。
对正交换后的向量组，可以用下列定义的函数作单位化处理。

import numpy as np                      #导入numpy
def unitization(A):                     #A中存储各列向量
    _,k=A.shape                         #读取向量个数
    for i in range(k):                  #对每一个向量
        A[:,i]/=np.linalg.norm(A[:,i])  #单位化

待单位化的向量以列的形式组织于函数unitization的参数A中。第3行读取向量个数k。第4~5行的for循环对A的每一列A[:,i]（i取遍0~k-1），用自身的模（调用np.linalg的norm函数计算）除该列元素，即${\mathbf{\alpha }}_i/|{\mathbf{\alpha }}_i|$。循环结束，A中各列均完成单位化操作。
例1 用Python计算向量组${\mathbf{\alpha }}_1=\left(\begin{array}{c}1\\ 0\\ -1\\ 1\end{array}\right),{\mathbf{\alpha }}_2=\left(\begin{array}{c}1\\ -1\\ 0\\ 1\end{array}\right),{\mathbf{\alpha }}_3=\left(\begin{array}{c}-1\\ 1\\ 1\\ 0\end{array}\right)\in$ℝ${}^4$的正交化及单位化。

import numpy as np                              #导入numpy
np.set_printoptions(precision=4, suppress=True) #设置输出精度
A=np.array([[1,1,-1],                           #向量组矩阵
            [0,-1,1],
            [-1,0,1],
            [1,1,0]],dtype='float')
B=orthogonalize(A)                              #正交化
print(B)
unitization(B)                                  #单位化
print(B)

程序的第3~6行设置由向量作为列构成的矩阵A。第7行调用以上定义的正交化函数orthogonalize对存储在A中的列向量正交化，得保存在B中的正交化后的向量组。第8行调用上述定义的单位化函数unitization将存储在B中的两两正交向量组单位化。运行程序，输出

[[ 1.      0.3333 -0.2   ]
 [ 0.     -1.      0.6   ]
 [-1.      0.6667  0.6   ]
 [ 1.      0.3333  0.8   ]]
[[ 0.5774  0.2582 -0.169 ]
 [ 0.     -0.7746  0.5071]
 [-0.5774  0.5164  0.5071]
 [ 0.5774  0.2582  0.6761]]

前四行表示${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3$正交化后的结果${\mathbf{\beta }}_1=\left(\begin{array}{c}1\\ 0\\ -1\\ 1\end{array}\right),{\mathbf{\beta }}_2=\left(\begin{array}{c}\frac{1}{3}\\ -1\\ \frac{2}{3}\\ \frac{1}{3}\end{array}\right),{\mathbf{\beta }}_3=\left(\begin{array}{c}-\frac{1}{5}\\ \frac{3}{5}\\ \frac{3}{5}\\ \frac{4}{5}\end{array}\right)$精确到万分位的近似值。后四行表示对${\mathbf{\beta }}_1,{\mathbf{\beta }}_2,{\mathbf{\beta }}_3$单位化后的结果。
写博不易，敬请支持：
如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

我们先来看图，看看这个方法的操作过程，等一下，我找找我的大学的线性代数课本，找到啦！（哈哈，虽然读研了，因为我是菜鸟，所以还是随时带着）如下图所示：

大部分人在考研时候都是直接背下来这个正交化过程对吧，或者也根本没有搞懂为啥这样操作就能够得到正交化的基，现在就结合我的理解来分析一下这个原理吧

1.首先我们看看这个正交化过程，因为a1,a2...an为一组基向量（大佬们请原谅我用a字母代替阿尔法希腊字母，实在是太难输入了，嘻嘻！），只是满足k1a1+k2a2+k3a3+...knan = 0时候，一定有系数k1=k2=...=kn=0，但是如果，a1,a2...an没有任意两者内积为零，也就是他们不是正交的，这就说明了一个问题，a1,a2...an这些基向量之间有冗余（如果是正交基的话，应该是不存在这个问题的），意思就是他们之间的一些分量可能重叠了，还不理解?（我以前学习的时候听到这些也是一脸蒙逼）哈哈，没关系，那我就来举个例子吧，我们看下面的例子：

情况一：假如：

a1 = (1,0) , a2 = (0,1)

我们先来测试他是不是一组基（这两个向量也太简单了，劳资一眼就能看出来是吧，哈哈，我们假装不知道，人生不易，全靠演技！），上面我说了，是不是一组基就看他是不是线性无关，即：

k1a1+k2a2 = 0,看看是否k1=k2=0,如果k1=k2=0,那么a1,a2线性无关，否则就是线性相关了

我们带入进去看看

k1(1,0)+k2(0,1) = 0，很明显了，k1=k2=0，所以a1,a2线性无关，而且a1*a2 = 0，（这里面*都表示向量内积）所以a1垂直a2，即a1,a2正交，那么说明a1,a2是一组正交基，

又因为a1,a2的模长（就是向量所确定的点到原点的距离）为1的，

即|a1|=|a2|=1，所以a1,a2是一组标准正交基（有的书可能叫做规范正交基）

情况二：现在我再假如：

a1 = (1,0)，a2 = (1,1)

我们再验证一下，k1(1,0)+k2(1,1) = 0，很明显了，k1=k2=0，发现他们还是线性无关的，就说明他们还是一组基，

但是a1*a2不等于0，所以a1不垂直a2，即a1,a2不正交，那么他们不是正交基。

（不写了，凌晨1.24了，已经很晚了，以前高中为了考个牛逼点的985，那时候经常一点多才睡，嘻嘻！不过现在不想那样了，得赶紧睡觉，明天早上继续写，晚安各位大佬！）

吃了个早餐继续写，接着昨天晚上的内容：

这时候我们发现a1,a2虽然是一组基，但是不是正交的，我们可以将这个情况二与情况一对比一下就是发现，我最开始说的，a1,a2向量的有些分量就会有冗余，我们发现a2的第一个分量与a1的第一个分量都是1，这里我们就可以看成是一种分量冗余了，所以这两个向量没有垂直（正交）

这里我先定义一下符号表示：假设e1,e2,e3...en向量分别为a1,a2,a3...an向量标准正交化后得到的向量

那现在引出了我们的问题，如何才能在第一个向量a1的基础上，包括后面的a2,a3...an都两两向量正交化呢，

我们心里最自然的想法当然是：如果我们能够在a2向量中扣除与a1向量冗余的部分（别担心扣除后a2与a1不再线性无关了，因为扣除后a2就与a1正交了，所以一定是线性无关，仍然是一组基而且是正交基），a3中扣除与a1,a2冗余的部分，a4中扣除与a3,a2,a1冗余的部分，an中扣除与前面所有向量a1,a2...an-1冗余的部分，那这样是不是就达到了正交化的目的呢，现在我告诉你，没错，这个正交化算法的操作过程就是这样（哈哈，好好想想，是不是感觉特别简单，恨自己不早生100年，不然这个算法就是自己发明的啦，哈哈！！！）

那我们现在就举个例子来验证一下我们刚刚这个伟大的想法是不是正确的：

为了便于理解，我们先从二维空间开始（事实上我觉得学习抽象的知识就应该这样，线性代数的高维空间是高度抽象的，估计现在世界上都还没有人能想象出高维空间是啥样的，所以咱们从二维平面，实实在在看得见的东西开始，然后再类比推理到高维空间，就很容易理解了），仍然用我们情况二的a1 = (1,0)，a2 = (1,1)，我们先来画个图（电脑自带的画板软件画的，嘻嘻），看看这两个向量的样子：

我们上面说了a1,a2不垂直，那么他们就是某些分量有冗余的，从这个图就能看出来，a2,a1向量夹角明显小于90度，但是因为a1,a2线性无关，所以可以作为一组基，能表示出这个平面中的任何一个向量。

但是现在我们需要在a1,a2向量中找出正交的两个向量e1,e2作为新的一组基，即正交基（因为正交基形式简单，具有很多优良性质，所以数学家需要找到这组基）

我们先在a1的基础上进行，令e1=a1/|a1|，即我们先单位化（也叫做标准化）a1，然后这就是成为了第一个标准正交基，从刚刚的想法，应该是在a2中扣除与a1的冗余部分，那么剩下的向量部分肯定就是与a1正交的了（实际上就是我们把a2向量再正交分解一次，分解为为冗余的a1和垂直于a1的a1‘向量），从图中可以看出，a2由两部分构成，a1和a1'向量（这个向量实际上就是垂直于a1的），也就是：a2 = a1 + a1'，但是我们写为更一般的形式，

a2 = c*e1 + a1'，（注：因为我们已经令e1=a1/|a1|，即e1已经是单位化的了，所以a2在a1向量方向上的单位分量肯定得带一个系数c，刚好我举的这个例子这里c=1罢了），现在我们只要能找出这个a1’向量（因为前面没带系数，那么我们找到的a1‘向量可能不是单位化的，我们一定得正交化一次，才能成为第二个标准正交基）即可，

也就是找到了a2中蕴藏的第二个正交基 e2 = a1'/|a1'|

根据a2 = c*e1 + a1'，推出

a1' = a2 - c*e1 即为我们所求，这里因为c是未知系数，我们是求不出a1’的，因此我们得先求出系数c即可

再结合一个条件：a1'得垂直于e1，即使得a1' * e1 = 0（他两内积得为零）

现在我们带a1' = a2 - c*e1进入a1' * e1 = 0，得到：

（a2 - c*e1）*e1 =0 ，展开得到

a2*e1 = c*e1*e1，因为e1*e1 = 1（单位向量与自己内积当然是等于模长啦！就是=1的）即

c = a2*e1 = (a2,e1) （写成了向量内积的括号表示方式）

由于a2，e1都是已知的向量，所以这里我们就求出了系数c，那么结合上面的式子a1' = a2 - c*e1就可以求得第二个正交向量，

带入向量的值，a2 = （1,1），e1 = （1,0），计算得到：

a1' = a2 - (a2,e1)*e1 = a2 - e1 = （0,1）

此时再单位化得到的第二个正交基a1'向量，e2 = a1' / |a1'| = （0,1） / 1 = （0,1），就得到了我们的第二个标准正交基

哈哈，是不是发现这个（0,1）向量正好是图中那个y轴上面的与a1垂直的a1'向量，那这就对了，虽然举的这个例子比较简单，而且参数也比较特殊了一点，但是足以说明这个问题的本质了，你还可以试着自己举一些不同方向，不同长度的a1，a2向量，然后安照这个原理进行正交化，你会发现，完全正确！

现在e1，e2都找到了，那么这个标准正交化就结束了。

现在我们用最开始书本图片上那个正交化公式来计算一遍，看看是不是和我们这个结果吻合的：

β1 = a1，（我刚刚标准正交基向量用的是e1，e2的符号，书上这里用的是β1，β2，不过没关系，知道就好）

β2 = a2 - （β1，a2） / （β1，β1） * β1

带入向量的值，a2 = （1,1），β1 = a1 = （1,0），计算得到：

β2 = （1,1）- 1/1 * （1,0） = （0,1）

这个结果跟咱们刚刚那个绿色的结果比较一下，是不是发现完全一样，哈哈，这就说明咱们最上面那个紫色的那段话的思想是完全正确的，恭喜你，要是时间退回两百年前，那么发明这个算法的数学家就是你了，哈哈！

现在我们已经掌握了这个正交化的原理以及精髓，现在我们需要做更一般的推理，推广到高维向量空间（什么？空间是啥你不知道？好吧，我解释一下，空间就是集合的别名，比如数轴上的所有全体实数组成的集合，我们叫做实数集对吧，我们还可以叫做实数空间，懂了吧！！！）

现在为了表述更清晰，向量我又换了几个符号来表示，不过这个没关系，聪明的你总是能分辨白天黑夜的！！！

符号说明：这里用g1，g2，g3..gn来代表上面的线性无关向量组a1,a2,a3,...an。h1,h2...hn代表正交后得到的向量a1',a2'...an'

最终的单位正交向量还是用e1,e2,...en表示。废话不多说，咱们开始，前方高能，请认真阅读，不懂的联系我qq2488890051.

设{ g1,g2,g3,...gn }为n维空间中的一组线性无关元素系

令e1 = g1 / |g1|，作h2 = g2 - c21*e1（这儿就是扣除第一个正交基的冗余部分），求出c21，利用条件h2⊥e1，即

（h2，e1） = （g2，e1）- （c21*e1，e1） = 0

故

c21 = （g2，e1），即可求得上面的h2

令e2 = h2 / |h2|，作h3 = g3 - （c31*e1 + c32*e2）（即：我们最开始说的，得扣除和之前向量e1，e2冗余的部分，只是那时候咱们是二维而已），求c31，c32，使得，h3⊥e1，h3⊥e2，可求得：

c31 = （g3，e1），c32 = （g3，e2），即可求得h3

令e3 = h3 / |h3|，..........

以此类推。

设e（n-1）（注：这里n-1是下标，为了书写方便，我加了个括号，即第n-1个标准正交基）已得，

作 hn = gn - （cn1*e1+ cn2*e2+......c（n-1）*e（n-1））（注：即为扣除前面所有的冗余向量）

使 hn⊥e1，hn⊥e2，hn⊥e3.......hn⊥e（n-1），求得cn1，cn2，cn3.......c（n-1）等系数，即：

cn1 = （gn，e1），cn2 = （gn，e2），cn3 = （gn，e3）.....cn(n-1) = (gn，e（n-1））

即可求得hn

令 en = hn / |hn|，.......

由此而得到的{e1，e2，e3......en}即为由{g1，g2，g3......gn}标准正交化（也叫做规范正交化）而得到的标准正交系（规范正交系）。

这里讲一下，上面这个红色加粗字体，系数的来源的通熟易懂的直观理解，前面我们用的是

h2 = g2 - c21*e1，求出c21，利用条件h2⊥e1，即（h2，e1） = （g2，e1）- （c21*e1，e1） = 0

故c21 = （g2，e1），从而求出的这个系数，这个是严格的推导而来，没有任何问题。现在我们来如下思考，就更加容易结合实际意义来理解了。

若A = c1*a1 + c2*a2 + c3*a3 + ...cn*an  这里A是更一般的（即更抽象性，代表了不同事物的相同本质的东西），A可能是个向量，也可能是一个函数。这里面a1,a2,a3,......an互相垂直的一组标准正交基，即内积为零，函数也是有基函数，有内积的，所以这里说的东西适用于向量和函数，c1，c2...cn为这些基的系数。现在假如我们想求A在某一个基（分量）的系数，那么怎么求呢，实际上就是用 cn = （an，A），即用an去与A作内积，由于这些基两两正交，所以必然只有an * an这一项不为零，那么

（an，A） = an*cn*an = cn*1 = cn 这个系数了嘛（an*an = 1的，因为是标准正交基，模长为1），上面红色加粗字体部分我们求向量的系数是如此，实际上求函数的标准正交基的系数也是如此，下面我举一个函数的例子：

我们知道傅立叶变换中，满足狄利克雷条件的f（x）都可以展开成傅立叶级数，

即1，cosx，sinx，cos2x，sin2x......cosnx，sinnx，...（因为他们是一组完备的正交基，什么是完备？？？哈哈，就是你再也找不到另外一个基函数可以与他们两两相交的，他们就已经是整个宇宙中能找到的最完整的一组正交基了，但是他们为啥不是标准正交基？我们来积分一下，因为∫cosxdx从-pi到pi积分 = pi，而不是1。不过这个没关系，我们把它除以一个pi就可以将他们单位化了，即1/π，1/π*cosx，1/π*sinx，1/π*cos2x，1/π*sin2x......1/π*cosnx，1/π*sinnx，...他们现在就是一组标准正交基函数了）

我们现在把f（x）展开成三角函数的标准正交基的表示形式，这里用an表示cosnx的系数，bn表示sinnx的系数，即：

f（x） = a0*1/π*cos0x + b0*1/π*sin0x(注：这一项=0) + a1*1/π*cosx + b1*1/π*sinx + a2 * 1/π*cos2x + b2*1/π*sin2x + ...... + an*1/π*cosnx + bn*1/π*sinnx

即：

f（x） = a0*1/π + a1*1/π*cosx + b1*1/π*sinx + a2 * 1/π*cos2x + b2*1/π*sin2x + ...... + an*1/π*cosnx + bn*1/π*sinnx）

根据上面粉红色的字体部分说的，求某个正交基上面的系数的方法就是用这个正交基去内积f（x）即可，即：

a1 = (1/π*cosx，f(x)）= ∫f(x)*1/π*cosxdx，                b1 = (1/π*sinx，f(x) ）= ∫f(x)*1/π*sinxdx

a2 = (1/π*cos2x，f(x)）= ∫f(x)*1/π*cos2xdx，            b2 = (1/π*sin2x，f(x)）= ∫f(x)*1/π*sin2xdx

......

an = (1/π*cosnx，f(x)）= ∫f(x)*1/π*cosnxdx，            bn = (1/π*sinnx，f(x)）= ∫f(x)*1/π*sinnxdx

即：

an = 1/π*∫f(x) * cosnxdx       (n =0,1,2,3....)，特别的，当n=0时，a0 = 1/π∫f(x)dx

bn = 1/π*∫f(x) * sinnxdx        (n =1,2,3....)

哈哈，这就是傅立叶变换后，系数的求解方法，大佬，你记住了吗！！！