漫步线性代数系列
漫步线性代数一——引言  https://blog.csdn.net/u010182633/article/details/52200802

漫步线性代数二——线性方程的几何形状 https://blog.csdn.net/u010182633/article/details/52215851

漫步线性代数三——高斯消元法 https://blog.csdn.net/u010182633/article/details/52223872

漫步线性代数四——矩阵符号和矩阵乘法 https://blog.csdn.net/u010182633/article/details/52233855

漫步线性代数五——三角分解和行交换 https://blog.csdn.net/u010182633/article/details/52269044

漫步线性代数六——逆和转置 https://blog.csdn.net/u010182633/article/details/52279262

漫步线性代数七——特殊矩阵和应用 https://blog.csdn.net/u010182633/article/details/52294348

漫步线性代数八——向量空间和子空间 https://blog.csdn.net/u010182633/article/details/52304374

漫步线性代数九——求Ax=0和Ax=b https://blog.csdn.net/u010182633/article/details/52317159

漫步线性代数十——线性无关，基和维数 https://blog.csdn.net/u010182633/article/details/52331744

漫步线性代数十一—— 四个基本子空间 https://blog.csdn.net/u010182633/article/details/52335565

漫步线性代数十二——网络 https://blog.csdn.net/u010182633/article/details/52372192

漫步线性代数十三——线性变换 https://blog.csdn.net/u010182633/article/details/52389559

漫步线性代数十四——正交和子空间 https://blog.csdn.net/u010182633/article/details/52404888

漫步线性代数十五——余弦和投影 https://blog.csdn.net/u010182633/article/details/52425148

漫步线性代数十六——投影和最小二乘 https://blog.csdn.net/u010182633/article/details/52444135

漫步线性代数十七——正交基和格拉姆-施密特正交化(上) https://blog.csdn.net/u010182633/article/details/52454693

漫步线性代数十八——正交基和格拉姆-施密特正交化(下) https://blog.csdn.net/u010182633/article/details/52475149

漫步线性代数十九——快速傅里叶变换（上） https://blog.csdn.net/u010182633/article/details/52518154

漫步线性代数二十——快速傅里叶变换（下） https://blog.csdn.net/u010182633/article/details/52563660

漫步线性代数二十一——行列式引言 https://blog.csdn.net/u010182633/article/details/52565982

漫步线性代数二十二——行列式性质 https://blog.csdn.net/u010182633/article/details/52577020

漫步线性代数二十三——行列式公式 https://blog.csdn.net/u010182633/article/details/52589611

漫步线性代数二十四——行列式应用 https://blog.csdn.net/u010182633/article/details/52599981

漫步线性代数二十五——特征值和特征向量 https://blog.csdn.net/u010182633/article/details/52613438

漫步线性代数二十六——特征值和特征向量（续） https://blog.csdn.net/u010182633/article/details/52626472

漫步线性代数二十七——矩阵对角化 https://blog.csdn.net/u010182633/article/details/53400889

前面针对机器学习中基础的线性代数知识，我们做了一个常用知识的梳理。接下来针对机器学习公式推导过程中经常用到的矩阵求导，我们做一个详细介绍。
矩阵求导（Matrix Derivative）也称作矩阵微分（Matrix Differential），在机器学习、图像处理、最优化等领域的公式推导中经常用到。
矩阵的微积分本质上是多元变量的微积分问题，只是应用在矩阵空间上而已
根据$\bf Y$ 与 $\bf X$ 的不同类型（实值、向量、矩阵）给出如下表中的表示：




类型
标量（Scalar）$y$
向量（Vector）$\bf y$
矩阵（Matrix）$\bf Y$




Scalar $x$
$\frac {\partial y}{\partial x}$
$\frac {\partial \bf y}{\partial x}$
$\frac {\partial \bf Y}{\partial x}$


Vector $\bf x$
$\frac {\partial y}{\partial \bf x}$
$\frac {\partial \bf y}{\partial \bf x}$



Matrix $\bf X$
$\frac {\partial y}{\partial \bf X}$




下面我们根据分子的布局（即X的类型）来介绍矩阵的导数求解
0 布局约定（Layout conventions）
事实上，所有求导的法则都可以从最基本的求导规则推导出来。不知你有没发现，不同的文献中，同样的式子求导的结果有时候会不一样，仔细观察会发现刚好相差一个转置，于是我们得先说说求导的两个派别（布局）。
由向量关于向量的求导$\frac{\partial y}{\partial x}$可以得出两种矛盾的表示：结果表示为$n×m$ 矩阵或$m×n$ 矩阵。也就是把$\bf y$ 表示为列向量$\bf x$ 表示为行向量或者反过来表示的问题。
布局（Layout）：在矩阵求导中有两种布局，分别为分母布局(denominator layout)和分子布局(numerator layout)。这两种不同布局的求导规则是不一样的。

向量 ${\bf y} = \begin {bmatrix} y_1 \\ y_2\\ \vdots \\ y_n\end{bmatrix}$，关于标量$x$ 的求导，
在分子布局下，为：

$\frac {\partial \bf y}{\partial x} = \begin {bmatrix} \frac{\partial y_1}{\partial x} \\ \frac{\partial y_2}{\partial x} \\ \vdots \\ \frac{\partial y_n}{\partial x} \end{bmatrix}\tag{1}$

而在分母布局下，为：

$\frac {\partial \bf y}{\partial x} = \begin {bmatrix} \frac{\partial y_1}{\partial x} & \frac{\partial y_2}{\partial x} & \cdots & \frac{\partial y_n}{\partial x} \end{bmatrix}\tag{2}$

通过观察和推导我们可以知道，分子布局和分母布局之间刚好差一个转置，即在分子布局下与原来$\bf Y$相同，而在分母布局下差一个转置。
对于正切矩阵$\frac{\partial y}{\partial x}$采用分母布局，即$\bf Y^ \top$，很不符合表达的习惯，所以本文中我们采用的是分子布局。
1 关于标量的导数
对于 $\bf X$  是标量的情况，是我们最熟悉的一种情况。
1.1 标量关于标量X的求导
这中情况就是我们平时的代数求导，直接就是$\frac {\partial y}{\partial x}$
1.2 向量关于标量X的求导
向量 ${\bf y} = \begin {bmatrix} y_1 \\ y_2\\ \vdots \\ y_n\end{bmatrix}$，关于标量$x$ 的求导就是 ${\bf y}$ 的每一个元素分别对$x$求导，可以表示为

$\frac {\partial \bf y}{\partial x} = \begin {bmatrix} \frac{\partial y_1}{\partial x} \\ \frac{\partial y_2}{\partial x} \\ \vdots \\ \frac{\partial y_n}{\partial x} \end{bmatrix}\tag{3}$

此时为正切向量，$\frac {\partial \bf y}{\partial x}$ 为 $\bf y$ 的正切向量，有映射 $\bf y$ : ${\Bbb R}^m \implies {\Bbb R}^m$ 。
1.3 矩阵关于标量X的求导
矩阵对标量的求导类似于向量关于标量的求导，也就是矩阵的每个元素分别对标量$x$求导，矩阵 ${\bf Y} = \begin {bmatrix} y_{11} & y_{12} & \cdots & y_{1n} \\ y_{21} & y_{22} & \cdots & y_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ y_{n1} & y_{n2} & \cdots & y_{nn} \end{bmatrix}$ 对标量$x$的导数为

$\frac {\partial \bf Y}{\partial x} = \begin {bmatrix} \frac{\partial y_{11} }{\partial x } & \frac{\partial   y_{12} }{\partial x }& \cdots & \frac{\partial y_{1n} }{\partial x }  \\  \frac{\partial  y_{21}}{\partial x } & \frac{\partial y_{22}}{\partial x }   & \cdots &  \frac{\partial y_{2n}}{\partial x }  \\ \vdots & \vdots & \ddots & \vdots \\  \frac{\partial y_{n1} }{\partial x } &  \frac{\partial y_{n2} }{\partial x } & \cdots &  \frac{\partial y_{nn}}{\partial x }  \end{bmatrix}\tag{4}$
2 关于向量的导数
2.1标量关于向量 $\bf x$ 的导数
标量$y$ 关于向量 ${\bf x } = \begin {bmatrix} x_1 \\ x_2\\ \vdots \\ x_n\end{bmatrix}$ 的求导可以表示为

$\frac {\partial y}{\partial \bf x}  = \begin {bmatrix} \frac{\partial y}{\partial x_{1} }\ \frac{\partial y}{\partial x_{2} } \ \cdots \ \frac{\partial y}{\partial x_{n} } \end{bmatrix}\tag{5}$

此时的向量叫做梯度向量。 $\frac {\partial y}{\partial \bf x}$ 为标量$y$ 在空间 ${\Bbb R}^n$ 的梯度，该空间以$x$ 为基。
2.2 向量关于向量 $\bf x$ 的导数
向量函数（即函数组成的向量）${\bf y} = \begin {bmatrix} y_1 \\ y_2\\ \vdots \\ y_n\end{bmatrix}$ 关于向量${\bf x } = \begin {bmatrix} x_1 \\ x_2\\ \vdots \\ x_n\end{bmatrix}$  的导数记作

$\frac {\partial \bf y}{\partial \bf x} = \begin {bmatrix} \frac{\partial y_{1} }{\partial x_{1} } & \frac{\partial   y_{1} }{\partial x_{2}  }& \cdots & \frac{\partial y_{1}  }{\partial x_{n} }  \\  \frac{\partial  y_{2}}{\partial x_{1}  } & \frac{\partial y_{2}}{\partial x_{2} }   & \cdots &  \frac{\partial y_{2}}{\partial x_{n} }  \\ \vdots & \vdots & \ddots & \vdots \\  \frac{\partial y_{n} }{\partial x_{1}  } &  \frac{\partial y_{n} }{\partial x_{2} } & \cdots &  \frac{\partial y_{n}}{\partial x_{n} }  \end{bmatrix}\tag{6}$

此时获得的矩阵$\frac {\partial \bf y}{\partial \bf x}​$ 叫做Jacobian 矩阵。
2.3 矩阵关于向量 $\bf x$ 的导数
矩阵 ${\bf Y} = \begin {bmatrix} y_{11} & y_{12} & \cdots & y_{1n} \\ y_{21} & y_{22} & \cdots & y_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ y_{n1} & y_{n2} & \cdots & y_{nn} \end{bmatrix}$ 对向量${\bf x } = \begin {bmatrix} x_1 \\ x_2\\ \vdots \\ x_n\end{bmatrix}$ 的导数是推导中最复杂的一种，我们可以表示为

$\frac {\partial \bf Y}{\partial \bf x} = \begin {bmatrix} \frac{\partial y_{11} }{\partial x_{1} } & \frac{\partial   y_{1n} }{\partial x_{2}  }& \cdots & \frac{\partial y_{1n}  }{\partial x_{n} }  \\  \frac{\partial  y_{21}}{\partial x_{1}  } & \frac{\partial y_{22}}{\partial x_{2} }   & \cdots &  \frac{\partial y_{2n}}{\partial x_{n} }  \\ \vdots & \vdots & \ddots & \vdots \\  \frac{\partial y_{n1} }{\partial x_{1}  } &  \frac{\partial y_{n2} }{\partial x_{2} } & \cdots &  \frac{\partial y_{nn}}{\partial x_{n} }  \end{bmatrix}\tag{7}$
3 关于矩阵的导数
我们一般只考虑标量关于矩阵的导数（因为矩阵对向量和矩阵的导数与前面2.3节的内容一致或相似），即标量$y$ 对矩阵 $\bf X$ 的导数为 $\frac {\partial y}{\partial \bf X}$ ，此时的导数是梯度矩阵，可以表示为下式：

$\frac {\partial y}{\partial \bf X} =\begin {bmatrix} \frac{\partial y }{\partial x_{11} } & \frac{\partial   y }{\partial x_{21}  }& \cdots & \frac{\partial y  }{\partial x_{n1} }  \\  \frac{\partial  y}{\partial x_{12}  } & \frac{\partial y}{\partial x_{22} }   & \cdots &  \frac{\partial y}{\partial x_{n2} }  \\ \vdots & \vdots & \ddots & \vdots \\  \frac{\partial y }{\partial x_{1n}  } &  \frac{\partial y }{\partial x_{2n} } & \cdots &  \frac{\partial y}{\partial x_{nn} }  \end{bmatrix}\tag{8}$
4 维度分析
当我们对一些复杂的矩阵乘积求偏导的时候，直接求很难直接求出，这时候我们可以通过分析矩阵的维度来得到结果。例如:
考虑以下导数 $\frac {\partial \bf Au}{\partial \bf x}$ ，其中 $\bf A$ 与$\bf x$ 无关 且有 ${\bf A} \in {\Bbb R}^ {m \times n}$， ${\bf u } \in {Bbb R}^{n \times 1}$ ，${\bf x} \in {\Bbb R}^{p \times 1}$，我们知道结果肯定和$\frac {\partial \bf u}{\partial \bf x}$  有关，于是先把  $\bf A$ 提出求导式，至于到了哪暂时不知道，接着我们知道 $\frac {\partial \bf u}{\partial \bf x} \in  {\Bbb R}^ {p \times n}$，于是 $\bf A$ 只能转置后添加到后面。因此有
$\frac {\partial \bf Au}{\partial \bf x} =  \frac {\partial \bf u}{\partial \bf x} {\bf A}^ \top \tag{9}$
再考虑问题 $\frac {\partial \bf x^\top A x}{\partial \bf x}$ ，其中 ${\bf A} \in {\Bbb R}^ {n \times n}$， ${\bf x } \in {\Bbb R}^{n \times n}$ ,

为了分析这个问题我们考虑一个更一半的问题

$\frac {\partial \bf x^\top A x}{\partial \bf x}\tag{10}$

其中 ${\bf A} \in {\Bbb R}^ {n \times n} $， ${\bf x } \in {Bbb R}^{n \times n} $，且 $\bf A$ 与$\bf x$ 和 $\bf y$ 无关 。于是我们利用维度分析，采用非精确的乘积法则，可以将它分为两个部分

$\frac {\partial \bf (x^\top A) y}{\partial \bf x} \tag{11}$

于是结果与两部分相关，一个是

$\frac {\partial \bf y}{\partial \bf x} \in {\Bbb R}^ {m \times n} \tag{12}$

另一个是

$\frac {\partial \bf x^\top A}{\partial \bf x} = {\bf A} \in {\Bbb R}^ {m \times n} \tag{13}$

同样通过维度分析，我们可以得到

$\frac {\partial \bf (x^\top A) y}{\partial \bf x} = \frac {\partial \bf y}{\partial \bf x} \bf A^\top \bf x + \bf A \bf y \tag{14}$

因此经过维度的比较我们可以得到

$\frac {\partial \bf x^\top A x}{\partial \bf x} = (\bf A^\top + A)x\tag{14}$
通过以上两个示例的学习，我们可以知道在求解复杂矩阵的求导问题时，通过维度来判断矩阵的导数形式很简便同时也不容易出错。下图是机器学习中常见的矩阵求导形式，可供参考：

5 总结
在本文中，我们针对机器学习推导中的矩阵求导问题做了一个全面的分析，同时结合前文 深度学习系列（二）——机器学习中的线性代数知识 介绍的机器学习中线性代数的基础知识，我们对线性代数部分做了详细的了解。下一章我们介绍机器学习中涉及到的概率知识。

1.  线性代数知识图谱

线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有 n个未知量的一次方程称为线性方程。变于关量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。

 

线性（linear）指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数

非线性（non-linear）则指不按比例、不成直线的关系，一阶导数不为常数。

行列式非零矩阵可逆方阵满秩向量组满秩（向量个数等于维数）。



 

 

 

 

 

2. 行列式

2.1 定义

      矩阵的行列式，determinate（简称det），是基于矩阵所包含的行列数据计算得到的一个标量。是为求解线性方程组而引入的。

2.2 二阶行列式

      计算方式：对角线法则

      

2.3 三阶行列式

      计算方式：对角线法则

      

2.4 n阶行列式

2.4.1 计算排列的逆序数

         

2.4.2 计算n阶行列式

      



2.4.3 简化计算总结





2.4.4 行列式的3种表示方法



2.5 行列式的性质

性质1  行列式与它的转置行列式相等

       注：行列式中行与列具有同等的地位,行列式的性质凡是对行成立的对列也同样成立.

性质2  互换行列式的两行（列）,行列式变号
推论  如果行列式有两行（列）完全相同，则此行列式为零

性质3  行列式的某一行（列）中所有的元素都乘以同一个倍数k，等于用数k乘以此行列式.
推论    行列式的某一行（列）中所有元素的公因子可以提到行列式符号的外面．

性质4  行列式中如果有两行（列）元素成比例，则此行列式为零．

性质5  若行列式的某一列（行）的元素都是两数之和,则等于对应的两个行列式之和.



性质6  把行列式的某一列（行）的各元素乘以同一个倍数然后加到另一列(行)对应的元素上去，行列式不变．



2.6 计算行列式的方法

     1）利用定义

     2）利用性质把行列式化为上三角形行列式，从而算得行列式的值

 





    定理中包含着三个结论：

       1）方程组有解；（解的存在性） 

       2）解是唯一的；（解的唯一性）

       3）解可以由公式(2)给出.

定理4   如果线性方程组(1)的系数行列式不等于零，则该线性方程组一定有解,而且解是唯一的 .
定理4′ 如果线性方程组无解或有两个不同的解，则它的系数行列式必为零.



齐次线性方程组的相关定理
定理5   如果齐次线性方程组的系数行列式D不等于0，则齐次线性方程组只有零解，没有非零解.
定理5′ 如果齐次线性方程组有非零解,则它的系数行列式必为零.   

1. 用克拉默法则解线性方程组的两个条件

    1) 方程个数等于未知量个数；

    2) 系数行列式不等于零.


2. 克拉默法则的意义主要在于建立了线性方程组的解和已知的系数以及常数项之间的关系．它主要适用于理论推导．

2.8 行列式按行(列)展开

      对角线法则只适用于二阶与三阶行列式.

      本节主要考虑如何用低阶行列式来表示高阶行列式.

 









 

3. 矩阵

3.1 矩阵的定义



3.1.1 矩阵与行列式的区别



 

 

3.2 特殊矩阵







 

3.3 矩阵与线性变换







3.4 矩阵的运算

3.4.1 矩阵的加法



 

行列式与矩阵加法的比较：





 

3.4.2 数乘矩阵





 



3.4.3 矩阵与矩阵相乘







3.4.4 矩阵的转置





 

反对称矩阵(skew symmetric matrix)



3.4.5 方阵的行列式



3.4.6 伴随矩阵



3.4.7 共轭矩阵



 

3.5 可逆矩阵(或称非奇异矩阵)









3.6 矩阵分块法











分块矩阵不仅形式上进行转置，而且每一个子块也进行转置．







 

4. 矩阵的初等变换与线性方程组

4.1 矩阵的初等变换







4.2 矩阵之间的等价关系











4.3 初等变换与矩阵乘法的关系









4.4 矩阵的秩













 

4.5 线性方程组的多解





 





 

 

4. 向量组的线性相关性

4.1 向量组及其线性组合



 

 



 



 



 



 



 



 



 



4.2 向量组的线性相关性





 



 

4.3 向量组的秩





结论：矩阵的最高阶非零子式一般不是唯一的，但矩阵的秩是唯一的．

 



 



 



 



4.4 线性方程组的解的结构

问题：什么是线性方程组的解的结构？


答：所谓线性方程组的解的结构，就是当线性方程组有无限多个解时，解与解之间的相互关系．

 

备注：

   1）当方程组存在唯一解时，无须讨论解的结构．

   2）下面的讨论都是假设线性方程组有解．



 



 



 





 

4.5 向量空间

4.5.1 封闭的概念

         定义：所谓封闭，是指集合中任意两个元素作某一运算得到的结果仍属于该集合．

4.5.2 向量空间的概念

         定义：设 V 是 n 维向量的集合，如果

         ① 集合 V 非空，

         ② 集合 V 对于向量的加法和乘数两种运算封闭，

             具体地说，就是：

             若 a ∈ V， b ∈ V，则a + b ∈ V ．（对加法封闭）

             若 a ∈ V， l ∈ R，则 l a ∈ V ．（对乘数封闭）

             那么就称集合 V 为向量空间．

4.5.3 子空间的概念

         定义：如果向量空间 V 的非空子集合 V1 对于 V 中所定义的加法及乘数两种运算是封闭的，则称 V1 是 V 的子空间．

4.5.4 向量空间的基的概念



 



5. 相似矩阵及二次型

5.1  向量的内积、长度及正交性

5.1.1 向量的内积





5.1.2 向量的长度或范数

单位向量：长度为1的向量。



5.1.3 向量的正交性

向量正交：向量内积为0。





 



 





5.1.4 正交矩阵或正交阵



5.1.5 正交矩阵的性质



5.2 方阵的特征值与特征向量











5.2.1  正定矩阵/半正定矩阵

 

1）矩阵半正定当且仅当它的每个特征值大于等于零(>=0)。

2）矩阵正定当且仅当它的每个特征值都大于零(>0)。

5.3 相似矩阵



 

 



 

 

 

5.4 对称矩阵的对角化



 





 



 



 



 



 

5.5 二次型及其它标准型

      



 



 



 

 



 



 

 



 



 



 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ylbtech-数学-线性代数：线性代数
线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。
1.返回顶部 
1、

中文名：线性代数
外文名：linear algebra
主要问题：线性关系问题
研究对象：向量、矩阵、行列式
应    用：抽象代数、泛函分析
学    科：数学


目录
1 定义与历史
▪ 概念
▪ 历史
2 学术地位
3 基本介绍
4 重要定理
5 其他数学分支




2、
2.返回顶部
1、


定义与历史

 

概念

线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。
所谓“线性”，指的就是如下的数学关系：
  
。其中，f叫线性算子或线性映射。所谓“代数”，指的就是用符号代替元素和运算，也就是说：我们不关心上面的x，y是实数还是函数，也不关心f是多项式还是微分，我们统一把他们都抽象成一个记号，或是一类矩阵。合在一起，线性代数研究的就是：满足线性关系
  
的线性算子f都有哪几类，以及他们分别都有什么性质。

 

历史



九章算术

线性代数作为一个独立的分支在20世纪才形成，然而它的历史却非常久远。“鸡兔同笼”问题实际上就是一个简单的线性方程组求解的问题。最古老的线性问题是线性方程组的解法，在中国古代的数学著作《九章算术·方程》章中，已经作了比较完整的叙述，其中所述方法实质上相当于现代的对方程组的增广矩阵的行施行初等变换，消去未知量的方法。
由于费马和笛卡儿的工作，现代意义的线性代数基本上出现于十七世纪。直到十八世纪末，线性代数的领域还只限于平面与空间。十九世纪上半叶才完成了到n维线性空间的过渡。
随着研究线性方程组和变量的线性变换问题的深入，行列式和矩阵在18～19世纪期间先后产生，为处理线性问题提供了有力的工具，从而推动了线性代数的发展。向量概念的引入，形成了向量空间的概念。凡是线性问题都可以用向量空间的观点加以讨论。因此，向量空间及其线性变换，以及与此相联系的矩阵理论，构成了线性代数的中心内容。

凯莱

矩阵论始于凯莱，在十九世纪下半叶，因若当的工作而达到了它的顶点。1888年，皮亚诺以公理的方式定义了有限维或无限维线性空间。托普利茨将线性代数的主要定理推广到任意体（domain）上的最一般的向量空间中。线性映射的概念在大多数情况下能够摆脱矩阵计算而不依赖于基的选择。不用交换体而用未必交换之体或环作为算子之定义域，这就引向模（module）的概念，这一概念很显著地推广了线性空间的理论和重新整理了十九世纪所研究过的情况。
“代数”这个词在中文中出现较晚，在清代时才传入中国，当时被人们译成“阿尔热巴拉”，直到1859年，清代著名的数学家、翻译家李善兰才将它翻译成为“代数学”，之后一直沿用。

 

学术地位


线性代数在数学、物理学和技术学科中有各种重要应用，因而它在各种代数分支中占居首要地位。在计算机广泛应用的今天，计算机图形学、计算机辅助设计、密码学、虚拟现实等技术无不以线性代数为其理论和算法基础的一部分。线性代数所体现的几何观念与代数方法之间的联系，从具体概念抽象出来的公理化方法以及严谨的逻辑推证、巧妙的归纳综合等，对于强化人们的数学训练，增益科学智能是非常有用的。随着科学的发展，我们不仅要研究单个变量之间的关系，还要进一步研究多个变量之间的关系，各种实际问题在大多数情况下可以线性化，而由于计算机的发展，线性化了的问题又可以被计算出来，线性代数正是解决这些问题的有力工具。线性代数的计算方法也是计算数学里一个很重要的内容。
线性代数的含义随数学的发展而不断扩大。线性代数的理论和方法已经渗透到数学的许多分支，同时也是理论物理和理论化学所不可缺少的代数基础知识。
“以直代曲”是人们处理很多数学问题时一个很自然的思想。很多实际问题的处理，最后往往归结为线性问题，它比较容易处理。因此，线性代数在工程技术和国民经济的许多领域都有着广泛的应用，是一门基本的和重要的学科。
如果进入科研领域，你就会发现，只要不是线性的东西，我们基本都不会！线性是人类少数可以研究得非常透彻的数学基础性框架。学好线性代数，你就掌握了绝大多数可解问题的钥匙。有了这把钥匙，再加上相应的知识补充，你就可以求解相应的问题。可以说，不学线性代数，你就漏过了95%的人类智慧！非线性的问题极为困难，我们并没有足够多的通用的性质和定理用于求解具体问题。如果能够把非线性的问题化为线性的，这是我们一定要走的方向！
事实上，微积分“以直代曲”的思想就是将整体非线性化为局部线性的一个经典的例子，尽管高等数学在定义微分时并没有用到一点线性代数的内容。许多非线性问题的处理――譬如流形、微分几何等，最后往往转化为线性问题。包括科学研究中，非线性模型通常也可以被近似为线性模型。随着研究对象的复杂化与抽象化，对非线性问题线性化，以及对线性问题的求解，就难免涉及到线性代数的术语和方法了。从这个意义上，线性代数可以被认为是许多近、现代数学分支的共同基础。

 

基本介绍


线性（linear）指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数。
非线性（non-linear）则指不按比例、不成直线的关系，一阶导数不为常数。
线性代数起源于对二维和三维直角坐标系的研究。在这里，一个向量是一个有方向的线段，由长度和方向同时表示。这样向量可以用来表示物理量，比如力，也可以和标量做加法和乘法。这就是实数向量空间的第一个例子。

向量

现代线性代数已经扩展到研究任意或无限维空间。一个维数为 n 的向量空间叫做n 维空间。在二维和三维空间中大多数有用的结论可以扩展到这些高维空间。尽管许多人不容易想象n 维空间中的向量，这样的向量（即n 元组）用来表示数据非常有效。由于作为 n 元组，向量是n 个元素的“有序”列表，大多数人可以在这种框架中有效地概括和操纵数据。比如，在经济学中可以使用 8 维向量来表示 8 个国家的国民生产总值（GNP）。当所有国家的顺序排定之后，比如（中国、美国、英国、法国、德国、西班牙、印度、澳大利亚），可以使用向量（v1,v2,v3,v4,v5,v6,v7,v8）显示这些国家某一年各自的 GNP。这里，每个国家的 GNP 都在各自的位置上。
作为证明定理而使用的纯抽象概念，向量空间（线性空间）属于抽象代数的一部分，而且已经非常好地融入了这个领域。一些显著的例子有：不可逆线性映射或矩阵的群，向量空间的线性映射的环。线性代数也在数学分析中扮演重要角色，特别在 向量分析中描述高阶导数，研究张量积和可交换映射等领域。
向量空间是在域上定义的，比如实数域或复数域。线性算子将线性空间的元素映射到另一个线性空间（也可以是同一个线性空间），保持向量空间上加法和标量乘法的一致性。所有这种变换组成的集合本身也是一个向量空间。如果一个线性空间的基是确定的，所有线性变换都可以表示为一个数表，称为矩阵。对矩阵性质和矩阵算法的深入研究（包括行列式和特征向量）也被认为是线性代数的一部分。
我们可以简单地说数学中的线性问题——-那些表现出线性的问题——是最容易被解决的。比如微分学研究很多函数线性近似的问题。在实践中与非线性问题的差异是很重要的。
线性代数方法是指使用线性观点看待问题，并用线性代数的语言描述它、解决它（必要时可使用矩阵运算）的方法。这是数学与工程学中最主要的应用之一。 
 

重要定理


·每一个线性空间都有一个基。
·对一个 n 行 n 列的非零矩阵 A，如果存在一个矩阵 B 使 AB = BA =E（E是单位矩阵），则 A 为非奇异矩阵（或称可逆矩阵），B为A的逆阵。
·矩阵非奇异（可逆）当且仅当它的行列式不为零。
·矩阵非奇异当且仅当它代表的线性变换是个自同构。
·矩阵半正定当且仅当它的每个特征值大于或等于零。
·矩阵正定当且仅当它的每个特征值都大于零。
·解线性方程组的克拉默法则。
·判断线性方程组有无非零实根的增广矩阵和系数矩阵的关系。

 

其他数学分支


线性代数是一个成功的理论，其方法已经被应用于数学的其他分支。

模论就是将线性代数中的标量的域用环替代进行研究。



多线性代数将映射的“多变量”问题线性化为每个不同变量的问题，从而产生了张量的概念。



在算子的光谱理论中，通过使用数学分析，可以控制无限维矩阵。



所有这些领域都有非常大的技术难点。


2、
3.返回顶部

 
4.返回顶部

 
5.返回顶部 

1、
https://baike.baidu.com/item/线性代数/800
2、
 
6.返回顶部

 

作者：ylbtech
出处：http://ylbtech.cnblogs.com/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 






















转载于:https://www.cnblogs.com/storebook/p/10900479.html