精华内容
下载资源
问答
  • 点乘:向量vector相乘叫做点乘,结果是一个标量scalar,我们把结果叫做内积(点积)。使用矩阵乘法把向量当作n×1 矩阵,点积还可以写为:,这里的指示矩阵的转置,如上例子即为:2*1的矩阵转置后为1*2矩阵,然后再乘以...

    资源

    笔记

    一、vector

    向量的长度也叫向量的模:

    math?formula=%5Cbegin%7Bbmatrix%7Dx%5C%5C%20y%5Cend%7Bbmatrix%7D的长度

    math?formula=%7Cr%7C

    math?formula=%5Csqrt%7Bx%5E2%2By%5E2%7D,即勾股定理。

    点乘:

    向量vector相乘叫做点乘,结果是一个标量scalar,我们把结果叫做内积(点积)。

    math?formula=%5Cbegin%7Bbmatrix%7Dx%5C%5C%20y%5Cend%7Bbmatrix%7D%5Ccdot%20%5Cbegin%7Bbmatrix%7Da%5C%5C%20b%5Cend%7Bbmatrix%7D%3Dx*a%2By*b

    使用矩阵乘法把向量当作n×1 矩阵,点积还可以写为:

    math?formula=a%5ET%5Ccdot%20b,这里的

    math?formula=a%5ET指示矩阵

    math?formula=a的转置,如上例子即为:

    math?formula=%5Cbegin%7Bbmatrix%7Dx%20%26%20y%5Cend%7Bbmatrix%7D%5Ccdot%20%5Cbegin%7Bbmatrix%7Da%5C%5C%20b%5Cend%7Bbmatrix%7D%3Dx*a%2By*b

    2*1的矩阵转置后为1*2矩阵,然后再乘以2*1矩阵,结果是一个1*1的标量。

    一个向量

    math?formula=r与自己相乘的结果是其长度

    math?formula=%7Cr%7C的平方:

    math?formula=r%20%3D%20%5Cbegin%7Bbmatrix%7Dx%5C%5C%20y%5Cend%7Bbmatrix%7D

    math?formula=r%5Ccdot%20r%3D%5Cbegin%7Bbmatrix%7Dx%5C%5C%20y%5Cend%7Bbmatrix%7D%5Ccdot%20%5Cbegin%7Bbmatrix%7Dx%5C%5C%20y%5Cend%7Bbmatrix%7D%20%3D%20x%5E2%2By%5E2%3D%20%7Cr%7C%5E2

    二、matrix

    matrix: 矩阵,m*n矩阵,m是row, n是column,也就是行*列。

    identity matrix: 单位矩阵。

    transpose matrix: 转置矩阵,m*n-> n*m,行列互换。

    矩阵乘以列向量:

    矩阵m*n乘以列向量n也就是n*1的矩阵, 结果为m的向量也就是m*1的矩阵:

    math?formula=%5Cunderset%7Bm%5Ctimes%20n%7D%7BA%7D%3D%5Cbegin%7Bbmatrix%7D%20a_%7B11%7D%20%26a_%7B12%7D%20%26%5Ccdots%20%26a_%7B1n%7D%20%5C%5C%20a_%7B21%7D%20%26a_%7B22%7D%20%26%5Ccdots%20%26a_%7B2n%7D%20%5C%5C%20%5Cvdots%20%26%5Cvdots%20%26%5Cddots%20%26%5Cvdots%20%5C%5C%20a_%7Bm1%7D%20%26a_%7Bm2%7D%20%26%5Ccdots%20%26a_%7Bmn%7D%20%5Cend%7Bbmatrix%7D%20%5C%20x%3D%5Cbegin%7Bbmatrix%7D%20%7B%5Ccolor%7BRed%7D%20%7Bx_1%7D%7D%5C%5C%20%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%5C%5C%20%7B%5Ccolor%7BRed%7D%20%7B%5Cvdots%7D%7D%5C%5C%20%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5Cend%7Bbmatrix%7D

    math?formula=Ax%3D%5Cbegin%7Bbmatrix%7Da_%7B11%7D%7B%5Ccolor%7BRed%7D%20%7Bx_1%7D%7D%2Ba_%7B12%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7B1n%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20a_%7B21%7D%7B%5Ccolor%7BRed%7D%20%7Bx_1%7D%7D%2Ba_%7B22%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7B2n%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20a_%7Bm1%7D%7B%5Ccolor%7BRed%7D%20%7B_1%7D%7D%2Ba_%7Bm2%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7Bmn%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20%5Cend%7Bbmatrix%7D

    例:

    1*3,1行3列乘以3*4,3行4列,列数等于行数才可以相乘,结果为1行4列。

    但是 3*4乘以1*3就不行,会出错。

    也可以column Aspect模式计算:

    math?formula=Ax%3D%5Ccolor%7BRed%7D%20%7Bx_1%7D%5Cbegin%7Bbmatrix%7Da_%7B11%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20a_%7Bm1%7D%5Cend%7Bbmatrix%7D%20%2B%20%5Ccolor%7BRed%7D%20%7Bx_2%7D%5Cbegin%7Bbmatrix%7Da_%7B12%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20a_%7Bm2%7D%5Cend%7Bbmatrix%7D%20%2B%20%5Ccdots%20%2B%20%5Ccolor%7BRed%7D%20%7Bx_n%7D%5Cbegin%7Bbmatrix%7Da_%7B1n%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20a_%7Bmn%7D%5Cend%7Bbmatrix%7D%20%3D%5Cbegin%7Bbmatrix%7Da_%7B11%7D%7B%5Ccolor%7BRed%7D%20%7Bx_1%7D%7D%2Ba_%7B12%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7B1n%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20a_%7B21%7D%7B%5Ccolor%7BRed%7D%20%7Bx_1%7D%7D%2Ba_%7B22%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7B2n%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20a_%7Bm1%7D%7B%5Ccolor%7BRed%7D%20%7B_1%7D%7D%2Ba_%7Bm2%7D%7B%5Ccolor%7BRed%7D%20%7Bx_2%7D%7D%2B%5Ccdots%2Ba_%7Bmn%7D%7B%5Ccolor%7BRed%7D%20%7Bx_n%7D%7D%20%5C%5C%20%5Cend%7Bbmatrix%7D

    矩阵相乘:

    math?formula=m*n的矩阵

    math?formula=x乘以

    math?formula=n*o的矩阵

    math?formula=y,结果为

    math?formula=m*o的矩阵

    math?formula=z

    计算:

    math?formula=x矩阵与

    math?formula=y的第1列向量相乘。

    math?formula=x矩阵第1行与

    math?formula=y的第1列标量相乘得到1个标量放在

    math?formula=x_%7B11%7D的位置。

    math?formula=x矩阵第2行与

    math?formula=y的第1列标量相乘得到1个标量放在

    math?formula=x_%7B21%7D的位置。

    直到所有

    math?formula=x所有行与

    math?formula=y的第1列乘完。

    然后再拿

    math?formula=x与的

    math?formula=y第2列相乘,结果放在第2列。

    ......

    independent:独立

    dependent:依赖

    线性独立或者线性无关 (linearly independent),线性相关(linearly dependent)。

    Rank: 秩

    线性无关或线性独立

    展开全文
  • 简介我们主要学习与机器学习相关的线性代数知识,主要包括向量和矩阵的乘法、范数、求导等基本运算,及其在机器学习中的应用等内容。线性代数是数学的一个分支。相信你在大学时,一定学习过这门课程,甚至可能会为...

    87129716db477ec8076bdf7963724942.png

    简介

    我们主要学习与机器学习相关的线性代数知识,主要包括向量和矩阵的乘法、范数、求导等基本运算,及其在机器学习中的应用等内容。

    e7871b957ee84c64f75ae706dfd3cf8c.png

    线性代数是数学的一个分支。相信你在大学时,一定学习过这门课程,甚至可能会为通过考试而熬夜苦战。根据我的感受,线性代数这门课并不简单,但是比高等数学还是要容易一些。从机器学习的视角来看,线性代数是必须要了解的,但不需要达到精通的程度。为了不让线性代数成为学习机器学习的绊脚石,你需要掌握向量、矩阵的各种基础运算。值得一提的是,当你掌握线性代数的逻辑和套路时,线性代数就是纸老虎。

    98d6d018664718014f04bb2b97f81fde.png

    既然名字叫作线性代数,那么它一定是线性模型的前置基础知识。线性代数最基本的研究对象是向量,向量的向量又组成了矩阵。有了向量或者矩阵,就能将很多数字用一个向量符号表示,甚至可以将很多高维的数据用一个矩阵来表示。因此,你可以理解为线性代数是处理大数据的基础。

    向量的基本运算

    e0af4dfcaabd635cc86537b9deaeb491.png

    我们首先来学习向量的知识。在这里只需学习与机器学习有关的内容。我们在高中时就开始接触向量,它的基本运算并不会困扰我们。向量是一个有方向的量,它的表示形式是斜体加粗的小写字母或者斜体小写字母上加一个向右的箭头。别忘了,在上一课时计算函数的梯度时,梯度也是一个向量,表示的也是一个有方向的量,是函数值变化率最快的方向。

    点乘

    8964a9e0fc66eea765ded66d6bd9927d.png

    除了普通的加法以外,向量的另一个重要运算就是点乘了。点乘两个相同维数的向量,可以得到一个常数。点乘的计算方法是两个向量对应项乘积之和。例如,计算向量[1,1]和[-1,2]的点乘,计算过程就是 1(-1)+12,结果等于 1。

    矩阵的基本运算

    e5892c69d76856697dcdba5580972423.png

    接着我们来看一下矩阵。你应该是上了大学之后才开始接触矩阵的。矩阵可以形象的理解为是向量的向量,通常用加粗大写字母表示。在机器学习中,通常会用一个矩阵来表示一个大数据集。其中每一行是一个样本的不同维度,列方向则是集合中的每一条数据样本。例如如图所示的 3 名同学 3 门课的考试成绩。

    用矩阵来表示每人每门课的成绩,则是

    7fa8ec1a6b1310d60d2eb929c8b27f6e.png

    特别需要注意的是,当数据集中只有一条数据时,这个矩阵就退化为一个向量。因此,你也可以理解为,向量也是一个特殊的矩阵。

    转置

    矩阵有一个很重要的运算,就是转置。在矩阵右上角,用大写字母 T 表示。它能让矩阵的行列互换,原本 m x n 的矩阵就变成了 n x m 的新矩阵。

    例如原本是

    b5d338e8a9598b378e720b381b32b629.png

    转置后变成了

    6a8ed5b67dc5b9ca050ffc1f65838452.png

    c56cb5fe9b951353d6654dd7fd155484.png

    转置在机器学习中有着非常重要的数学意义。你在学习机器学习时,也很可能会被各种各样的转置符号给弄晕。这是因为在机器学习中,关于向量和矩阵有着默认的规则。在机器学习中,默认所有的向量为列向量。当你必须要表示行向量时,则需要将向量转置。以前面 3 个同学的成绩为例。每个人 3 门课的成绩是个向量。根据列向量的准则,则有

    e84e71d946b77fc1d9ddab947ed81bbc.png

    总成绩是个矩阵,它是向量的向量,因此也需要满足列向量的准则。因此有:

    bf3e6754a1566ed9eb7c657032a8abb5.png

    此时就需要借助转置符号,变列为行来表示其中每个人的成绩。在这里,我们再次重申一遍,在整个机器学习中,默认所有的向量为列向量。

    乘法

    矩阵的乘法,在机器学习中被高频使用。我们举个例子来说明如何计算矩阵的乘法。如果有

    b70b6abfa746393a446a38e6d24089c6.png

    则:

    6322a9d13b306fb87e618ccce9e263f2.png

    这里需要注意,矩阵的乘法对维数有严格要求。第一个矩阵的列数必须与第二个的行数相等。维数不匹配的矩阵不可以相乘。

    哈达玛积

    除了乘法以外,矩阵的基本运算还有哈达玛积。它要求两个矩阵的维数完全相同,计算方式是对应项元素的乘积。例如,

    0940ec9be7ca3d48ee0b7a44ad96cd4e.png

    则其哈达玛积的结果为

    bce0ac923f075dbd5eb048985f274a30.png

    求逆

    关于矩阵,你还需要掌握求逆运算。求逆运算只可以作用在行数等于列数的方阵上,用右上角标 -1 来表示,可以得到一个矩阵的逆矩阵。逆矩阵满足这样的性质,它和原矩阵相乘后,可以得到单位矩阵,即主对角线元素为 1,其他元素为 0 的方阵。例如,

    afe02336b050c63a539d9e8e875aebac.png

    关于求逆,你不需要会各种手动计算的方法,能用 Python 的计算包或者 Matlab 求解就可以了。

    线性代数与机器学习

    范数

    到现在为止的知识点,相信都还难不倒你。那么接下来的内容会渐渐开始有一些挑战。我们先看一下范数。范数可以对矩阵和向量去计算,它是泛函分析中的重要知识。但是从机器学习的视角来看,我们不需要掌握那么复杂的内容。在这里,我们只需要学习向量的 L1 范数和 L2 范数;其他更复杂的内容,如果你感兴趣,可以翻阅相关的数学书籍。

    向量的 L1 范数计算方式是各个元素的绝对值之和。向量的 L2 范数计算方式是各个元素平方之和的平方根。例如,

    14cae9100be0aebef16b38c47485fb64.png

    ef8d16e3ccf0d87eb48976f7ed85b337.png

    也可以表示为

    d6b29b4969bf1a8e6b01f24a137351a8.png

    求导

    对于矩阵、向量的求导,可能是本课时唯一的难点。这里的知识点,需要你在理解的基础上独立完成求导过程。在机器学习中,对于矩阵的求导用的会比较少,这个知识点并不是必须掌握的。而对于向量a关于向量b的求导,则必须掌握。原因在于机器学习的未知变量通常是模型的系数或系数组,而学习的标签是真实值向量。这个系数组和标签真实值,通常以向量的形式存在,例如线性回归、逻辑回归等模型。其他更复杂的求导,如果你感兴趣可以自己查阅相关资料。

    接下来,看一下向量关于向量的求导。向量 y 关于向量 w 的求导结果是向量 y 中每个元素关于向量 w 中每个元素求导结果的矩阵。如果向量 w 的维数为 n x 1,向量 y 的维数是 m x 1,则求导之后的矩阵维数就是 n x m。特别需要注意,当 m=1 时,向量 y 是个常数,此时定义同样成立。

    505bcdcc2d425a4ffea6e4005910d3c2.png

    掌握了求导的定义之后,就可以利用它去求解导数啦。我们在这里把后续机器学习建模会用到的内容进行分析。首先看矩阵和向量的乘积结果。

    421856c90e4997d43407fb908b1b264c.png

    这两个求导结果可以通过简单的推导得到。在此需要你记住求导过程。

    总结

    048234b13396a0b61caf0cef6cf73a95.png

    本课时,我们对线性代数的复习只是线性代数知识的冰山一角。但是这些知识,对我们突破机器学习已经足够了。我们先复习了矩阵和向量的基本运算,这些是为了讲述范数和求导作准备。当我们掌握了范数和求导法则之后,就具备了突破机器学习中线性代数的能力。

    其中,范数的知识,是在机器学习中克服模型过拟合的重要手段。不管是L1还是L2,范数可被用作损失函数的惩罚项,也称作正则项,用来指导模型的学习训练。范数值越大,说明模型参数绝对值整体偏高,则说明模型的复杂度偏高。自然地,过拟合风险也就比较高。关于过拟合的知识,我会在后面专门拿出一个课时来讲解。另外,线性代数作用在线性模型居多。线性回归是回归的入门级算法。 对于线性回归模型的最优化过程,需要大量的向量求导计算。

    如果不具备这些基础知识,你可能就会被一个非常简单的入门级算法困扰,这是非常划不来的事情。不过现在好了,这些必备的知识点你都已经突破了。其余线性代数的知识,如果你感兴趣,可以花时间去进行专门、系统地学习。如果你对数学比较抵触,掌握这些内容,已经足够你驰骋机器学习啦。

    展开全文
  • 这全部的一切,都是为了引出整个线性代数学科中概念的核心——矩阵。我们前面讲过线性变换,像一个黑盒子,或者一个函数:如果我们把新的基向量排成一个阵列:在这个新的阵列中(图好丑),第一列和第二列是新的两个基...

    我们在前面费了好大得劲,从线性组合和空间两个角度,描述了线性变换。你可能要问,为什么向量在原来的空间,用i^j^活的挺好,为什么要费这么大的劲换一个基向量组,把整个空间全都换一遍呢?

    这全部的一切,都是为了引出整个线性代数学科中概念的核心——矩阵。

    我们前面讲过线性变换,像一个黑盒子,或者一个函数:

    3d59f01cb4559c4568488f62bc82c5ad.png

    如果我们把新的基向量排成一个阵列:

    d0b85e9d970a74d7677e30711048b1ed.png

    在这个新的阵列中(图好丑),第一列和第二列是新的两个基向量,也就是原来的i^j^被换成的新的向量,如果是上图中的例子,两个向量就是(1,2)T(3,-1)T

    515298c088b116ec0dc47f1ed8881675.png

    就形成了一个矩阵(Matrix),整个线性代数的核心概念。这个矩阵就可以代表线性变换,因为线性变换无非就是要规定新的基向量是什么,现在全部的基向量的信息都已经在里面了。

    一不做二不休,既然矩阵已经以线性变换的身份登场,那么我们就顺便把它线性变换的一面——也就是矩阵的乘法一起也叫上来。我们把这种变换定义为:拿这个矩阵乘以原向量,输出新的向量。也就是说:上面的框图写成矩阵的形式,就是:

    063e5b9bc120c8d5e795a1500c18d348.png

    如果我们把中间的细节也展现出来,就是还原他其中的线性组合的细节:

    0c479332e83c9505475e449a26feed56.png

    这就是矩阵的乘法。和我们之前死记硬背的行列点乘是有本质区别的。

    这就是矩阵这个核心概念的第一次亮相,显得有点波澜不惊。在国内的教材中,一般是从线性方程组的系数矩阵入手。我觉得是不如这样去理解的,因为它一上来就把矩阵当成了一种操作,它是活的有生命的。这是我读西方教材和我们的教材(我们的很多教材是受战斗民族的影响)的一个很重大的差别,西方的教材和教授着重概念和理解,东方注重计算和技巧。我觉得可能是和战斗民族的顶级人才的智商太高有关系(国际象棋,ACM,黑客的顶尖中很多都是战斗民族的),所以他们才会编出吉米多维奇这种神书来不断的向智力的顶峰冲击,然后落下我等弱鸡白白兴叹。

    既然矩阵以这样的身份登场,我们就好好说说它。

    展开全文
  • 与教科书上以行列式作为线性代数的开篇不同,我希望在我的专栏中,能够始终遵循在专栏第一篇文章中提出的数学思考框架。即从一个数学领域的基石出发,进而过渡到概念,性质,运算以及推广应用;沿着这一思路,则我们...

    7f7ed328de1704225794c198809bb14a.png

    与教科书上以行列式作为线性代数的开篇不同,我希望在我的专栏中,能够始终遵循在专栏第一篇文章中提出的数学思考框架。即从一个数学领域的基石出发,进而过渡到概念,性质,运算以及推广应用;沿着这一思路,则我们学习线性代数就自然应当由它的基石——向量,以及与向量密切关联的矩阵作为学习的入口。


    向量空间与内积空间

    首先,以我们并不陌生的平面二维向量作为第一个研究对象。

    以前文介绍的线性的两个性质齐次性与可加性为基础,若向量

    存在于由两个基向量
    所构成的二维平面空间内,即有:

    则在该二维平面空间内的向量满足:

    向量加法的交换律:

    向量加法的结合律:

    存在逆向量与零向量:

    向量数乘的分配率:

    向量数乘的结合律:

    可以看到,在这个空间内,通过线性性质定义出了向量与向量的加法,向量与标量的乘法,同时,最为重要的一点是,在这个空间内,向量的所有运算结果也同样都是向量;因此,我们可以将这个空间称为向量空间或线性空间。

    但是,可以注意到,向量空间存在着一些缺陷。

    其一,由于在这个空间中的所有对象以及运算结果都是向量,因此当我们想要在这个空间中讨论一个向量的大小(也即长度)以及两个向量之间的夹角时,都缺少相对应的数值(也即标量)来刻画。

    其二,仅凭线性的齐次性与可加性,我们难以在这个空间中定义向量与向量的乘法。想象一下用空间中的一条直线去“乘“以另一条直线,其结果应该是什么——这个运算既无法被线性性质所抽象定义,显然也无法从空间图形上被具象的定义。

    因此,为了一举解决这两个问题,是否能够将向量与向量的乘法定义为一种将向量转变为标量的运算,然后使用这个运算的标量结果来帮助我们描述向量的长度与夹角。

    而这,就是我们要引入内积的原因。

    我们将向量与向量的乘法定义为:

    若有两个

    维向量
    ,则:

    ,即将两个向量对应坐标的数值相乘而相加。

    对于平面二维向量,则有:

    通过这样的运算方式,我们得以将向量

    转化了标量
    ,而这个计算结果的标量就被称为内积。

    如果从线性性质的角度来看,内积的运算相当于对两个线性函数进行相乘,故它实际是一个双线性函数。

    有了内积的定义之后,若我们对向量自己作内积,则有:

    借助自身内积这个标量,我们才得以用它来定义向量的长度:

    因此,对于基向量

    ,才能够定义出了它的单位长度为:

    我们在向量空间中引入了内积这个标量之后将它称之为内积空间。由于它的作用是将向量映射为标量,故也被称作标量积。


    向量夹角

    在有了内积运算和向量长度的定义之后,我们就可以进一步的来讨论向量的夹角。

    f3de2c0057e4f8169d9fcfbdea34a720.png

    有两个空间向量

    ,它们的夹角为
    ,根据余弦定理有:

    ,即:

    其中

    可由已定义向量的加减运算得:

    因此,根据向量长度(模)的定义可带入余弦定理,其中,等式的左边为:

    展开后,即为:

    其中

    即为
    即为
    ,故,其可转化为:

    而我们知道根据内积的运算定义,

    ,则余弦定理的等式即变为:

    两边消去相同项后,即得:

    可以看到,在有了内积运算的定义之后,我们便可以通过它来计算出任意两个向量的夹角余弦值,进而可以严格的讨论向量的位置关系。


    正交性

    在有了向量间夹角的概念以后,便有了正交性的概念。

    依据正交性的课本定义,当两个向量处于垂直关系,也即夹角

    时,由于
    ,故两个向量的内积为零,满足这个条件时,则称这两个向量为正交。

    但是,正交从垂直这个特殊的几何关系引申而来,在线性代数的空间中它的本质含义究竟是什么呢。

    让我们尝试用另一个角度来看待正交这个概念:

    5f28d1587eed37ae3029d4bff068e0dd.png

    若在平面空间中,仅有两个向量(我们暂时没有定义基向量所确定的坐标轴),若我们仅使用向量

    为基准,用它去
    度量另一个向量
    的大小与方向。

    可以看到,若向量

    的实际长度为
    。由于只有一个方向的基准向量
    存在,因此我们在它的方向上去观察向量
    时,所看到的实际上应该只是向量
    在其之上的
    投影
    ,若将它的相对方向长度记为
    这里,所谓相对方向是指的是以两个向量的原点为0点,若投影的方向与向量
    的方向一致则为正,相反则为负;这里模长的记号只是我为了叙述表达而采用的一种习惯用法,模长的数学定义实际并不会为负。

    则对这两者使用比值来进行比较:

    这个表达式,也即为两个向量夹角的余弦值:

    值的符号代表着两个向量方向的一致性,若
    ,则代表两者同向;
    ,则代表二者反向。

    :意味着,我们用向量
    作为度量测出的向量
    长度与它的实际长度完全一致;此时,
    恰处于同一直线上。

    :意味着,我们测量出来的投影长度与向量实际长度存在着一定的误差,
    越接近
    代表着测量越准确,越接近于
    代表着测量误差的越大;此时,
    则成钝角或者锐角。

    ,则意味着,无论向量
    的长度是多少,方向是何处,我们都无法通过向量
    测量出来;此时,
    恰好垂直。

    由此,当我们将这种度量的概念推广到任意两个空间向量,则可以认为:

    两个向量夹角

    的余弦值,它实际可以看作是以其中一个向量为基准去度量另一个向量,其测量结果的
    准确程度

    在此基础上,向量正交性实际上可以看作是:在两个向量之间,我们无法使用其中一个向量去度量另一个向量

    在很多教科书或讲解视频中,将两个向量的正交性解释为一种无关性。这种无关性,在我看来,其最本质的含义,实际上是这两个向量彼此之间的不可度量性

    若以线性变换的角度来看待这种不可度量性,它是在说:若两个向量正交,则在其中一个向量方向上发生的任何线性变换,都无法被分解到另一个向量的方向上。


    至此,可以看到,在向量空间中,为了定义向量与向量之间的乘法,以及可以从线性代数的角度严格的讨论向量的长度与位置关系,我们引入了内积运算,在内积的基础上,我们讨论了向量的长度大小,夹角,也因此得以讨论向量的正交性。

    如果以空间维度的角度来看待内积的运算,它实际上是一种降维运算,也就是说它将

    维向量降维映射成了一个零维标量。

    但,如果从齐次线性函数的角度来看待向量与向量相乘,我们会发现:

    在两个齐一次线性方程相乘以后,其结果变成了一个齐二次方程,也就是说若其返回的结果依然是一个向量的话,这个向量的维度应该被升高了。

    由此,我们会想,与内积运算的降维相对应,是否还存在着可能,使我们能够定义出另一种向量与向量的乘法。而这种乘法应为一种升维运算,它的运算结果应为我们返回一个增加了维度的新向量。

    我们就将在之后矩阵的运算中来讨论这种运算。

    展开全文
  • 2015-12-13 回答线性代数(linear algebra)是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题;因而,线性代数被广泛地应用于抽象...
  • 前言这节课实际上是老师临时...另外提一下,上一节笔记中没有讲 向量点乘(内积),叉乘(外积) 的概念,这些东西都很简单,高中就学过,自己复习下或者看本课程对应教材就好线性代数从具体到抽象,从简单到复杂的 研究...
  • 07 点积与对偶性【熟肉】线性代数的本质 - 07 - 点积与对偶性_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com传统教学中,“点积”是线性代数课程中很靠前的内容,只需要简单的向量概念就可以引入。...
  • 本文选自:拉勾教育专栏《机器学习入门21讲》你好,我是白朔天,今天我们进行“线性代数”的学习。本课时我们主要学习与机器学习相关的线性代数知识,主要包括向量和矩阵的乘法、范数、求导等基本运算,及其在机器...
  • 本章难度极低,但却是理解线性代数最基础的内容,希望高中小朋友(曾经的我)也能从中获益。不多说,进入正题。在线性代数中,规定列向量是所谓“有始有终有方向”的箭头,行向量 则是表示一个面(二维就是一条直线...
  • 点击这里可以跳转至【4】矩阵点乘:现在的位置...C++语言:原理解析:矩阵乘法分为点乘和叉乘,其计算方法不同,本小结介绍点乘。A点乘B,是利用 A的每一行 乘以 B每一列得到新的一组值。(此处补动图)我们首先要有把...
  • 在向量、线性变换的基础认识上,我们引出点积,这一点我们课本的安排:向量之后就是点积的顺序完全不一致。这样的安排,便于用线性变换的观点来解释点积。点积的定义是对于相同的维数/长度的向量,将向量相同位置的...
  • 代数表达和几何表达是等价的。用余玄定理解释几何意义余玄定理是这样说的:已知三角形的两边和夹角,可以知道第三边的长度。根据该定理:如果用向量和点积表达:联合两种表达:点积的作用计算向量的角度可以利用点积...
  • 【算法工程师的数学基础】系列将会从线性代数、微积分、数值优化、概率论、信息论五个方面进行介绍,感兴趣的欢迎关注【搜索与推荐Wiki】公众号,获得最新文章。文章内容来自:复旦大学教授邱锡鹏老师的著作《神经...
  • 上篇:如果看了这些还不懂线性代数,你就来锤我(上)让我们继续线性代数基础吧!在这一篇中你将了解点乘、你和谢广坤之间的故事以及特征向量特征值。 • 点乘让我们来看下点乘的计算方式。又是捉对相乘再相加,是不是...
  • 引言:线性代数是数据科学的基础知识之一,3Blue1Brown也是非常有名的数学讲解频道。去年TDU的谢洛克在学习过3Blue1Brown线性代数的视频后,写下了备受欢迎的两篇学习笔记,再次分享给大家,同时也推荐有线性代数...
  • 常规方法:矩阵 C 中每一个元素 Cij = A 的第i行 乘以(点乘)B 的第 j 列。设有 n 维向量令 ,称 为向量 x 与 y 的内积。在线代中秩的定义:一个矩阵 A 的列秩是 A 的线性无关的列的极大数目。类似地,行秩是 A ...
  • 常规方法:矩阵 C 中每一个元素 Cij = A 的第i行 乘以(点乘)B 的第 j 列。设有 n 维向量令称 [x, y] 为向量 x 与 y 的内积。在线代中秩的定义:一个矩阵 A 的列秩是 A 的线性无关的列的极大数目。类似地,行秩是...
  • 没学好线性代数的筒子们要注意了啊,赶紧复习一下,以免“感动”到哭~ 证明思路 要想证明刚体欧拉定理,我们肯定要先找到这个“轴”,这个“轴”在哪呢? 嗯,很难回答。其实,我们的任务不是去为每一个陀螺找“轴...
  • 3Blue1Brown的 Essence of linear algebra 系列视频(链接见文末)是我迄今见过最棒的线性代数视频。Grant Sanderson(3Blue1Brown 创办者)一反教科书上抽象、枯燥的公式教学,引导观众进入奇妙的“线性代数几何化世界...
  • |作者:曹则贤( 中国科学院物理研究所 )本文选自《物理》2020年第10期Never mind when.1)——Sir William Rowan Hamilton in 1859摘要四元数是哈密顿对二元数,即复数,的推广,其成功开启了近世代数的大门。...
  • 例子:化学方程组中系数的配平 可见:线性⽅程组在各个领域,有着重要的应,在线性代数中,称为线性系统 我们再回到第一个经济系统的例子: 左边的系数,可以看成是一个矩阵: 右边的数值,可以看成一个列向量: ...
  • 好久没有写文章了,抱歉了,以后每天...两个向量“相乘”:等于两个向量的模(长度)乘于夹角的余弦在二维空间中,向量的点乘:使用余弦定理证明:向量点乘的直观理解:向量的点乘,两个向量必须是同方向的,所以做...
  • MIT线性代数1806(14) 向量正交 点乘 空间正交 对称矩阵
  • title: 【线性代数】1-2:点乘和长度(Dot Products and Length) toc: true categories: Mathematic Linear Algebra date: 2017-08-28 12:12:18 keywords: Length 长度 Dot Product 点乘 Abstract: 介绍点乘,...
  • 原文https://blog.csdn.net/hc14519/article/details/50716299 其实这篇文章主要讨论为何向量叉积这样定义,标题是为了吸引人,让更多有同样疑惑的人搜到。 记得上大学时的第一节课是《空间解析几何...
  • (关于做法来源,大家可以在学会矩阵以及理解矩阵与空间转换关系之后去看下3Blue1Brown线性代数系列第7、第8集) 对于3D空间而言,我们会有两种向量相乘的做法: 点乘 叉乘 其中点乘的做法对任意维度都适用,但叉乘...
  • http://games-cn.org/线性代数在图形学中的应用:Dot Pruduct 点乘点乘可以用来计算两个单位向量的夹角,两个模为1向量的点积,获得的值即为 cosθ。如下点乘这个夹角值可以用来1.描述两个向量是否足够接近;2.解构...
  • 点击这里可以跳转至 【1】矩阵汇总:http://www.cnblogs.com/HongYi-Liang/p/7287369.html 【2】矩阵生成:http://www.cnblogs.com/HongYi-Liang/p/7275278.html 【3】矩阵加减:... 【4】矩阵点乘:...
  • 易混基础概念 标量:单独一个数 向量:一行/列数 矩阵:二维数组 张量:一般指... 总结 线性代数的一大特点是“一大串”,统一的知识体系,相互之间紧密联系,非常漂亮,在深度学习中有重要的应用,还是应该要学好。

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 184
精华内容 73
关键字:

点乘线性代数