2018-04-27 14:41:53 jayandchuxu 阅读数 340

矩阵的特征值、特征向量的概念

这里,我们讨论的是n阶的方阵A

定义

从向量的定义可知,它是方向和长度的结合体。当一个线性变换A作用在n维线性空间V中的某一非零向量x上时,便是对该向量的长度和方向进行变化。然而,存在一些向量,线性变换A并没有改变其方向,而只是改变了长度,这种向量,叫做线性变换A特征向量,它在变换中被改变的倍数,叫做它的特征值。用数学公式表示这一概念,即:

Ax=λx(1)

其中,λ的个线性变换A的某一个特征值。从公式上可以轻易发现,如果某一向量x是线性变换A的特征向量,那么与其方向相同的任意长度(不为零)向量,都是A的特征向量,并且属于同一个特征值λ。由于相同方向的特征向量具有相同特征值,我们可以同特征值来描述这一族向量(同一个特征值,可以有多个方向的特征向量)。
从公式(1)中,可以看出特征向量和特征值的计算方法:
|λEA|=0(2)
(λEA)x=0(3)

对应于同一个线性变换A,可以有多个特征向量(方向不同),但是有多个特征向量可以对应同一个特征值。 一个向量是一个方向,两个不同方向的向量就可以张成一个空间。在相同特征值的特征向量张成的空间内,任何一个向量在变换A下,都有相同的放大倍数λ

公式(2)的左侧,总可以展成如下形式的多项式:

|λEA|=λn(a11+a22++ann)λn1++(1)n|A|

所以求特征值就是求下面方程的解:

λn(a11+a22++ann)λn1++(1)n|A|=0(4)

关于从方程(4)得到的特征值,有几个比较重要的结论(参考资料1):

  1. n阶矩阵在复数范围内,一定有n个特征值(重特征值按重数计算个数)。
  2. n阶矩阵在实数范围内有多少个特征值是不一定的
  3. n阶实对称矩阵可以看成是一个特例,因为它一定有n个实特征值(重特征值按重数计算个数)。如果其中一个特征值λ=0,矩阵的秩r(A)=k,(0<k<nk是正整数),则λ=0恰为Ank重特征值。
  4. 如果 n阶矩阵A不是对称矩阵,那么,λ=0至少为Ank重特征值。

关于特征值和特征向量的理解,参考资料3写的也很好,知乎上有很多大神的回答直击要害,对问题的理解很有帮助。

作用

参考资料4中,认为矩阵的变换有三个作用:旋转拉伸投影
A是一个n×n方阵时,只涉及到旋转,拉伸。如果矩阵在实数域内可以得到n个特征值(重特征值按重数计算个数),那么利用其对应的特征向量(单位化后)组成矩阵正交Q可以使得:

A=QΛQ1

其中正交矩阵Q起到旋转作用(旋转矩阵都是正交矩阵,且行列式都为1),对角矩阵Λ起拉伸作用。
当矩阵不是方阵而是m×n时,可以对其进行SVD分解
在之前,想研究一下正交矩阵。

正交矩阵

按照定义,正交矩阵是QQT=E,它的行列式为1或者-1。

正交矩阵的性质

了解正交矩阵的性质,在很多计算方面,能够更深入了解所进行的运算的意义。
我们这里说的都是有限维欧式空间内的正交矩阵

  1. 正交矩阵的转置伴随矩阵、之间的积矩阵都是正交矩阵;
  2. .每一行(列)都是单位向量
  3. 任意两行或两列相互垂直
  4. 其行列式等于±1

假设n维欧式空间Rn中,一个正交变换Q存在一个一一对应的正交矩阵Q。所以研究正交变换的性质,可以转为研究正交矩阵。
根据正交矩阵行列式的值,将其分为两类:|Q|=1,为第一类;|Q|=1,为第二类。
第一类正交矩阵,当其左乘一个向量时,几何意义是使该量在Oxyz坐标系下旋转;
第一类正交矩阵,当其左乘一个向量时,几何意义是使该向量沿Oxyz某一轴(点)进行反射;[5]
无论是哪一类正交矩阵,其左乘向量,均不会改变向量的长度,即|Qv|=|Q||v|=|v|
所以上面将矩阵A拆成A=QΛQ1的形式后,由于Q是正交矩阵,它作用在向量v上,只是对其进行旋转或者反射,而对向量长度有影响的是矩阵Λ。其上的元素由矩阵A的特征值组成。
需要注意的是,只有当矩阵A能够在实数域内有n个特征值(重数也计入)的情况下,可以如此分解。但是,对更多的一般性矩阵A,在实数域内没有n个实特征根,或者是更一般的m×n维矩阵,此时,我们用SVD分解的方法进行研究。

SVD分解

协方差

假设有两个变量XY,他们的取值为X={x1,x2,,xn}Y={y1,y2,,yn},他们的平均值(期望)记为是E(X)=X¯=1nxiE(Y)=Y¯=1nyiXY的协方差就是研究两个变量之间的相关关系。比如当一个的取值不断增大时,另一个变量的取值如何变化,知乎上的一篇文章( 如何通俗易懂地解释「协方差」与「相关系数」的概念?)讲的很好。

根据奇异值分解

n×n阶矩阵按特征值分解相似,任一m×n阶矩阵A也可以写成类似的形式:

A=UΣVT(5)

那么得到的U是一个m×m的方阵(里面的向量是正交的,U里面的向量称为左奇异向量),Σ是一个m×n的矩阵(除了对角线的元素都是0,对角线上的元素称为奇异值),VT(V的转置)是一个n×n的矩阵,里面的向量也是正交的,V里面的向量称为右奇异向量)。

求法

利用如下公式可以计算出各矩阵:

(ATA)vi=λivi(6)

δi=λi(7)

ui=1δiAvi(8)

对方程计算,得到的v,就是的右奇异向量σ就是奇异值u就是左奇异向量

作用

当矩阵A=UΣVT左乘一个向量v时,只有Σ对向量的长度进行了拉伸(收缩),而矩阵UV都只是对其进行旋转或反射。当作用在图像上时,也只有Σ对图像进行了各个方向上的伸缩改变。

用奇异值分解图像

这里写图片描述
用奇异值的方法,将这幅图像进行分解,得形如A=UΣVT格式的矩阵。其中Σ是由矩阵奇异值由大到小排列组成的对角矩阵。
我们分别保留前10,30,100,300个奇异值,其余奇异值设为0,比较图像的变化:
奇异值保留前10
奇异值保留前10
奇异值保留前30
奇异值保留前30
奇异值保留前100
奇异值保留前100
奇异值保留前300
奇异值保留前300。

代码

import cv2
import numpy as np
from numpy import linalg as la  # 用到别名
from scipy.misc import imsave

import scipy
im = cv2.imread('lena512.bmp')
print(im.shape)
gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
U, Sigma, VT = la.svd(gray)
print('矩阵U的形状:', U.shape, '    矩阵Sigma的形状:',
      Sigma.shape, '    矩阵VT的形状:', VT.shape)
se = np.eye(512, dtype=np.float64)
n = 512
i = 0
k = 30  # 保留特征值数目
# 改变特征值
while i < n:
    if i > k - 1:
        Sigma[i] = 0
    se[i, i] = Sigma[i]
    i += 1

svt = np.dot(se, VT)
usvt = np.dot(U, svt)
imsave('USVT_Sigma=30m.bmp', usvt)

参考资料

  1. 秦川, 李小飞. 方阵的秩与特征值的关系[J]. 课程教育研究:学法教法研究, 2015(27):120-120.
  2. 如何通俗易懂地解释「协方差」与「相关系数」的概念?
  3. 如何理解矩阵特征值?马同学的回答
  4. 矩阵的特征值分解与奇异值分解的几何意义
  5. 杜美华, 孙建英. 正交变换的几何意义及其应用[J]. 哈尔滨师范大学自然科学学报, 2014, 30(3):36-39.
2017-08-13 13:17:33 nijiayan123 阅读数 961

最近研究图像处理,发现其中有许多相关的数学知识,所以我在网上找了一下。然后在这里总结一下。
梯度:
说起梯度我们首先想到的时数学上的一个公式
gradf(x,y)=fxi+fyj
这个公式表示的是函数f(x,y) 在点 P(x,y) 的梯度,记作gradf(x,y),或f(x,y)
在中表示方法是数学中的表示方法。其实可以发现如果上述的函数是一个单变量的函数,可以发现梯度就是导数,或者,对于一个线性函数,也就是线的斜率。当然光看着这个梯度公式还是比较抽象,所以现在说说它在物理学中的实际意义,这样更有一个直观的认识。
设体系中某处的物理参数(如温度、速度、浓度等)为w,在与其垂直距离的dy处该参数为w+dw,则称为该物理参数的梯度,也即该物理参数的变化率。如果参数为速度、浓度、温度或空间,则分别称为速度梯度、浓度梯度、温度梯度或者空间梯度。其实这个概念从他的表达式就可以看的出来。
在向量微积分中,标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向,梯度的长度是这个最大的变化率。
那么重点来了,这个梯度在图像处理中到底表示什么意思呢。
在图像处理中我们可以把图像看成一个离散的函数,这样在里面对每一个像素值进行求导操作这样就可以得到图像的梯度。
图像梯度: G(x,y) = dx i + dy j;
dx(i,j) = I(i+1,j) - I(i,j);
dy(i,j) = I(i,j+1) - I(i,j);
其中,I是图像像素的值(如:RGB值),(i,j)为像素的坐标。
图像梯度一般也可以用中值差分:
dx(i,j) = [I(i+1,j) - I(i-1,j)]/2;
dy(i,j) = [I(i,j+1) - I(i,j-1)]/2;
这样我们可以发现梯度表示的是图像像素值的变化情况。当然求解图像梯度还有很多种的方法。可以利用各种算子进行求解操作。
散度
散度的本质是通量对体积的变化率,而且散度绝对值的大小反应了单位体积内源的强度。如果divA>0表明改点处有正源;如果divA<0表明该点处有负源;如果divA=0表明该点无源。
什么话到底什么意思呢。下面引用知乎上面一个大神的解释。
用水流来解释,散度的物理意义可以叙述为:
如果一点的散度大于0,那么在这一点有一个水龙头不断往外冒水(称为源点)
如果一点的散度小于0,那么在这一点有一个下水道,总有一些水只进不出(称为汇点)
如果一点的散度等于0,那么请放心,在这个点周围的小区域里,单位时间进来多少水就出去多少水。
根据上面我们可以得出散度的两个具体的定义
第一种定义方式和坐标系无关:
这里写图片描述
第二种定义方式则是在直角坐标系下进行的:
这里写图片描述
可以证明,在极限存在的情况下,两种定义是等价的。因此也常直接用 F代表 F的散度。
从定义中还可以看出,散度是向量场的一种强度性质,就如同密度、浓度、温度一样,它对应的广延性质是一个封闭区域表面的通量。一般我们在图像处理中使用第二个公式的概率还是比较大的。一般会和梯度场一起连着用。其实在图像处理中求解某一个图像的散度可以使用拉普拉斯算子进行求解。这样可以直接求解得到一个图像的散度。
拉普拉斯方程
拉普拉斯方程为这里写图片描述

其中∇²为拉普拉斯算子,此处的拉普拉斯方程为二阶偏微分方程。从上面公式的形式我们可以发现为什么说上面散度的求解方式可以利用拉普拉斯算子进行求解了。
泊松方程
其实拉普拉斯方程式泊松方程的一个简化版。
泊松方程为△φ=f
在这里 △代表的是拉普拉斯算符(也就是哈密顿算符▽的平方),而 f 和 φ 可以是在流形上的实数或复数值的方程。 可以发现泊松方程比拉普拉斯方程后面结果多了一个式子。f=0那么久可以得到了拉普拉斯方程了。
参考文献

(1)图像处理中的数学修炼
(2) 散度div的具体作用https://www.zhihu.com/question/24591127

2015-12-14 14:18:12 baimafujinji 阅读数 7191

欢迎关注我的博客专栏“图像处理中的数学原理详解

全文目录请见 图像处理中的数学原理详解(总纲)

http://blog.csdn.net/baimafujinji/article/details/48467225



1.1.3 函数的极限


本小节介绍两个重要的函数极限,并讨论它们的应用。

重要极限1:


此外,该重要极限的另一种形式也常常被用到,即


综上,结论得证。
由此,也很容易推出如下结论,证明从略,有兴趣的读者可以自行尝试推导



我的“图像处理中的数学原理”专栏中之系列文章已经以《图像处理中的数学修炼》为名结集出版(清华大学出版社)。该书详细介绍图像处理中的数学原理,为你打开一道通往图像世界的数学之门,详细内容及目录请见 http://blog.csdn.net/baimafujinji/article/details/48467225



2015-10-23 20:17:41 baimafujinji 阅读数 4839

全文目录请见

图像处理中的数学原理详解(Part1 总纲)

http://blog.csdn.net/baimafujinji/article/details/48467225


1.4.3 傅立叶级数的概念(1)




我整理了图像处理中可能用到的一些数学基础,将其分成了6个章节(全文目录见上方链接)。如果你对其中的某一小节特别感兴趣,但是它还没有被发布,你可以在博客下方留言,我会据此调整发布顺序。但是请务必精确地指出章节标号(例如1.3.7 曲面积分),而不是笼统地使用类似“第5章”或者“小波部分”这样的表述。因为等我把全部整个章节发布完,可能三个月的时间都已经过去了。

另外,有读者提出非常希望学习第三章之内容(主要是因为偏微分方程在图像处理中的应用被我辑录在了这部分内容里)。为此,我特别整理出第三章的文稿分享给读者。有需要的读者可以在博客下方留言告知我你的邮箱地址,每满10条邮箱地址,我会统一发送一次完整的第三章文稿。鉴于CSDN的私信功能近来不是很稳定,因此请不要发私信给我,你有可能不会收到任何答复。




2015-09-26 13:11:56 baimafujinji 阅读数 5778

全文目录请见

图像处理中的数学原理详解(Part1 总纲)

http://blog.csdn.net/baimafujinji/article/details/48467225


1.3.9 斯托克斯公式与旋度


本小节完。


我的“图像处理中的数学原理”专栏中之系列文章由“清华大学出版社”结集出版。欢迎关注我的新书《图像处理中的数学修炼》(Applied Mathematics in Digital Image Processing)——详细介绍图像处理中的数学原理,为你打开一道通往图像世界的数学之门,详细内容及目录请见 http://blog.csdn.net/baimafujinji/article/details/48467225

没有更多推荐了,返回首页