特征值和特征向量可能看起来是很抽象的概念，但它们在你周围的世界中扮演着不可或缺的角色。因为一切都是由数据定义的，矩阵是处理数据的最佳工具，而它们又是矩阵中的瑰宝，可以揭示矩阵的性质。理解特征值和特征向量是什么，如何推导它们，以及它们的应用，对于欣赏矩阵之美，以及更广泛地理解数据和数学在世界中扮演的角色，都是不可或缺的。

首先，让我们考虑二维向量，它有两个元素，每个元素对应于二维平面上的一个坐标。它们代表着从一个坐标到另一个坐标的运动。

当一个向量乘以一个矩阵时，就相当于应用了一个线性变换。这就产生了沿着两个向量拉伸(或挤压)坐标系的效果。例如，矩阵[[3,1]，[1,2]]将x轴沿向量[3,1]和将y轴沿向量[1,2]对齐。视觉上，我们可以看出点(0,1)实际上映射到了(1,2)这可以通过将它乘以矩阵来实现。

假设有一个向量[-1，-1]乘上线性变换矩阵后，落在点[-4，-3]上。

向量长度(模)就是穿过这个向量的直线。当一个向量经过一个线性变换时，通常它会偏离原来的方向。

然而，有些类型的向量不会被矩阵改变方向。这就是这个矩阵的特征向量。当特征向量乘以这个矩阵时，特征向量只是乘以特征值，使这个向量的长度改变，而方向不会改变。

• 特征向量和特征值很少是整数。

​由于特征向量的性质，简单地在相同或相反的方向缩放一个基向量就会得到另一个特征向量。

在三维空间中，这个矩阵描述了三个坐标轴——x、y和z的变换——对应于表示每个坐标所经历的变换的三个坐标。这就是为什么特征向量和特征值只对方阵定义，一个一般的n×n矩阵描述了n个轴的变换，每个轴对应一个有n个元素的坐标。

为了找到一个矩阵的特征向量，我们首先需要找到它的特征值。由特征值的定义，我们可以构造一个等式Ax = λx，其中A表示矩阵，λ表示特征值。将特征向量乘以变换矩阵x应该具有与将其乘以特征值的倍数相同的效果。

根据这个关系式，我们可以把两项都移到左边。为了使表达式A -λ有效(A是一个矩阵，而λ是一个数字)，我们将λ乘以一个单位矩阵，单位矩阵不会作任何变换。

如上所示，存在无穷多个解。为了解决这个问题，我们使用行列式。行列式只是一个度量因子，在这个因子中，区域被一个变换矩阵拉伸。例如，考虑坐标平面上的一个标准正方形，其面积为一个正方形单元。

当空间被一个变换矩阵拉伸时，新的面积是四个正方形单位。因为面积增加了4倍，矩阵的行列式是4。

当行列式等于0时，正方形的面积被缩小到0，这意味着描述坐标轴位置的两个向量在同一条直线上。在这种情况下，所有的空间被扭曲成一条线。通过设置行列式必须等于零的要求，可以舍弃很多解，使方程更容易解。

因此，为了使先前设计的等式可解，首先必须满足矩阵的行列式等于零。

找到特征值是一个二次方程的任务。对于3维以上的矩阵，必须使用不同形式的行列式公式。

在这种情况下，矩阵[[1,4]，[3,2]]的特征值分别为5和-2。这意味着当矩阵的特征向量乘以这个矩阵时，它们的向量长度将被拉长5倍和-2倍。通过将发现的特征值代入我们最初推导的方程，我们可以找到特征向量。

特征向量和特征值是矩阵的瑰宝。它体现了矩阵的本质。只要给定任意矩阵的特征向量和特征值，就可以很容易地完全重构原始矩阵。有了这个特殊的性质，特征向量几乎可以完全保证出现在任何有矩阵运算的地方。

例如，考虑主成分分析(PCA)，一种常见的机器学习技术，它试图降低数据的维数，同时保留关键的统计度量，如方差和均值。例如，考虑一个100维的数据集，PCA将试图将其缩小为两个维。首先，算法构建一个协方差矩阵，它评估两个变量之间的相关性。矩阵作为一个整体定义了数据的形状。

协方差矩阵的特征向量用于在x轴和y轴之间沿方差最大的直线重新定向数据。本质上，特征向量相当于矩阵的“快照”，它告诉算法哪些区域需要放大，哪些区域需要缩小。从机器学习到拓扑，利用特征向量的关键特性提供有用的信息矩阵，压缩高维图像、优化搜索算法等。

也许特征向量和特征值如此特殊的原因是因为它的定义——向量的方向保持不变，而它们周围的空间是弯曲的。

特征值和特征向量可能是线性代数中最重要的概念之一。从机器学习、量子计算、物理到许多数学和工程的问题，都可以通过找到一个矩阵的特征值和特征向量来解决。

根据定义(标量λ、向量v是特征值、特征向量A)：

视觉上，Av与特征向量v位于同一直线上。

这里有些例子。

然而,Ax通常不会等于λx。只有一些特殊的向量满足条件。

应用

许多问题可以用线性变换建模，其中解决方案来自特征值和特征向量。让我们先用一个抽象的例子来详细说明这个问题。在许多系统中，我们可以在向量中表达属性，其变化率线性地取决于当前属性(例如，人口增长率线性地取决于当前人口和GDP)。一般等式是

我们来猜一下满足上面方程的u(t)。因为一个指数函数的导数等于它本身，我们从一个t的指数函数开始然后乘以一个向量x，输出就是一个向量。

根据上面的计算，u(t)的解是

接下来，我们将找到它的完全解。一阶导数方程是一个线性函数。

对于线性函数，完全解是特定解的线性组合。如果u和v是解，则C₁u + C₂v也是解。从我们之前的特征值λ= 4，-2和-2的例子中，完全解将是

在t = 0时,我们可以测量初始状态u(0),比如说[u₀₁,u₀₂,u₀₃]ᵀ,并求解常数C₁,C₂,C₃。

让我们用谐振子来说明这个想法。我们选择这个例子是因为谐波振荡器及其近亲(量子谐振子)在研究粒子物理学，量子力学或物理学方面几乎无处不在。我们从著名的F=ma方程开始用特征值和特征向量来解二阶导数。由于我们确实可以自由选择质量单位，物理学家通常设m = 1来简化讨论，即

我们把谐振子问题重新写成矩阵的形式。

阻尼谐振子

这与我们上一个例子的形式相同，因此，我们可以使用A的特征值和特征向量来形成完全解。

这不是一个证明特征值能力的孤立例子。著名的定态(time-independent)薛定谔方程用特征值和特征向量表示。所有观察到的属性都是通过量子力学中的特征值建模的。还有很多其他的例子，包括机器学习。

从根本上说，许多系统都可以建模为

让我们再研究时间序列模型。

首先，我们假设初始状态u 0是A的特征向量。因此，未来状态可以计算为

简而言之，我们可以通过用标量的幂代替矩阵(Aᵏ)的幂来简化计算。 接下来，考虑A具有n个线性独立的特征向量，它们构成Rⁿ的basis 。 我们可以将Rⁿ的任何向量分解为该basis，并通过再次计算特征值的幂来简化计算。

让我们简化讨论，假设整个互联网只包含三个网页。矩阵A的元素Aᵢⱼ是当用户在页面j上时用户去页面i的概率。

如果我们总结给定特定页面的下一页的所有可能性，它等于1。因此，A的所有列总和为1.0，这种矩阵称为随机矩阵(转移矩阵或马尔可夫矩阵)。

马尔可夫矩阵具有一些重要的性质。Ax或Aᵏx的结果总是其列相加的和为1。此结果表示每次点击后分别位于第1,2和3页的可能性。所以很明显它的和应该是1。

任何马尔可夫矩阵A的特征值都是1，其他特征值(正或负)的绝对值都小于1。这种行为非常重要。在我们的例子中,

对于马尔可夫矩阵，我们可以选择λ= 1的特征向量，使元素总和达到1.0。 元素总和为1的向量v也可以使用A的特征向量进行分解，其中c 1等于1。

由于u 1，u 2，...和un是特征向量，所以Aᵏ可以用λᵏ代替。除了特征值λ= 1之外，马尔可夫矩阵的特征值(λᵏ)的幂将减小，因为这些特征值的绝对值小于1。 因此，无论初始状态如何，系统都达到接近特征向量u 1的稳态。 Aᵏ和稳态都可以从特征向量u 1导出，如下所示。

在我们的例子中，我们到达第1、2和3页的概率分别是0.41、0.34和0.44。这个概念有许多潜在的应用。许多问题可以用马尔可夫过程和马尔可夫/转移矩阵来建模。

马尔可夫过程和转移矩阵

PageRank

以谷歌联合创始人拉里佩奇命名的PageRanking算法也有类似的概念。它是第一个谷歌搜索排名算法，即使它现在经过大量修改，增加了排名算法，以改善用户体验并避免人们操纵系统。 核心概念可视化如下。PageRanking通过跟踪到其他页面的Web链接，输出您在随机游走后可能点击页面的概率分布。该概率充当网页的排名。当很多页面链接到您的网页时，谷歌会将它排序更高，因为链接到网页的页面数量是其受欢迎程度的指标。 这意味着在随机游走中点击页面的机会。

从概念上讲，我们计算一个页面排名，它等于链接到这个页面的其他页面排名的总和，除以经过某种归一化后的出站页面总数。

我们迭代地执行计算，直到它达到稳态。在数学上，PageRank尝试在以下等式中求解PageRank R.

这与我们之前讨论的例子有很大的相似之处，如果我们忽略阻尼因子d。引入这个因子是因为随机游走不会永远持续。

对于Google，他们不直接计算特征向量。在我们前面的例子中，A的幂收敛得很快，A3的列已经收敛到本征向量u 1 。

PageRank论文证明，有3.22亿个页面链接，该解决方案在52次迭代中收敛到一个可容忍的极限。

马尔可夫矩阵使我们得到下面的方程，其中稳态依赖于一个主成分。

在机器学习中，信息与原始数据纠缠在一起。 在数学上，特征值和特征向量提供了识别它们的方法。 特征向量识别成分，特征值量化其重要性。 下面的等式将A中的信息分解为成分。 我们可以基于特征值的平方根对它们进行优先级排序，并忽略具有小α值的项。 这样可以降低噪声并帮助我们在A中提取核心信息。

解

希望你现在可以看到Ax =λx的美感。 特征值和特征向量可以通过求解(A-λI)v = 0来计算。对于Ax =λx，对于v = 0以外的解，矩阵(A-λI)是不可逆的。 即它是单数的。 即它的行列式是零。 det(A - λI)= 0称为特征多项式。 特征值是该多项式的根。

例

特征值是：

应用Av =λv：

让我们通过一个更复杂的例子详细说明这一步骤，

要找到特征值λ，

16的可能因数是1 2 4 8 16。

让我们计算特征值λ= 4的特征向量，通过减少行。

我们有三个变量，有2个方程。我们将x 3任意设置为1并计算其他两个变量。因此，对于λ= 4，特征向量是：

我们重复计算λ= -2并得到

通过3个变量和1个方程，我们的解决方案中有2个自由度。让我们在与其他(多个)时间设定为1〜自由之一的一个度为0而设定为X 2 = 1时，X 3 = 0，和X 2 = 0，X 3 = 1分开，所计算出的特征向量是：

有3个变量和1个方程，解有2个自由度。让我们一次把一个自由度设为1，另一个自由度设为0。 即设置x 2 = 1，x 3 = 0，x 2 = 0，x 3 = 1，计算出的特征向量为：

请注意，特征值和特征向量的解集不是唯一的。我们可以重新缩放特征向量。我们还可以为上面的x 2，x 3设置不同的值。因此，选择我们的特征向量以满足某些条件是可能的，也是可取的。例如，对于对称矩阵，总是可以选择具有单位长度并且彼此正交的特征向量。

在我们的例子中，我们有一个重复的特征值“-2”。它生成两个不同的特征向量。然而，情况并非总是如此 - 有些情况下重复的特征值不具有多个特征向量。

对角化

假设矩阵A具有两个特征值和特征向量。

我们可以将它们连接在一起并以矩阵形式重写方程式。

我们可以将它推广到任意数量的特征向量：

其中V连接所有特征向量，Λ(λ的大写字母)是包含特征值的对角矩阵。

矩阵A一个是可对角化的(如果我们可以把它转换成一个对角矩阵)，

即

如果n×n矩阵具有n个线性独立的特征向量，则它是可对角化的。如果矩阵是对称的，则它是可对角化的。如果矩阵没有重复的特征值，它总是生成足够的特征向量来对向量进行对角化。如果没有，则无法保证。

特征分解

如果A是一个具有N个线性独立特征向量的矩形矩阵(v 1，v 2，...＆vn和相应的特征值λ1，λ2，...和λn)，我们可以重新排列

成

例如，

特征值和特征向量的性质

• Ax与特征向量x在同一直线上(方向相同或相反)。
• 特征值的和等于矩阵的迹(对角元素的和)。
• 特征值的乘积等于行列式。
• 如果没有特征值重复，所有特征向量都是线性无关的。
• 如果特征值是重复的，我们可能有也可能没有足够的线性无关的特征向量来对角化一个方阵。
• 正特征值的数量等于正pivots的数量。
• 对于Ax =λx，

• 如果A是奇异的，它的特征值是0。可逆矩阵的所有特征值都是非零的。
• 特征值和特征向量可以是复数。
• 投影矩阵的特征值始终仅为1和0。反射矩阵的特征值为1和-1。

可视化

因为很难看到超过3个维度的任何东西。 此处的示例保留2维。 假设v 1和v 2是2×2矩阵A的线性无关特征向量。任何向量都可以在v 1和v 2方向上分解为components 。 当我们将A与特征向量相乘时，结果在特征向量的同一条线上。 如果特征值为正，则它将向量按特征值在相同方向上缩放。 否则，它会向相反方向缩放向量。

因此，对于下面红色单位圆上的所有点，都将转换为椭圆上的点。但是对于非特征向量，它不会在原向量的同一条直线上。当我们继续将结果与A相乘时，结果会更接近特征向量。

在这种可视化中有一件非常重要的事情。变换后的单位向量(Ax)的最大范数(长度)小于或等于最大特征值。另一方面，范数大于或等于最小特征值，即

事实上，这可以很容易地在下面看到。

目标或成本函数通常以xᵀAx的二次形式表示。假设m×n矩阵A保持n个主体的属性。AAᵀ保持这些属性之间的关系，这个矩阵S是对称的。

特征值和特征向量可以帮助我们改变不同方向的特征。具有最大值的特征向量向我们显示这些属性之间的相关性。这些概念可以在SVD和PCA看到。

今天分享九大数据分析方法系列：矩阵分析法。矩阵分析法是在各路数据分析文章中，出现频率最高的词。甚至有不懂行的小白把它捧到“核心思维”，“底层逻辑”的高度。哈哈，才没有那么神呢。

一、矩阵分析法是干什么的？

数据分析领域，有一个简单，但非常致命的核心问题：“到底指标是多少，才算好？”为了这个问题，公司里经常吵成一团。矩阵分析法就是试图解决这个问题。它的逻辑非常简单：比平均值高，就算好！

很多小伙伴会惊呼：这也太简单粗暴了！

可是，如果大家仔细想想，用平均值非常合理：

• 理解上简单：中位数、众数、四分位数，都太抽象了，不细想都不知道是啥

• 计算上方便：AVERAGE函数是所有开发工具标配，太好用了。

• 使用时方便：比如销售人均产值1万，那100万业绩，招100个人就够啦！

相比之下，告诉你销售团队的中位数/众数是1万，问需要多少人能做出100业绩？根本回答不了。所以平均值就是好用！

二、如何构造一个矩阵？

既然用平均值就可以了，为什么还要做矩阵呢？因为单纯靠一个指标，不能充分评价好坏。比如考核销售，如果只考核销售业绩。那销售们很可能倾向于卖利润很低的引流型产品。那种利润高，价格高，不容易卖的利润型产品，就没人卖了。最后销售卖越多，公司支付给销售提成越多，公司利润反而下降了！

此时就需要引入两个指标来考核：

• 销售业绩
  

• 销售利润

这样两个指标交叉，就有四种情况和对应的建议（如下图）。

如果把两个指标一纵一横的放，就构成了一个矩阵（如下图）。

这样矩阵就画好啦！矩阵分析法的最大优势，在于直观易懂。可以很容易从两个指标的交叉对比中发现问题。特别是当这两个指标是投入/成本指标的时候，成本高+收入低，成本低+收入与高两个类别，能直接为业务指示出改进方向，因此极大避免了“不知道如何评价好坏”的问题。

很多咨询公司都喜欢用这种方法，类似KANO模型或者波士顿矩阵，本质就是找到了两个很好的评价指标，通过两指标交叉构造矩阵，对业务分类。分类的区分效果很好，就广为流传了（如下图）。

了解了原理以后，我们可以自己动手做一个矩阵哦，构造矩阵是很简单的事，只要找两个评价指标，之后各自取均值，就能进行分类了。

三、矩阵分析法简单例子

举个简单的例子，一个销售团队，10名销售一个月内开发的客户数量，产生的总业绩如下图所示。用矩阵分析法的话：

• 第一步：先对客户数量、业绩求平均值

• 第二步：利用平均值，对每个销售人员的客户数量、业绩进行分类

• 第三步：区分出多客户+高业绩，少客户+高业绩，多客户+低业绩，少客户+低业绩四类

这样就完成分类啦。

而且，还能对这四类起四个好听的名字，比如：

• 多客户+高业绩：均衡型（或者叫：两手都抓型）

• 多客户+少业绩：摆小摊型，像摆小摊一样，虽然人多，但是挣不到几个钱

• 少客户+高业绩：吃大户型，抓住几个大户猛吃……

• 少客户+少业绩：待发展型（或者叫：哪头都不行……）

用散点图，能直观的标识出这种分布：

后续，还能类似波士顿矩阵一样，比如建议吃大户型，不许歧视散客，增加客户数量。或者建议摆小摊型提升识别高价值用户能力等等。

四、矩阵分析法应用范围

有两个场景，是不适合用矩阵分析法的。

其一：有极大/极小值影响了平均值的时候。比如下图，看似销售们平均业绩是100 但是头部的3个高手，业绩占了57%，其他17个人都是陪衬。

此时，矩阵分析法的基础：平均值，已经不具有区分能力。也不能简单地认为：20个人能做100万，那40个人就能做200万。想做到200万，需要再找到几个高手，而不是一帮咸鱼。一般出现极大/极小值的时候，可以用：分层分析法。

其二：两个指标高度相关的时候。比如下图，用户消费金额与消费频次，两个指标天生高度相关。此时可以用散点图，强行做矩阵，但是会发现左上，右下两个区域几乎没有数据，所有的点，都集中在一条线上。

此时矩阵分析法的业务解读能力接近0，因此不适用了。一般出现高度相关的时候，需要用：相关分析法。

- END -

本文为转载分享&推荐阅读，若侵权请联系后台删除
-------------------------------------
长按识别下方二维码，并关注公众号

1.回复“PY”领取1GB Python数据分析资料

2.回复“BG”领取3GB 名企数据分析报告