从网上找对应分析的资料的时候，发现很多都是理论性的文章，有案例的文章很少。这篇博文主要是利用参考资料中2中的数据，复现一下论文中的整个实验过程。参考资料2中关于对应分析的介绍有错误，所以对应分析的计算过程来源于资料3

1 对应分析
对应分析(Correspondence Analysis)也称关联分析、R-Q型因子分析，是近年新发展起来的一种多元相依变量统计分析技术，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。该技术可以揭示同一变量中各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表中的行和列中的各元素的比例结构以点的形式在较低维的空间中表示出来。
2 对应分析过程
2.1 原始矩阵标准化
假设原始矩阵$X$

$X=\begin{bmatrix}
 x_{11}&x_{12}&\dots&x_{1p} \\
 x_{21}&x_{22}&\dots&x_{2p} \\ 
 \vdots&\vdots&&\vdots \\ 
 x_{n1}&x_{n2}&\dots&x_{np}
\end{bmatrix}$其中，行表示样品(比如网站)，列表示属性(比如浏览量)。

(1) 将数据矩阵$X$转化为概率矩阵$P$,其中矩阵$P$中每个元素的定义如下：

$P=(p_{ij})_{n \times p}, p_{ij}=x_{ij}/T,T=\sum_{i=1}^{n}\sum_{j=1}^{p}x_{ij}$变换后，概率矩阵$P$的元素之和为1。

(2)求边缘概率$p_{.j}$和$p_{i.}$的边缘概率，其计算公式如下：

$p_{i.}=\sum_{j=1}^{p}p_{ij},p_{.j}=\sum_{i=1}^{n}p_{ij}$(3)对概率矩阵$P$做中心化及标准化变换得到矩阵$Z$,其中矩阵$Z$中的元素定义如下：

$Z=(z_{ij})_{n \times p}=\frac{ p_{ij}-p_{i.}p_{.j} }{ \sqrt{p_{i.}p_{.j}} }$
2.2 计算$R$型因子分析载荷矩阵
(1) 计算协方差矩阵$S_{R}=Z^{T}Z$的特征值和标准化的特征向量。设特征值$\lambda_{1}\ge\lambda_{2}\ge\dots\ge\lambda_{m}>0$,相应标准化特征向量为$v_{1},v_{2},\dots,v_{m}$。在实际应用中常按累计贡献率

$\frac{ \lambda_{1}+\lambda_{2}+\dots+\lambda_{l} }{  \lambda_{1}+\dots+\lambda_{l}+\dots+\lambda_{m}}\ge0.85$确定所取公共因子$l\le m$。注意$d_{i}=\sqrt{\lambda_{i}}，i=(1,2,\dots,m)$称为奇异值。

(2) $R$型因子的“因子载荷矩阵”为

$R=\begin{bmatrix}
\frac{\sqrt{\lambda_{1}}v_{11}}{\sqrt{p_{.1}}}&\frac{\sqrt{\lambda_{2}}v_{12}}{\sqrt{p_{.1}}}&\cdots&\frac{\sqrt{\lambda_{l}}v_{1l}}{\sqrt{p_{.1}}} \\
\frac{\sqrt{\lambda_{1}}v_{21}}{\sqrt{p_{.2}}}&\frac{\sqrt{\lambda_{2}}v_{22}}{\sqrt{p_{.2}}}&\cdots&\frac{\sqrt{\lambda_{2}}v_{2l}}{\sqrt{p_{.2}}} \\
\vdots&\vdots&&\vdots \\
\frac{\sqrt{\lambda_{1}}v_{p1}}{\sqrt{p_{.p}}}&\frac{\sqrt{\lambda_{2}}v_{p2}}{\sqrt{p_{.p}}}&\cdots&\frac{\sqrt{\lambda_{l}}v_{pl}}{\sqrt{p_{.p}}} \\
\end{bmatrix}$
2.3 计算$Q$型因子分析载荷矩阵
(1) 计算协方差矩阵$S_{Q}=ZZ^{T}$的特征值和标准化的特征向量。$S_{R}$和$S_{Q}$两个矩阵矩阵大于0的特征值相同的。设$S_{Q}$的特征值$\lambda_{1},\lambda_{2},\dots,\lambda_{l}$其对应的标准化特征向量为$u_{1},u_{2},\dots,u_{m}$。

(2) $Q$型因子的“因子载荷矩阵”为

$Q=\begin{bmatrix}
\frac{\sqrt{\lambda_{1}}u_{11}}{\sqrt{p_{1.}}}&\frac{\sqrt{\lambda_{2}}u_{12}}{\sqrt{p_{1.}}}&\cdots&\frac{\sqrt{\lambda_{l}}u_{1l}}{\sqrt{p_{1.}}} \\
\frac{\sqrt{\lambda_{1}}u_{21}}{\sqrt{p_{2.}}}&\frac{\sqrt{\lambda_{2}}u_{22}}{\sqrt{p_{2.}}}&\cdots&\frac{\sqrt{\lambda_{2}}u_{2l}}{\sqrt{p_{2.}}} \\
\vdots&\vdots&&\vdots \\
\frac{\sqrt{\lambda_{1}}u_{n1}}{\sqrt{p_{n.}}}&\frac{\sqrt{\lambda_{2}}u_{n2}}{\sqrt{p_{n.}}}&\cdots&\frac{\sqrt{\lambda_{l}}u_{nl}}{\sqrt{p_{n.}}} \\
\end{bmatrix}$
2.4 计算$\chi^{2}$统计量和总惯量
(1) 计算总惯量$Q$，总惯量表示$n$个样品到中心$c$的加权平方距离的总和，其最终的计算公式如下：

$Q=\sum_{i=1}^{n}\sum_{j=1}^{p}z_{ij}^{2}=\sum_{i=1}^{l}\lambda_{i}$(2) 计算$\chi^{2}$统计量，其计算公式如下：

$\chi^{2}=T\sum_{i=1}^{n}\sum_{j=1}^{p}z_{ij}^{2}=TQ$
3 实验过程
import pandas as pd
import numpy as np
from math import sqrt
from matplotlib import pyplot as plt
import seaborn as sns
from scipy import stats

path='Documents/data.xlsx'
data=pd.read_excel(path,index_col=0,sheet_name='网站评价分析数据')

#1 卡方检验
# 判断这种分析方法是否适用
data_j=data.sum()/data.sum().sum()
data_i=data.sum(axis=1)
data_exp=pd.DataFrame(0,index=data_i.index,columns=data_j.index) #期望值
for i in range(data_exp.shape[0]):
    for j in range(data_exp.shape[1]):
        data_exp.iloc[i,j]=data_i.iloc[i]*data_j.iloc[j]  
data_obj=data.values.flatten()
data_exp=data_exp.values.flatten()
chi_val,p_val=stats.chisquare(f_obs=data_obj,f_exp=data_exp)
#这里只展示了person卡方分析结果。
#在参考资料4中找到了一个似然卡方公式，但是计算出来的结果和论文中的结果相差太大，所以这里就忽略了

#2 将data转化为概率矩阵,然后进行标准化
data_p=data/data.sum().sum() #概率矩阵
data_j=data_p.sum() #列边缘概率
data_i=data_p.sum(axis=1) #行边缘概率

#概率矩阵标准化
data_z=pd.DataFrame(np.zeros(data.shape),index=data.index,
                    columns=data.columns)
for i in data.index:
    for j in data.columns:
        data_z.loc[i,j]=(data_p.loc[i,j]-data_i.loc[i]*data_j.loc[j])/sqrt(data_i.loc[i]*data_j.loc[j])


#3 求解奇异值和惯量，确定公共因子数量
data_z_np=data_z.to_numpy()
S_R=np.dot(data_z_np.T,data_z_np)
eig_val_R,eig_fea_R=np.linalg.eig(S_R) #返回特征值和特征向量

#注意eig_val_R没有排序,并且只去eig_val_R中大于0的特征值
#返回维度惯量 惯量其实就是特征值
dim_matrix=pd.DataFrame(sorted([i for i in eig_val_R if i>0],reverse=True),columns=['惯量'])
dim_matrix['奇异值']=np.sqrt(dim_matrix['惯量'])
dim_matrix['对应部分']=dim_matrix['惯量']/dim_matrix['惯量'].sum()
dim_matrix['累计']=dim_matrix['对应部分'].cumsum()

#R型因子载荷矩阵
#由dim_matrix['累计']可以得出，我们选择3个公共因子
com_fea_index=[x[0] for x in sorted(enumerate(eig_val_R),reverse=True,key=lambda x:x[1])][:3]
cols=['c'+str(i+1) for i in range(len(com_fea_index))]
eig_fea_R=np.multiply(eig_fea_R[:,com_fea_index],np.sqrt(eig_val_R[com_fea_index]))
R_matrix=pd.DataFrame(eig_fea_R,index=data_j.index,columns=cols)
R_matrix['tmp']=np.sqrt(data_j)
for col in cols:
    R_matrix[col]=R_matrix[col]/R_matrix['tmp']
R_matrix.drop('tmp',axis=1,inplace=True)

#Q型因子载荷矩阵
S_Q=np.dot(data_z_np,data_z_np.T)
eig_val_Q,eig_fea_Q=np.linalg.eig(S_Q)
com_fea_index=[x[0] for x in sorted(enumerate(eig_val_Q),reverse=True,key=lambda x:x[1])][:3]
cols=['c'+str(i+1) for i in range(len(com_fea_index))]
eig_fea_Q=np.multiply(eig_fea_Q[:,com_fea_index],np.sqrt(eig_val_Q[com_fea_index]))
Q_matrix=pd.DataFrame(eig_fea_Q,index=data_i.index,columns=cols)
Q_matrix=Q_matrix.astype(float,copy=False) #Q_matrix中的数据类型为复数类型，但是虚部都为0，所以这里转化成float
Q_matrix['tmp']=np.sqrt(data_i)
for col in cols:
    Q_matrix[col]=Q_matrix[col]/Q_matrix['tmp']
Q_matrix.drop('tmp',axis=1,inplace=True)


#4 选取公共因子c0和c1画定位图
plot_data=pd.concat([Q_matrix[['c1','c2']],R_matrix[['c1','c2']]],axis=0)
plot_data.index=list(data_i.index)+list(data_j.index)
plot_data['style']=['地区']*data_i.shape[0]+['指标']*data_j.shape[0]

#画图
plt.rcParams["font.family"] = 'Arial Unicode MS'
marks={'地区':'o','指标':'s'}
ax=sns.scatterplot(x='c2',y='c1',hue='style',style='style',markers=marks,data=plot_data)
ax.set_xlim(left=-1,right=1)
ax.set_ylim(bottom=-1,top=1)
ax.set_xticks([-1,-0.5,0,0.5,1])
ax.set_yticks([-1,-0.5,0,0.5,1])
ax.axhline(0,color='k',lw=0.5)
ax.axvline(0,color='k',lw=0.5)
for idx in plot_data.index:
    ax.text(plot_data.loc[idx,'c2']+0.005,plot_data.loc[idx,'c1']+0.005,idx)
plt.show()

最后的结果和论文中的结果有些差别，需要对此进行说明：

原始数据中有一些缺失值，我在原始数据中用0进行了填充。
计算出来的R型因子载荷矩阵和Q型因子载荷矩阵和论文中展示出的结果可能符号相反，误差在百分位上。



参考资料

百度百科: 对应分析
基于对应分析法的省级政府门户网站评价研究
MATLAB对应分析
Pearson and Log-likelihood Chi-square Test of Fit for Latent Class Analysis Estimated with Complex Samples

	

如何对实际生活中的问题进行数学抽象?这个问题学生很难回答，可以由易到难设置简单问题，层层递进。比如，从生活经验出发，说说烧水过程中水温随时间变化的规律?有对应的函数关系吗?你觉得要解决这个问题需要哪些量?
【621号】综合说课1：基于图形计算器的数学实验教学回归分析的基本思想及其应用
综合说课1：基于图形计算器的数学实验教学回归分析的基本思想及其应用
合肥市第一中学 刘娟
一、使用教材
   人教版《数学》高中选修二第三章《直线与方程》第一节《直线的倾斜角与斜率》。
二、实验器材
温度传感器、距离传感器、光电传感器、TI图形计算器等。
三、实验创新点
“TI”与数学教学的深度融合，“DIS”在数学实验教学中的应用。
四、实验方法、设计思路
(一)实验方法
   在课堂教学过程中，让学生亲身经历数据收集、处理的全过程，借助现代信息化技术图形计算器进行回归分析，启发学生学会数学思考，引导学生会学数学、会用数学。通过本节课的教学主要培养学生数学建模和数据分析素养。
(二)实验设计思路
   本节课的设计以探究班级男生身高与手掌长度的相关关系研究为起点，经历三个实际操作实验，分别是水的沸腾和自然冷却过程中水温与时间的相关关系，小车运动过程中位移与时间的相关关系；距离由远而近， 光的亮度级(lux) 与时间的相关关系。
五、实验教学目标
   1.从教材到生活实际，研究“真实的”数学。感受数学“源于生活，用于生活”，提高学习兴趣，激发学习热情。
   2.使用图形计算器进行数学实验，体验数据收集、分析、处理的全过程，发展数学建模和数据分析的素养，提高应用信息技术学习数学的能力，体会科学精神。
3.在实验的过程中，体会与他人合作的重要性。
六、实验内容设计
七、实验教学过程
(一)创设情境
    海王星在1846年9月23日被发现，是唯一的一颗通过数学预测而非有计划的观测被发现的行星，天文学家利用天王星轨道的摄动推测出海王星的存在与可能的位置，所以海王星也被称为笔尖下的行星。
在现实生活中，我们也研究过变量间的相关关系，比如说，统计班级男生的身高和手掌长度，分析相关关系。
(二)实验过程
实验一：
一杯水在室温下烧至沸腾然后自然冷却，温度随时间的变化呈现怎样的规律?
【思考】如何对这个实际问题进行数学抽象?运用哪种数学模型来解决这个问题?【思考】回归分析的基本步骤分为哪几步?
师生共同探讨交流(如图1、图2)
(三)合作探究
1.借助“DIS”获取数据：
利用温度传感器结合图形计算器，实现水温数据的实时采集。
2.教师示例：
教师以水升温过程为例，与学生共同探讨水温随时间的变化规律，选择线性回归和二次回归两种回归模型，对比模型拟合效果，并预报360秒时的水温(如图3、图4)。
真实值：96.9℃
预报值：95.1℃
【归纳】回归模型只能近似描述实际情况，而非精确值(如图5)。
3.探究交流：
教师将收集到的水自然冷却过程中水温和时间的数据传输给学生，学生分小组进行回归分析，并从不同角度判断所建立模型的拟合效果，进行比较，选出最佳模型，从而根据回归方程预报某时刻的水温。
通过TI软件实时掌握学生操作情况，适当加以指导，并选取学生1一2名现场演示。
(四)分组实验
1.利用距离传感器，探究小车运动时位移与时间的关系(如图6一9)。
2.利用光电传感器， 探究距离由远而近光的亮度级(lux) 与时间的关系。
(五)完成实验报告
(六)归纳小结
1.数学知识：
(1)通过图形计算器建立回归模型的基本步骤；
(2)可以从相关指数、残差图不同角度来判断所建立模型的拟合效果；
(3)回归方程得到的预报值只能近似描述实际情况。
2.思想方法：
数学建模。
(七)布置作业
1.课本90页第2、3两题；
2.完成实验报告。
八、实验教学反思与评价
1.学生活动时间偏少，教师可适当减少演示时间，给学生更多的活动时间。
2.如何对实际生活中的问题进行数学抽象?这个问题学生很难回答，可以由易到难设置简单问题，层层递进。比如，从生活经验出发，说说烧水过程中水温随时间变化的规律?有对应的函数关系吗?你觉得要解决这个问题需要哪些量?
3.是否可以在课堂上展示数据搜集过程?使之更具真实性?

电路分析概述
1. 电路分析的背景和基本思想
1.1. 电路研究对象
1.2. 电路抽象与电路抽象的三原则
1.2.1. Maxwell方程中的对应抽象
1.2.2. 抽象原则
离散化原则
极致化原则
限定性原则
1.3. 电路分析模型的建立
电源
电阻、电感和电容
端口
1.4. 电路分析的基本思想
2. 电路的基本描述方法
2.1. 电流
2.2. 电压和电动势
2.3. 能量描述：功率

1. 电路分析的背景和基本思想
1.1. 电路研究对象
实际电路系统是由电路元件组成的电流通路装置。
电路系统遵从一般电学规律，即符合Maxwell方程的约束。

但是我们很容易发现，微分方程的复杂性，使得电学问题的求解非常困难。

这也正是电路分析的精妙和简洁之处。
所以我们在符合工程误差的情况下，对Maxwell方程中的部分进行理论抽象，形成一类理想模型，这些理想元件分别可以对应Maxwell方程中的一项，或由某个特定的方程表出。

我们的电路分析，就是对这类的电路抽象模型的研究。
1.2. 电路抽象与电路抽象的三原则
1.2.1. Maxwell方程中的对应抽象
前面已经说到，电路的理论本质仍是Maxwell方程。

比如在这张图中我们可以看出：

Ampere全电流定律中各项可以对应表示为电源产生电流、电阻抵抗电流，电场(D可以表征电场强度)的变化产生电流，也就是电容效应；
Gauss定律对应的含义是电源电动势可以带动产生电流；
法拉第电磁感应定律对应的含义是电流变化引发电压变化，这也就是电感的实质。


这里特别要注意，在建立这种抽象的时候，Maxwell方程中B、H、I在描述磁场，E、D、U在描述电场，在思考这种对应的时候，脑子要灵光一点~


1.2.2. 抽象原则
离散化原则
所谓离散就是可数。核心本质是等效。

这和算法当中的离散化是一致的，我们不需要考察本有的数据特征，只需要让它们获得可数的性质，问题得到解决的同时，解决过程大大简化。换句话说，我们损失了一部分信息，但是那一部分信息对解决问题是没有意义的。

我们不需要考虑元件当中的构造特征以及其中连续的场的性质，只需要考察端口处的行为。从而使得对场的微分方程，转化成离散的元件之间的参量代数问题。

这就是所谓的离散化原则。
离散化的应用除了将场视作路以外，还有可数分区的想法。比如MOSFET的特性呈现线性区、饱和区和击穿区，而不是整体使用一条复杂的曲线进行拟合。
另外广义KCL和KVL也是一种离散化思想的体现。
极致化原则
所谓极致就是走极端，追求简单的完美，忽略繁杂的细枝末节。代表着有意义的工程近似。

在数学上的简单描述就是：

$|a|\gg|b|\Rightarrow \begin{cases}a+b=a\\\frac{1}{a}+\frac{1}{b}=\frac{1}{b}\end{cases}$

在科学史中，往往是先出现了实际元件才抽象成新的电路模型。

如果我们抽象出的模型的电气关系通实际元件性能相当接近，则称建立了该实际元件的电路模型。这就是一种极致化的思路。
实际系统由大量元件组成，如果所有都进行写实的刻画、精确的描述，会使得分析过程相当繁杂，不能适应工程实际的需要。

因此我们通过极致化的想法，对电路模型的精度和求解的难度上综合考虑。这也叫工程近似。这样可以使我们在简洁的情形下得到简单的原理性结论，从而快速有效地进行原理性设计。
没有极致化的想法，就会淹没在复杂混乱的思路和混乱的公式推导之中。
极致化主要的应用有：

忽略分布特性，仅考虑集总电路特性。
导线、理想电流表、独立电压源视为短接，理想电压表、独立电流源视为断路。
运放中的虚短虚断。

限定性原则
在前述的简化当中，我们都有一些限定性的条件；这种主次要的限定关系，虽然使得问题得到简化，但也要求我们注意其使用条件，超过适用范围，就不能进行原理性的抽象。
比如频率增大时，导线中的趋肤效应越发显著，不能再使用集总电路的分析方法。

继续增大时，感生磁场的电感效应，以及导线之间的寄生电容，都会使得问题进一步复杂化，最终脱离典型电路的分析范围之后就只能使用电动力学方法求解了。所以说第三点是在使用简化的时候，时刻要牢记的。
1.3. 电路分析模型的建立
经过以上的分析，我们已经对电路分析的观点有了相对深刻的理解。现在我们总结一下主要的电路模型：
电源
电路的基本功能有两大类，为能量处理和信号处理。但不管是电能还是电信号，都需要一个来源。这个来源处电压和电流为非关联参考方向，能量放出，因而这种方向也称为有源符号规定。

其他部件称为负载。在在电路中电源的效应称为激励，负载称为响应。负载中的电压电流方向为关联参考方向，即由电压被动产生电流的方向。
这个参考方向不与因其是电源或是负载直接决定，重要的是判断方向。
电阻、电感和电容
如果不关心元件内部结构和能量转化的物理过程，那么很简单地可以表示成：

电阻消耗能量。
电感存储磁场能
电容存储电场能。

端口
如果不关心元件内部的电磁场性质，可以将其封装起来，使其与外界仅有交互的通道进行交流。这是我们进行进行元件抽象时的离散化思路。

如果对一个子网络都不感兴趣，只关心其外部特性，可以继续增大离散的程度（将子网络封装起来，进一步减少元件数量，减少电路系统中的信息量），简化计算。MOSFET就是这样的典型例子。
一个子电路上一个接线端称为一个端钮，或端，如果两个端一进一出、电流相等，那么这两个端就组成这个子电路的一个端口。

tips：

电流大小相等称为两个端的端口条件。这也体现了抽象原则当中的限定性原则。
结合先前在电源部分中提到的参考方向，端口可以分为有源、和无源两种端口。


二端口网络是重要的。一方面它可以用来对很多电路网络进行建模，另一方面它是最简单的多端口网络。

二端口网络有时可以简称为二端口。
1.4. 电路分析的基本思想
基本思想蕴含在以上的阐述中，总结如下：

抽象的思想。我们通过抽象描述主要的分析问题，并通过合理的建模对待求值进行相对精确的预测。
工程近似。与抽象紧密相关，抽象建模的精度和电路求解的方便程度不能兼得，所以要进行符合精度的近似，这和抽象的极致化原则是一致的。
等效思想。通过等效，可以简化繁杂的运算，这和数学中寻找代数系统的想法是一致的。

关于等效，在电路中等效网络的结论可以迁移，比如独立电流源具有和断路类似的性质，在列KVL的时候，要尽量避免使用其所在的支路。



2. 电路的基本描述方法
由前述，电路理论是由电磁场理论抽象而来。电磁场理论有4个基本量：$\bm{E},\bm{D},\bm{B},\bm{H}$

对应在电路中，有4个相对应的基本量

$u,q,\varPsi,i$

其中$u,i$容易测量，多用之分别表征电场和磁场特性。

这里讨论电流、电压以及其相乘可得的功率。
2.1. 电流
它通过Ampere全电流定律表征磁场性质。
与中学不同的是，这里电流要考虑方向。类似力学中的假设法思路。

表示电流方向的三种方法：

箭头标注
双下标法
正负号

电位降和电流方向相同称为关联参考方向。这在1.3电源中已经讨论过。

恒定电流用大写$I$表示，变化电流用$i$表示，也可写作$i(t)$
2.2. 电压和电动势
电压是两点之间的关系。

为了表征一点电压的特性，可以选定一个参考点。使得：

$\varphi_A=u_{\scriptscriptstyle AP}$

同于电流，大写表示恒定，小写表变化。
电动势是描述电源内部性质的物理量，表示电源负极到正极的电位升。在数值上可以用电压表示。永远是正值

$e_{\scriptscriptstyle BA} = u_{\scriptscriptstyle AB}$

而电压是电路元件上的电位降，因方向不同可正可负。
2.3. 能量描述：功率
对一个电路元件，选定其电压和电流方向使之为关联参考方向：

$P_a=ui\begin{cases}>0, & 吸收能量\\ <0, & 放出能量\end{cases}$

吸收的能量在三种基本元件上分别转化为热能、磁场能和电场能。

另外可以在非关联参考方向上，计算放出功率，其在数值上有：

$P_d=-P_a\begin{cases}>0, & 放出能量\\ <0, & 吸收能量\end{cases}$

	

降维，顾名思义，就是降低样本的特征维度，这是因为“维度灾难”的问题，具体看连接：维度灾难
1，
定义样本空间：
则样本均值:, 为1*p为的矩阵。
样本方差方差：
S为p*p维的矩阵，对角线的数值是对应维度的方差
其中，，,是N*N的单位矩阵。而H是中心矩阵，H的n次幂等于它本身
2，PCA的核心思想可以概括为两句：一个中心，两个基本点。
一个中心：对原始特征空间的重构。(相关->无关)
两个基本点：最大投影方差，最小重构距离。(这两个条件结果相同)
a，对特征空间重构的意思是让原来的p个特征转换成新的p个无关的特征。
如上图，就是把特征x1，x2转换成无关的u1，u2。
b，最大投影方差就是让样本在新的特征上的投影的坐标的方差最大，如上图就是让4个样本在u1、u2的方差最大，如若u2的方差很小则可以舍去这个维度。
以u1为例，令新的特征u1为单位向量，则u1的模长为1，即.
样本在u1上的投影为，那么对应的向量形式为：
c，最小重构代价，选取p个维度中的q个维度，计算两者的代价，然后最小化。
3.从SVD的角度看PCA
4. PCoA(主坐标分析：principal co-ordinates analysis)
如若想降维，可以对HX做SVD，也可以对S或者T做特征分解。
PCA与PCoA的不同是，S是p*p维的，T是N*N维的，如若p>>N时，使用PCoA，反之使用PCA。
5. P-PCA
下面从概率的角度对 PCA 进行分析，概率方法也叫 p-PCA。我们使用线性模型，类似之前 LDA，我们选定一个方向，对原数据，降维后的数据为。降维通过一个矩阵变换(投影)进行：
‍
        对于这个模型，我么可以使用期望-最大(EM)的算法学习参数W、、，在进行推断的时候需要求得p(z|x)，推断的求解过程和线性高斯模型类似。
总结：
降维是解决维度灾难和过拟合的重要方法，除了直接的特征选择外，我们还可以采用算法的途径对特征进行筛选，线性的降维方法以 PCA 为代表，在 PCA 中，我们只要直接对数据矩阵进行中心化然后求奇异值分解或者对数据的协方差矩阵进行分解就可以得到其主要维度。非线性学习的方法如流形学习将投影面从平面改为超曲面。
‍