精华内容
下载资源
问答
  • 核主成分分析

    2017-09-30 10:15:40
    一个核主成分分析的m文件,文件有详细的注释解读代码,简洁易懂,适合初学者,亲测可用
  • 核主成分分析_KPCA

    2017-07-04 22:23:05
    核主成分分析
  • 核主成分分析法 matlab源代码,非常好的一个例子 核主成分分析法 matlab源代码,非常好的一个例子
  • 自编matlab核主成分分析程序
  • pca kernel pca principal component analysis kernel principal component analysis 主成分分析 核主成分分析 Matlab算法源代码
  • 核主成分分析与独立成分分析相结合的过程监控方法。
  • 一种基于核主成分分析的人脸图像去噪,刘晶晶,靳慧,本文讨论了一种基于核主成分分析的人脸图像去噪方法。首先利用核主成分分析,对训练样本做特征提取,舍弃在特征空间中投影方差小
  • LTSA算法利用数据的局部结构构造一种特殊的核矩阵,然后利用该核矩阵进行核主成分分析。本文针对局部切空间对齐这种流形学习算法,重点研究了LTSA算法与核PCA的内在联系。研究表明,LTSA在本质上是一种基于核方法的...
  • 核主成分分析(Kernel-PCA)

    万次阅读 多人点赞 2014-06-13 17:13:09
    核主成分分析

    问题:

    已知数据集,其中。Mercer核函数,根据Mercer定理,存在映射,使得。主成分分析是在中讨论的,那么核主成分分析是在映射后的空间中讨论的。即讨论映射后的数据集中的主成分分析。

    —————————————————————————————————————————————————————

    我们知道在讨论主成分分析的主要部分是求协方差矩阵及其特征值和特征向量,而实际我们用到的是特征向量。

    协方差矩阵:

    为了讨论方便,令

    问题一:因为通常映射是不显示的,就是解不出来的,所以很难求解,所以,我们从令一个角度讨论的特征向量,

    的特征向量,是对应的特征值。即:

    显然:

    即存在,其中,使得

    这样我们便得到的特征向量的性质,即是由张成的。

    因为

    所以

    带入上式得:

    右式:

    左式:


    其中

    我们用矩阵表示上式等式,即:

    其中:



    那么:

    即,的特征向量。

    —————————————————————————————————————————————————————

    问题二:那么怎么求?



    其中:为核矩阵,即,

    所以:

    其中

    至此,已经求出,则特征向量就可以求出了。

    ————————————————————————————————————————————————————

    问题三:求出后,怎么进行归一化?

    我们根据协方差矩阵的特征向量,我们根据,可以归一化

    其中为特征向量对应的的特征值。

    —————————————————————————————————————————————————————

    结论:

    根据前三个问题的解答,我们已经解出协方差矩阵的特征向量

    —————————————————————————————————————————————————————

    问题:

    怎么求新数据的核主成分,即求:

    问题二中的方法,


    其中

    即:

    其中:每一个元素都为1。

    ————————————————————————————————————————————————————

    例子:

    RBF-PCA:


    展开全文
  • 主成分分析(PCA)、核主成分分析(KPCA)和概率主成分分析(PPCA)是已经取得广泛应用的特征提取方法。提出一种基于概率核主成分分析(PKPCA)的检测液晶屏幕亮点的方法。作为对PPCA的一种非线性扩展,PKPCA在PPCA...
  • kpca 核主成分分析

    2010-12-10 22:45:56
    kpca 核主成分分析,别人写的,据说很好用,跟大家分享一下
  • 本例子说明了核主成分分析能够找到使数据线性分离的数据投影。sphx_glr_plot_kernel_pca_001print(__doc__)#作者:Mathieu Blondel#AndreasMueller#许可证:BSD 3 clauseimportnumpyasnpimportmatplotlib....

    本例子说明了核主成分分析能够找到使数据线性分离的数据投影。sphx_glr_plot_kernel_pca_001print(__doc__)# 作者:Mathieu Blondel#          Andreas Mueller# 许可证:BSD 3 clauseimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.decomposition import PCA, KernelPCAfrom sklearn.datasets import make_circlesnp.random.seed(0)X, y = make_circles(n_samples=400, factor=.3, noise=.05)kpca = KernelPCA(kernel="rbf", fit_inverse_transform=True, gamma=10)X_kpca = kpca.fit_transform(X)X_back = kpca.inverse_transform(X_kpca)pca = PCA()X_pca = pca.fit_transform(X)# 绘制结果plt.figure()plt.subplot(2, 2, 1, aspect="equal")plt.title("Original space")reds = y == 0blues = y == 1plt.scatter(X[reds, 0], X[reds, 1], c="red",            s=20, edgecolor="k")plt.scatter(X[blues, 0], X[blues, 1], c="blue",            s=20, edgecolor="k")plt.xlabel("$x_1$")plt.ylabel("$x_2$")X1, X2 = np.meshgrid(np.linspace(-1.5, 1.5, 50), np.linspace(-1.5, 1.5, 50))X_grid = np.array([np.ravel(X1), np.ravel(X2)]).T# 在第一个主成分上的投影(在phi空间中)Z_grid = kpca.transform(X_grid)[:, 0].reshape(X1.shape)plt.contour(X1, X2, Z_grid, colors="grey", linewidths=1, origin="lower")plt.subplot(2, 2, 2, aspect="equal")plt.scatter(X_pca[reds, 0], X_pca[reds, 1], c="red",            s=20, edgecolor="k")plt.scatter(X_pca[blues, 0], X_pca[blues, 1], c="blue",            s=20, edgecolor="k")plt.title("Projection by PCA")plt.xlabel("1st principal component")plt.ylabel("2nd component")plt.subplot(2, 2, 3, aspect="equal")plt.scatter(X_kpca[reds, 0], X_kpca[reds, 1], c="red",            s=20, edgecolor="k")plt.scatter(X_kpca[blues, 0], X_kpca[blues, 1], c="blue",            s=20, edgecolor="k")plt.title("Projection by KPCA")plt.xlabel(r"1st principal component in space induced by $\phi$")plt.ylabel("2nd component")plt.subplot(2, 2, 4, aspect="equal")plt.scatter(X_back[reds, 0], X_back[reds, 1], c="red",            s=20, edgecolor="k")plt.scatter(X_back[blues, 0], X_back[blues, 1], c="blue",            s=20, edgecolor="k")plt.title("Original space after inverse transform")plt.xlabel("$x_1$")plt.ylabel("$x_2$")plt.tight_layout()plt.show()

    脚本的总运行时间:( 0 分 0.474 秒)

    估计的内存使用量: 8 MB

    由Sphinx-Gallery生成的画廊

    下载python源代码:plot_ica_vs_pca.py

    下载Jupyter notebook源代码:plot_ica_vs_pca.ipynb

    ☆☆☆为方便大家查阅,小编已将scikit-learn学习路线专栏文章统一整理到公众号底部菜单栏,同步更新中,关注公众号,点击左下方“系列文章”,如图:

    欢迎大家和我一起沿着scikit-learn文档这条路线,一起巩固机器学习算法基础。(添加微信:mthler,备注:sklearn学习,一起进【sklearn机器学习进步群】开启打怪升级的学习之旅。)

    展开全文
  • 基于分散核主成分分析和贝叶斯推断的非线性化学过程监测
  • KPCA核主成分分析法matlab算法,用于矩阵的特征提取
  • 基于非线性频谱和核主成分分析的机器人RV减速器故障诊断
  • 核主成分分析算法

    2018-03-21 22:04:43
    主成分析算法,可用于多目标优化和决策问题,比较主成分分析有更多的优势
  • 核主成分分析法matlab源代码

    热门讨论 2011-11-23 10:07:12
    核主成分分析法 matlab源代码,非常好的一个例子
  • 函数https://www.bilibili.com/video/BV1hW411C7ny?p=1 PCAandKPCAhttps://www.bilibili.com/video/BV1hW411C7ny?p=2 https://www.youtube.com/watch?v=p4t6O9uRX-U&list=PLt0SBi1p7xrRKE2us8doqryRou6eDY这...

    推荐看一下李政轩老师的视频,从几何的角度讲解了什么是PCA非常容易理解

    核函数https://www.bilibili.com/video/BV1hW411C7ny?p=1

    PCAandKPCAhttps://www.bilibili.com/video/BV1hW411C7ny?p=2

    https://www.youtube.com/watch?v=p4t6O9uRX-U&list=PLt0SBi1p7xrRKE2us8doqryRou6eDY这个是在YouTube上的地址

     

    展开全文
  • 为减弱离群点对数据处理的影响, 提出了一种鲁棒的加权核主成分分析算法。利用核函数将样本投影到核空间, 在核空间构建一个样本加权重建误差最小模型, 最大限度地提取数据中的非线性信息并降低离群点样本的干扰。在...
  • 核主成分分析在三维综合信息成矿预测中的应用研究,段长生,王绪本,三维综合信息成矿预测是深部成矿预测的关键技术之一。本文以湖北省铜绿山铜铁矿为研究区,在收集勘探和生产基础资料基础上,对地
  • 核主成分分析(Kernel Principal Component Analysis, KPCA) PCA方法假设从高维空间到低维空间的函数映射是线性的,但是在不少现实任务中,可能需要非线性映射才能找到合适的低维空间来降维。 非线性降维的额一种常用...
  • 任何股票都会同时面临许多不同的风险因素。 风险因素之间的共线性通常使得难以确定有效因素。... 结果表明,核主成分分析和多因素选股模型的结合得到了很好的验证,可以高概率击败市场,有效地克服了随机选股的问题。
  • 本文将在前一篇博客学习笔记|主成分分析(PCA)及其若干应用的基础上介绍核主成分分析(Kernel Principle Component Analysis, KPCA)。

    学习笔记 | 核主成分分析[KPCA]


    概要: 本文将在前一篇博客学习笔记|主成分分析(PCA)及其若干应用的基础上介绍核主成分分析(Kernel Principle Component Analysis, KPCA)。前文提到,PCA只能处理线性数据的降维,对于线性不可分的数据效果很差,因此在PCA中引入了核函数(kernel)的概念,即核主成分分析PCA。KPCA的基本思路是通过核函数将在低维空间中线性不可分的数据通过某种映射函数映射到更高维的空间中去,使其在该高维空间中线性可分,之后再使用使用适用于线性可分数据的相关算法进行后续处理。和函数的思路在很多算法中具有应用,典型的如支持向量机(SVM)等。

    关键字: 矩阵分解; 主成分分析; PCA

    1 算法原理

       KPCA的算法原理和PCA的基本一致,唯一的不同就是先将原数据X映射到高维空间中,再进行求协方差矩阵、求特征向量并排列等后续操作。详细的介绍可以参考博客KPCA非线性降维与核函数,这里不再介绍。

    2 效果展示

       首先生成线性不可分的三组数据,如图2.1所示,分别用红绿蓝三种颜色标记。

    图2.1 三组线性不可分的数据

     
       以上数据经PCA处理后的结果如图2.2所示。

    图2.2 线性不可分数据及其经PCA处理后的结果

     
       在图2.2中,右上侧三组数据(三个近似同心圆)是原始数据,左下角的是经过PCA处理后的数据。可见,PCA处理结果仅仅是将原数据整体旋转,并不改变数据之间的相对位置,处理过后仍然线性不可分。

     
       原始数据经KPCA处理后的结果如图2.3所示。

    图2.3 线性不可分数据经KPCA处理后的结果

     
       对比图2.3和图2.1可知,KPCA对原数据进行了非线性处理,改变了原数据的相对关系,打破了数据的原有结构。图2.3中,蓝色数据已经可以和绿色红色数据线性分开,而绿色红色数据也可以同理进行后续处理。从图2.1得到图2.3使的参数如下。

    kernel: Gaussian
    sigma: 8

       迄今为止,关于何种场景下采用何种核函数的问题仍然没有很好的解决方法,当前常用的办法还是不断尝试、择优使用。在大量使用中积累的经验表明,首先尝试径向基核函数(Radial Basis Function, RBF),例如高斯核等,总是一个不错的选择。

    3 小结

       结合了核函数的PCA有很多花式玩法和应用,这里只介绍了其最基本的概念和应用,代码已上传至我的github

       本文为原创文章,转载或引用务必注明来源及作者。

    展开全文
  • 增量核主成分分析是一种KPCA的增量学习算法,应用于增量学习,可以大量减少计算量。是一种有效的特征提取方法。
  • 主成分分析的经典图像如下 直观的解释就是,在长箭头方向上,数据点要比短箭头方向上分散。如果用长箭头的方向来区分样本点,基本上就能代表长短两个方向。那么我们就可以用长箭头作为分类、回归...
  • 核主成分分析(Kernelized PCA,KPCA)利用核技巧将d维线性不可分的输入空间映射到线性可分的高维特征空间中,然后对特征空间进行PCA降维,将维度降到d′ 维,并利用核技巧简化计算。也就是一个**先升维后降维【数据...
  • 文章目录KPCAKPCA, PCA与...核主成分分析-kernel principal component analysis,是一种用于非线性分类的降维工具,实现非线性映射降维 右图维典型的非线性分类问题 KPCA, PCA与LDA PCA:主要用于线性非监督学习...
  • 2.核主成分分析(KPCA) 原理简述 与基于核函数的支持向量机类似,通过将非线性可分问题映射到更高维的特征空间,使其在更高维空间上线性可分。为了将样本x∈Rkx\in R^kx∈Rk映射到维度更高的k维空间,定义非线性...
  • 用matlab实现kpca(核主成分分析法)

    千次阅读 热门讨论 2019-05-16 15:50:13
    核主成分分析法是对非线性的高维数据进行降维的一种方法,理论部分这里就不再介绍了,我是在300×12维的数据上进行降维的,代码如下: data=Untitled; [Xrow, Xcol] = size(data); % Xrow:样本个数 Xcol:样本属性...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 515
精华内容 206
关键字:

核主成分分析