精华内容
下载资源
问答
  • 基于二维动态时间规整算法的矩阵相似性研究,李俊杰,高翠芳,在模式识别中距离作为一种常用的度量工具,被广泛应用于聚类、分类等算法中。随着矩阵样本的大量出现,以及样本内容的不断复杂化
  • 求两个矩阵相似性

    2014-05-25 19:11:49
    求数据的相似性,给定iuc中的数据集求两个样例之间的相似性,有matalab实现的
  • 矩阵相似代表着什么TL;DR: In today’s blog post we discuss Representational Similarity Analysis (RSA), how it might improve our understanding of the brain as well as recent efforts by Samy Bengio’s ...

    矩阵相似代表着什么

    TL;DR: In today’s blog post we discuss Representational Similarity Analysis (RSA), how it might improve our understanding of the brain as well as recent efforts by Samy Bengio’s and Geoffrey Hinton’s group to systematically study representations in Deep Learning architectures. So let’s get started!

    TL; DR:在今天的博客文章中,我们讨论了代表性相似性分析(RSA),它如何改善我们对大脑的理解以及Samy Bengio和Geoffrey Hinton小组最近为系统研究深度学习架构中的代表性所做的努力。 因此,让我们开始吧!

    The brain processes sensory information in a distributed and hierarchical fashion. The visual cortex (the most studied object in neuroscience) for example sequentially extracts low-to-high level features. Photoreceptors by the way of bipolar + ganglion cells project to the lateral geniculate nucleus (LGN). From there on a cascade of computational stages sets in. Throughout the different stages of the ventral (“what” vs dorsal — “how”/”where”) visual stream (V1 → V2 → V4 → IT) the activity patterns become more and more tuned towards the task of object recognition. While neuronal tuning in V1 is mostly associated with rough edges and lines, IT demonstrates more abstract conceptual representational power. This modulatory hierarchy has been a big inspiration to the field of computer vision and the development of Convolutional Neural Networks (CNNs).

    大脑以分布和分层的方式处理感觉信息。 视觉皮层(神经科学中研究最多的对象)例如依次提取从低到高的特征。 感光细胞通过双极+神经节细胞的方式投射到外侧膝状核(LGN)。 从那里开始,出现一系列计算阶段。在腹侧的不同阶段(“什么” vs背侧–“如何” /“哪里”)视觉流(V1→V2→V4→IT),活动模式变得越来越多,更着重于对象识别的任务。 尽管V1中的神经元调整主要与粗糙的边缘和线条有关,但IT展示了更抽象的概念表示能力。 这种调制层次结构对计算机视觉领域和卷积神经网络(CNN)的发展产生了很大的启发。

    In the neurosciences, on the other hand, there has been a long lasting history of spatial filter bank models (Sobel, etc.) which have been used to study activation patterns in the visual cortex. Until recently, these have been the state-of-the-art models of visual perception. This was mainly due to the fact that the computational model had to be somehow compared to brain recordings. Therefore, the model space to investigate was severely restricted. Enter: RSA. RSA was first introduced by Kriegeskorte et al. (2008) to bring together the cognitive and computational neuroscience community. It provides a simple framework to compare different activation patterns (not necessarily in the visual cortex; see figure below). More specifically, fMRI voxel-based GLM estimates or multi-unit recordings can be compared between different conditions (e.g. the stimulus presentation of a cat and a truck). These activation measures are then represented as vectors and we can compute distance measures between such vectors under different conditions. This can be done for many different stimuli and each pair allows us to fill one entry of the so-called representational dissimilarity matrix.

    另一方面,在神经科学中,空间过滤器库模型(Sobel等)已有很长的历史,可用于研究视觉皮层的激活模式。 直到最近,这些还是视觉感知的最新模型。 这主要是由于计算模型必须以某种方式与大脑记录进行比较。 因此,研究的模型空间受到严重限制。 输入:RSA 。 RSA首先由Kriegeskorte等人引入 (2008)将认知和计算神经科学界聚集在一起。 它提供了一个简单的框架来比较不同的激活模式(不一定在视觉皮层中;请参见下图)。 更具体地说,可以在不同条件(例如猫和卡车的刺激提示)之间比较基于fMRI体素的GLM估计值或多单位记录。 然后将这些激活度量表示为向量,我们可以计算不同条件下此类向量之间的距离度量。 这可以针对许多不同的刺激来完成,每一对都允许我们填充所谓的代表性相异矩阵的一个条目。

    Image for post

    Since the original introduction of RSA, it has got a lot of press and many popular neuroscientists such as James DiCarlo, David Yamins, Niko Kriegeskorte and Radek Cichy have been combining RSA with Convolutional Neural Networks in order to study the ventral visual system. The beauty of this approach is that the dimensionality of the feature vector does not matter, since it is reduced to a single distance value which is then compared between different modalities (i.e. brain and model). Cadieu et al. (2014) for example claim that the CNNs are the best model of the ventral stream. In order to do so they extract features from the penultimate layer of an ImageNet-pretrained AlexNet and compare the features with multi-unit recordings of IT in two macaques. In a decoding exercise they find that the AlexNet features have more predictive power than simultaneously recorded V4 activity. Quite an amazing result. (In terms of prediction.) Another powerful study by Cichy et al. (2016) combined fMRI and MEG to study visual processing through time and space. A CNN does not know the notion of time nor tissue. A layer of artificial neurons can hardly be viewed as analogous to a layer in the neocortex. However, the authors found that sequence of extracted features mirrored the measured neural activation patterns in space (fMRI) and time (MEG).

    自从最初引入RSA以来,它已经获得了广泛的关注,许多流行的神经科学家,例如James DiCarlo,David Yamins,Niko Kriegeskorte和Radek Cichy都将RSA与卷积神经网络相结合,以研究腹侧视觉系统。 这种方法的优点在于特征向量的维数无关紧要,因为它被减小为一个距离值,然后在不同的模态(即大脑和模型)之间进行比较。 Cadieu等。 (2014)例如,CNN是腹侧流的最佳模型。 为了做到这一点,他们从ImageNet预训练的AlexNet的倒数第二层提取特征,并将这些特征与两个猕猴中的IT多单位记录进行比较。 在解码练习中,他们发现AlexNet功能比同时记录的V4活动具有更多的预测能力。 非常惊人的结果。 (根据预测。) Cichy等人的另一项有力研究 (2016年)结合功能磁共振成像和MEG研究时空的视觉处理。 CNN不知道时间的概念,也不知道组织。 人工神经元层几乎不能被视为类似于新皮层中的一层。 然而,作者发现提取的特征序列反映了所测得的空间中神经激活模式(fMRI)和时间(MEG)。

    These results are spectacular not because CNNs “are so similar” to the brain, but because of the complete opposite. CNNs are trained by minimizing a normative cost function via backprop and SGD. Convolutions are biologically implausible operations and CNNs process millions of image arrays during training. The brain, on the other hand, exploits inductive biases through genetic manipulation as well as unsupervised learning in order to detect patterns in naturalistic images. However, backprop + SGD and thousands of years of evolution seem to have come up with with similar solutions. But ultimately, we as researchers are interested in understanding the causal mechanisms underlying the dynamics of the brain and deep architectures. How much can RSA help us with that?

    这些结果之所以令人瞩目,不是因为CNN与大脑“如此相似”,而是因为完全相反。 CNN通过反向传播和SGD最小化规范成本函数进行训练。 卷积是生物学上难以置信的操作,CNN在训练过程中处理数百万个图像阵列。 另一方面,大脑通过遗传操作和无监督学习来利用归纳偏见,以检测自然图像中的图案。 但是,backprop + SGD和几千年的发展似乎提出了类似的解决方案。 但是最终,作为研究人员,我们对了解大脑和深层结构动力学的因果机制感兴趣。 RSA可以为我们提供多少帮助?

    All measures computed within RSA are correlational. The RDM entries are based on correlational distances. The R-squared captures the variation of the neural RDM explained by the variation in the model RDM. Ultimately, it is hard to interpret any causal insights. The claim that information in CNNs is the best model for how the visual cortex works is cheap. This really does not help a lot. CNNs are trained via backpropagation and encapsule a huge inductive bias in the form of kernel weight sharing across all neurons involved in a single processing layer. But the brain cannot implement these exact algorithmic details (and has probably found smarter solutions than Leibniz’s chain rule). However, there has been a bunch of recent work (e.g. by Blake Richards, Walter Senn, Tim Lillicrap, Richard Naud and others) to explore the capability of neural circuits to approximate a normative-gradient-driven cost function optimization. So ultimately, we might not be that far off.

    RSA中计算的所有度量都是相关的。 RDM条目基于相关距离。 R平方捕获由模型RDM的变化解释的神经RDM的变化。 最终,很难解释任何因果关系。 声称CNN中的信息是视觉皮层如何工作的最佳模型的说法很便宜。 这确实没有太大帮助。 CNN通过反向传播进行训练,并以单个处理层中所有神经元之间的核重量共享的形式封装巨大的归纳偏差。 但是大脑无法实现这些确切的算法细节(并且可能找到了比莱布尼兹的链法则更智能的解决方案)。 但是,最近有大量工作(例如Blake Richards,Walter Senn,Tim Lillicrap,Richard Naud等人)探索了神经回路近似于规范梯度驱动成本函数优化的能力。 因此,最终,我们可能相距不远。

    Until then, I firmly believe that one has to combine RSA with the scientific method of experimental intervention. As in economics, we are in the need for quasi-experimental causality by the means of controlled manipulation. And that is exactly what has been done two recent studies by Bashivan et al. (2019) and Ponce et al. (2019)! More specifically, they use generative procedures based on Deep Learning to generate a set of stimuli. The ultimate goal thereby is to provide a form of neural control (i.e. drive firing rates of specific neural sites). Specifically, Ponce et al. (2019) show how to close the loop between generating a stimulus from a Generative Adversarial Network, reading out neural activity and altering the input noise to the GAN in order to drive the activity of single units as well as populations. The authors were able to identify replicable abstract tuning behavior of the recording sites. The biggest strength of using flexible function approximations lies in their capability to articulate patterns which we as experimenters are not able to put in words.

    在此之前,我坚信必须将RSA与科学的实验干预方法相结合。 与经济学一样, 我们需要通过受控操纵来实现准实验因果关系 。 这正是Bashivan等人最近的两项研究所做的 (2019)Ponce等人。 (2019) ! 更具体地说,他们使用基于深度学习的生成过程来生成一组刺激。 因此,最终目标是提供一种神经控制形式(即,驱动特定神经部位的放电速度)。 具体来说, 庞塞等。 (2019)展示了如何从生成对抗网络生成刺激,读出神经活动和改变GAN输入噪声之间的循环,以驱动单个单元和人群的活动。 作者能够确定记录站点的可复制抽象调整行为。 使用灵活函数逼近的最大优势在于其表达模式的能力,而作为实验者我们无法用语言表达这些模式。

    For many Deep Learning architectures weight initialization is crucial for successful learning. Furthermore, we still don’t really understand inter-layer repesentational differences. RSA provides an efficient and easy-to-compute quantity that can measure robustness to such hyperparameters. At the last NeuRIPS conference Sami Bengio’s group (Morcos et al., 2018) introduced projected weighted canonical correlation analysis (PWCCA) to study differences in generalization as well as narrow and wide networks. Based on a large Google-style empirical analysis the came up with the following key insights:

    对于许多深度学习架构,权重初始化对于成功学习至关重要。 此外,我们仍然还不太了解层间重复性差异。 RSA提供了一种有效且易于计算的数量,可以测量此类超参数的健壮性。 在上一届NeuRIPS会议上,Sami Bengio的小组( Morcos等人,2018 )介绍了预测加权规范相关分析(PWCCA),以研究泛化以及狭窄和广泛网络中的差异。 基于大量的Google风格的经验分析,得出了以下关键见解:

    1. Networks which are capable of generalization converge to more similar representations. Intuitively, overfitting can be achieved in many different ways. The network is essentially “under-constrained” by the training data and can do whatever it wants outside of that part of the space. Generalization requires to exploit patterns related to the true underlying data-generating process. And this can only be done by a more restricted set of architecture configurations.

      能够泛化的网络可以收敛到更相似的表示形式。 直观上,过度拟合可以通过许多不同的方式来实现。 网络实际上受到训练数据的“约束不足”,并且可以在空间的那部分之外做任何它想做的事情。 泛化要求利用与真正的基础数据生成过程相关的模式。 而且这只能通过一组受限制的体系结构配置来完成。

    2. The width of a network is directly related to the representational convergence. More width = More similar representations (across networks). The authors argue that this is evidence for the so-called lottery ticket hypothesis: Empirically it has been shown that wide-and-pruned networks perform a lot better than networks that were shallow from the beginning. This might be due to different sub-networks of the large-width network being initialized differently. The pruning procedure then is able to simply identify the sub-configuration with optimal initialization while the shallow network only has a single initialization from the get-go.

      网络的宽度与表示收敛性直接相关。 更多宽度=更多相似表示 (跨网络)。 作者认为这证明了所谓的彩票假说:根据经验,已经证明,经过修剪的网络比从一开始就比较浅的网络的性能要好得多。 这可能是由于宽带网络的不同子网初始化不同而引起的。 然后,修剪过程能够通过最佳初始化简单地标识子配置,而浅层网络从一开始就只有一个初始化。

    3. Different initializations and learning rates can lead to distinct clusters of representational solutions. The clusters generalize similarly well. This might indicate that the loss surface has multiple qualitatively indistinguishable local minima. What ultimately drives the membership could not be identified yet.

      不同的初始化和学习率可能导致代表性解决方案的不同簇 。 聚类相似地概括得很好。 这可能表明损失表面具有多个定性无法区分的局部最小值。 最终导致会员资格发展的因素尚无法确定。

    A recent extension by Geoffrey Hinton’s Google Brain group (Kornblith et al., 2019) uses centered kernel alignment (CKA) in order to scale CCA to larger vector dimensions (numbers of artificial neurons). Personally, I really enjoy this work since computational models give us scientists the freedom to to turn all the nobs. And there are quite a few in DL (architecture, initialization, learning rate, optimizer, regularizers). Networks are white boxes like Kriegeskorte says. So if we can’t succeed in understanding the dynamics of a simple Multi-Layer Perceptron, how are we ever going to succeed in the brain?

    杰弗里·欣顿(Geoffrey Hinton)的谷歌大脑团队( Kornblith et al。,2019 )的最新扩展使用居中核对齐(CKA)以便将CCA缩放到更大的向量尺寸(人工神经元数量)。 就个人而言,我真的很喜欢这项工作,因为计算模型使我们可以自由地转动所有点。 DL中有很多东西(体系结构,初始化,学习率,优化器,正则化器)。 网络是Kriegeskorte所说的白盒子。 因此,如果我们不能成功地理解简单的多层感知器的动力学,那么我们如何在大脑中获得成功?

    All in all, I am a huge fan of every scientific development trying to shine some light on approximations of Deep Learning in the brain. However, Deep Learning is not a causal model of computation in the brain. Arguing that the brain as well as CNNs perform similar sequential operations in time and space is a limited conclusion. In order to gain true insights, the loop has to be closed. Using generative models to design stimuli is therefore an exciting new endeavour in neuroscience. But if we want to understand the dynamics of learning, we have to go further than that. How are loss functions and gradients represented? How does the brain overcome the necessity of requiring to separate training and prediction phases? Representations are only a very indirect peephole to answering these fundamental questions. Going forward I there is a lot to gain (from the modeller’s perspective) from skip and recurrent connections as well as Bayesian DL via dropout sampling. But that is the story of another blog post.

    总而言之,我是每一个科学发展的忠实拥护者,试图向人们深入介绍大脑中的深度学习。 但是, 深度学习不是大脑中计算的因果模型 。 认为大脑以及CNN在时间和空间上都执行类似的顺序操作是一个有限的结论。 为了获得真知灼见, 必须关闭循环 。 因此,使用生成模型设计刺激是神经科学中令人兴奋的新成果。 但是,如果我们想了解学习的动力,就必须走得更远。 损失函数和梯度如何表示? 大脑如何克服需要分开训练和预测阶段的必要性? 陈述只是回答这些基本问题的非常间接的窥视Kong。 展望未来,我将通过跳过和循环连接以及通过辍学采样获得贝叶斯DL(从建模者的角度来看)有很多收获。 但这是另一篇博客文章的故事。

    翻译自: https://towardsdatascience.com/representational-similarity-analysis-f2252291b393

    矩阵相似代表着什么

    展开全文
  • 矩阵相似度度量

    2018-04-18 20:10:31
    提供了3种矩阵相似度的度量方法。python。详见https://mp.csdn.net/mdeditor/79991322
  • 矩阵相似——例题中证明的性质

    千次阅读 2019-08-28 20:37:10
    文章目录性质1~5性质6~7...与幂零矩阵相似的矩阵仍是幂零 与对合相似的仍是对合 与幂零相似仍是幂零且它们的幂零指数相等 若A的多项式f(A)A的多项式f(A)A的多项式f(A)满足f(A)=a0I+a1A+...+amAmf(A)=a_0I+a_1A+......

    性质1~5

    • 与幂零矩阵相似的矩阵仍是幂零
    • 与对合相似的仍是对合
    • 与幂零相似仍是幂零且它们的幂零指数相等
    • A 的 多 项 式 f ( A ) A的多项式f(A) Af(A)满足 f ( A ) = a 0 I + a 1 A + . . . + a m A m f(A)=a_0I+a_1A+...+a_mA^m f(A)=a0I+a1A+...+amAm A ∼ B A\sim B AB,那么 f ( A ) ∼ f ( B ) f(A)\sim f(B) f(A)f(B)
    • 与周期矩阵相似的依然是周期矩阵,且它们的周期相同
      • 周期矩阵:若有正整数 m m m满足 A m = I A^m=I Am=I就称 A A A为周期矩阵,使得 A m = I A^m=I Am=I成立的最小整数 m m m就是它 的周期。 A A A是数域上的 n n n级矩阵

    性质6~7

    • A ∼ B A\sim B AB,则 A ′ ∼ B ′ A'\sim B' AB
    • n n n级矩阵 A A A可对角化,那么 A ∼ A ′ A\sim A' AA

    性质8(一定是某某矩阵的情况)

    • 与单位矩阵相似的矩阵只有它自己
    • 与数量矩阵 k I kI kI相似的矩阵也只有它自己,或者说:如果 n n n级矩阵 A A A的相似类里只有一个元素,那么 A A A一定是数量矩阵

    性质9

    A 1 ∼ B 1 , A 2 ∼ B 2 A_1\sim B_1,A_2\sim B_2 A1B1,A2B2,则 ( A 1 0 0 A 2 ) ∼ ( B 1 0 0 B 2 ) \begin{pmatrix}A_1&0\\0&A_2\end{pmatrix}\sim\begin{pmatrix}B_1&0\\0&B_2\end{pmatrix} (A100A2)(B100B2)

    性质10

    A A A可逆 ⇒ \Rightarrow A B ∼ B A AB\sim BA ABBA

    关于置换矩阵与相似的关系

    置换矩阵的定义

    • 每行只有一个元素是1
    • 每列也只有一个元素是1
    • 其余元素都是0的 n n n级矩阵 ⇒ \Rightarrow 置换矩阵,即 P = ( ε i 1 , . . . , ε i n ) P=(\varepsilon_{i_1},...,\varepsilon_{i_n}) P=(εi1,...,εin)

    性质1

    置换矩阵 P P P可逆,且 P − 1 = P ′ P^{-1}=P' P1=PSo, P − 1 P^{-1} P1也是置换矩阵

    证明

    P ′ P = ( ε i 1 ′ . . . ε i n ′ ) ⋅ ( ε i 1 , . . . , ε i n ) P'P=\begin{pmatrix}\varepsilon_{i_1}'\\...\\\varepsilon_{i_n}'\end{pmatrix}\cdot(\varepsilon_{i_1},...,\varepsilon_{i_n}) PP=εi1...εin(εi1,...,εin) = I =I =I ⇒ \Rightarrow P − 1 = P ′ P^{-1}=P' P1=P

    性质2

    实数域上的置换矩阵是正交矩阵

    实战演练1

    i 1 , . . . , i n i_1,...,i_n i1,...,in是1,…,n的一个排列(重排), A = ( a i j ) A=(a_{ij}) A=(aij) n n n阶矩阵,令 B = ( a i 1 i 1 a i 1 i 2 a i 1 i 3 . . . a i 1 i n a i 2 i 1 a i 2 i 2 a i 2 i 3 . . . a i 2 i n . . . . . . . . . . . . . . . a i n i 1 a i n i 2 a i n i 3 . . . a i n i n ) B=\begin{pmatrix}a_{i_1i_1}&a_{i_1i_2}&a_{i_1i_3}&...&a_{i_1i_n}\\a_{i_2i_1}&a_{i_2i_2}&a_{i_2i_3}&...&a_{i_2i_n}\\...&...&...&...&...\\a_{i_ni_1}&a_{i_ni_2}&a_{i_ni_3}&...&a_{i_ni_n}\end{pmatrix} B=ai1i1ai2i1...aini1ai1i2ai2i2...aini2ai1i3ai2i3...aini3............ai1inai2in...ainin证明: A ∼ B A\sim B AB

    证明

    啊,这种将元素重新排列的题,一看就要想到置换矩阵了!

    • 轻松构造可逆(置换)矩阵 P = ( ε i 1 , . . . , ε i n ) P=(\varepsilon_{i_1},...,\varepsilon_{i_n}) P=(εi1,...,εin)
    • A = ( α 1 , . . . , α n ) , A=(\alpha_1,...,\alpha_n), A=(α1,...,αn),So P − 1 A P = P − 1 ( α 1 , . . . , α n ) ( ε i 1 , . . . , ε i n ) P^{-1}AP=P^{-1}(\alpha_1,...,\alpha_n)(\varepsilon_{i_1},...,\varepsilon_{i_n}) P1AP=P1(α1,...,αn)(εi1,...,εin) = P − 1 ( α i 1 , . . . , α i n ) =P^{-1}(\alpha_{i_1},...,\alpha_{i_n}) =P1(αi1,...,αin) = ( ε i 1 ′ . . . ε i n ′ ) ( α i 1 , . . . , α i n ) =\begin{pmatrix}\varepsilon_{i_1}'\\...\\\varepsilon_{i_n}'\end{pmatrix}(\alpha_{i_1},...,\alpha_{i_n}) =εi1...εin(αi1,...,αin) = B =B =B

    实战演练2

    J 0 = ( 0 1 0 . . . 0 0 0 0 1 . . . 0 0 . . . . . . . . . . . . . . . 0 0 0 . . . 1 0 0 0 0 . . . 0 1 0 0 0 . . . 0 0 ) J_0=\begin{pmatrix}0&1&0&...&0&0\\0&0&1&...&0&0\\...&...&...&...&...\\0&0&0&...&1&0\\0&0&0&...&0&1\\0&0&0&...&0&0\end{pmatrix} J0=00...00010...00001...000..................00...10000010证明: J 0 ∼ J 0 ′ J_0\sim J_0' J0J0

    证明

    • 观察 J 0 ′ J_0' J0 ( 0 0 0 . . . 0 0 1 0 0 . . . 0 0 0 1 0 . . . 0 0 . . . . . . . . . . . . . . . 0 0 0 . . . 0 0 0 0 0 . . . 1 0 ) \begin{pmatrix}0&0&0&...&0&0\\1&0&0&...&0&0\\0&1&0&...&0&0\\...&...&...&...&...\\0&0&0&...&0&0\\0&0&0&...&1&0\end{pmatrix} 010...00001...00000...00..................000...0100000
    • 其实构造置换矩阵也不难,首先可以发现第n行和第1行换了个,所以 i 1 → n i_1\to n i1n,而 a i 2 i 1 = 1 = a ( n − 1 ) n ⇒ a_{i_2i_1}=1=a_{(n-1)n}\Rightarrow ai2i1=1=a(n1)n i 2 → n − 1 i_2\to n-1 i2n1 i n → 1 i_n\to 1 in1
    • 所以置换矩阵 P = ( ε n , . . . , ε 1 ) P=(\varepsilon_{n},...,\varepsilon_{1}) P=(εn,...,ε1),又由于 J 0 = ( 0 , ε 1 , ε 2 , . . . , ε n − 1 ) J_0=(0,\varepsilon_{1},\varepsilon_{2},...,\varepsilon_{n-1}) J0=(0,ε1,ε2,...,εn1),所以 P − 1 J 0 P = P − 1 ( ε n − 1 , ε n − 2 , . . . , ε 1 , 0 ) P^{-1}J_0P=P^{-1}(\varepsilon_{n-1},\varepsilon_{n-2},...,\varepsilon_{1},0) P1J0P=P1(εn1,εn2,...,ε1,0) = J 0 ′ =J_0' =J0
    展开全文
  • 为解决因数据过量重复而带来的信息网络运行过慢问题,设计基于比对矩阵模型的信息相似性检测系统,进行相似检测相关关键技术与模型算法研究。在总体功能架构中,规范化连接相似性信息捕获模块与检测分发模块,实现...
  • 相似矩阵的几何意义

    千次阅读 2019-02-26 15:26:00
    转载于:https://www.cnblogs.com/TAL2SCB/p/10437649.html

     

    转载于:https://www.cnblogs.com/TAL2SCB/p/10437649.html

    展开全文
  • python计算相似矩阵

    千次阅读 2018-06-08 00:10:24
    模糊数学课上完之后对使用python中的sklearn计算矩阵各个元素的相似度有了一些感悟。 首先需要强调的是python中对于矩阵的计算尽量不要在DataFrame中,效率非常低。应该使用numpy。 1 预处理 常用1:...

    模糊数学课上完之后对使用python中的sklearn计算矩阵各个元素的相似度有了一些感悟。

    首先需要强调的是python中对于矩阵的计算尽量不要在DataFrame中,效率非常低。应该使用numpy。


    1 预处理
    • 常用1:MinMaxScaler
    from sklearn.preprocessing import StandardScaler
    from sklearn.preprocessing import MinMaxScaler
    from sklearn.metrics.pairwise import pairwise_distances
    from sklearn.metrics.pairwise import cosine_similarity
    
    >>> matrix= np.array([[ 1., -1.,  2.],
    ...                     [ 2.,  0.,  0.],
    ...                     [ 0.,  1., -1.]])
    ...
    
    >>> min_max_scaler = preprocessing.MinMaxScaler()
    >>> matrix_minmax = min_max_scaler.fit_transform(matrix)
    >>> matrix_minmax
    array([[ 0.5       ,  0.        ,  1.        ],
           [ 1.        ,  0.5       ,  0.33333333],
           [ 0.        ,  1.        ,  0.        ]])
    • 常用2:StandardScaler
      把上面的MinMaxScaler换成StandardScaler就ok。

    其他方法这里都有写


    2 计算相似度矩阵

    计算相似度矩阵的方法有很多种,发现了sklearn中直接有通过计算余弦相似度得到相似度矩阵的方法
    1 sklearn.metrics.pairwise.cosine_similarity
    2 sklearn.metrics.pairwise.pairwise_distances

    >>> from sklearn.metrics.pairwise import cosine_similarity
    >>> from sklearn.metrics.pairwise import pairwise_distances
    
    >>> a=[[1,3],[2,2]]
    >>> cosine_similarity(a)
    array([[ 1.        ,  0.89442719],
           [ 0.89442719,  1.        ]])
    
    >>> pairwise_distances(a,metric="cosine")
    array([[ 0.        ,  0.10557281],
           [ 0.10557281,  0.        ]])

    pairwise_distances方法是 cosine_similarity减1后取绝对值得到的。

    展开全文
  • 研究两个序列集合之间相似性度量,提出基于拉普拉斯矩阵特征值的分离度概念和公式表示。基于人工序列和真实DNA序列上的实验结果,证实了分离度能够度量序列间的相似程度。
  • 矩阵相似度的度量方法

    万次阅读 多人点赞 2018-04-18 15:35:15
    这个问题我也问过一些数学系的同学……这里我写了三种方法来度量。但某种度量的好坏……有点见仁见智了。...将矩阵展平成向量,计算向量的乘积除以模长。 注意有展平操作。 :param arr1:矩阵1 :p...
  • 针对遥感图像非局部相似的特性,提出了一种基于图像非局部相似性、低秩矩阵和最小全变分(TV)的压缩感知(CS)重构算法。充分利用了遥感图像的非局部相似性先验、局部平滑性先验以及低秩矩阵的特性,同时引入了一种...
  • 向量与矩阵矩阵矩阵的余弦相似度 很简单,将公式套上就行了。 python 代码 import numpy as np a = np.array([[1, 2, 1, 2, 3, 5, 6, 2]]) b = np.array([ [1, 2, 1, 2, 3, 5, 6, 2], [1, 2, 1, 2, 3, 5,...
  • 矩阵相似与矩阵等价的关系

    千次阅读 2020-11-30 10:44:20
    矩阵相似的定义和矩阵等价的定义可以参考线性代数和矩阵论相关的章节。 对于矩阵相似问题来说,P^(-1)AP = B,将左侧的P逆乘到B的右侧,AP = P*B,矩阵A表示将线性空间V映射到线性空间V。该式的含义就是选取一组新的...
  • import scipy.spatial as sp cos = 1 - sp.distance.cdist(matrix1, matrix2, 'cosine') print(cos) array([[ 1. , 0.94280904], [ 0.94280904, 1. ]]) 原文链接
  • 常用相似性度量(距离 相似系数)

    千次阅读 2018-05-22 10:32:03
    在分类聚类算法,推荐系统中,常要用到两个输入变量(通常是特征向量的形式)距离的计算,即相似性度量.不同相似性度量对于算法的结果,有些时候,差异很大.因此,有必要根据输入数据的特征,选择一种合适的相似性度量方法.令...
  • 提出一种用稀疏相似性度量求解压缩传感矩阵的方法,并将其应用在图像重建和识别领域中。首先构造一种稀疏相似性度量,然后将其嵌入到传感矩阵的模糊代价函数中,最终传感矩阵的原子更新按照模糊方式进行计算。用该...
  • 矩阵相似

    千次阅读 2019-08-28 18:15:05
    原来矩阵相似当时的初衷是为了更好的计算AmA^mAm啊,才知道,这下就不要把矩阵的相抵和相似搞混了吧! 相似定义 A,BA,BA,B都是数域KKK上的nnn级矩阵 若在数域KKK上∃上\exist上∃一个nnn级可逆矩阵PPP,使得P−1...
  • 在本文中,考虑到用户之间的相似性,用户-资源和标签-资源之间的关系,我们为推荐系统提出了具有社会相似性的非负多矩阵分解。 在此基础上,我们使用用户之间的每一个相似性指标对推荐的不同表现进行了比较分析。 ...
  • 推广了矩阵环M(F)中相似性概念,提出了矩阵的弱相似概念,研究了它的基本性质,获得一些有趣结果。此外,指出了文[3]的一个错误,给出了Laffey-Choi一个关键引理的矩阵式的证明。
  • 使用面邻接图表示模型的拓扑结构,根据面的组成边数来构造两个模型之间的面匹配矩阵,同时,使用贪心算法来计算模型之间的相似性。在实验中,使用所提方法来度量目标CAD模型和源CAD模型之间的相似程度。实验结果表明...
  • 矩阵乘法和相似矩阵

    2019-09-24 15:57:41
    矩阵乘法: 中 A可以做特征值分解,特征向量是该矩阵运动中运动的方向,特征值是运动的速度大小。矩阵乘法就是把后者投影到特征向量构成的基空间中,并进行拉伸,之后再还原到原坐标系中。...相似矩阵的迹是相...
  • 矩阵论】矩阵相似标准型(1)

    千次阅读 2020-10-26 11:10:27
    线性变换的特征量↔矩阵的特征量;运用化零多项式求解特征量。
  • 矩阵相似度

    千次阅读 2018-11-18 15:25:46
    D 矩阵相似 描述  给出两幅相同大小的黑白图像(用 0-1 矩阵)表示,求它们的相似度。 说明:若两幅图像在相同位置上的像素点颜色相同,则称它们在该位置具有相同的像 素点。两幅图像的相似度定义为相同像素点数...
  • 矩阵匹配及相似度计算

    千次阅读 2019-04-19 14:17:00
    基于精确的点模式识别和TurningFunction的几何形状相似性判定问题 http://www.doc88.com/p-0952897045830.html 一种基于Fr_chet距离的复杂线状要素匹配方法_邵世维 https://blog.csdn.net/qq_36919...
  • 两个一般性矩阵互相相似的条件

    千次阅读 2020-05-18 17:33:01
    之前遇到的题目里面都是使用相似对角化的方法,这里就不在仔细介绍,总结就是如果当前矩阵的每一个特征值的几何重数和代数重数均相等,则可以相似于一个对角阵,如果两个矩阵相似于同一个对角阵,则这两个矩阵相似。...
  • tensor二维矩阵计算相似度

    千次阅读 2020-03-30 20:40:47
    注意:计算相似度时必须保证两个矩阵维度相同,否则报错 import torch from transformers import BertConfig, BertModel, BertTokenizer def bert_output(texts, name): tokens, segments, input_masks =[], [],...
  • 提出一种用稀疏相似性度量求解压缩传感矩阵的方法,并将其应用在图像重建和识别领域中。首先构造一种稀疏相似性度量,然后将其嵌入到传感矩阵的模糊代价函数中,最终传感矩阵的原子更新按照模糊方式进行计算。用该...
  • 矩阵论】矩阵相似标准型(3)

    千次阅读 2020-10-30 15:11:21
    矩阵对角化引入探讨线性变换的对角化问题。(定义、等价命题和定理)
  • 向量相似性度量方法总结

    万次阅读 2018-02-23 15:00:38
    出处:https://www.cnblogs.com/liujinhong/p/6001997.html距离计算方法总结 在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)... 本文的目的就是对常用的相似性度量作一个总结。本文...
  • 相似性度量(距离及相似系数)

    万次阅读 多人点赞 2016-06-30 16:59:09
    在分类聚类算法中,时常需要计算两个变量(通常是向量的形式)的距离,即相似性度量。其中,距离度量的性质:非负性,自反性,对称性和三角不等式。  本文的目的就是对常用的相似性度量作一个总结。 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 86,722
精华内容 34,688
关键字:

矩阵相似性