精华内容
下载资源
问答
  • 2019-12-01 14:57:49

    AMP算法相关内容:

    1.基本概要:

    标准线性回归(SLR)问题是从噪声线性观测值Y= AX0+W恢复向量X0。Donoho、Maleki和Muntali提出的近似消息传递(AMP)算法是一种计算效率很高的迭代方法,它对SLR具有显著的性质:对于大I.I.D.亚高斯矩阵A,其每次迭代行为的严格特征是标量状态演化,其不动点在唯一时是Bayes最优的。然而,AMP算法是脆弱的,因为即使是与i.i.d.亚高斯模型的微小偏差也会导致算法发散。本文考虑了一个向量AMP(VAMP)算法,证明了VAMP具有严格的标量状态演化,它适用于更广泛的一类大随机矩阵a:那些正交不变的矩阵在执行A的初始奇异值分解(SVD)之后,VAMP的每次迭代复杂度与AMP相似。此外,VAMP状态演化的不动点与由Tulino、Caire、Verd'u和Shamai导出的最小均方误差的副本预测一致数值实验验证了VAMP的有效性及其与状态演化预测的一致性。

    1.1.基本问题:

    对于上述问题的求解,主要可以通过如下两种方法进行:

    (1)regularized quadratic loss minimization(正则化二次损失最小化),正则化优化问题:

    (2)Bayesian methodology(贝叶斯方法)

    假设存在一个先验概率p(x),和似然函数p(y|x),然后计算后验概率:

    对应的最小均方误差估计则可以表示为:

    如果噪声 ,则优化问题可以等价为在先验 条件下的最大后验概率估计(MAP)

    1.2.AMP算法解析

    g1为软阈值函数,也可以说成为去噪函数

    A为一个大型亚高斯矩阵, ,g1是可分离的,即

    由此可见AMP对应的rk似乎表现为一个被高斯白噪声干扰的信号,即

    其中 可以通过状态演化(state evolution,SE)预测:

     是AMP的MSE估计x

    AMP的状态演化(SE)为A(高斯或亚高斯)严格建立。

    AMP算法流程:

    VAMP同AMP的差别在于前者采用奇异值分解的方法来处理矩阵

    其他的差别在于对矩阵的处理,即每个分量为向量而非具体数值,VAMP算法步骤如图

    Code at: 

     

    更多相关内容
  • 用于大规模MIMO检测的近似消息传递(AMP) 文件描述 AMPG.m:在先验符号上使用高斯分布的AMP算法。 AMPT.m:在先前符号上使用{0,1,-1}的AMP算法。 main_AMPG_LMMSE.m:独立的主文件,用于绘制AMPG和线性MMSE(LMMSE...
  • 通过广义近似消息传递进行计算有效的稀疏贝叶斯学习 这是GAMP-SBL算法的实现。 可以在以下找到更多详细信息 李福伟,方军,段慧平,陈智,李宏斌,“通过广义近似消息传递进行计算有效的稀疏贝叶斯学习”提交给...
  • Matlab 的近似消息传递 (AMP) 的一般实现。 注意:此存储库仍在积极开发中。 可能会有一些小问题。 介绍 此问题的目标是提供一种快速使用且易于推广的近似消息传递 (AMP) 算法的实现。... 快速使用:在其核心,...
  • 大规模 MIMO 系统的上行数据检测问题中的格基(信道矩阵)自然是短的和正交的,因此建议我们可以应用不使用格约简的混合方案。 仿真结果证实了这种扩展的有效性。
  • 使用期望传播的广义近似消息传递的简洁推导
  • 基于广义近似消息传递(GAMP)算法,该文提出一种新的低复杂度MIMO频域均衡方法。这种消息传递MIMO均衡方法的显著特点是既保留了SC-CP传输所产生的频域均衡的优点,同时又避免了传统MIMO FDE中逐频点MIMO矩阵求逆运算,...
  • 非常好的一篇关于压缩感知重建的论文,对于图像重建,近似消息传递算法的结合给出了实际性的解决方案
  • 针对蒸发波导时空态势感知过程中,压缩感知观测阶段混入噪声对高精度重构产生不利影响的问题,提出了基于二次最优阈值的近似消息传递法。所提方法综合了软、硬阈值函数的优势,设计了一种二次稳固阈值函数,改善AMP...
  • tramp:树近似消息传递

    2021-05-01 02:07:36
    近似消息传递(TRAMP) 为任何树状概率图形模型实现高斯期望传播。 文档网站: : 要求 python> = 3.6 numpy /熊猫/ scipy / matplotlib networkx == 1.11 愚蠢的 警告当前该软件包不支持networkx 2.xx,并且...
  • 时空关联数据的稀疏恢复的近似消息传递
  • 为克服这一问题,提出了一种基于近似信息传递算法的断层CELSI稀疏重建方法。为说明该算法的优点,将其与传统的Tikhonov正则化算法以及3种基于稀疏的重建算法进行比较。实验结果表明,就均方误差和对比噪声比而言,本文...
  • 从目标的变量节点出发,寻找与之相邻的因子节点,然后沿着因子节点传递,寻找其对应的变量节点,每一层的因子变量节点进行一次乘积,并按照这种搜寻方式不断向下搜寻,直至到达最后的叶节点。 第三步:计算边缘...

    1.1图相关概念

    1. 图:由定点有穷非空集合和节点之间的边集合组成,其表示为G=(V,E)。G表示一个图,V是节点组合,E是边集合。
    2. 连接点:给定一条边e属于E,两个节点与之相连,可定义e=(v1,v2),则v1和v2互为邻节点,边e依附于节点v1和v2,二者相关联。
    3. 度:节点的度就是与之相关联的边数量
    4. 二分图:一个图中的所有节点可以分为两个子集Vx,Vy,且二者之间的节点没有相连的边。
    5. 路径:节点的序列,两节点存在路径则称之为连通。一条长度为N的路径含有N+1个节点。
    6. 环:如果一条路径最终回到起点,则为环。
    7. 连通图:如果一个图所有节点都是连通的,则为连通图。

    森林、树、叶:一个图没有环则为森林,连通图没有环则为树。度为1的节点为叶。

    1.2因式分解

    节点一般用圆圈和方框表示,而变量则用边表示。

    则可得

    因此可以进一步简单地表示为:

    (1)非环图因式分解

    (2)连通图因式分解

    1.3因子图

    因子图是一种表达函数因式分解的图。给定的因式分解,其中一个因子fk,定义其邻接区为所有出现在fk内的变量集合N(fk)。同样,变量Xn的邻接区则为包含变量Xn的因子集合N(Xn)。

    给定函数:

    其对应的因子图为二分图,则建立过程为:

    假设:

    表示为因子图如下:

    1.4基于因子图的边缘分布与和积算法

    计算qx1(X1)需要对

    求解边缘分布的方法就是和积算法:

    思路:

    (1)将式子写成详尽的表达式;(2)用递归的方式来求解边缘分布。

    具体步骤:

    第一步:划分变量

    方法1:数学方法:

    首先划分,找到除之外在所涉及到的所有变量,并找到这些变量涉及的因子,以此循环往复。

    方法2:因子图方法

    对于变量节点,在这三个因子节点中去除。因此可以得到包含的因子图有变量节点,然后对采用方式得到

    根据变量节点,则可以分为

    第二步:因子分组

    方法1:数学方式:

    其中,

    每个相邻的变量对应的因子相乘,每个因子在不同变量节点上相乘,通过递归相乘获得最终的结果。

    方法2:因子图方法求解:

    从目标的变量节点出发,寻找与之相邻的因子节点,然后沿着因子节点传递,寻找其对应的变量节点,每一层的因子变量节点进行一次乘积,并按照这种搜寻方式不断向下搜寻,直至到达最后的叶节点。

    第三步:计算边缘分布

    定义:结合,可得如下形似:

    方法1:数学方法

    计算变量的边缘分布,需要引入两个函数:即在任意都有

    因此可得边缘分布如下:

    方法2:因子图方式

     

    展开全文
  • 基于广义近似消息传递的扰码多址卫星接收技术.docx
  • 基于张量的地震数据插值的近似消息传递方法
  • 在压缩成像(CI)中,当图像的变换系数足够稀疏时,可以进行准确的系数恢复。 但是,诸如离散余弦变换(DCT)和离散小波变换(DWT)之类的常规变换不能获得足够稀疏的表示。 大量的小系数确实会干扰大系数的恢复。...
  • 将广义近似消息传递算法应用到压缩相位恢复中,从而提高图像重构质量,提高运行速度,通过实验证明该算法的优异性,良好的噪声鲁棒性和简短的运行时间。 (2)使用不同的去噪器来实现更好的相位恢复,在原来算法...
  • 基于近似消息传递的压缩感知算法研究,具有非常重要的研究意义
  • 称QR迭代matlab代码在C / C ++和MATLAB中实现的三种著名的稀疏恢复算法: I. Orthogonal Matching Pursuit ( OMP ...此外,C代码包含所有子例程,包括:QR分解,高斯消除,冒泡排序,反替换等。...squar
  • 期望最大化贝努利高斯(BG)近似信息传递(EM-BG-AMP)算法中的BG模型因为具有对称性,在逼近实际信号先验分布时会受到限制;而期望最大化高斯混合近似信息传递(EM-GM-AMP)算法中的GM模型是BG模型的高阶形式,复杂度较高。...
  • 分析了大规模MIMO 信号检测的研究现状,提出了近似信息传递(AMP)算法,并比较了 AMP 算法、Richarson 算法以及Neumann级数迭代近似算法的复杂度。仿真结果表明,该算法使用较少的迭代次数即可达到和MMSE近似的系统...
  • 高斯白噪声 matlab代码
  • 传递函数的幅度近似

    2020-11-13 12:44:29
    1.频率归一化 在设计滤波器的传递函数和研究滤波器的幅频特性近似问题时,为了简化计算,使计算规格化和通用化,通常采用频率归一化的处理方法。所谓频率归一化,是将传递函数复频率s=α十jω除以基准角频率ωλ...
  • AMP_Tutorial_18.pdf

    2020-07-28 09:29:04
    压缩重构是压缩感知领域一个重要的研究方向,广义近似消息传递(Generalize Approximate Message Passing,GAMP)是一种新型的压缩重构算法。相比于其他重构算法,GAMP算法具有高相变性能、低计算复杂度等优势,适用于任意...
  • 给定一组逼近 y = f(x) 的多项式系数 P,该函数逼近 O 阶多项式系数(默认为 P 阶),它逼近反函数 x = f(y)。 该函数的工作原理类似于 LabView 的“DAQmx 计算逆多项式系数 (VI)”( ...
  • 基于结合置信传播(BP)和平均场(MF)近似近似推理框架,我们提出两种接收器算法,分别在MF部分中使用并行和顺序消息传递时间表。 最近基于通用近似消息传递(GAMP)提出的接收器用作基准基准。 仿真结果表明,...
  • 讨论了在含有零阶保持器的线性系统中,当采样周期很小时,脉冲传递函数的所有有限零点的近似程度。以上讨论依据二个基本原理:一是将脉冲传递函数在h=0处泰勒级数展开取前两项,二是用泰勒级数展开后的脉冲传递函数...
  • 该代码为给定的传递函数导出所需程度的降阶近似值。 使用的方法是 Routh-Pade 近似。 计算给定的 n 阶稳定传递函数 G 的 r 阶 Routh-Pade 近似,其中 1<=r<=n。 简化模型的分母是使用简化的 routh/gamma 表...
  • 研究了层次分析法(AHP) ... 然后, 提出了层次分析法中简化的超传递近似法及群决策的几何平均超传递近似法, 该方法不需要一致性检验, 同时又保持了专家的原始意见; 最后, 通过一个实例验证了该方法的有效性和实用性.</p>
  • 本文中将研究如何基于消息传递机制构建图卷积神经网络,并创建一个模型来对具有嵌入可视化的分子进行分类。 假设现在需要设计治疗某些疾病的药物。有一个其中包含成功治疗疾病的药物和不起作用的药物数据集,现在...

    本文中将研究如何基于消息传递机制构建图卷积神经网络,并创建一个模型来对具有嵌入可视化的分子进行分类。

    假设现在需要设计治疗某些疾病的药物。有一个其中包含成功治疗疾病的药物和不起作用的药物数据集,现在需要设计一种新药,并且想知道它是否可以治疗这种疾病。如果可以创建一个有意义的药物表示,就可以训练一个分类器来预测它是否对疾病治疗有用。我们的药物是分子式,可以用图表表示。该图的节点是原子。也可以用特征向量 x 来描述原子(它可以由原子属性组成,如质量、电子数或其他)。为了对分子进行分类,我们希望利用有关其空间结构和原子特征的知识来获得一些有意义的表示。

    以图形表示的分子示例。 原子有它们的特征向量 X。特征向量中的索引表示节点索引。

    最直接的方法是聚合特征向量,例如,简单地取它们的平均值:

    这是一个有效的解决方案,但它忽略了重要的分子空间结构。

    图卷积

    我们可以提出另一种想法:用邻接矩阵表示分子图,并用特征向量“扩展”其深度。 我们得到了一个伪图像 [8, 8, N],其中 N 是节点特征向量 x 的维数。 现在可以使用常规卷积神经网络并提取分子嵌入。

    图结构可以表示为邻接矩阵。 节点特征可以表示为图像中的通道(括号代表连接)。

    这种方法利用了图结构,但有一个巨大的缺点:如果改变节点的顺序会得到不同的表示。 所以这样的表示不是置换不变量。 但是邻接矩阵中的节点顺序是任意的, 例如,可以将列顺序从 [0, 1, 2, 3, 4, 5, 6, 7] 更改为 [0, 2, 1, 3, 5, 4, 7, 6],它仍然是 图的有效邻接矩阵。 所以可以创建所有可能的排列并将它们堆叠在一起,这会使我们有 1625702400 个可能的邻接矩阵(8!* 8!)。 数据量太大了,所以应该找到更好的解决方案。

    但是问题是,我们如何整合空间信息并有效地做到这一点? 上面的例子可以让我们想到卷积的概念,但它应该在图上完成。

    所以图卷积就出现了

    当对图像应用常规卷积时会发生什么? 相邻像素的值乘以过滤器权重并相加。 我们可以在图表上做类似的事情吗? 是的,可以在矩阵 X 中堆叠节点特征向量并将它们乘以邻接矩阵 A,然后得到了更新的特征 X`,它结合了有关节点最近邻居的信息。 为简单起见,让我们考虑一个具有标量节点特征的示例:

    标量值节点特征的示例。 仅针对节点 0 说明了 1 跳距离,但对于所有其他节点也是一样的。

    每个节点都会获得有关其最近邻居的信息(也称为 1 跳距离)。 邻接矩阵上的乘法将特征从一个节点传播到另一个节点。

    在图像域中可以通过增加滤波器大小来扩展感受野。 在图中则可以考虑更远的邻居。 如果将 A^2 乘以 X——关于 2 跳距离节点的信息会传播到节点:

    节点 0 现在具有关于节点 2 的信息,该信息位于 2 跳距离内。 该图仅针对节点 0 说明了跃点,但对于所有其他节点也是如此。

    矩阵 A 的更高幂的行为方式相同:乘以 A^n 会导致特征从 n 跳距离节点传播,所以可以通过将乘法添加到邻接矩阵的更高次方来扩展“感受野”。 为了概括这一操作,可以将节点更新的函数定义为具有某些权重 w 的此类乘法之和:

    多项式图卷积滤波器。 A——图邻接矩阵,w——标量权重,x——初始节点特征,x’——更新节点特征。

    新特征 x’ 是来自 n 跳距离的节点的某种混合,相应距离的影响由权重 w 控制。 这样的操作可以被认为是一个图卷积,滤波器 P 由权重 w 参数化。 与图像上的卷积类似,图卷积滤波器也可以具有不同的感受野并聚合有关节点邻居的信息,但邻居的结构不像图像中的卷积核那样规则。

    这样的多项式与一般卷积一样是置换等变性的。 可以使用图拉普拉斯算子而不是邻接矩阵来传递特征差异而不是节点之间的特征值(也可以使用标准化的邻接矩阵)。

    将图卷积表示为多项式的能力可以从一般的谱图卷积( spectral graph convolutions)中推导出来。 例如,利用带有图拉普拉斯算子的切比雪夫多项式的滤波器提供了直接谱图卷积的近似值 [1]。

    并且可以轻松地将其推广到具有相同方程的节点特征的任何维度上。 但在更高维度的情况下,处理的是节点特征矩阵 X 而不是节点特征向量。 例如,对于 N 个节点和节点中的 1 或 M 个特征,我们得到:

    x——节点特征向量,X——堆叠节点特征,M——节点特征向量的维度,N——节点数量。

    可以将特征向量的“深度”维度视为图像卷积中的“通道”。

    消息传递

    现在用另外一种不同的方式看看上面的讨论。 继续采用上面讨论的一个简单的多项式卷积,只有两个第一项,让 w 等于 1:

    现在如果将图特征矩阵 X 乘以 (I + A) 可以得到以下结果:

    对于每个节点,都添加了相邻节点的总和。 因此该操作可以表示如下:

    N(i) 表示节点 i 的一跳距离邻居。

    在这个例子中,“update”和“aggregate”只是简单的求和函数。

    这种关于节点特征更新被称为消息传递机制。 这样的消息传递的单次迭代等效于带有过滤器 P= I + A 的图卷积。那么如果想从更远的节点传播信息,我们可以再次重复这样的操作几次,从而用更多的多项式项逼近图卷积。

    但是需要注意的是:如果重复多次图卷积,可能会导致图过度平滑,其中每个节点嵌入对于所有连接的节点都变成相同的平均向量。

    那么如何增强消息传递的表达能力? 可以尝试聚合和更新函数,并额外转换节点特征:

    W1——更新节点特征的权重矩阵,W2——更新相邻节点特征的权重矩阵。

    可以使用任何排列不变函数进行聚合,例如 sum、max、mean 或更复杂的函数,例如 DeepSets。

    例如,评估消息传递的基本方法之一是 GCN 层:

    第一眼看到这个公式可能并不熟悉,但让我们使用“更新”和“聚合”函数来看看它:

    使用单个矩阵 W 代替两个权重矩阵 W1 和 W2。 更新函数是求和,聚合函数是归一化节点特征的总和,包括节点特征 i。 d——表示节点度。

    这样就使用一个权重矩阵 W 而不是两个,并使用 Kipf 和 Welling 归一化求和作为聚合,还有一个求和作为更新函数。 聚合操作评估邻居和节点 i 本身,这相当于将自循环( self-loops)添加到图中。

    所以具有消息传递机制的 GNN 可以表示为多次重复的聚合和更新函数。 消息传递的每次迭代都可以被视为一个新的 GNN 层。 节点更新的所有操作都是可微的,并且可以使用可以学习的权重矩阵进行参数化。 现在我们可以构建一个图卷积网络并探索它是如何执行的。

    一个实际的例子

    使用上面提到的 GCN 层构建和训练图神经网络。 对于这个例子,我将使用 PyG 库和 [2] 中提供的 AIDS 图数据集。 它由 2000 个代表分子化合物的图表组成:其中 1600 个被认为对 HIV 无活性,其中 400 个对 HIV 有活性。 每个节点都有一个包含 38 个特征的特征向量。 以下是数据集中分子图表示的示例:

    使用 networkx 库可视化来自 AIDS 数据集的样本。

    为简单起见,我们将构建一个只有 3 个 GCN 层的模型。 嵌入空间可视化的最终嵌入维度将是 2-d。 为了获得图嵌入,将使用均值聚合。 为了对分子进行分类,将在图嵌入之后使用一个简单的线性分类器。

    具有三个 GCN 层、平均池化和线性分类器的图神经网络。

    对于第一次消息传递的迭代(第 1 层),初始特征向量被投影到 256 维空间。 在第二个消息传递期间(第 2 层),特征向量在同一维度上更新。 在第三次消息传递(第 3 层)期间,特征被投影到二维空间,然后对所有节点特征进行平均以获得最终的图嵌入。 最后,这些嵌入被输送到线性分类器。选择二维维度只是为了可视化,更高的维度肯定会更好。 这样的模型可以使用 PyG 库来实现:

    from torch import nn
    from torch.nn import functional as F
    from torch_geometric.nn import GCNConv
    from torch_geometric.nn import global_mean_pool
    
    
    class GCNModel(nn.Module):
        def __init__(self, feature_node_dim=38, num_classes=2, hidden_dim=256, out_dim=2):
            super(GCNModel, self).__init__()
            torch.manual_seed(123)
            self.conv1 = GCNConv(feature_node_dim, hidden_dim)
            self.conv2 = GCNConv(hidden_dim, hidden_dim)
            self.conv3 = GCNConv(hidden_dim, out_dim)
            self.linear = nn.Linear(out_dim, num_classes)
    
        def forward(self, x, edge_index, batch):
    
            # Graph convolutions with nonlinearity:
            x = self.conv1(x, edge_index)
            x = F.relu(x)
            x = self.conv2(x, edge_index)
            x = F.relu(x)
            x = self.conv3(x, edge_index)
    
            # Graph embedding:
            x_embed = global_mean_pool(x, batch)
    
            # Linear classifier:
            x = self.linear(x_embed)
    
            return x, x_embed
    

    在其训练期间,可以可视化图嵌入和分类器决策边界。 可以看到消息传递操作如何使仅使用 3 个图卷积层的生成有意义的图嵌入的。 这里使用随机初始化的模型嵌入并没有线性可分分布:

    上图是对随机初始化的模型进行正向传播得到的分子嵌入

    但在训练过程中,分子嵌入很快变成线性可分:

    即使是 3 个图卷积层也可以生成有意义的二维分子嵌入,这些嵌入可以使用线性模型进行分类,在验证集上具有约 82% 的准确度。

    总结

    在本文中介绍了图卷积如何表示为多项式,以及如何使用消息传递机制来近似它。 这种具有附加特征变换的方法具有强大的表示能力。 本文中仅仅触及了图卷积和图神经网络的皮毛。图卷积层和聚合函数有十几种不同的体系结构。并且在图上能够完成的任务任务也很多,如节点分类、边缘重建等。所以如果想深入挖掘,PyG教程是一个很好的开始。

    https://www.overfit.cn/post/27a7eda1d1564d588c76bd24a70d426f

    作者:Gleb Kumichev

    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 44,417
精华内容 17,766
关键字:

近似消息传递

友情链接: uthhr-sender.zip