一、文章信息概述

1.文章概述

本文是一篇关于图对抗攻击的综述类的文章，且为中文，适合入门阅读。

2.论文来源

3.作者/团队介绍

二、论文笔记整理

1.对抗攻击算法分类

1.1.白盒攻击/黑盒攻击

根据攻击者对目标模型的了解，分为：
白盒攻击：攻击者完全了解模型信息的情况下进行的攻击。（真实环境中，模型或者训练集可能是不公开的，所以白盒攻击较少）
黑盒攻击：攻击者部分了解甚至完全不了解目标模型情况下进行的攻击。

1.2.逃逸攻击/投毒攻击

根据攻击发生的不同阶段，分为：
逃逸攻击：发生在模型测试阶段（在进行预测时，对模型进行攻击，导致模型预测时不准确）
投毒攻击：发生在模型训练阶段（在进行训练时，对训练数据进行污染投毒，导致模型训练的不好）

1.3.定向攻击/非定向攻击

根据攻击的目标，分为：
定向攻击：攻击后模型输出指定攻击预设值。
非定向攻击：攻击后模型输出任意错误值。
【理解：猫、狗、鸡、鸭4个分类，原来实际是猫，我要求错误分类成鸡，这是定向攻击；只要分类不是猫，那这是非定向攻击】

1.4.拓扑攻击/特征攻击/混合攻击

根据攻击方式，分为：
拓扑攻击（结构攻击）：修改图结构进行攻击（如添加节点之间的连边，删除节点之间的连边）。
特征攻击：修改节点特征进行攻击（节点数不变，边数不变，保留了拓扑结构）。
混合攻击：拓扑攻击+特征攻击（综合利用拓扑攻击和特征攻击，如：伪造新节点注入图中，bong添加新节点与原始图中节点之间的边）。

2.攻击算法的应用

节点分类、节点嵌入、链路预测、社团探测、推荐系统、图嵌入、图分类、恶意软件检测

3.图对抗攻击面临的挑战

3.1.应用多样性

目前对图对抗攻击研究比较多的集中在：节点分类和链路预测，而像社团探测、图分类、推荐系统，研究的较少。

3.2.攻击的可扩展性

目前大多数攻击都是针对静态图设计的，如何攻击大规模图、动态图、异构图是个挑战。

3.3.攻击的可转移性

因为训练代理模型时，需要拥有被攻击模型更多的训练集，而训练集有时候并不是公开的，所以如何在较少的样本或者零样本情况下获得对抗样本，是一个重要的研究方向。

3.4.攻击的通用性

能够设计出一种通用的扰动操作、降低扰动设计的代价。
【理解】设计一种同样的扰动，攻击A类图有效，攻击B类图也有效.

3.5.攻击的可行性

现实系统中,攻击模型面临复杂的限制。
①训练数据集并不会公开，只能进行黑盒攻击；而频繁获取被攻击模型的输出，也会引起防御机制的察觉。
②社交网络中，并不能轻易获得与陌生人间连接的许可；在推荐系统中，插入过多虚假的节点，可能会破坏原始图属性引起检测系统的警觉。

3.6.扰动的度量标准

图像的扰动，只要人的肉眼可能难以察觉就可以；但图的扰动，节点和边发生变化，人花费一定时间是会发现在哪儿进行了扰动的。所以如何确定一个度量的标准。

1 引入

  相较于其他领域，图像领域的对抗样本生成有以下优势：
  1）真实图像与虚假图像于观察者是直观的；
  2）图像数据与图像分类器的结构相对简单。
  主要内容：以全连接网络和卷积神经网络为例，以MNIST、CIFAR10，以及ImageNet为基础样本，研究基于逃避对抗，包括白盒、黑盒、灰盒，以及物理攻击的图像对抗样本生成。

2 白盒攻击

  攻击者接收到分类器$C$与受害样本 (victim sample) $(x,y)$ 后，其目标是合成一张在感知上与原始图像相似，但可能误导分类器给出错误预测结果的虚假图像：
$$\text{找到}{x}^{\prime }\text{满足}\Vert x^{\prime }-x\Vert \le ϵ,例如C(x^{\prime })=t\ne y,\text{\hspace{1em}(1)}$$其中$\Vert \cdot \Vert$用于度量$x^{\prime }$与$x$的不相似性，通常为$l_p$范数。接下来介绍该攻击手段下的主要方法。

2.1 Biggio

  在MNIST数据集上生成对抗样本，攻击目标是传统的机器学习分类器，如SVM和3层全连接神经网络，且通过优化判别函数来误导分类器。
  例如图1中，对于线性SVM，其判别函数$g(x)=<w,x>+b$。假设有一个样本$x$被正确分类到3。则对于该模型，biggio首先生成一个新样本$x^{\prime }$，其在最小化$g(x^{\prime })$的同时保持$\Vert x^{\prime }-x{\Vert }_1$最小。如果$g(x^{\prime })<0$，$x^{\prime }$将被误分类。

2.2 Szegedy’s limited-memory BFGS (L-BFGS)

  首次应用在用于图像分类的神经网络上，其通过优化以下目标来寻找对抗样本：
$$\begin{array}{lcc}& \min & \Vert x-x^{\prime }{\Vert }_2^2\text{s.t.}C(x^{\prime })=t\text{and }{x}^{\prime }\in [0,1{]}^m.\end{array}\text{\hspace{1em}(2)}$$  通过引入损失函数来近似求解该问题：
$$\min \lambda \Vert x-x^{\prime }{\Vert }_2^2+\mathcal{L}(\theta .x^{\prime },t),\text{s.t. }{x}^{\prime }\in [0,1{]}^m,\text{\hspace{1em}(3)}$$其中$\lambda$是一个规模参数。通过调整$\lambda$，可以找到一个与$x$足够相似的$x^{\prime }$，且同时误导分类器$C$。

2.3 Fast gradient sign method (FGSM)

  Goodfellow等人设计了一个一步到位的快速对抗样本生成方法：
$$\begin{array}{rl}& x^{\prime }=x+ϵ\text{ sign}({\nabla }_x\mathcal{L}(\theta ,x,y)),\text{非目标}\\ & x^{\prime }=x-ϵ\text{ sign}({\nabla }_x\mathcal{L}(\theta ,x,t)),\text{目标}t\end{array}\text{\hspace{1em}(4)}$$  在目标攻击设计下，该问题可以通过一步梯度下降求解：
$$\min \mathcal{L}(\theta ,x^{\prime },t)\text{s.t. }\Vert x^{\prime }-x{\Vert }_{\infty }\text{ and }{x}^{\prime }\in [0,1{]}^m.\text{\hspace{1em}(5)}$$  FGSM快速的一个原因是其仅需一次反向传播，因此适应于生成大量对抗样本的情况，其在ImageNet上的应用如图2。

2.4 DeepFool

  研究分类器$F$围绕数据点的决策边界，试图找到一条可以超越决策边界的路径，如图3，从而误分类样本点$x$。例如，为误判类别为4的样本$x_0$到类别3，决策边界可以被描述为 F 3 = { z : F ( x ) 4 − F ( x ) 3 = 0 } \mathcal{F}_3=\{ z:F(x)_4 - F(x)_3 = 0 \} F3​={z:F(x)4​−F(x)3​=0}。令$f(x)=F(x{)}_4-F(x{)}_3$，在每次攻击中，它将使用泰勒展开 F 3 ′ = { x : f ( x ) ≈ f ( x 0 ) + < ∇ x f ( x 0 ) − ( x − x 0 ) > = 0 } \mathcal{F}_3'=\{ x:f(x)\approx f(x_0) + < \nabla_xf(x_0)-(x-x_0)>=0 \} F3′​={x:f(x)≈f(x0​)+<∇x​f(x0​)−(x−x0​)>=0}来线性化决策超平面，并计算${\omega }_0$到超平面${\mathcal{F}}_3^{\prime }$的正交向量$\omega$。向量$\omega$可以作为扰动使得$x_0$游离于超平面。通过移动$\omega$，算法将找到可以被分类为3的对抗样本$x_0^{\prime }$。

  DeepFool的实验结果展示，对于一般性的DNN图像分类器，所有的测试样本都非常接近决策边界。例如LeNet在MNIST数据集上训练好后，只需些许扰动，超过90%的样本都将被误分类，这表面DNN分类器对扰动是不健壮的。

2.5 Jacobian-based saliency map attack (JSMA)

  JSMA介绍了一种基于计算评分函数$F$雅可比矩阵的方法，其迭代地操作对模型输出影响最大的像素，可被视为一种贪心攻击算法。
  具体地，作者使用雅可比矩阵${\mathcal{J}}_F(x)=\frac{\partial F(x)}{\partial x}={\left\{\frac{\partial F_j(x)}{\partial x_i}\right\}}_{i\times j}$来对$F(x)$响应$x$变化时的改变建模。在目标攻击设置下，攻击者试图将样本误分类为$t$。因此，JSMA反复地搜索和操作这样的像素，其增加/减少将导致$F_t(x)$增加/减少${\sum }_{j\ne t}{F}_j(x)$。最终分类器将在类别$t$上给$x$更大的分数。

2.6 Basic iterative method (BIM) / Projected gradient descent (PGD) attack

  该方法是FGSM的迭代版本，在非目标攻击下，将迭代性地生成$x^{\prime }$：
$$x_0=x;x^{t+1}=Cli{p}_{x,ϵ}(x^t+\alpha \text{ sign}({\nabla }_x\mathcal{L}(\theta ,x^t,y)))\text{\hspace{1em}(6)}$$  这里的$Clip$表示将接收内容投影到$x$的$ϵ$邻域超球 B ϵ ( x ) : { x ′ : ∥ x ′ − x ∥ ∞ ≤ ϵ } B_\epsilon(x):\{ x':\|x'-x\|_\infty\leq \epsilon \} Bϵ​(x):{x′:∥x′−x∥∞​≤ϵ}的函数。步长$\alpha$通常被设置为一个相当小的值，例如使得每个像素每次只改变一个单位，步数用于保证扰动可以到达边界，例如$step=\frac{ϵ}{alpha}+10$。如果$x$是随机初始化的，该算法也可被叫做PGD。
  BIM启发性地于样本$x$邻域$l_{\infty }$内搜寻具有最大损失的样本$x^{\prime }$，这样的样本也被称为“最具对抗性”样本：当扰动强度被限定后，这样的样本有最强的攻击性，其最可能愚弄分类器。找到这样的对抗样本将有助于探测深度学习模型的缺陷。

2.7 Carlini & Wagner′s attack (C&W′s attack)

  C&W′s attack用于对抗在FGSM和L-BFGS上的防御策略，其目标是解决L-BFGS中定义的最小失真扰动。使用以下策略来近似公式2：
$$\min \Vert x-x^{\prime }{\Vert }_2^2+c\cdot f(x^{\prime },t),\text{s.t. }{x}^{\prime }\in [0,1{]}^m,\text{\hspace{1em}(7)}$$其中$f(x^{\prime },t)=({\max }_{i=t}Z(x^{\prime }{)}_i-Z(x^{\prime }{)}_t{)}^{+}$，$Z(\cdot )$用于获取softmax前的网络层输入。通过最小化$f(x^{\prime },t)$可以找到一个在类别$t$上得分远大于其他类的$x^{\prime }$。接下来运用线性搜索，将找到一个离$x$最近的$x^{\prime }$。
  函数$f(x,y)$可以看作是关于数据$(x,y)$的损失函数：可以惩罚一些标签$i$的得分$Z(x{)}_i>Z(x{)}_y$的情况。C&W’s attack与L-BFGS的唯一区别是前者使用$f(x,t)$来代替后者的交叉熵$\mathcal{L}(x,t)$。这样的好处在于，当分类器输出$C(x^{\prime })=t$时，损失$f(x^{\prime },t)=0$，算法将直接最小化$x^{\prime }$到$x$的距离。
  作者宣称他们的方法是最强的攻击策略之一，其击败了很多被反击手段。因此，该方法可以作为DNN安全检测的基准点，或者用于评估对抗样本的质量。

2.8 Ground truth attack

  攻击与防御针锋相对，为了打破这种僵局，Carlini等人试图找到一种最强攻击，其用于寻找理论上的最小失真对抗样本。该攻击方法基于一种用于验证神经网络特性的算法，其将模型参数$F$和数据$(x,y)$编码为类线性编程系统的主题，并通过检查样本$x$的邻域$B_{ϵ}(x)$是否存在一个能够误导分类器的样本$x^{\prime }$来处理该系统。通过缩小邻域直至不存在$x^{\prime }$，那么由于最后一次搜寻到的$x^{\prime }$与$x$之间具有最小不相似性，此时的$x^{\prime }$便被叫做基本事实对抗样本 (ground truth adversarial example)。
  Ground truth attack是首次严肃精确分类器健壮性的方法。然而，这种方法使用了可满足性模理论 (satisfiability modulo theories, SMT) 求解器 (一种检查一系列理论可满足性的复杂算法)，这将使其速度缓慢且无法扩展到大型网络。后续则有工作着手提升其效率效率。

2.9 其他$l_p$攻击

  2.1–2.8的攻击方式主要关注$l_2$或$l_{\infty }$约束下的扰动，这里则介绍一些其他的：
  1）One-pixel attack：与L-BFGS区别在于约束种使用$l_0$，好处是可以限制允许改变的像素的数量。该工作展示，在CIFAR10数据集上，仅需改变一个像素就可以令训练良好的CNN分类器预判一半以上的样本；
  2）Elastic-net attack (ENA)：与L-BFGS的区别在于同时使用$l_1$和$l_2$范数来约束。

2.10 全局攻击 (universal attack)

  2.1–2.9的方法仅对一个特定的样本$x$进行攻击。而该攻击旨在误导分类器在所有测试集上的结果，其试图找到满足以下条件的扰动$\delta$：
  1）$\Vert \delta {\Vert }_p\le ϵ$；
  2）${\mathbb{R}}_{x\sim D(x)}(C(x+\delta )\ne C(x))\le 1-\sigma$。
  在相应实验中，成功找到了一个扰动$\delta$，使得ResNet152网络在ILSVRC 2012数据集上的$85.4\%$的样本受到攻击。

2.11 空间转换攻击 (spatially transformed attack)

  传统的对抗性攻击算法直接修改图像中的像素，这将改变图像的颜色强度。空间转换攻击通过在图像上添加一些空间扰动来进行攻击，包括局部图像特征的平移扭曲、旋转，以及扭曲。这样的扰动足以逃避人工检测，亦能欺骗分类器，如图4。

2.12 无约束对抗样本

  2.1–11的工作均在图像上添加不引入注意的扰动，该工作则生成了一些无约束的对抗样本：这些样本无需看起来和受害图像类似，而是能够愚弄分类器且在观察者眼中合法的图像。
  为了攻击分类器$C$，增强类对抗生成网络 (AC-GAN) $\mathcal{G}$首先基于$c$类噪声向量$z^0$生成一个合法样本$x$。然后找到一个接近$z^0$的噪声向量$z$，其使得$\mathcal{G}(z)$可以误导$C$。由于$z$在潜在空间中与$z^0$相似，输出$\mathcal{G}(z)$依然具备标签$y$，从而达到攻击的目的。

3 物理世界攻击

  章节2中的所有攻击方法都以数字形式应用，其被攻击方将输入图像直接提供给机器学习模型。然而，在某些情况下并非总是如此，例如使用摄像头、麦克风或其他传感器接收信号作为输入的情况。这种情况下依然通过生成物理世界对抗对象来攻击这些系统吗？这样的攻击方式是存在的，例如将贴纸贴在道路标志上，这会严重威胁自动驾驶汽车的标志识别器。这类对抗性对象对深度学习模型的破坏性更大，因为它们可以直接挑战DNN的许多实际应用，例如人脸识别、自动驾驶等。

3.1 物理世界的对抗样本探索

  例如通过检查生成的对抗图像 (FGSM、BIM) 在自然变换 (如改变视点、光照等) 下是否“稳健”来探索制作物理对抗对象的可行性。在这里，“健壮”是指制作的图像在转换后仍然是对抗性的。为了应用这种转换，首先打印出精心制作的图像，并让测试对象使用手机为这些打印输出拍照。在这个过程中，拍摄角度或光照环境不受限制，因此获取的照片是从先前生成的对抗样本转换而来的样本。实验结果表明，在转换后，这些对抗样本中的很大一部分，尤其是FGSM生成的样本，仍然与分类器对抗。这些结果表明物理对抗对象的可能性可以在不同环境下欺骗传感器。

3.2 道路标志的Eykholt攻击

  图5中，通过在信号标志的适当位置粘贴胶带以愚弄信号识别器。作者的攻击手段包括：
  1）$基于l_1$范数的攻击用于粗略定位扰动区域，这些区域后面将粘贴胶带；
  2）在粗略定位区域，使用基于$l_2$范数的攻击生成胶带的颜色；
  3）指定区域粘贴指定颜色胶带。这样的攻击方式从不同角度不同距离混淆自动驾驶系统。

3.3 Athaly的3D对抗对象

  一个成功制作物理3D对抗对象的工作如图 6 所示。作者使用3D打印来制造对抗性乌龟。为了实现目标，他们实施了3D渲染技术。给定一个带纹理的3D对象，首先优化对象的纹理，使渲染图像从任何角度来看都是对抗性的。在这个过程中，还确保扰动在不同环境下保持对抗性：相机距离、光照条件、旋转，以及背景。在找到3D渲染的扰动后，他们打印3D对象的一个实例。

4 黑盒攻击

4.1 替换模型

  攻击者仅能通过输入样本$x$后获取的标签信息$y$来执行攻击。此外，攻击者可以有以下可用信息：
  1）分类数据的领域；
  2）分类器的框架，例如CNN还是RNN。
  该工作探索了对抗样本的可迁移性：一个样本$x^{\prime }$如果可以攻击分类器$F_1$，那么它同样可以攻击与$F_1$结构类似的分类器$F_2$。因此，作者训练了一个替换模型$F^{\prime }$以对受害模型$F$进行模拟，然后通过攻击$F^{\prime }$来生成对抗样本，其主要步骤如下：
  1）合成替换训练数据集：例如手写识别任务中，攻击者可以复刻测试样本或者其他手写数据；
  2）训练替换模型：将合成数据集$X$输入受害者模型以获取标签$Y$，随后基于$(X，Y)$训练DNN模型$F^{\prime }$。攻击者将基于自身知识，从训练模型中选择一个与受害者模型结构最相似的$F^{\prime }$；
  3）数据增强：迭代增强$(X,Y)$并重训练$F^{\prime }$。这个过程将提升复刻数据的多样性并提升 $F^{\prime }$的精度；
  4）攻击替换模型：利用已有方法如FGSM来攻击$F^{\prime }$，生成的对抗样本将用于戏耍$F$😏
  应该选择如何的攻击方法攻击$F^{\prime }$？一个成功的替换模型黑盒攻击应当具备可迁移性，因此我们选择具有高迁移性的攻击方法如FGSM、PGD，以及动量迭代攻击。

4.2 ZOO：基于零阶优化的黑盒攻击

  该方法假设可以从分类器获取预测置信度，这种情况下便无需建立替换数据集和替换模型。Chen等人通过调整$x$的像素来观测$F(x)$的置信度变化，以获取$x$相关的梯度信息。如公式8所示，通过引入足够小的扰动$h$，我们能够通过输出信息来推着梯度信息：
$$\frac{\partial F(x)}{\partial x_i}\approx \frac{F(x+h{e}_i)-F(x-h{e}_i)}{2h}.\text{\hspace{1em}(8)}$$  ZOO相较于替换模型更成功的地方在于可以利用更多的预测信息。

4.3 高效查询黑盒攻击

  4.1-2中的方式需要多次查询模型的输出信息，这在某些应用中是禁止的。因此在有限次数内提高黑盒攻击对抗样本的生成效率是有必要的。例如引入自然进化策略来高效获取梯度信息，其基于$x$的查询结果进行采样，然后评估$F$的梯度在$x$上的期望。此外，他们利用遗传算法来为对抗样本搜寻受害图像的邻域。

5 灰盒攻击

  灰盒攻击的策略，例如，首先针对感兴趣模型训练一个GAN，然后直接基于对抗生成网络生成对抗样本。该作者认为基于GAN的攻击方式能够加速对抗样本的生成，且能获取更多自然且不易察觉的图像。随后这种策略也被用于人脸识别系统的入侵上。

6 中毒攻击

  已有的讨论均是在分类器训练后进行，中毒攻击则在训练前生成对抗样本：生成一些对抗样本嵌入到训练集中，从而降低分类模型的总体精度或者影响特定类别的样本。通常，该设置下的攻击者拥有后续用于训练中毒数据的模型结构。中毒攻击通常用于图神经网络，这些因为它需要特定的图知识。

6.1 Biggio在SVM上的中毒攻击

  找到这样的一个样本$x_c$，其混入训练数据后，将导致习得的SVM模型$F_{x_c}$在验证集上有很大的损失。这样的攻击方法对SVM是奏效的，然而对于深度学习，找到这样的一个样本是困难的。

6.2 Koh的模型解释

  Koh和Liang引入一种神经网络的解释方法：如果训练样本改变，模型的预测结果会有如何的变化？当只修改一个训练样本时，他们的模型可以明确量化最终损失的变化，而无需重新训练模型。 通过找到对模型预测有很大影响的训练样本，这项工作可以自然地用于中毒攻击。

6.3 毒青蛙 (poison frogs)

  毒青蛙在训练集中混入一张带有真实标签的对抗图像，从而到达错误的预测测试集的目的。给定一个标签为$y_t$的目标测试样本$x_t$，攻击者首先使用标签为$y_b$的基准样本$x_b$，并通过以下优化找到$x^{\prime }$：
$$x^{\prime }=\underset{x}{\mathrm{argmin}}\Vert Z(x)-Z(x_t){\Vert }_2^2+\beta \Vert x-x_b{\Vert }_2^2\text{\hspace{1em}(9)}$$  由于$x^{\prime }$与$x_b$最近，基于训练集 X t r a i n + { x } ′ X_{train}+\{x\}' Xtrain​+{x}′训练的模型将会把$x^{\prime }$预测为$y_b$。使用新模型去预测$x_t$，优化目标将会强制拉近$x_t$与$x^{\prime }$的预测得分，即将$x_t$预测为$y_b$。

参考文献

【1】Adversarial Attacks and Defenses in Images, Graphs and Text: A Review

摘要

最近的研究发现，图神经网络（GNN）容易受到对抗攻击。通过对原始图做修改，可以使得GNN最后得到错误的预测结果。GNN的这种脆弱性使得很多对于安全性要求很高的应用场景都开始产生担忧，很多人也开始在这个方面做研究。所以很有必要对已有的图对抗攻击做一个overview，并且采取一定的对抗手段。在本文中，作者对已有的攻击和防御做了分类，并且总结了相关的state-of-art方法。

Introduction

图在很多的领域都有应用，比如社会科学（社交网络），自然科学（物理系统和蛋白质网络）和知识图谱。随着图神经网络的兴起，需要对于相关的下游任务做研究，这些下游任务包括节点分类，图分类，链路预测和推荐。GNN是将深度学习应用于图领域，来学习图表示。GNN的魅力在于它可以同时学习图结构和结点特征，而不是单单的学习结点的表示。具体来说，GNN是使用了一种消息传递方案，那就是每一层的结点都会聚合该结点周围邻居的信息。GNN通过使用多层，可以使得信息在整个的图结构上进行传播，并且可以将结点嵌入表达成低维表示。结点的表示之后可以被输入到任何的预测层从而使得整个模型是一个end-to-end形式的。由于GNN具有极强的学习能力，所以它在数据挖掘，自然语言处理，计算机视觉，健康防护以及生物学上都有应用。
跟传统的DNN类似的是，GNN也可以很好的学习图的表示。传统的DNN就很容易受到对抗攻击。换句话说，对抗攻击可以在训练或者是测试阶段加入微小的扰动，然后DNN模型就会发生预测的失误。很明显的是，GNN也有这种脆弱性。而这种脆弱性会给一些金融系统或者是风险管理系统 带来很大的挑战。例如，在一个信用评估系统中，一些欺诈用户可以通过建立自己跟一些信用高的用户之间的联系从而躲避一些欺诈检测。垃圾广告者也可以通过创建一些假（fake）的关注者从而使得假新闻可以更好的在网络中被传播。因此，现在迫切需要来研究图对抗攻击和防御。

定义

node-level的分类：图神经网络中的节点分类是，基于已有的带标签的训练集（例如$V_L$）来学习一个图模型，再使用这个模型对测试集进行分类。训练的目标函数可以就是一个交叉熵损失函数。
很少有人讨论基于图分类的对抗攻击，这是因为，本来大家就更加关注于节点分类，而且图分类攻击存在很多挑战，一个是图结构是很抽象的，而且图中的结点之间并不独立，而且对于图的扰动很难判断这个扰动是可见还是不可见。

白盒攻击

（1）有目标攻击

FGA方法就是直接从GCN中提取链路梯度信息，然后贪婪的选择有最大梯度的结点对，再对图进行修改。基于Q-Attack的遗传算法就是直接攻击社区检测算法。基于梯度信息的IGA方法是直接利用图编码器中的梯度信息来攻击链路预测的结果。基于GNN的推荐系统也容易受到对抗攻击。之前的对于图像的对抗攻击是直接计算模型的梯度来找到对抗样本，但是因为图数据的抽象属性，直接计算模型的梯度是会出错的。所以就有人提出来，通过使用整合梯度来更好的找到对抗边和特征扰动。在攻击阶段，攻击者会迭代的寻找最有效的边和特征来造成最强的攻击效果。在图中，有一部分结点叫做“bad actor”结点，会对GNN模型带来很大的威胁。比如，在维基百科中，有一部分假文章和真实的文章之间的连接很少，只要可以修改这部分假文章的连接就可以使得系统对真实的文章产生错误预测结果。

（2）无目标攻击

目前，在无目标的白盒攻击领域还没有太多的研究，topology attack（拓扑攻击）就是其中的一个代表。它会构造一个二元的对称扰动矩阵S，其中每个位置的元素可以是0也可以是1。如果是1的话就表示要对i，j这条边做翻转（有边则去边，无边则加边），如果是0就不需要做修改。在整个过程中，它使用了PGD算法来寻找最优的S。所以这个过程就可以转变成一个min-max的问题，内部就对攻击损失函数做最大化，外部就通过PGD做最大化。

灰盒攻击

（1）有目标攻击

早期的有目标灰盒攻击工作包括图聚类。通过对DNS系统加入噪声来降低模型的表现。后来就有人提出了Nettack攻击方法。这个方法是直接最大化一个损失函数。
直接就最大化目标节点v分类成为i标签的概率，并且一直重复这个优化过程，直到扰动达到了最大扰动限制。并且作者也发现，这种图攻击是可以从一个模型迁移到另一个模型的。（感觉黑盒攻击会比较注重迁移性） 作者也做了对比实验，发现直接修改目标节点比修改目标节点周围的结点要有效很多。
但是Nettack方法不能对大规模的图进行攻击，因为它的时间复杂性比较高。之后提出了Fasttack攻击方法可以对较大规模的图进行攻击。直接就是对所有的扰动进行排序，最终选择可以造成最大影响的扰动。之后提出的AFGSM方法有更低的时间成本，可以往图中线性的添加对抗结点。
有一部分人在研究对于图的后门攻击。在实施后门攻击的时候，攻击者会在训练样本中注入trigger从而实现对这部分样本的误分类，并且使得测试样本也能被误分类。

（2）无目标攻击

Metattack是一种无目标的投毒攻击，它是使用meta-gradient元梯度。它是直接将图结构矩阵视作是一个超参数，直接就对图结构进行求导。之后就提出了一种NIPA方法，直接往图中注入假的结点。

黑盒攻击

（1）有目标攻击

RL-S2V是第一个使用强化学习来做黑盒攻击的。对于node-level的攻击而言，定义了状态state，行为action，奖励reward等。这篇工作不是攻击node-level的分类，而是直接攻击节点嵌入模型。通过直接最大化无监督的DeepWalk损失函数值。并且作者也指出，这种产生扰动的方法可以迁移到其他GCN以及标签传播模型。

（2）无目标攻击

只限制修改的边的数目并不能保证加的扰动是足够不可见的，所以ReWatt方法提出来了，是为了让扰动更加的不可见，实施的是无目标的graph-level的攻击。这种方法是直接对图上的边进行重新规划而不是直接删边或者减边，从而使得扰动更加的不可见。比如本来有三个结点v1，v2和v3，可以把v1和v2之间的连边去掉，把v1和v3之间加上连边。这样的话，图上的结点数目没有被修改，边的数目也没有被修改。
为了使得图对抗攻击可以更加的现实，之后有工作是基于一个前提，那就是攻击者只能修改一个很小的结点集合。而基于这个前提，就是先选择一个有限的集合，然后再对结点特征和边进行修改。

思考

（1）攻击的时间复杂度不能太高，因为要应用于大规模的图就不能使用太复杂的方法。（攻击复杂度可以考虑）
（2）黑盒攻击要注重迁移性，一个图模型上训练得到的对抗样本可以迁移到其他图模型上。但是目前很少有研究去讨论图对抗样本的迁移性，也就是在一个图模型上产生的对抗样本怎么迁移到另一个图模型上。（迁移性可以考虑）
（3）添加的扰动不能太大，必须要在一定的范围内。但是对于一个图，很难有一个标准来评判它添加的扰动是否是微小的。
（4）要能实现物理攻击，也就是可以在实际中实施这个攻击，而不只是理论上的。
（5）现在已有的研究只考虑到了结点的特征属性，但是没有人研究边的特征属性。