精华内容
下载资源
问答
  • 生成对抗网络的基本思想: 生成对抗网络中有两个模型Generator和Discriminator,生成模型可以比作counterfeiters,判别模型可以比做是police,生成模型通过自身的优化产生越来越像真钞的假币 ,而判别模型也通过对...

    生成对抗网络的基本思想:

    生成对抗网络中有两个模型Generator和Discriminator,生成模型可以比作counterfeiters,判别模型可以比做是police,生成模型通过自身的优化产生越来越像真钞的假币

    ,而判别模型也通过对自身不断的优化提高自己判别假币的能力,两者相互对抗,直到仿品不能从真品中分辨出来。

    生成模型:

    比如一个图片的生成输入是高维的vector,输出为图片

    判别模型:输入为一张图片,输出一个标量值,判别器会给来自training 数据集的image高分,而对来自generator的image一个低分值

    上图是生成对抗网络中给的图解释如下:

    蓝色是D

    黑色圆点是Pdata分布

    绿色实线是Pg

    图a中D给来自Pdata中的数据给高分,来自G的数据低分

    图b中在训练过程中迭代。

    图c中,G根据判别器给的分不断调整G使得Pg接近Pdata

    图d当当两者分布一致时,判别器没有坏掉,不起判别作用

    生成对抗网络的基本原理:

    假如x是一张图片,在这张图片内部有很多种分布,但是在上面的图片中蓝色的区域有很高的概率表示一张图片,蓝色以外的部分的分布产生的图片往往是模糊的(很低的概率),所以我们就试图找到蓝色区域的分布Pdata(x)

    但是想要找到这样的分布十分的困难,只能从Pdata中采样,然后用最大似然法不断的逼近原始分布。(生成对抗网络从一个先验的分布中采样)

    最大似然等价于最小化KL divergence衡量两个分布之间的的差异,越小说明两个分布之间的差异越小

     

     

    所以求最大似然的过程就变成求两个分布之间的divergence的问题,但是目前Pdata和Pg我们都不知道,因为Pdata可以从training数据中采样从而得到分布,但是Pg是不能从任何分布中得到的,所以我们不能事先给定一个固定的分布因为:

    假设我们的Pg只是一个高斯分布,那么其有很多的限制,我们希望Pg是一个一般化的分布,可以不是高斯,也可以是比高斯分布更复杂的分布,但是如果他比高斯更复杂,我们将不能计算他的最大似然?

    那么我们如何定义一个一般化的Pg?

    如果把generator定义成一个network则可以产生任何形式的分布:因为network内部有很多hidden layer,所以他可以产生任何的一些复杂的分布,我们就可以根据网络产生的分布和原始training数据的分布作比较。

     

    那么问题变成:怎样计算Pg和Pdata两者的Divergence?

    生成对抗网络通过Discriminator计算两者之间的divergence(为什么Disriminator可以用来用来计算两者间的divergence呢?)

    虽然我们事先都不知道Pg和Pdata的分布,但是我们可以采样:

    判别模型对于来自database的数据给高分,来自生成模型的数据给低分

     

     

    根据训练的目标函数:训练Disrimimator的过程为:将从Pdata的数据x通过D,并给其高分,将从Pg中抽取的数据x通过D并给其低分,以使得目标函数最大,Discrimimator实际上是一个二分类的分类器。

    那么为什么这样的Discriminator可以表示两个分布之间的Divergence呢?

    proof如下:

    如下图当两个分布很接近的时候,其divergence很小,而这样的两个分布中通过Discriminator的时候也很难得到小的目标函数值,如果两个分布之前相差跟大,divergence很大,Discriminator的目标函数的值也很大

    所以我们优化的D的目标函数的时候,其实就是找到使得两个分布的divergence最大的D

    找G的过程就是找使得两个分布的divergence最小的那个那个G

    所以生成对抗网络是一个极小化极大值的游戏

     

    上面讨论了通过计算Discriminator的目标函数可以得到两个分布之间的divergence,那么如何计算这个目标函数

    上图中,通过假设D(x)是任意的函数,那么input一个x,他可以输出任意的值,所以对于

    中括号的式子带不同的x再求和

    把某个x拿出来,然后找一个D,保证式子

    的值越大越好,所有不同的x分开算

     

    那么现在的问题变成怎样找到这样的D(x)?

    方法是把D(x)当做自变量,然后对其求梯度,在梯度等于0的时候找到最大的D*

    为什么又进一步说求目标函数的过程是求JS divergence?proof:

     

     

    以上证明Discrimimator实际上是求两个分布之间的divergence(JS divergence)所以在找最佳Generator的时候:

     

    等于:

    上图三条曲线的解释为:对于固定的G找到最大的V,然后对于所有的G找到使得max V最小的那个,图片中符合条件的是G3

     

    2014年生成对抗网络文章中算法的介绍:

    算法的初始化:对生成器和判别器分别给初值

     

    首先固定G对L(G)求参数:(为什么带有max的函数可以求梯度呢?)

    为什么可以对含有max的函数求梯度是可行的?

    L(G)是一个函数的集合,对其求梯度是可能的,proof如下:对每个函数,f在这一区间是做大的,则对其求梯度

     

    首先固定G然后,找到迭代找到最适合的D*,(寻找D*的过程是类似于二分类中找到最优的判别器)然后在更新G的时候用D*去当裁判

    按照上图中给定的算法步骤,能确定每次都减少Decrease JS divergence呢,实际上,不一定每次都是减少了这个值,proof如下:

    图中G2的divergence并不比G0中的小,原因在于G1并不是G2,我们在每次迭代中都改变了G,所以在实际的操作中我们是假设G是非常像的

    并且不能频繁更新G

     

    完整算法:

    总结:

    根据上述描述:

    0.对于Pdata和Pg我们事先并不知道他的分布,但是我们可以通过采样获得分布

    1.生成对抗模型包含两个网络,Generator和Disriminator,而且两个都为neural nework

    2.Generator负责生成分布,使得分布不断接近training数据的分布

    3.Disriminator负责判别数据是来自training数据还是来自generator,并给来自training的数据高分,来自generator的数据低分

    4.D的目标实际上是最大化两个分布的JS divergence

    5.算法在训过程中是先固定G然后找到最优的D,然后用这个最优的D去判别G得到新的G(D在训练过程中迭代k次,然而G不能频繁更新)

    以上图片来自2014年的文章 https://arxiv.org/abs/1406.2661

    以及李宏毅老师的课件: http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

     

    展开全文
  • 使用tensorflow框架写的生成对抗网络用于图像降噪,降噪效果在测试集上表现非常好,可以参看https://blog.csdn.net/xiaoxifei/article/details/82498705 记载的效果
  • 为了得到更精确的检索效果, 提出一种新的检索方法, 即采用卷积神经网络提取图像特征, 利用哈希算法与输入二进制噪声变量的生成对抗网络共同学习图像的二进制哈希码, 利用汉明距离对图像进行相似性比较, 最后完成对...
  • 采用生成对抗网络(GAN)实现图像去模糊,用于图像的清晰化处理
  • 针对这一难题,本文提出了一种基于生成对抗网络的数据增强方法,并将其应用于解决由于数据匮乏,神经网络难以训练的问题.实验结果表明,合成的数据和真实的数据相比既具有语义上的相似性,同时又能呈现出文本上的...
  • 针对人脸识别中遮挡区域降低检测准确度的问题,提出一种基于生成对抗网络的遮挡人脸修复方法。该方法以生成对抗网络作为基本架构,结合Wasserstein距离和添加梯度惩罚损失函数来训练网络模型,以全局上下文损失和...
  • 生成对抗网络 - GANs 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频。我们手机里的照片处理软件中就会使用到它。 本文将详细介绍生成对抗网络 - GANs 的设计初衷、基本原理、10种典型...

    本文首发自 easyAI - 人工智能知识库
    原文地址:《一文看懂生成对抗网络 - GANs?(基本原理+10种典型算法+13种应用)

    一文看懂生成对抗网络GANs

    生成对抗网络 - GANs 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频。我们手机里的照片处理软件中就会使用到它。

    本文将详细介绍生成对抗网络 - GANs 的设计初衷、基本原理、10种典型算法和13种实际应用。

    GANs的设计初衷

    一句话来概括 GANs 的设计动机就是——自动化。

    人工提取特征——自动提取特征

    我们在《一文看懂深度学习(概念+优缺点+典型算法)》中讲过,深度学习最特别最厉害的地方就是能够自己学习特征提取。

    传统机器学习和深度学习的核心区别

    机器的超强算力可以解决很多人工无法解决的问题。自动化后,学习能力更强,适应性也更强。

    人工判断生成结果的好坏——自动判断和优化

    我们在《监督学习》中讲过,训练集需要大量的人工标注数据,这个过程是成本很高且效率很低的。而人工判断生成结果的好坏也是如此,有成本高和效率低的问题。

    而 GANs 能自动完成这个过程,且不断的优化,这是一种效率非常高,且成本很低的方式。GANs是如何实现自动化的呢?下面我们讲解一下他的原理。

    生成对抗网络 GANs 的基本原理

    大白话版本

    知乎上有一个很不错的解释,大家应该都能理解:

    假设一个城市治安混乱,很快,这个城市里就会出现无数的小偷。在这些小偷中,有的可能是盗窃高手,有的可能毫无技术可言。假如这个城市开始整饬其治安,突然开展一场打击犯罪的「运动」,警察们开始恢复城市中的巡逻,很快,一批「学艺不精」的小偷就被捉住了。之所以捉住的是那些没有技术含量的小偷,是因为警察们的技术也不行了,在捉住一批低端小偷后,城市的治安水平变得怎样倒还不好说,但很明显,城市里小偷们的平均水平已经大大提高了。

    警察严打导致小偷水平提升

    警察们开始继续训练自己的破案技术,开始抓住那些越来越狡猾的小偷。随着这些职业惯犯们的落网,警察们也练就了特别的本事,他们能很快能从一群人中发现可疑人员,于是上前盘查,并最终逮捕嫌犯;小偷们的日子也不好过了,因为警察们的水平大大提高,如果还想以前那样表现得鬼鬼祟祟,那么很快就会被警察捉住。

    经常提升技能,更多小偷被抓

    为了避免被捕,小偷们努力表现得不那么「可疑」,而魔高一尺、道高一丈,警察也在不断提高自己的水平,争取将小偷和无辜的普通群众区分开。随着警察和小偷之间的这种「交流」与「切磋」,小偷们都变得非常谨慎,他们有着极高的偷窃技巧,表现得跟普通群众一模一样,而警察们都练就了「火眼金睛」,一旦发现可疑人员,就能马上发现并及时控制——最终,我们同时得到了最强的小偷和最强的警察。

    同时得到了最强的小偷和最强的警察

    非大白话版本

    生成对抗网络(GANs)由2个重要的部分构成:

    1. 生成器(Generator):通过机器生成数据(大部分情况下是图像),目的是“骗过”判别器
    2. 判别器(Discriminator):判断这张图像是真实的还是机器生成的,目的是找出生成器做的“假数据”

    生成对抗网络GANs由生成器和判别器构成

    下面详细介绍一下过程:

    第一阶段:固定「判别器D」,训练「生成器G」

    我们使用一个还 OK 判别器,让一个「生成器G」不断生成“假数据”,然后给这个「判别器D」去判断。

    一开始,「生成器G」还很弱,所以很容易被揪出来。

    但是随着不断的训练,「生成器G」技能不断提升,最终骗过了「判别器D」。

    到了这个时候,「判别器D」基本属于瞎猜的状态,判断是否为假数据的概率为50%。

    固定判别器,训练生成器

    第二阶段:固定「生成器G」,训练「判别器D」

    当通过了第一阶段,继续训练「生成器G」就没有意义了。这个时候我们固定「生成器G」,然后开始训练「判别器D」。

    「判别器D」通过不断训练,提高了自己的鉴别能力,最终他可以准确的判断出所有的假图片。

    到了这个时候,「生成器G」已经无法骗过「判别器D」。

    固定生成器,训练判别器

    循环阶段一和阶段二

    通过不断的循环,「生成器G」和「判别器D」的能力都越来越强。

    最终我们得到了一个效果非常好的「生成器G」,我们就可以用它来生成我们想要的图片了。

    下面的实际应用部分会展示很多“惊艳”的案例。

    循环训练,2遍越来越强

    如果对 GANs 的详细技术原理感兴趣,可以看看下面2篇文章:

    生成性对抗网络(GAN)初学者指南 – 附代码

    长文解释生成对抗网络GAN的详细原理(20分钟阅读)

    GANs的优缺点

    3个优势

    1. 能更好建模数据分布(图像更锐利、清晰)
    2. 理论上,GANs 能训练任何一种生成器网络。其他的框架需要生成器网络有一些特定的函数形式,比如输出层是高斯的。
    3. 无需利用马尔科夫链反复采样,无需在学习过程中进行推断,没有复杂的变分下界,避开近似计算棘手的概率的难题。

    2个缺陷

    1. 难训练,不稳定。生成器和判别器之间需要很好的同步,但是在实际训练中很容易D收敛,G发散。D/G 的训练需要精心的设计。
    2. 模式缺失(Mode Collapse)问题。GANs的学习过程可能出现模式缺失,生成器开始退化,总是生成同样的样本点,无法继续学习。

    扩展阅读:《为什么训练生成对抗网络如此困难?》阅读这篇文章对数学要求很高

    10大典型的GANs算法

    GANs 算法有数百种之多,大家对于 GANs 的研究呈指数级的上涨,目前每个月都有数百篇论坛是关于对抗网络的。

    下图是每个月关于 GANs 的论文发表数量:

    关于GANs的论文呈指数级增长

    如果你对 GANs 算法感兴趣,可以在 「GANs动物园」里查看几乎所有的算法。我们为大家从众多算法中挑选了10个比较有代表性的算法,技术人员可以看看他的论文和代码。

    算法论文代码
    GAN论文地址代码地址
    DCGAN论文地址代码地址
    CGAN论文地址代码地址
    CycleGAN论文地址代码地址
    CoGAN论文地址代码地址
    ProGAN论文地址代码地址
    WGAN论文地址代码地址
    SAGAN论文地址代码地址
    BigGAN论文地址代码地址

    上面内容整理自《Generative Adversarial Networks - The Story So Far》原文中对算法有一些粗略的说明,感兴趣的可以看看。

    GANs 的13种实际应用

    GANs 看上去不如「语音识别」「文本挖掘」那么直观。不过他的应用已经进入到我们的生活中了。下面给大家列举一些 GANs 的实际应用。

    生成图像数据集

    人工智能的训练是需要大量的数据集的,如果全部靠人工收集和标注,成本是很高的。GANs 可以自动的生成一些数据集,提供低成本的训练数据。

    GANs生成人脸的矢量算法案例

    生成人脸照片

    生成人脸照片是大家很熟悉的应用,但是生成出来的照片用来做什么是需要思考的问题。因为这种人脸照片还处于法律的边缘。

    2014年至2017年GANs能力进展的实例

    生成照片、漫画人物

    GANs 不但能生成人脸,还能生成其他类型的照片,甚至是漫画人物。

    GANs生成的照片

    GANs生成的漫画人物

    图像到图像的转换

    简单说就是把一种形式的图像转换成另外一种形式的图像,就好像加滤镜一样神奇。例如:

    • 把草稿转换成照片
    • 把卫星照片转换为Google地图的图片
    • 把照片转换成油画
    • 把白天转换成黑夜

    用pix2pix从草图到彩色照片的示例

    GANs应用-照片到油画、马到斑马、冬天到夏天、照片到google地图

    文字到图像的转换

    在2016年标题为“ StackGAN:使用 StackGAN 的文本到逼真照片的图像合成 ”的论文中,演示了使用 GAN,特别是他们的 StackGAN,从鸟类和花卉等简单对象的文本描述中生成逼真的照片。

    从StackGAN获取鸟类的文本描述和GAN生成照片的示例

    语意 - 图像 - 照片 的转换

    在2017年标题为“ 高分辨率图像合成和带条件GAN的语义操纵 ”的论文中,演示了在语义图像或草图作为输入的情况下使用条件GAN生成逼真图像。

    语义图像和GAN生成的城市景观照片的示例

    自动生成模特

    在2017年标题为“ 姿势引导人形象生成 ”的论文中,可以自动生成人体模特,并且使用新的姿势。

    GAN生成了新的模特姿势

    照片到Emojis

    GANs 可以通过人脸照片自动生成对应的表情(Emojis)。

    名人照片和GAN生成的表情符号示例

    照片编辑

    使用GANs可以生成特定的照片,例如更换头发颜色、更改面部表情、甚至是改变性别。

    使用IcGAN编辑照片的效果

    预测不同年龄的长相

    给一张人脸照片, GANs 就可以帮你预测不同年龄阶段你会长成什么样。

    用具有不同表观年龄的GAN生成的面部照片的示例

    提高照片分辨率,让照片更清晰

    给GANs 一张照片,他就能生成一张分辨率更高的照片,使得这个照片更加清晰。

    GANs在原始照片的基础上增加分辨率,使照片更清晰

    照片修复

    假如照片中有一个区域出现了问题(例如被涂上颜色或者被抹去),GANs可以修复这个区域,还原成原始的状态。

    遮住照片中间的一部分,GANs可以很好的修复

    自动生成3D模型

    给出多个不同角度的2D图像,就可以生成一个3D模型。

    从2D图像到3D椅子模型的建立过程

    展开全文
  • Goodfellow等人,介绍了生成对抗网络(GAN)以模拟数据分布。由于与两个基本属性相关的原因,GAN可以合成真实图像。 GAN是一种无监督的训练方法,可以通过类似于人类学习图像特征的方式获取信息。 通过发现潜在的...

    Goodfellow等人,介绍了生成对抗网络(GAN)以模拟数据分布。由于与两个基本属性相关的原因,GAN可以合成真实图像。

    GAN是一种无监督的训练方法,可以通过类似于人类学习图像特征的方式获取信息。

    通过发现潜在的高维数据分布,GAN在特征提取方面具有良好的性能。

    本文回顾了医学图像处理应用中提出的基于GAN的结构,包括去噪,重建,分割,检测,分类和图像合成。论文的分布如图1所示。

    本文最后汇总了63篇论文,涵盖了各种GAN。在第3节中,介绍了GAN的体系结构及其医学图像应用的子类。第4节描述了医学图像处理应用中GAN的不同贡献(去噪,重建,分割,检测,分类和合成)。第5节介绍了使用GAN进行医学图像处理的研究方法,挑战和未来。方向。

    监督深度学习是目前许多计算机视觉和医学图像分析任务中最先进的技术。但是,它的主要限制因素是它依赖于大量带注释的训练数据。这在医学领域尤其重要,因为医学图像的获取和标记需要专家,导致严重缺乏标签训练数据。

    机器学习的另一个问题是对于一般任务(例如超分辨率,分割或图像到图像转换),必须手动设计相似性度量。传统的相似之处包括像素级损失,例如L1和L2距离,这两者都模糊了结果并且缺乏上下文整合。GAN的对抗性训练通过学习丰富的相似度来区分真假数据,从而消除了对显式像素级目标函数建模的需要。该特征最近已被用于改进医学图像分割,图像增强(例如去噪),以及使用基于GAN的图像到图像转换技术来解决医学图像域移位的问题。

    域转移现象实际上是另一个主要问题,目前限制了深度学习模型的泛化能力。假设训练数据和推理数据来自相同的分布,因此训练的模型也应该在看不见的数据上正常工作。这种假设通常不正确,并限制了模型的应用。性别。领域适应是指使模型对这种领域转变具有鲁棒性,而对抗训练具有巨大的潜力。

    GAN框架由生成器(G),鉴别器(D)和实际数据X的训练数据集组成.G生成器是多层网络参数θG,其被设计用于找到映射x = G(z,θG)。通过映射生成G,并生成G. 另一方面,鉴别器D(x;θD)旨在将伪样本与真实数据区分开。

    GAN的主要优点是通过关注数据的潜在概率密度来找到模型的数据分布。尽管GAN具有相对于CNN的固有优势,但仍存在一些挑战:

    模式崩溃:当G崩溃时,将所有不同的输入映射到相同的数据;

    不稳定:使相同的输入产生不同的输出。这些现象的主要原因与优化过程中梯度的消失有关。

    虽然批量标准化是解决GAN不稳定性的一种方法,但是不足以实现GAN性能的最佳稳定性。因此,已经引入了许多GAN子类来解决这些缺陷。部分框架如下所示:

    在医学图像处理中的应用

    1,去噪

    由于过量辐射对健康有害,减少辐射剂量已被用作有效的解决方案。然而,剂量减少会增加医学图像的噪声水平,这可能导致一些信息的丢失。当前基于CNN的去噪方法的主要问题是在优化中使用均方误差,导致预测图像模糊,这不能提供常规剂量图像的纹理质量。GAN可以通过检测噪声图像和去噪图像之间的映射来消除该问题并生成图像。

    表1总结了主要的基于GAN的去噪方法。通过控制损失函数以考虑更多纹理特征,实现了良好的医学图像降噪性能。然而,找到快速,准确和稳定的架构是未来工作的开放方向。

    2,重建

    重建丢失的图像数据在诊断过程中可能是有效的。由于GAN在数据合成中的良好性能,它具有相当大的潜力。在一些医学图像中,例如磁共振成像(MRI),需要更长的采集时间,并且患者的无意识(即,由于呼吸)和自主(即由于不舒适的条件)运动是非常常见的。这些移动导致图像中的一些关键信息丢失。基于GAN的方法试图找到不完整(零填充)和完全采样的MR图像之间的映射。

    表2和表3总结了一些GAN的特性和性能。在医学图像的重建中,GAN似乎提供了良好的性能,为损失功能添加了一些操作,突出了纹理细节和特殊功能。

    3. 分割

    医学图像处理中的物体和器官的标记在异常检测和形状识别中起重要作用。此外,分段被定义为许多其他任务的预处理步骤,例如检测和分类。因此,自动分割已经引起了许多研究者的关注。近几十年来,自动分割是医学图像处理中应用深度学习中最常见的主题。

    通常,基于CNN的分割方法使用像素丢失来学习像素之间的局部和全局关系。因此,需要统计建模方法,如条件随机场或统计形状模型来纠正其结果。尽管已经提出基于补片的CNN方法来解决该问题,但是这些方法需要在准确度和补丁大小之间进行权衡。已经提出了基于加权交叉熵损失的基于U-Net的架构,但是这些方法面临权重优化问题。因此除了减肥之外,还需要一般的损失来解决这个问题。GAN在医学图像中被分割,主要在脑,胸,眼,腹部,显微图像,心脏运动和脊柱中。表5至10总结了基于GAN的分割方法。从已知的DNN架构来看,U-Net和ResNet是最常用的网络,因为它们提供通用识别功能,并且可以用作基于GAN的分段模型中的生成器。

    大脑

    胸部

    胸部X射线图像分割的主要障碍是图像质量差,局部伪影和心肺重叠。戴等人。提出了一种基于GAN的解决方案(SCAN),可以增强分割的整体一致性,并提取心脏和左/右肺的轮廓。这项工作的主要贡献是使用完全连接的网络,其中VGG下采样路径的特征映射较少。

    眼睛

    在视网膜血管分割中,许多基于CNN的方法比人类专家表现得更好。Son等人。用GAN取代CNN,遵循发电机的U-Net架构。两个数据集的实验结果表明,传统鉴别器可以实现最佳性能,甚至优于人类专家的注释。

    拉希里等人。提出了一种基于DC-GAN的分割方法,该方法将RoI补丁与背景分开。类似的CNN需要大量的训练数据才能很好地执行,并且所提出的结构使用九分之一的训练数据实现了类似的性能。

    Shankaranarayana等。建议使用cGAN网络分割二维彩色眼底图像。发电机是防损和L1损耗的网络。

    腹部

    腹部MRI图像中脾脏的大小和形状的差异导致CNN深度分割方法的错误标记。GAN模型可以解决这个问题。

    显微图像

    脊柱

    4.测试

    在医学诊断中,许多疾病标志物被称为异常。然而,从图像计算检测异常需要大量的监督训练数据。即使有如此大量的数据,也无法保证学习网络能够检测到无形的情况。

    与之前的应用相比,GAN在异常检测中提供的论文具有更多的结构复杂性,因为它们受益于GAN的不同方面。事实上,鉴别者的作用在实践中更为突出。此外,提取的地图定义了识别健康和异常图像的潜在方面,以便以更感性的方式使用。

    5.分类

    由于在心脏超声(US)成像期间发生心脏和呼吸运动,所得到的图像可能显示不完整的信息,例如心脏的基部和顶端切片,这是识别左心室(LV)解剖结构的关键特征。因此,需要自动化系统来完成缺失部分或丢弃具有不完整信息的图像,这可能误导分类过程。

    张等人。提出了一种半耦合GAN(SCGAN)来对有用的心脏图像进行分类,其中缺少基础切片,如下图所示。结果表明,与CNN方法相比,该方法具有更高的精度和更低的计算成本。此外,SCGAN还提高了对抗训练的稳健性。

    6.合成

    最初,GAN被提议作为完全无监督的生成框架,其目标是在训练数据分布之后将随机噪声映射到真实图像。使用条件GAN,它成功地转变为监督生成框架。本文将原始GAN框架称为无条件或无监督GAN,而不是条件GAN。重要的是要强调区分这些不同的概念并相应地对文献进行分类是很重要的。

    这两个框架的属性用于合成某些类型的医学图像,这些图像来自个体噪声或来自先前的知识(参见条件图像合成),例如元数据或甚至用于映射的图像数据。从一种形式到另一种形式的图像。

    讨论

    1. GAN在医学领域的优势

    基于GAN的深度生成模型可生成逼真的图像,而Gan在医学图像的两个独特挑战中具有独特的优势:

    • 标签的稀缺性:通常,标签过于昂贵且难以在医学图像中获得。基于监督学习的深度神经网络对于这些问题具有挑战性。通过综合和转换的多项研究证明,GAN可以利用这两个即将到来的框架。
    • 不成对数据:找到正确的数据(按像素或按地区)非常具有挑战性。GAN框架非常强大,例如循环GAN从未配对的训练图像中学习独特的模式并产生逼真的输出。

    2,缺点

    本文确定了当前形式的GAN中可能阻碍其在医学界发展的三个主要缺点:

    • 合成数据的可信度:基本网络 - 发生器和鉴别器仍然是深度神经网络,其机制尚未得到很好的研究。在医学图像中,强度通常与某些含义相关联,例如,可以基于CT数据的HU粗略地对组织类型进行分类。这种关联和映射目前在GAN重建中缺乏,这是一个足以让临床医生不信任GAN合成图像的缺点。
    • 不稳定的培训:许多文件表明GAN培训的价值不稳定。这可能导致模式cllaspe等情况。现有技术的工作集中在解决实际图像的GAN训练中的这些数值不稳定性问题。然而,在医学成像中,图像图案本身并不清楚,并且不清楚如何识别这样的问题。
    • 评估指标:评估重建结果的最佳方法仍不清楚。在医学成像中,研究人员主要依靠传统指标(如PSNR或MSE)来评估GAN重建的质量。但是,这个指标的缺点是人们选择GAN的主要原因。

    3.未来前景

    本文认为,GAN需要解决上述主要缺陷,才能成为医疗保健领域值得信赖的技术。

    还需要解决训练不稳定性问题,这意味着需要进行严格的实验来理解GAN在医学成像环境中的融合。指标的问题很棘手,临床医生明白临床医生在CAD中合成GAN图像的表现是必要的第一步。简而言之,GAN在未来几年内开辟了许多可能的研究问题。正确的理解和回答是在实际临床情况下成功部署GAN的关键。

    参考文献:关注微信公众号:“图像算法”或者微信搜索imalg_cn 可获取

    展开全文
  • 基于评论文本的动态生成对抗网络推荐算法.pdf
  • 算法总结(十)GAN(生成对抗网络)

    千次阅读 2019-01-11 14:26:59
    首先要做的是给generator生成的数据分布做一个假设,然后用极大似然估计去估计分布参数,对于生成之前的分布我们是已知的,经过推导,我们的极大似然估计的目标变为求极小KL散度,其推导结果也显示出,我们的目标是...

    学习资料

    https://www.cnblogs.com/bonelee/p/9166084.html

    https://blog.csdn.net/qq_25737169/article/details/78857724

                                                                                                                            

    简单的总结GAN就是拥有一个Generator和一个Discriminator,其中,Generator负责生成图片,而Discrimiantor负责分辨图片真伪

    它的主要流程如上图所示,首先初始化一个Generator,然后生成图片,供Discriminator判断,最终确定是否为真,最开始我们固定Dicriminator,然后训练Generator,这就有了第二代Generator,然后固定Generator,训练Discriminator,这就有了第二代Discriminator,依次迭代,到了最后,我们的discriminator无法在准确分辨我们的图像是不是Generator产生的时候,训练就结束了

    关于原理部分,我们可以看看这篇博客,https://www.cnblogs.com/bonelee/p/9166084.html 他讲述的很清楚

    首先要做的是给generator生成的数据分布做一个假设,然后用极大似然估计去估计分布参数,对于生成之前的分布我们是已知的,经过推导,我们的极大似然估计的目标变为求极小KL散度,其推导结果也显示出,我们的目标是让两个分布的差异尽量小

    这里产生了Generator的loss函数

    以上显示了generator的过程,我们再看看Dscriminator的loss公式,不同于求MSE,这里使用的是交叉熵

    这个公式里面固定了G,我们就只需要关注D,这里我们需要注意一个问题,就是我们的目标是优化D让结果尽可能的大,这怎么使用呢,我们用了梯度上升法,这听起来很怪,但是我们求max的时候,这玩意还挺好使的

    具体的训练过程如下

    开发者自述:我是这样学习 GAN 的

     

     

     

     

     

     

    展开全文
  • 利用半监督学习体系结构中的生成对抗网络,围绕标注数据稀缺性的问题进行研究,在传统无监督生成对抗网络的基础上用softmax替代最后的输出层,使其扩展为半监督生成对抗网络。对生成样本定义额外的类别标签,用于引导...
  • 详解生成对抗网络(GAN)

    万次阅读 多人点赞 2020-11-04 22:34:39
    详解生成对抗网络(GAN) 本篇博文从以下几个结构介绍GAN模型 概述 模型优化训练 GAN的一些经典变种 1 概述 GAN是由Ian Goodfellow于2014年首次提出,学习GAN的初衷,即生成不存在于真实世界的数据。类似于...
  • 基于生成对抗网络的对抗样本攻击方法,田宇,刘建毅,随着深度学习技术的广泛应用,深度学习安全问题也逐渐引起人们关注,其中,对抗样本攻击是深度学习在安全领域中的热点。如何对深
  • 基于生成对抗网络的深度学习能耗预测算法.pdf
  • 生成对抗网络GANs理解(附代码)

    万次阅读 多人点赞 2017-01-20 12:36:28
    生成模型和判别模型理解对抗网络,首先要了解生成模型和判别模型。判别模型比较好理解,就像分类一样,有一个判别界限,通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y的概率,是一个条件概率P...
  • 针对基于深度学习的语音信号去噪方法存在难于收敛、性能不足的问题,本文提出了基于环状生成对抗网络的深度语音信号去噪方法,设计了新型的环状生成对抗语义去噪网络。通过40余种不同噪声语音集的试验,结果表明所提...
  • 描述了近几年半监督GAN的研究现状以及经典的算法所适用的场景。希望能够帮助大家。
  • 本文提出一种基于生成对抗网络的多视图学习与重构算法,利用已知单一视图,通过生成式方法构建起他视图。为构建多视图通用的表征,提出新型表征学习算法,使得同一实例的任意视图都能映射至相同的表征向量,并保证其...
  • 图解 生成对抗网络GAN 原理 超详解

    千次阅读 多人点赞 2020-03-29 14:00:30
    生成对抗网络 一.背景 一般而言,深度学习模型可以分为判别式模型与生成式模型。由于反向传播(Back propagation, BP)、Dropout等算法的发明,判别式模型得到了迅速发展。然而,由于生成式模型建模较为困难,因此...
  • 生成对抗网络(Generative Adversarial Networks,GANs)作为近年来的研究热点之一,受到了广泛关注,每年在机器学习、计算机视觉、自然语言处理、语音识别等上大量相关论文发表。密歇根大学Jie Gui博士等人近期...
  • DCGAN深度卷积生成对抗网络&python自动绘图

    千次阅读 热门讨论 2019-01-16 16:12:23
    生成对抗网络 是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好...
  • 针对传统鉴别器的损失策略和结构难以提取到更抽象以及任务相关的鲁棒性特征,从而导致半监督图像分类表现不足的问题,提出了基于特征重标定的生成对抗网络。为了学习到任务相关的特征,在现有半监督GAN的基础上,为...
  • 我们在此项目中采用的方法是使用生成对抗网络(GAN)学习可以执行此任务的生成模型。 这种方法的好处在于,可以从数据中学习损失函数,因此可以将同一网络应用于各种不同的图像到图像的转换问题。 我们介绍了我们的...
  • 生成对抗网络(一)GAN讲解

    万次阅读 2020-03-04 20:48:59
    生成对抗网络GAN讲解 ABSTRACT 1. INTRODUCTION2. Related work          原文:Generative Adversarial Nets 代码: 收录:NIPS(NeurIPS) 2014 (Conference and Workshop ...
  • ST-GAN: 用于图像合成的空间变换生成对抗网络 (CVPR 2018)
  • 多尺度生成对抗网络图像修复算法_.pdf
  • 生成对抗网络(Generative Adversarial Networks,GANs)

    万次阅读 多人点赞 2018-01-04 15:40:00
    生成模型:对联合概率进行建模,从统计的角度表示数据的分布情况,刻画数据是如何生成的,收敛速度快,例如朴素贝叶斯,GDA,HMM等。 判别模型:对条件概率P(Y|X)P(Y|X)进行建模,不关心数据如何生成,主要是寻找...
  • 基于生成对抗模型的图像修复算法研究-硕士毕业论文
  • 算法通过训练生成对抗网络模型,使其达到收敛状态,以此来迭代式地提高原始三维重建模型的质量。SS-GAN-3D 只需要将事先观测的二维图像作为弱监督样本,对于三维结构外形的先验知识或者参考观测都没有任何依赖。...
  • 生成对抗网络训练_生成对抗网络

    千次阅读 2020-08-31 22:27:19
    生成对抗网络训练深度学习(Deep Learning) 什么是生成对抗网络(GAN)?(What are Generative Adversarial Networks (GANs)?) Designed by Ian Goodfellow and his colleagues in 2014, GANs consist of two neural ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,195
精华内容 9,278
关键字:

生成对抗网络算法