精华内容
下载资源
问答
  • D:判别模型,目的:实现对数据来源二分类。 G:生成模型 生成模型: 生成假数据,结合判别模型,最终达到生成以假乱真数据。 判别模型: 判别数据是真/假。 自编码: 通过训练网络忽略信号中噪声数据...

     

    生成对抗模型:

    思想来源于博弈理论的纳什均衡。

    65 

     

    https://www.bilibili.com/video/BV1Ff4y1m7mj/?spm_id_from=333.788.videocard.7

    基本思想:

    能够从有限的数据集中获得足够的训练样本,从而学习训练样本中的概率分布。

    D:判别模型,目的:实现对数据来源的二分类。

    G:生成模型

    生成模型:

    生成假数据,结合判别模型,最终达到生成以假乱真的数据。

    优化器的损失函数使:假的数据接近0,真的数据接近1。

    判别模型:

    判别数据是真/假。


    自编码器:

    通过训练网络忽略信号中噪声的数据。通常用于降维和数据压缩、去噪。

    特点:

    1.只能用于压缩训练数据集相关的数据;

    2.压缩的数据是有损压缩;

    变分自动编码器:

     

    KL  divergence & JS divergence用于自编码器和变分自编码器的理论推到;

    从而过渡到GAN目标函数:

    使得两种分布的差异性最小,自然生成的和原始分布非常接近。

    优点:

    缺点:

    改进型GAN网络:

    GAN网络训练麻烦:

    1.数据集分布变化时,需要重新调整参数。

    2.要小心平衡生成器和判别器的训练过程。

    3.生成的样本缺乏多样性。

    4.无法平衡这个生成器的好坏。

     

    DC GAN:

    依靠对生成器和判别器的结构进行枚举,最终选择一个比较好的网络设置,但没有从根本上解决问题。

     

    DCGAN极大的提升了GAN训练的稳定性以及生成结果质量。

    DCGAN能改进GAN训练稳定的原因主要有:

    ◆  使用卷积代替全连接层。

    ◆  生成器G和判别器D中几乎每一层都使用batchnorm层,将特征层的输出归一化到一起,加速了训练,提升了训练的稳定性。

    ◆  在判别器中使用leakrelu激活函数,而不是RELU,防止梯度稀疏,生成器中仍然采用relu,但是输出层采用tanh

    ◆  使用adam优化器训练

    Wasserstein GAN:

    解决了什么问题:(JS距离不好,换一个试试)

    1.解决训练不稳定的问题,不需要设计参数去平衡生成器和判别器;

    2.生成样本多样性;

    3.

    4.

    WGAN主要从损失函数的角度对GAN做了改进,损失函数改进之后的WGAN即使在全链接层上也能得到很好的表现结果;

    WGAN对GAN的改进主要有:

    ◆  判别器最后一层去掉sigmoid

    ◆  生成器和判别器的loss不取log

    ◆  对更新后的权重强制截断到一定范围内,以满足论文中提到的lipschitz连续性条件。

    ◆  论文中也推荐使用SGD, RMSprop等优化器,不要基于使用动量的优化算法,比如adam;

     

     

     

     

     

     

     

    展开全文
  • 生成器希望自己生成图像骗过判别器判别器不断增强自己分辨真伪能力,这两者能力不断对抗,分别不断增强能力,直到最后判别器无法判别生成器产生图像内容,则达到目的网络拟合。 ...

    流程:一个随机噪声经过生成器 generator 产生假的图片,且输入到判别器discriminator 欺骗判别器

    生成器希望自己生成的图像骗过判别器,判别器不断增强自己分辨真伪的能力,这两者能力不断对抗,分别不断增强能力,直到最后判别器无法判别生成器产生的图像内容,则达到目的,网络拟合。

     

                                                      

    特别的就是网络中有一个generator和一个discriminator 总的大的网络结构中包含两个小的网络结构

    随机噪声输入到G(generator)得到第一代generator

    数据集输入到D(discriminator)训练好第一代的D,第一代的D对第一代G作出评价

    generator进化为第二代  第二代discriminator可以对第二代generator作出评价.......直到最后判别器无法判别是生成器产生的图像还是真实的数据集

    步骤

    Step1 固定generator参数  调节discriminator参数 ,由随机数据产生图像 ,同时从数据集中选出样本数据 ,两组数据放入discriminator ,样本数据得出的分数越高越好,generator产生图像分数越低越好

    Step2 固定已经训练好的discriminator参数

    随机数据输入generator 产生输出图片 ,将此图片输入discriminator 看得出的分数  调节输入参数使discriminator的输出分数尽量高

     

     

     

    展开全文
  • 生成器的目的是生成与真实数据尽可能相似的数据,去“欺骗”判别器判别器的目的是尽可能地将真实数据和生成的数据区分开。对抗训练就是生成器和判别器之间的一种“zero-sum”博弈,此消彼长,达到难以区分真实数据...

    GAN(Generative Adversarial Networks)在图像、文本数据的表示学习中应用广泛。对抗网络包含两部分,生成器和判别器。生成器的目的是生成与真实数据尽可能相似的数据,去“欺骗”判别器;判别器的目的是尽可能地将真实数据和生成的数据区分开。对抗训练就是生成器和判别器之间的一种“zero-sum”博弈,此消彼长,达到难以区分真实数据和生成器生成数据的效果。


    GraphGAN

    GraphGAN [1]https://arxiv.org/abs/1711.08267是发表在AAAI 2018上的用对抗生成网络学习图表示的文章。在对抗学习过程中,生成器尽可能地拟合节点vc在网络中其他所有节点上地连接分布ptrue(v|vc),并且生成最可能和节点vc连接地节点;判别器区分生成节点对(ill-connected)和真实节点对(well-connected),输出为边(v,vc)存在地概率。总的来说,生成器和判别器之间是一个最小最大的 game:

    minθGmaxθDV(G,D)=c=1V(Evptrue(|vc)[logD(v,vc;θD)]+EvG(|vc;θG)[log(1D(v,vc;θD))])

    Discriminator

    判别器要把来自真实数据的正样本,来自生成器的负样本区分开,因而要最大化“贴对标签”的概率。本文采用sigmoid函数作为判别器(当然别的判别模型也是可以作为判别器的):

    D(v,vc)=σ(dTv,dvc)=11+exp(dTvdvc)

    其中 dv,dvcRk是节点在判别器中的k维向量表示。θG是所有dv的集合。采用梯度下降,只跟新与节点v, vc相关的参数:
    θDV(G,D)={θD[logD(v,vc)],ifvptrue;θD[log(1D(v,vc))],ifvG.

    Generator

    生成器要最小化判别器“贴对标签”的概率,即:最大化判别器犯错的概率;最终拟合数据的真实分布ptrue(v|vc),并生成最可能和节点vc相连的节点:

    θG(V,G)=θGc=1VEvG(|vc)[log(1D(v,vc))]=c=1Vi=1NθGG(vi|vc)[log(1D(v,vc))]=c=1Vi=1NG(vi|vc)θGlogG(vi|vc)log(1D(v,vc))=c=1VEvG(|vc)[θGlogG(|vc)log(1D(v,vc))]

    θG的梯度可以看作是对θGlogG(|vc)的期望。节点vc在网络中其他节点的分布为:

    G(v|vc)=exp(gTvgvc)vvcexp(gTvgvc)

    根据上式,计算G(v|vc)要遍历整个网络中的节点,计算发杂度太高。Word2vector中的负采样或者分层soft-max(Haffman树)的方法可以有效解决计算复杂度高的问题,但是,这些方法并没有结合网络结构(structure)。因而,作者提出了Graph Soft-max的方法,满足以下几点特性(证明,参考论文):

    1. 归一性(Normalized),即:vvcG(v|vc;θG)=1
    2. 结构相关性(Graph-structure-aware), 即:条件概率G(v|vc;θG)随着节点间最短距离的增长而变小。
    3. 计算有效性(Computationally efficient),即:G(v|vc;θG)的计算应该只和网络中的小部分节点相关。

      在网络中以vc节点为根节点(root),构建BFS-tree:Tc; Nc(v)表示BFS树中,与节点v直接相连的所有节点:

      pc(vi|v)=exp(gTvigv)vjNc(v)exp(gTvjgv)

      为了计算G(v|vc;θG), 定义一条从节点vc到节点v的路径Pvcv={vr0,vr1,,vrm},并且vr0=vc,vrm=v
      G(v|vc)(j=1mpc(vj|vj1))p(vj1|vj)

      生成器的生成策略:

    这里写图片描述

    总结来说:GraphGAN用DeepWalk、LINE、node2vec训练的向量初始化生成器和判别器的参数;判别器的正样本是网络中可观测到的边,因而训练好的生成器逼近网络的一阶信息。


    Adversarial Network Embedding

    ANE [1]http://arxiv.org/abs/1711.07838是发表在AAAI 2018上的用对抗生成网络学习网络表示的文章
    现有的网络表示方法Deep Walk、LINE、node2vec等保留了网络的一阶、二阶或者更高阶的相似性,但这些方法都缺少增加embedding鲁棒性的限制。本文通过对抗训练的规则来正则化表示学习过程。ANE包含两个部分:结构保留、对抗学习。在结构保留部分,本文实验中分别使用了 Inductive DeepWalk和Denoising Auto encoder两种模型;对抗学习部分主要是学习稳定、鲁棒的网络表示,使结构保留部分生成的网络表示服从先验(prior)分布。

    这里写图片描述

    Data Processing

    本文对数据进行预处理,将邻接矩阵转换为shifted PPMI 矩阵。

    Xij=max{logMijkMkjlogβ,0},whereM=A+A2++At,β=1N

    Structure Preserving

    在结构保留模块,作者提出了Inductive Deep Walk(IDW)。Deep Walk、LINE这些模型通过look up获得节点的向量表示,并不能给出网络中未出现的节点的Embedding。IDW模型通过生成器生成节点的向量表示,G(;θ1)(target), F(;θ1)(context)。
    在生成了向量ui,ui后,用负采样优化的skip-gram模型训练,对于一组正的节点对(i,j):

    OIDW(θ1,θ1)=logσ(F(xj;θ1)TG(xi;θ1))+n=1Klogσ(F(xn;θ1)TG(xi;θ1))

    Adversarial Learning

    生成器相当于是对输入的高维数据进行非线性转换,得到低维的embedding。并且这与IDW公用参数。Deep Walk采用Word2vector的架构,one-hot(input)->embedding(hidden layer)->soft-max(output), Generator相当于是input到hidden layer生成节点的向量表示。
    判别器输入的负样本是生成器生成的embedding,正样本从先验(prior)p(z)中获得,也就是说真实数据分布为p(z)。
    判别器:

    OD(θ2)=Ezp(z)log(D(z;θ2))+Exlog(1D(G(x,θ1);θ2))

    生成器:
    OG(θ1)=Exlog(D(G(x,θ1);θ2))

    本文在实验中,采用了IDW和 Denoising Auto-Encoder作为生成器。并且对于先验分布p(z)分别实验了 均匀分布(Uniform)和高斯分布(Gaussian),这两种先验实验结果基本相同。并且实验过程使用wGAN 中的训练技巧。

    展开全文
  • 伪造图片训练集真实数字图片一起进入判别器判别器判别输入为真还是假,刚开始生成器图片离真实图片差距很大,在判别器的不断优化过程生成器也不断提高水平,二者同时优化,最后达到目的在辨别器很好基础上依然...

    生成对抗网络

    在这里插入图片描述

    一、基础知识总结

    在这里插入图片描述

    二、举个栗子

    在这里插入图片描述
    生成器将随机向量生成伪造图片,伪造图片训练集的真实数字图片一起进入判别器,判别器判别输入为真还是假,刚开始生成器图片离真实图片差距很大,在判别器的不断优化过程生成器也不断提高水平,二者同时优化,最后达到目的在辨别器很好的基础上依然无法辨别真假图片。

    展开全文
  • 有时候,在进行网络相关研究时候,我们需要执行一些有目的的参数测量。而端口扫描就是其中比较普遍也比较重要一项。所谓端口扫描,就是指通过TCP握手或者别方式来判别一个给定主机上某些端口是否处理...
  • 输出示例:Output exampleGithub背景有时候,在进行网络相关研究时候,我们需要执行一些有目的的参数测量。而端口扫描就是其中比较普遍也比较重要一项。所谓端口扫描,就是指通过TCP握手或者别方式来判别...
  • 1 引言 生成对抗网络由Goodfellow在2014年提出。GAN由生成器和判别器组成。生成器的功能是输入一个样本将其输出成一个逼真的样子,判别...生成网络的目的:生成网络是造样本,它的目的就是使得自己造样本的能力尽可...
  • 判别器(Discriminator):判断这张图像是真实还是机器生成目的是找出生成器做“假数据” 训练过程 固定判别器,让生成器不断生成假数据,给判别器判别,开始生成器很弱,但是随着不断训练,生成器不断...
  • instance normalization for image-to-image translation论文目的论文主要思想论文网络结构GAN(生成对抗网络)cycleGAN论文网络结构生成器判别器损失函数论文代码 论文目的 图像之间风格迁移一直是图像研究领域...
  • 文章目录什么是GAN纳什均衡GAN的学习过程GAN的局限性如何改善GAN的局限性 ...判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器 生成器和判别器就是一个矛和盾互相PK的过程 为了取得游戏胜利,
  • 判别器: 三、 原理介绍 生成对抗网络(以下简称GAN)是通过让两个神经网络相互博弈方式进行学习,可以根据原有数据集生成以假乱真数据,举个不是很恰当例子,类似于造假鞋,莆田艺术家通过观察真鞋...
  • 背景有时候,在进行网络相关研究时候,我们需要执行一些有目的的参数测量。而端口扫描就是其中比较普遍也比较重要一项。所谓端口扫描,就是指通过TCP握手或者别方式来判别一个给定主机上某些端口是否...
  • 输出示例:Github背景有时候,在进行网络相关研究时候,我们需要执行一些有目的的参数测量。而端口扫描就是其中比较普遍也比较重要一项。所谓端口扫描,就是指通过TCP握手或者别方式来判别一个给定主机上...
  • 生成对抗网络GAN

    2021-01-15 16:56:30
    2.判别器(Discriminator):判断这张图像是真实还是机器生成目的是找出生成器做“假数据”。 训练过程: 一阶段:固定判别器,训练生成器 二阶段:固定生成器,训练判别器 循环阶段一和阶段二: 通过不断地...
  • 生成式对抗网络(GAN)是基于可微生成器网络的另一种生成式建模方法。 GAN一般有两个内容,一是生成器(generator),二...其对手判别器网络(diacriminator network)试图区分从训练数据中抽取的样本和从生成器中抽取的
  • GAN基本思想源自博弈论二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗学习方式来训练. 目的是估测数据样本潜在分布并生成新数据样本. 在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等.....
  • 生成式对抗网络GAN(Generative adversarial networks)目前已经成为人工智能学界一个热门研究方向.GAN基本思想源自博弈论二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习方式来训练.目的是估测数据...
  • 生成对抗网络学习笔记 生成对抗网络有两个关键结构:生成模型、判别模型。 生成模型:输入是一个服从正态分布N维向量,利用这个N维向量...结合代码来看生成对抗网络中,生成器和判别器的训练过程: 判别模型训...
  • 有兴趣阅读GAN鼻祖之作给出链接: 2014年NIPS Generative Adversarial Net ... 判别器D输入是生成器输出,二分类模型判断该输入是否是真实样本。目的:判别出来属于一张图来自真实样本集还是假样.
  • 目录一、生成对抗网络原理二、GAN网络结构详解三、生成器与判别器训练思路四、实现代码 一、生成对抗网络原理 生成对抗网络,是一种基于博弈思想的网络训练思路,其主要网络模块由两部分组成,分别为generator(生成...
  • 一、1、生成模型(G)+判别模型(D...生成了假样本,把这些假样本的标签都设置为1,也就是认为这些假样本在生成网络训练的时候是真样本(迷惑判别器的目的,也才能使得生成的假样本逐渐逼近为正样本); b.在对于生成...
  • 输出示例:Github背景有时候,在进行网络相关研究时候,我们需要执行一些有目的的参数测量。而端口扫描就是其中比较普遍也比较重要一项。所谓端口扫描,就是指通过TCP握手或者别方式来判别一个给定主机上...
  • 生成对抗网络(GAN)

    2020-11-12 17:28:17
    判别器(Discriminator):判断这张图像是真实还是机器生成目的是找出生成器做“假数据” 参考: 1.生成对抗网络:基本原理 + 典型算法(论文+代码)+ 13种应用 2.生成性对抗网络...
  • 判别器网络:以一张图像作为输入,并预测该图像是来自训练集还是由生成器网络创建。 1、GAN简要实现流程 【1】generator网络将形状为(latent_dim,)向量映射到形状为(32,32,3)图像。 【2】discrimina
  • 简介 简单的说,对抗生成网络就是真和假...达到瞒天过海,骗过判别器的目的 判别器D(打假):具有火眼金睛,分辩真假的能力越强越好。分辨出生成和真实的 损失函数:一方面要让判别器分辨能力更强,另一方面要让...
  • 生成式对抗网络(GAN, Generative Adversarial Networks)...GAN模型主要包含两个模块:生成器(Generator)和判别器(Discriminator),我们可以将生成器与判别器看作是对抗博弈双方。下面举例来解释下GAN基本思想。
  • GAN的目的:产生与真实数据非常相近的假数据产生器:用于产生假数据判别器:用于判别真假数据训练思路:不断使产生器产生假数据,但假数据的标签为真实数据的标签以达到以假乱真的目的,向判别器不断输入真实数据,...
  • 原始生成对抗网络Generative Adversarial Networks GAN包含生成器Generator和判别器...需要搭建生成器网络和判别器网络,训练时候交替训练。 首先训练判别器参数,固定生成器参数,让判别器判断生成器生

空空如也

空空如也

1 2 3 4
收藏数 65
精华内容 26
关键字:

判别器网络的目的