精华内容
参与话题
问答
  • GAN公式推导

    2019-07-03 15:06:35
    真实数据的分布 生成器生成的分布 噪音Z的分布 生成器,使噪音的分布收敛到真实数据的分布 生成器的输出 判别器,区分真实数据和生成数据 ... x是真实数据而不是生成数据的概率 ...当鉴别模型输出D(x)为1时,即...

    真实数据的分布

    生成器生成的分布

    噪音Z的分布

    生成器,使噪音的分布收敛到真实数据的分布

    生成器的输出

    判别器,区分真实数据和生成数据

    x是真实数据而不是生成数据的概率

    定义鉴别模型

    If  , D(x) = 1,  is the maximum

    当鉴别模型输出D(x)为1时,即可以轻松判别数据,此时上式取值最大。

    If   is the maximum

    当鉴别模型输出D(G(z))为0时,即鉴别模型轻松地鉴别出生成模型的数据,此时上式取值最大。

    故GAN的优化目标函数为:

            ]

    很显然,最好的鉴别模型是使V最大的.

    1、首先固定G优化D,

    2、假设我们知道 是最优解了,下面证明当且仅当 ,C(G) = maxV(G,D)得到最小值。

     

     

    展开全文
  • GAN公式推导详解

    千次阅读 2019-09-03 19:24:26
    推导GAN公式之前,需要预备一些数学期望和KL散度的知识点 一、数学期望的定义 期望:在概率论中,将实验中每次可能产生的结果的概率乘以其结果的总和,反映随机变量平均取值的大小。根据其随机变量的取值范围...

    在推导GAN公式之前,需要预备一些数学期望和KL散度的知识点

    一、数学期望的定义

    期望:在概率论中,将实验中每次可能产生的结果的概率乘以其结果的总和,反映随机变量平均取值的大小。根据其随机变量的取值范围不同,分为离散型和连续型

    对于连续型随机变量x,其概率密度函数为f(x),则X的数学期望E(x)可以表示成微积分的形式

     

    二、KL散度的定义

    KL散度:在信息论中,用生成的概率分布Q来拟合逼近真实的概率分布P时,所产生的信息损耗,即描述两个概率分布的差异,其本身是非对称的

    设x是连续型随机变量,其真实概率分布为P(x),拟合分布概率为Q(x),则P对Q的KL散度为

     

    三、零和博弈

    GAN被称为对抗式神经网络,启发自博弈论中的二人零和博弈

    零和博弈:指参与博弈的双方,在严格的竞争下,一方的收益必然意味着另一方的损失,博弈过程中,双方的各自收益和损失的相加总和永远为零,双方完全不存在合作的可能。就好比下棋一样,你和对手的每一步棋都是向着自己最有利的方向走,最终只有一方赢一方输,而下棋的总成绩永远为零

    显然,GAN也是由博弈双方组成,分别为生成网络G(Generator)和判别网络D(Discriminator)

     

    四、GAN的工作原理

    上图中,x是真实数据,Pdata(x)是x的概率分布,z是噪点数据,P(z)是z的概率分布,其工作过程为:

    (1):从噪声z进行随机抽样,传入G网络,生成新数据G(z)和其概率分布Pg(G(z))

    (2):将真实数据和G生成的新数据一起传入D网络进行真假判别,通过sigmoid函数来输出判定类别

    (3):迭代优化D和G损失函数,根据D来调整G

    (4):直到D和G达到收敛,即D无法判断G产生数据的真假性,即Pg(G(z))已经非常逼近Pdata(x)

    至此,我们可以抽象看出GAN的目的,将随机噪声z通过G网络得到一个和真实数据分布Pdata(x)差不多的生成分布Pg(G(z)),这个过程就是G和D相互博弈的过程

     

    五、GAN的目标函数

    定义GAN的目标函数为V(G,D),在博弈过程中,G希望减少V的值让自己生成的分布无法识别,而D希望增大V的值让自己可以高效的判别出数据的真假类别,则V(G,D)的表达式为

    其中E表示真实数据x和噪点数据z的数学期望

    G网络是一个生成器,可以是全连接神经网络、卷积神经网络等等,通过噪点分布P(z),一般是高斯分布,得到一个生成数据的分布Pg(x),我们希望Pg(x)非常靠近Pdata(x),来拟合逼近真实分布

    D网络是一个判别函数,需要解决传统的二分类问题,其职责就是有效的区分真实分布和生成分布,即衡量Pg(x)和Pdata(x)之间的差距,并通过反复的迭代训练

     

    六、求解D的最优解

    从目标函数出发,由于V是连续的,我们将V写成微积分的形式来表示期望

     

    设G(z)生成的数据是x,分别求出噪点z和噪点的微分dz表达式

     

    带入z和dz,可以得到

     

    我们定义Pg(x)表示z的生成分布,则

     

    带入目标函数可得

     

    现在要求V(D,G)关于D的最大值,则固定G来求D的偏导数

     

    七、反求解G使得G和D的概率分布差异最小

    从D(x)的最优解D*(X)的表达式可以看到,我们期望当G产生出来的拟合分布和真实分布一致时,即

    在这个条件下,D*(x)=1/2,即此时D网络已经无法直接分辨出G产生出来的数据的真假性了

     

    那么当D满足最优解后,此时的G的解是什么呢?我们只需要带入D*(x)反过来求解G即可

     

    我们对上述积分表达式进行等效处理,在log里面的分式上,分子分母同时除以2(分式不变原理),然后保持分母不变,将分子的1/2利用对数的乘法原理提到外面,则上式可以等效变形为

     

    我们引入连续函数的KL散度将上式积分式整理成散度表达式

    根据KL散度的定义,当拟合分布Pg(x)完全等于真实分布Pdata(x)时,KL=0,所以G网络的最小值是-log4

    由此证明了当D网络逼近其最优解的同时,G网络也无限逼近其最小值

    展开全文
  • 深度学习课程笔记(八)GAN 公式推导  2018-07-10 16:15:07                 

    深度学习课程笔记(八)GAN 公式推导 

    2018-07-10  16:15:07 

     

     

     

     

     

     

      

     

    展开全文
  • 对抗生成网络(GAN)和贝叶斯变分自编码是最为主要的两种数据生成模型,目前的生成对抗网络的一些改良技术已经实现了非常逼真的图像。 此外生成模型也是非监督学习的主要驱动力之一,假若人工神经网络已经具备了...

    对抗生成网络(GAN)和贝叶斯变分自编码是最为主要的两种数据生成模型,目前的生成对抗网络的一些改良技术已经实现了非常逼真的图像。

    此外生成模型也是非监督学习的主要驱动力之一,假若人工神经网络已经具备了自我生成栩栩如生的真实图像的能力,我们亦可以说人工神经网络已经具备了想象和创作的能力,具有了想象和创作能力的个体当然已经掌握了一些抽象的概念,而非监督学习不就是让人工智能自我去摸索这个世界并掌握一定的抽象概念吗?

    而从非监督学习研究角度来看,GAN仍然有一些美中不足的地方,现有的很多具有很好效果的GAN并不是完全非监督的,而是人为的加入了很多带标签数据的半监督学习。传统的GAN生成数据是通过一组完全随机的z隐含变量得到,这个z基本是不可控的,我们很难通过控制z中某数的大小变化让生成的图像变大变小或进行旋转等等简单操作,如果人工智能连这样的简单特性都不能稳定控制,那么我们很难说它已经具备了这些非常显著的人类易于掌握的概念。

    infogan正是基于这一问题而提出的GAN修正模型,其在GAN优化函数中引入了一个有互信息最小下界得来的正则项。非常简单却又非常精彩。

    互信息

    这样可得特性(2),这个在物理层面上也很好理解,X中包含Y的信息量等于Y的信息量减去在X条件下Y的信息量,如果两者相减等于0,那么给定X和Y就无关。
    而infogan的核心思想正是利用互信息这个正则项来使得隐空间中有那么几个可控变量来控制生成数据的属性。假设我们给定属性cc,那么生成数据中所包含的隐含变量c′c′与cc的互信息应该尽量的大,这样infoGAN的损失函数为


    互信息的下界及infogan的求解

    故 LI (G, Q) 是互信息的一个下界。作者指出,用蒙特卡罗模拟(Monte Carlo simulation)去逼近 LI (G, Q) 是较为方便的,这样我们的优化问题就可以表示为:

    实现

    在实现中,D(x)、G(z, c) 和 Q(x) 分别用一个 CNN (Convolutional Neural Networks)、CNN、DCNN (DeConv Neural Networks) 来实现。同时,潜码 c 也包含两部分:一部分是类别,服从 Cat(K = N,p = 1/N),其中 N 为类别数量;另一部分是连续的与生成数据有关的参数,服从 Unif(−1,1) 的分布

    在此应指出,Q(c|x) 可以表示为一个神经网络 Q(x) 的输出。对于输入随机变量 z 和类别潜码 c,实际的 LI(G, Q) 可以表示为:

     其中 · 表示内积(inner product),c 是一个选择计算哪个 log 的参数,例如 ci = 1 而 cj = 0(∀j = 1,2,···,i − 1,i + 1,···,n),那么 z 这时候计算出的 LI(G,Q) 就等于 log(Q(z,c)i)。这里我们可以消去 H(c),因为 c 的分布是固定的,即优化目标与 H(c) 无关:

    而对于参数潜码,我们假设它符合正态分布,神经网络 Q(x) 则输出其预测出的该潜码的均值和标准差, 我们知道,对于均值 μ,标准差 σ 的随机变量,其概率密度函数为:

    要计算参数潜码 c 的,就是要计算 log p(c),即:

    设 Q(x) 输出的参数潜码 c 的均值 μ,标准差 σ 分别为 Q(x)μ 和 Q(x)σ,那么对于参数潜码 c:

    同样的,我们可以消去 H(c),因为 c 的分布是固定的,那么:

    再论InfoGAN的LI

    对于类别潜码,这个 LI 本质上是 x 与 G(z, c) 之间的 KL 散度:

    也就是说:

    而 min DKL(c||Q(G(z, c))) 意味着减小 c 与 Q(G(z, c)) 的差别。

    如果我们不考虑 Q(x)σ 的影响,LI 的优化过程:

    也意味着减小 c 与 Q(G(z, c))μ 的差。

    纵观整个模型,我们会发现这一对 LI 优化的过程,实质上是以 G 为编码器(Encoder), Q 为解码器(Decoder),生成的图像作为我们要编码的码(code),训练一个自编码器(Autoencoder),也就是说,作者口中的信息论优化问题,本质上是无监督训练问题。

    来源:

    https://blog.csdn.net/dagekai/article/details/53953513 

    http://aistudio.baidu.com/#/projectdetail/29156

    展开全文
  • 这段公式表示,首先固定生成器,也就是G的网络参数,然后判别器D要使V的值尽可能大,也就是真实样本和造假样本的区别要尽可能大(故意找茬)。然后关于这个V函数的构造其实也挺好理解的,就是想让输入参数服从pdata...
  • GAN 原理及公式推导

    2019-05-11 12:17:00
    Generative Adversarial Network,就是大家耳熟能详的 GAN,由 Ian Goodfellow 首先提出,在这两年更是深度学习中最热门的东西,仿佛什么东西都能由 GAN 做出来。我最近刚入门 GAN,看了些资料,做一些笔记。 ...
  • 转载自:https://zhuanlan.zhihu.com/p/28853704,本文只做个人记录使用...GAN:生成对抗网络 输入:原始数据x和随机噪声信号z (比如高斯分布或者均匀分布) 输出:一个概率值或一个标量值。 首先举个简单例子好...
  • GAN生成对抗网络公式推导和证明

    千次阅读 2017-11-02 14:27:20
    生成对抗网络分为:1.生成模型,2.鉴别模型。其中,生成模型从无到有不断地生成数据,而鉴别模型不断鉴别生成器生成的模型;...首先是符号说明, 注意GAN,主要学习的是数据的分布,最终得到的是两个一样的数据分布。
  • GAN原理解析,公式推导与python实现

    千次阅读 2018-01-08 16:45:33
    1-生成模型 1-1 生成模型与判别模型 1-2 为什么学习生成模型 1-3 生成模型原理似然原理 2-生成式对抗网络 2-1 生成式对抗网络工作原理 2-2 判别器的损失函数 ...2-5-2 KL散度的推导 2-5-3 利用KL散度
  • GAN/DCGAN原理、公式推导及实践GAN学习:GAN/DCGAN原理、公式推导及实践一、GANGAN原理简介二、DCGAN三、动漫头像生成 GAN学习:GAN/DCGAN原理、公式推导及实践 生成对抗网络(GAN)是深度学习领域一个相当有趣的...
  • GANs 的理论与提升 1. GANs 相关理论 GANs 本质上在做的事情是什么? 我们假设把每一个图片看作二维空间中的一个点,并且现有图片会满足于某个数据分布, 我们记作????...以人脸举例,在很大的一个图像分布空间中,...
  • 生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络最最...本文介绍了GAN最初被提出时的基本思想,模型和公式推导,以及训练。
  • 如果我们把深度学习比喻一棵大树,Bp相当于根,LeNet相当于茎,GAN,RNN,CNN相当于树叶. Bp 神经网络的简单理解 bp是 Back Propagation 的简写 ,意思是反向传播。而神经网络,听着高大上,其实就是一类相对复杂的计算...
  • 今天完成了生成对抗网络GAN的学习,从基本原理到数学公式,从对GAN的一知半解到了解了全貌,感觉还是收获颇多,所以趁着学习的GAN在脑海中逗留的一刻,赶紧进行总结和整理。 这样能使学习到的知识逗留的更长久一些吧...
  • 昨天,谷歌大脑研究科学...Ian Goodfellow还是生成对抗网络GAN的提出者,利用这两个技巧,他在著名的GAN论文中推导了一个公式。 很多时候,我们想用代数/微积分来分析神经网络的最优行为。神经网络模型通常非常复杂...
  • GAN公式原理推到

    千次阅读 2017-08-08 14:38:33
    上一篇论文中介绍了GAN[1]的原理,这篇继续介绍下它的公式推导的具体的过程,如果需要原理介绍的,可以回到上一篇关于GAN的文章的介绍中。(http://blog.csdn.net/susanzhang1231/article/details/73604302) 这...
  • 训练判别器,是在度量生成器分布和真实数据分布的JS距离。 第一种解释 2018.10.15 第一种解释略累赘,但容易理解,可选择跳过看第二种解释。 根据文章所述,为原始数据,使用的噪声数据,,为batch_size的大小。...
  • 生成对抗网络公式推导 本文仅是学习GAN时做的笔记整理,参考链接已在上篇文章列出,如有侵权请与笔者联系 1. KL散度 1.1 信息熵 热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来...
  • 本章涉及到的知识点清单: ...推导GAN公式之前,需要预备一些数学期望和KL散度的知识点 一、数学期望的定义 期望:在概率论中,将实验中每次可能产生的结果的概率乘以其结果的总和,反映随机变量平均取值的大小。...
  • 以下为对生成器损失函数为公式2时问题的推理: 最优判别器 其中x表示一张图片, Pr(x)表示真实图片中x出现的概率. Pg(x)生成图片中x出现的概率. 最优判别器, 就是通过学习这两种分布, 似合出公式4. 当判别器...
  • 推导GAN公式之前,需要首先了解一些预备知识。 1.1 数学期望 在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,是最基本的数学特征之一。它反映随机变量...
  • 发现网上没有什么中文的解读,这里稍微写一下论文中的公式推导。能力有限,不喜勿喷。 摘要(Abastract) 1.引言(Introduction) 2.整体概论度量(Integral Probability Metrics) 2.1 IPM 定义 2.2 带有...
  • 多种多样的GAN-W-GAN

    2018-03-21 18:36:34
    GAN出现的问题前面写过一篇文章说GAN的基本原理和公式的解析:GAN原理解析,公式推导与python实现,我们说到GAN的发明人提出的损失函数:L=−Ex~Pr[log D(x)]−Ex~Pg[log (1−D(x))](1)L = -E_{x~P_r}[log\ D(x)...
  • WGAN理论推导

    2019-09-03 16:32:30
    大部分的文章讲WGAN都会从GAN开始扯,然后到WGAN这里直接扔出一个公式 或者 然后开始讲这就是EM距离,讲的是模拟推土机推土的距离,至于怎么推土的,不好意思,...
  • GAN的调研和学习

    2017-02-20 19:57:00
    近期集中学习了GAN,下面记录一下调研的结果,和学习的心得,疏漏的地方,敬请指正。 本文将分为几个部分进行介绍,首先是GAN的由来,其次是GAN的发展,最后是GAN...自己顺着思路推导了一下GAN和WGAN的公式,能搞这...
  • 内容非常的经典,为了避免初学者对文中的公式推导理解不透彻,因此写下此篇博客。本文中的书本截图来自于诸葛越博士的《百面机器学习》。 GAN简单来说就是输入一组随机初始值,使其能够在目标维度内产生一组映射,...

空空如也

1 2 3
收藏数 41
精华内容 16
热门标签
关键字:

gan公式推导