精华内容
下载资源
问答
  • 2021-03-26 09:52:32

    线性时不变因果电路的判断方法
    在信号与系统的学习中 我们最常遇到的系统就是线性时不变因果系统的分析 下面我们来看一下如何判断线性 时不变 和因果的方法在这里插入图片描述
    在这里插入图片描述

    更多相关内容
  • 运用Lyapunov函数直接方法并借助Razumikhin技巧的思想,给出了判断脉冲积分-微分系统零解稳定性的直接判定准则.
  • 李雅普诺夫稳定性分析

    千次阅读 2021-04-18 15:32:42
    二、李雅普诺夫稳定性分析方法 2.1、第一方法(间接法)(将系统的描述在平衡点附近进行线性化,针对线性化模型进行稳定判断判断的特征值的实部) 设是系统的平衡状态。该系统在处的线性化模型为: 其中,。...

    一、基本概念

    1.1、标量函数的定号性

    定义1-1:若V(0)=0,且对任意非零xV(x)>0(V(x) \geq 0),称标量函数V(x)正定(半正定)

    定义1-2:-V(x)是正定(半正定)的,称标量函数V(x)负定(半负定)

    定义1-3:正定和半正定(负定和半负定)统称为非负定非正定),无任何定号性称为不定

    注意:

    (1)V(0)=0是定号性的必要条件。在不引起混淆时,可直接用V(x)>0表示正定,其余类推;

    (2)定号性可以是原点邻域上的局部性质,如:标量函数V(x)=[(x_1^2+x_2^2)-1](x_1^2+x_2^2)在域\left \{ \Omega | x_1^2+x_2^2<1 \right \}上是负定的。

    如:(在二维空间下)

    x_1^2+x_2^2 正定;(x_1+x_2)^2半正定;x_1^2-x_2^2不定

     

    考虑二次函数x^TAx的定号性,A是实对称矩阵

    定理1-1:实对称矩阵A是正定(半正定)的,当且仅当所有特征值均大于(大于等于)零;

    定理1-2:实对称矩阵A是正定(半正定)的,当且仅当所有主子式均大于(大于等于)零;

    实对称矩阵A的各阶顺序主子式:

    \pi_1=a_{11},\pi_2=\begin{vmatrix} a_{11} & a_{12}\\ a_{21} & a_{22} \end{vmatrix},\pi_n=\left | A \right |

    定理1-3(赛尔维斯特判据):实对称矩阵A

    (1)正定当且仅当 \pi_k>0,k=1,2,\dots,n;

    (2)负定当且仅当(-1)^k\pi_k>0,k=1,2,\dots,n  (顺序主子式是正负相间隔的)

    注意:

    (1)在判断矩阵A的正定性时,可以将主子式简化为顺序主子式

    (2)在判断矩阵A的半正定性时,不可以将主子式简化为顺序主子式

     

    1.2、李雅普诺夫稳定性

    向量的2范数:实数向量z \in R^n,其2范数定义为

    \left \| z \right \|=\sqrt{z_1^2+z_2^2+\dots+z_n^2}

    定义1-4:对于系统\dot{x}=f(x,t),满足f(x_e,t)=0的状态x_e称作系统的平衡状态平衡点;(x_e为常数向量,为状态空间中的一个点)

    定义1-5:若某一点附近足够小的邻域内没有别的平衡点,则称它为孤立平衡点

    例:

    (1)原点为平衡点,且为唯一的平衡点,当然也为孤立平衡点

    (2)原点为其中之一平衡点,平衡点不唯一,但均孤立

    (3)当x_2为0时,x_1为任何值均为平衡点,故平衡点不孤立

    定义1-6:假设x_e是系统\dot{x}=f(x)的孤立平衡状态。如果对于任意给定正实数\varepsilon >0,都存在\delta (\varepsilon )>0,使得满足不等式

    \left \| x_0-x_e \right \| \leq \delta (\varepsilon )

    的任意初始状态出发的系统运动x(t)均成立

    \left \| x(t)-x_e \right \| \leq \varepsilon ,t \geq t_0

    则称平衡状态x_e是(在李雅普诺夫意义下)稳定的

    x_e不满足上述稳定的条件,称平衡状态x_e不稳定

    (通俗来讲就是在一定范围内(\delta (\varepsilon ))出发的状态均能在一定时间后回到平衡状态的一定区域(\varepsilon)内)

    定义1-7:x_e稳定,且存在一个邻域(吸引域),其内出发的运动恒有\lim_{t \to \inf}\left \| x-x_e \right \|=0,称平衡状态x_e渐近稳定

    定义1-8:x_e渐进稳定,且吸引域充满整个状态空间,称平衡状态x_e全局渐近稳定(大范围渐近稳定)

    注意:平衡状态唯一是全局渐近稳定的必要条件。

    李雅普诺夫稳定性的示意性说明:(平衡点为原点x_e

    (1)稳定

    任意给定一个\varepsilon圆,圆心为x_e,半径为\varepsilon;那么均存在一个\delta (\varepsilon )圆,圆心为x_e,半径为\delta (\varepsilon )\delta (\varepsilon )圆内,任意点出发的运动,都维持在\varepsilon圆内,则称其为稳定的(李雅普诺夫稳定);

    (2)渐进稳定

    若平衡状态x_e,不仅为李雅普诺夫稳定,还存在一个邻域,从邻域内出发的运动,都会渐进的收敛到平衡点x_e,这时称其为渐进稳定;

    若平衡状态不满足上述所说的条件,存在某个\varepsilon,我们无论选取怎样的\delta (\varepsilon ),均存在从某个出发的状态都运动到\varepsilon圆之外,称为不稳定。

    二、李雅普诺夫稳定性分析方法

    2.1、第一方法(间接法)(将系统的描述在x_e平衡点附近进行线性化,针对线性化模型进行稳定性判断,判断A的特征值的实部)

    x_e是系统\dot{x}=f(x)的平衡状态。该系统在x_e处的线性化模型为:

    \dot{y}=Ay, A= \frac{\partial f}{\partial x^T}|_{x=x_e}=\begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \dots &\frac{\partial f_1}{\partial x_n} \\ \frac{\partial f_2}{\partial x_1} &\frac{\partial f_2}{\partial x_2} & &\frac{\partial f_2}{\partial x_n} \\ \vdots &\vdots & \ddots &\vdots \\ \frac{\partial f_n}{\partial x_1} &\frac{\partial f_n}{\partial x_2} & \dots & \frac{\partial f_n}{\partial x_n} \end{bmatrix}

    其中,y=x-x_e。(矩阵A为雅克比矩阵)

     

    根据A的特征值,有如下稳定性判别定理:

    定理2-1:A的特征值均具有实部,x_e渐进稳定的;若存在特征值具有正实部x_e不稳定的;其它情况,则不能判定

    例:判断下列系统在原点处的稳定性。

    \left\{\begin{matrix} \dot{x_1}=x_2cosx_1\\ \dot{x_2}=-sinx_1-x_2 \end{matrix}\right.

    解:可知f_1=x_2cosx_1,f_2=-sinx_1-x_2,故可求得原点处的雅克比矩阵为:

    A=\begin{bmatrix} -x_2 sin x_1 & cos x_1 \\ -cos x_1 & -1 \end{bmatrix}|_{x=0}=\begin{bmatrix} 0 & 1\\ -1 & -1 \end{bmatrix}

    特征根均在左半开平面内,因此原点是该系统的渐近稳定平衡点。(该例中的系统有多个平衡点,因此原点不是其渐近稳定平衡点)。

    注意:线性化方法不能给出全局稳定性的判断。

    例:判断下述系统在原点处的稳定性

    \left\{\begin{matrix} \dot{x_1}=-3 x_1^3\\ \dot{x_2}=3 x_1 - x_1x_2 \end{matrix}\right.

    解:原点是系统的平衡点,在原点处线性化可得:

    A=\begin{bmatrix} -3x_1^2 & -4 \\ 3- x_2 & -x_1 \end{bmatrix}|_{x=0}=\begin{bmatrix} 0 & -4\\ 3 & 0 \end{bmatrix}

    特征根均在虚轴上,间接法失效。

    2.2、第二方法(直接法)

    设原点是系统\dot{x}=f(x)的平衡状态。V(x)是正定的标量函数(能量函数)它沿系统状态轨线对时间t的导数为:

    \dot{V}(x)=\frac{\partial V(x)}{\partial x^T}f(x)

    李雅普诺夫第二方法是根据V(x)\dot{V}(x)的定号性,判别系统平衡状态的稳定性。(上式中,\dot{x}f(x)代替)

    定理2-2:V(x)正定\dot{V}(x)负定,则原点是渐近稳定的;进而,若\left \| x \right \|\to\infty时,V(x) \to \infty,则原点是全局渐近稳定

    定理2-3:V(x)正定,\dot{V}(x)负定,则原点是稳定的;此外,若\dot{V}(x)除原点外沿状态线不恒为零,则原点是渐近稳定的;再进一步,若\left \| x \right \|\to\infty时,V(x) \to \infty,则原点是全局渐近稳定;

    定理2-4:V(x)正定\dot{V}(x)正定,则原点是不稳定的。

    注意:

    (1)以上均为充分条件。某V(x)不满足定理条件时,不能下结论;

    (2)若V(x)代表广义能量,则\dot{V}(x)代表广义功率。\dot{V}(x)<0,说明沿状态轨线运动是消耗能量的。

    例:判断下述系统在原点处的稳定性

    \left\{\begin{matrix} \dot{x_1}=-\frac{2x_1}{(1+x_1^2)^2}+2x_2\\ \dot{x_2}=-\frac{2x_1+2x_2}{(1+x_1^2)^2} \end{matrix}\right.

    解:令\dot{x_1}\dot{x_2}为0,可知原点为系统唯一的平衡点,利用第一方法也可判定其渐近稳定性,它是渐近稳定的。

    考虑V(x)=\frac{x_1^2}{1+x_1^2}+x_2^2>0

    将状态方程\dot{x_1}\dot{x_2}带入,则\dot{V}(x)=-\frac{4x_1^2}{(1+x_1^2)^4}-\frac{4x_2^2}{(1+x_1^2)^2}<0

    所以原点是渐近稳定的。但当x_1\to \inftyx_2 \to \infty时,V(x) \to 1,即\left \| x \right \| \to \infty时,V(x) \to \infty不成立,不能保证全局渐近稳定。

    例:判断下述系统在原点处的稳定性

    \dot{x}=\begin{bmatrix} 0 &1 \\ -1 & -1 \end{bmatrix}x

    解:(1)取V(x)=2x_1^2+x_2^2>0\dot{V}(x)=2x_1x_2-2x_2^2,不定,不能判定;

    (2)取V(x)=x_1^2+x_2^2>0\dot{V}(x)=-2x_2^2半负定,故原点稳定。

    \dot{V}(x)\equiv 0,则x_2=\dot{x}_2\equiv 0,带入原方程\dot{x}_2=-x_1-x_2x_1\equiv 0;因而\dot{V}(x)\equiv 0仅发生在原点处。当\left \| x \right \| \to \infty时,V(x) \to \infty,所以原点全局渐进稳定。

    (3)取V(x)=1.5x_1^2+x_2^2+x_1x_2>0\dot{V}(x)=-x_1^2-x_2^2<0,当\left \| x \right \| \to \infty时,V(x) \to \infty,所以原点全局渐进稳定。

    注意:选择不同的V函数,可能得到不同的结果,但得到的结论是不矛盾的。找到“好”的V函数,需要经验和运气。

    例:判断下述系统在原点处的稳定性

    \left\{\begin{matrix} \dot{x_1}=- x_1^3+x_2^4\\ \dot{x_2}=- x_2^3 + x_1^4 \end{matrix}\right.

    解:原点是平衡点但不唯一(点(1,1)同为平衡点)。线性化方法失效(A矩阵为零)。

    V(x)=0.5(x_1^2+x_2^2)>0,则\dot{V}(x)=-x_1^4(1-x_2)-x_2^4(1-x_1)

    x_1<1x_2<1的区域内(原点是该区域的内点),\dot{V}(x)<0,该系统在原点处是渐近稳定的。(虽然当\left \| x \right \| \to \infty时,V(x) \to \infty,当\dot{V}(x)<0限制了区域都并非大范围渐进稳定)。

     

    三、李雅普诺夫函数的构造方法

    对于非线性系统,没有一种构造李雅普诺夫函数的通用方法。人们通常凭经验和技巧选取李雅普诺夫函数,最常见的是二次型函数,有些方法适用于一些特定情形,如克拉索夫斯基方法变量梯度法偶函数法等方法。

    3.1、克拉索夫斯基方法(Krasovskii)

    考虑如下非线性系统\dot{x}=f(x),其中f(x)存在连续偏导数。定义雅克比矩阵:

    F(x)= \frac{\partial f}{\partial x}=\begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \dots & \frac{\partial f_1}{\partial x_n} \\ \vdots & \vdots & \vdots\\ \frac{\partial f_n}{\partial x_1} & \dots & \frac{\partial f_n}{\partial x_n} \end{bmatrix}

     

    待续》》》

     

     

     

     

     

     

     

     

    展开全文
  • 现代控制理论(二)李雅普诺夫稳定性分析一、系统数学描述的两种形式1、基于输入输出模型的外部描述2、基于状态空间模型的内部描述(属于是时域模型上的描述)二、状态空间描述常用的基本概念(一)基础概念1、松弛性2...

      稳定性描述系统受到外界干扰,平衡工作状态被破坏后,系统偏差调节过程的收敛性,它是系统正常工作的必要条件。
      经典控制理论用代数判据、奈奎斯特判据、对数频率判据、特征根判据来判断线性定常系统的稳定性,用相平面法来判断二阶非线性系统的稳定性。这些稳定性判据无法满足以多变量、非线性、时变为特征的现代控制系统对稳定性分析的要求。
      李雅普诺夫建立了基于状态空间描述的稳定性理论,提出了依赖于线性系统微分方程的解来判断稳定性的第一方法(间接法)和利用经验和技巧来构造李雅普诺夫函数借以判断稳定性的第二方法(直接法)。李雅普诺夫提出的这一理论是确定系统稳定性的更一般的理论,不仅适用于单变量、线性、定常系统,还适用于多变量、非线性、时变系统。

    一、李雅普诺夫稳定性概念

      忽略输入之后,非线性时变系统的状态方程为
    在这里插入图片描述
      式中,x为n维状态向量;t为时间变量;f为维函数,假定方程的解为
    在这里插入图片描述
      x0和t0分别是初始状态的状态向量和时刻。

    1、平衡状态

      如果对于所有的t,满足:
    在这里插入图片描述
      的状态xe称为平衡状态(平衡点)。平衡状态的各分量不再随时间变化。若已知状态方程,让x的一阶导为0所得到的解x就是平衡点。对于线性定常系统,只要矩阵A非奇异,系统就有唯一的零解,即仅存在一个位于状态空间原点的平衡状态。至于非线性系统,解可能有多个,由系统状态方程决定。
      控制系统李雅普诺夫稳定性理论所指的稳定性是关于平衡状态的稳定性,反映了系统在平衡状态附近的动态行为。鉴于实际线性系统往往只有一个平衡状态,平衡状态的稳定性能够表征整个系统的稳定性。对于具有多个平衡状态的非线性系统来说,由于各平衡状态的稳定性一般不同,需要逐个加以考虑,还需要结合初始条件下的系统运动轨迹来考虑。

    2、李雅普诺夫稳定性定义(通俗理解)

    (1)李雅普诺夫稳定性(局部稳定):
      如果平衡状态xe受到扰动后,仍然停留在xe 附近,我们就称xe 在李雅普诺夫意义下是稳定的,也就是说系统初始状态离平衡状态的距离是在 xe 的领域内,过了有限时间,系统动态方程的解离平衡状态的距离仍在epsilon的领域内。如果 delta与t0无关,则称这个平衡状态是一致稳定的。

    在这里插入图片描述
    (2)渐进稳定性
      如果平衡状态 xe 受到扰动后,最终都会收敛到 xe ,我们就称 xe 在李雅普诺夫意义下是渐进稳定的,也就是说不仅需要满足李亚普诺夫意义下的稳定性的要求,同时最后这个解要无限逼近平衡状态/平衡点,最后收敛。
    在这里插入图片描述
    (3)大范围稳定性(全局稳定)
      如果平衡状态 xe 受到任何扰动后,最终都会收敛到 xe ,我们就称 xe 在李雅普诺夫意义下是大范围内渐进稳定的,也就是说从状态空间上任意一点出发,最后都能收敛到平衡状态/平衡点。

    (4)不稳定性
      如果平衡状态 xe 受到某种扰动后,状态开始偏离 xe ,我们就称 xe 在李雅普诺夫意义下是不稳定的。

    二、李雅普诺夫稳定性间接判别法(第一方法)

    间接法是利用状态方程的解的特性来判断系统稳定性的方法,它适用于线性定常、线性时变及可线性化的非线性系统。

      线性定常系统的特征值判据:
    在这里插入图片描述
      上述系统渐进稳定的充分必要条件是:系统矩阵A的全部特征值位于复平面左半部。

    三、李雅普诺夫稳定性直接判别法(第二方法)

    直接法是利用李雅普诺夫函数直接对平衡状态稳定性进行判断,无需求出系统状态方程的解,它适用于各种控制系统。

      一个非常天才的想法,稳定的系统能量总是不断被耗散的,随着时间的推移,系统迟早会到达稳定状态。实际系统的能量函数表达式相当的难找,因此李雅普诺夫引入了广义能量函数,称之为李雅普诺夫函数。

      李雅普诺夫函数:与x1,x2…xn及t相关,是一个标量函数,记为V(x,t)。考虑到能量总大于0,故为正定函数,能量衰减用V(x,t)的一阶导数表示。不过迄今为止没有形成构造李雅普诺夫函数的通用方法,需要经验和技巧。实践表明,对于大多数系统,可先尝试一下的二次型函数作为李雅普诺夫函数。
    在这里插入图片描述
    判断定理:

    定理一:V(x,t)正定;V’(x,t)负定;原点渐进稳定。

    定理一:V(x,t)正定;V’(x,t)负半定,且在非零状态不恒为0;原点渐进稳定。

    定理一:V(x,t)正定;V’(x,t)负半定,且在非零状态恒为0;原点李雅普诺夫稳定。

    定理一:V(x,t)正定;V’(x,t)正定;原点不稳定。

    展开全文
  • GAN最新进展:8大技巧提高稳定

    千次阅读 2019-02-18 10:22:16
      【新智元导读】生成对抗网络GAN很强大,但也有很多造成GAN难以使用的缺陷。本文介绍了可以克服GAN训练缺点的一些解决方案,有助于提高GAN...GAN 本质上是由两个神经网络组成的系统——生成器 (Generator) 和...

    https://www.toutiao.com/a6656974166970860035/

     

    【新智元导读】生成对抗网络GAN很强大,但也有很多造成GAN难以使用的缺陷。本文介绍了可以克服GAN训练缺点的一些解决方案,有助于提高GAN性能。

    生成对抗网络 (GAN) 是一类功能强大的神经网络,具有广泛的应用前景。GAN 本质上是由两个神经网络组成的系统——生成器 (Generator)鉴别器 (Discriminator)——二者相互竞争。

     

    给定一组目标样本,生成器试图生成能够欺骗鉴别器的样本,使鉴别器认为这些样本是真实的。鉴别器试图从假的 (生成的) 样本中分辨出真实的 (目标) 样本。使用这种迭代训练方法,我们最终能得到一个非常擅长生成足以以假乱真的样本的生成器。

    GAN 有很多应用,因为它们可以学习模仿几乎所有类型的数据分布。通常,GAN 用于移除图像伪影、超分辨率、姿势转换,以及任何类型的图像翻译,例如下面这些:

    GAN最新进展:8大技巧提高稳定性

     

    使用 GAN 进行图像翻译 (Source: https://phillipi.github.io/pix2pix/)

    然而,由于其无常的稳定性,GAN 非常难以使用。不用说,许多研究人员已经提出了很好的解决方案来减轻 GAN 训练中涉及的一些问题。

    然而,这一领域的研究进展如此之快,以至于很难跟踪所有有趣的想法。本文列出了一些常用的使 GAN 训练稳定的技术。

    使用 GAN 的缺点

    GAN 难以使用的原因有很多,这里列出一些主要的原因。

    1、模式坍塌 (Mode collapse)

    自然数据分布是高度复杂且多模态的。也就是说,数据分布有很多 “峰值”(peaks) “模式”(modes)。每个 mode 表示相似数据样本的集中度,但与其他 mode 不同。

    在 mode collapse 期间,生成器生成属于一组有限模式集的样本。当生成器认为它可以通过锁定单个模式来欺骗鉴别器时,就会发生这种情况。也就是说,生成器仅从这种模式来生成样本。

    GAN最新进展:8大技巧提高稳定性

     

    顶部的图像表示没有发生 mode collapse 的 GAN 的输出。底部的图像表示发生了 mode collapse 的 GAN 的输出

    (Source: https://arxiv.org/pdf/1611.02163.pdf)

    鉴别器最终会发现这种模式下的样本是假的。但生成器仅仅是锁定到另一种模式。这个循环无限重复,从根本上限制了生成样本的多样性

    2、收敛 (Convergence)

    GAN 训练中一个常见的问题是 “我们应该在什么时候停止训练?”。由于鉴别器损失降低时,生成器损失增加 (反之亦然),我们不能根据损失函数的值来判断收敛性。如下图所示:

    GAN最新进展:8大技巧提高稳定性

     

    一个典型的 GAN 损失函数

    3. 质量

    与前一个问题一样,很难定量地判断生成器何时产生高质量的样品。在损失函数中加入额外的感知正则化可以在一定程度上缓解这种情况。

    4. 度量标准 (Metrics)

    GAN 目标函数可以解释生成器或鉴别器相对于其他方法的性能表现。然而,它并不代表输出的质量或多样性。因此,我们需要不同的度量标准。

    8大技巧提高GAN性能

    有很多技巧可以用来使 GAN 更加稳定或更加强大。这里只解释了相对较新的或较复杂的一些技术。

    1、替代损失函数 (Alternative Loss Functions)

    针对 GAN 的缺陷,最常用的一种修复方法是 Wasserstein GAN。它本质上用 Earth Mover distance (Wasserstein-1 distance 或 EM distance) 来替代传统 GAN 的 Jensen Shannon 散度。EM 距离的原始形式是难以处理的,因此我们使用它的 dual 形式。这要求鉴别器为 1-Lipschitz,它是通过削减鉴别器的权重来维持的。

    使用 Earth Mover distance 的优点是,即使真实的数据和生成的数据分布不相交,它也是连续的,这与 JS 散度或 KL 散度不同。同时,生成的图像质量与损失值之间存在相关性。缺点是,我们需要对每个生成器更新执行多个鉴别器更新。此外,作者认为,利用权重削减来确保 1-Lipschitz 约束是一种糟糕的方法。

    GAN最新进展:8大技巧提高稳定性

     

    即使分布不连续,earth mover distance(左)也是连续的,与 JS 散度 (右) 不同

    另一个解决方案是使用均方损失 (mean squared loss) 来替代对数损失。LSGAN 的作者认为,传统的 GAN 损失函数并没有提供太多的激励来将生成的数据分布 “拉” 到接近真实数据分布的位置。

    原始 GAN 损失函数中的 log loss 并不关心生成的数据与决策边界的距离 (决策边界将真实数据和虚假数据分开)。另一方面,LSGAN 对远离决策边界的生产样本实施乘法,本质上是将生成的数据分布 “” 得更接近真实的数据分布。LSGAN 用均方损失代替对数损失来实现这一点。

    2、Two Timescale Update Rule (TTUR)

    在这种方法中,我们对鉴别器和生成器使用不同的学习率。通常,生成器使用较慢的更新规则 (update rule),鉴别器使用较快的更新规则。使用这种方法,我们可以以 1:1 的比例执行生成器和识别器的更新,只需要修改学习率。SAGAN 实现正是使用了这种方法。

    3、梯度惩罚 (Gradient Penalty)

    在 Improved Training of WGANs 这篇论文中,作者声称 weight clipping 会导致优化问题。

    作者表示, weight clipping 迫使神经网络学习最优数据分布的 “更简单的近似”,从而导致较低质量的结果。他们还声称,如果没有正确设置 WGAN 超参数,那么 weight clipping 会导致梯度爆炸或梯度消失问题。

    作者在损失函数中引入了一个简单的 gradient penalty,从而缓解了上述问题。此外,与最初的 WGAN 实现一样,保留了 1-Lipschitz 连续性。

    GAN最新进展:8大技巧提高稳定性

     

    与 WGAN-GP 原始论文一样,添加了 gradient penalty 作为一个正则化器

    DRAGAN 的作者声称,当 GAN 所玩的游戏达到 “局部平衡状态” 时,就会发生 mode collapse。他们还声称,鉴别器围绕这些状态产生的梯度是“尖锐的”。当然,使用 gradient penalty 可以帮助我们避开这些状态,大大增强稳定性,减少模式崩溃。

    4、谱归一化 (Spectral Normalization)

    Spectral Normalization 是一种权重归一化技术,通常用于鉴别器上,以增强训练过程。这本质上保证了鉴别器是 K-Lipschitz 连续的。

    像 SAGAN 这样的一些实现,也在生成器上使用 spectral Normalization。该方法比梯度惩罚法计算效率更高。

    5、Unrolling 和 Packing

    防止 mode hopping 的一种方法是预测未来,并在更新参数时预测对手。Unrolled GAN 使生成器能够在鉴别器有机会响应之后欺骗鉴别器。

    防止 mode collapse 的另一种方法是在将属于同一类的多个样本传递给鉴别器之前 “打包” 它们,即 packing。这种方法被 PacGAN 采用,在 PacGAN 论文中,作者报告了 mode collapse 有适当减少。

    6、堆叠 GAN

    单个 GAN 可能不足以有效地处理任务。我们可以使用多个连续堆叠的 GAN,其中每个 GAN 可以解决问题中更简单的一部分。例如,FashionGAN 使用两个 GAN 来执行局部图像翻译。

    GAN最新进展:8大技巧提高稳定性

     

    FashionGAN 使用两个 GAN 进行局部图像翻译

    把这个概念发挥到极致,我们可以逐渐加大 GAN 所解决的问题的难度。例如, Progressive GAN (ProGAN) 可以生成高质量的高分辨率图像。

    7、Relativistic GAN

    传统的 GAN 测量生成的数据是真实数据的概率。 Relativistic GAN 测量生成的数据比真实数据 “更真实” 的概率。正如 RGAN 论文中提到的,我们可以使用适当的距离度量来度量这种“相对真实性”。

    GAN最新进展:8大技巧提高稳定性

     

    使用标准 GAN loss 时鉴别器的输出 (图 B)。图 C 表示输出曲线的实际样子。图 A 表示 JS 散度的最优解。

    作者还提到,鉴别器的输出在达到最优状态时应该收敛到 0.5。然而,传统的 GAN 训练算法强迫鉴别器对任何图像输出 “real”(即 1)。这在某种程度上阻止了鉴别器达到其最优值。 relativistic 方法也解决了这个问题,并取得了相当显著的效果,如下图所示:

    GAN最新进展:8大技巧提高稳定性

     

    经过 5000 次迭代后,标准 GAN(左) 和 relativistic GAN(右) 的输出

    8、自注意力机制

    Self Attention GANs 的作者表示,用于生成图像的卷积会查看局部传播的信息。也就是说,由于它们限制性的 receptive field,它们错过了全局性的关系。

    GAN最新进展:8大技巧提高稳定性

     

    将 attention map(在黄色框中计算) 添加到标准卷积操作中

    Self-Attention GAN 允许对图像生成任务进行注意力驱动的长期依赖建模。 Self-Attention 机制是对普通卷积运算的补充。全局信息 (远程依赖) 有助于生成更高质量的图像。网络可以选择忽略注意机制,也可以将其与正常卷积一起考虑。

     

    对红点标记的位置的 attention map 的可视化

    总结

    研究社区已经提出了许多解决方案和技巧来克服 GAN 训练的缺点。然而,由于新研究的数量庞大,很难跟踪所有重要的贡献。

    由于同样的原因,这篇文章中分享的细节并非详尽无疑,可能在不久的将来就会过时。尽管如此,还是希望本文能够成为人们寻找改进 GAN 性能的方法的一个指南。

    囿于篇幅,本文中的参考文献见原文:

    https://medium.com/beyondminds/advances-in-generative-adversarial-networks-7bad57028032

    展开全文
  •  在嵌入式系统的应用当中,需求一个gprs模块,可与服务保持tcp长的连接,首先是需要测试该模块的通讯稳定性能,长连接是否掉线。 原理  使用某品牌的SIM900A模块,测试卡为移动流量卡,使用AT指令测试。 ...
  • 主板是电脑的核心各种配件的性能都要通过它来发挥 所以购买计算机我一向将主板的购买优先权定得 很高 购买主板有如下几个重点其重要性按高到低排列 首先是稳定性主板的稳定性可 以代表整个系统稳定性其重 要性...
  • 现代控制理论-6李雅普诺夫稳定

    千次阅读 2019-12-01 22:45:17
    在这里,提出一个不严谨的说法:一个稳定系统,在离开平衡点后的反应随时间衰减,至少不增加。 下面给出一个严谨的数学表达,先看几个符号: ∀ : \forall: ∀ : for all,对于任意给定 ∃ : \exist: ∃ : ...
  • 负反馈的稳定

    千次阅读 多人点赞 2018-08-28 16:16:07
    负反馈的稳定性是一个很陈旧的内容。但实际上真正理清楚并不简单。最突出的一点是,模电教材上喜欢讲:负反馈系统传递函数,如果环路增益满足相位为180°,幅度为1,那么分母就是0,传函变成无穷大,电路开始自激...
  • 反馈的判断方法

    千次阅读 2020-10-27 00:29:06
    反馈的基本概念与分类 ...提高增益的稳定性 减小非线性失真 抑制反馈环内噪声 对输入电阻和输出电阻的影响 拓展宽带 深度负反馈条件下的近似计算 负反馈放大电路设计 负反馈放大电路的自激振荡及稳定工作的条件 ...
  • 因果信号与因果系统

    万次阅读 多人点赞 2018-07-17 21:56:12
    信号的线性、时不变特性以及稳定性等都相对而言比较好理解,每每到了因果这一块,总是让人费解。于是今天总结一番,扫清这个学习过程中的障碍! 因果关系: 从系统的因果性来看,输入(激励)是输出(响应)的原因...
  • 利用分析技巧,通过构造恰当的Lebesgue-Stieltjes积分型Lyapunov泛函,得到系统全局鲁棒指数稳定的充分条件,判断方法简单。最后给出一个实例,以说明本文主要结论的有效性。
  • 俄国学者李雅普诺夫提出的稳定性定理采用了状态向量来描述,适用于单变量,线性,非线性,定常,时变,多变量等系统,该方法称为...利用状态方程解的特性来判断系统稳定性。 1.1线性定常系统稳定性的特征值判据 ...
  • 摘要:人脸检测与识别是机器视觉领域最热门的研究方向之一,本文详细介绍博主自主设计的一款基于深度学习的人脸识别与管理系统。博文给出人脸识别实现原理的同时,给出Python的人脸识别实现代码以及PyQt设计的UI界面...
  • 线性时不变系统

    千次阅读 2020-08-06 23:15:23
    一、离散时间线性时不变系统:卷积和 一)、用脉冲表示离散时间信号 1、如何把任何离散时间时间信号看成由离散时间单位脉冲构成的关键是:要把一个离散时间信号当成一串单个脉冲来想象。 2、离散时间单位脉冲序列的...
  • 阿里巴巴稳定性保障体系

    千次阅读 2021-01-24 18:27:41
    阿里巴巴稳定性保障体系 作者介绍 步崖,曾就职于阿里巴巴和蚂蚁金服。熟悉高并发、高可用架构,稳定性保障等。热衷于技术研究和分享,发表过”分布式事务”、”分布式缓存”等多篇文章被广泛阅读和转载 ...
  • 起重机械指挥考试技巧考前必练!安全生产模拟考试一点通每个月更新起重机械指挥考试试题题目及答案!多做几遍,其实通过起重机械指挥操作证考试很简单。 1、【多选题】下图中箭头所示的安全保护装置是应急断电...
  • 聊聊高可用的 11 个关键技巧

    千次阅读 多人点赞 2022-04-06 22:48:45
    今天,Tom哥就带大家学习下高可用都有哪些设计技巧?一、系统拆分有句古话 "牵一发而动全身"。面对一个庞然大物,如果没有一个合理的分工分层。任何一个小小失误都会被无限放大,酿成巨大灾难。万物相通,回到我们的...
  • FPGA,verilog程序技巧之状态机与稳定性,高速

    千次阅读 多人点赞 2014-06-05 07:47:55
    原因FPGA编程的稳定性,在程序编写到一定程度后,就会出现,这里是要提示的地方。
  • 信号与系统常见问题总结(1)

    千次阅读 2021-01-08 00:27:03
    4.怎么判断系统的特性 --线性,时变,因果,稳定1.判断线性的标准步骤2.判断时变和时不变3.因果性判断4.稳定判断5.最小取样频率的求解6.离散系统分析--z变换7.连续系统分析--拉普拉斯变换8.两道傅里叶变换的应用--...
  • 运放稳定性3:环路稳定性基础(3)

    千次阅读 2018-04-16 18:02:26
    作者:Tim Green,TI公司Burr-Brown 产品战略发展经理1.3 稳定性标准图1.14 的下部显示代表一个带反馈运放电路的传统控制环路模型框图;上部显示与控制环路模型相对应的典型带反馈运放电路。我们将这种带反馈运放...
  • 毕业设计答辩技巧&降重技巧

    万次阅读 多人点赞 2019-03-15 09:15:54
    大家答辩都是第一次,作为一个打交道多次的''老鸟'',从我的角度,给大家说一下常见的...问题2:你在进行数据库设计的时候,有什么技巧吗? 问题3:给我找到XX模块的代码,并讲解一下[XX流程是怎么实现的]? 问题...
  • 嵌入式系统编程和调试技巧

    千次阅读 2014-09-17 21:47:54
    本文描述了嵌入式系统开发中编程调试的一些技巧,如何预防BUG出现,如何设置BUG陷阱,及时发现问题和定位问题,提高开发效率。
  • 超详细丨完整的推荐系统架构设计

    千次阅读 2020-09-16 09:18:11
    推荐系统是移动互联网时代非常成功的人工智能技术落地场景之一。 本文我们将从架构设计的角度回顾和讨论推荐系统的一些核心算法模块,重点从离线层、近线层和在线层三个架构层面讨论这些算法。 本文不会讲解一些具体...
  • 深入探索Android稳定性优化

    万次阅读 多人点赞 2020-03-12 12:12:31
    2、稳定性优化注意事项 我们在做应用的稳定性优化的时候,需要注意三个要点,如下所示: 1、重在预防、监控必不可少 对于稳定性来说,如果App已经到了线上才发现异常,那其实已经造成了损失,所以,对于稳定性的...
  • 为什么这样说呢,在视觉系统中图像是核心,选择合适的光源能够呈现一幅好的图像,能够简化算法提高系统稳定性,一幅图像如果曝光过度则会隐藏很多重要的信息;出现阴影则会引起边缘误判;图像不均匀则会导致阈值选择...
  • 电赛-风力摆控制系统

    千次阅读 2021-02-28 19:13:12
    风力摆控制系统摘要1. 方案论证与比较1.1. 系统主控芯片选择1.2. 风力摆动力系统方案选择1.3. 角度检测方案的选择与论证1.4. 电机驱动模块的选择与论证1.5. 算法选择2. 系统设计2.1. 系统总体设计2.2. 模块电路设计3...
  • 开篇引入一个 Flutter 的所跨平台的图片。...本节课笔者将会根据近一段时间的 Flutter 的开发实践和技术研究实践进行一个总结和整理,将 Flutter 和 Dart 开发中遇到的一些难点、问题、技巧和解决方案给大家...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,885
精华内容 13,154
关键字:

判断稳定系统的技巧