精华内容
下载资源
问答
  • 多元线性回归模型的几何意义

    千次阅读 2017-06-19 09:01:45
    多元线性回归与一元线性回归在思想上并没有太大不同 ,不过是多了一些变量罢了。考虑问题角度要从之前二维空间进阶到高维空间。传统多元线性回归模型可以用矩阵来描述。 按照OLS估计方法得出多元线性...
    模型设定与假设
    

    多元线性回归与一元线性回归在思想上并没有太大的不同 ,不过是多了一些变量罢了。考虑问题的角度要从之前的二维空间进阶到高维空间。传统的多元线性回归模型可以用矩阵来描述。

    image

    按照OLS估计方法得出的多元线性回归的参数结果为

    image

    对于该式而言Y的估计值

    image 其实正是n维向量Y 在n*k维矩阵(不存在向量自相关)所张成的k维空间上的正交投影。

    image

     

    正交投影是什么?

    使用余弦定理也可以说明Xb就是n维空间中的向量y在由X(n*p)矩阵构成的p维空间 image中的正交投影。

    正交投影矩阵可以由余弦定理推出:以二维空间为例说明

    image

     

    (余弦定理的证明可见http://www.cnblogs.com/pingzeng/p/5025672.html

    扩展到多维度空间的情况

    image

    便为矩阵X所张成的k维空间 的正交投影矩阵。

    该矩阵乘上任何一个n维向量所得到的结果即为该n维向量在空间image 的正交投影。

    展开全文
  • 无穷小微积分的模型思想

    千次阅读 2017-09-23 17:11:24
    无穷小微积分的模型思想进入现代历史时期,无穷小微积分是在超实数*R上展开,传统实数体系R上微积分将逐渐退居幕后。这是为什么呢?在传统实数R上微积分学表现为一组陈述句(Statements)集合。一般而言,...

    无穷小微积分的模型论思想

    进入现代历史时期,无穷小微积分是在超实数*R上展开的,传统实数体系R上的微积分将逐渐退居幕后。这是为什么呢?

    在传统实数R上的微积分学表现为一组陈述句(Statements)的集合。一般而言,将两个含有函数符号的表达式用等式或不等式连结起来就构成了一个陈述句。我们的目标是把R上的陈述句转移(Tranfer)到超实数*R上,使其保留原来的意义(真或假,以及没有含义),然后,在*R系统里面借助无穷小方法给予简易、直观的数学证明,从而等价于(转个”弯儿“)间接证明了R上的原始命题。

    这个“转弯”展开现代微积分体系的思路是很明白的,可以经过实际对比看出优劣。1973年,美国芝加哥地区进行无穷小微积分教学实验完全证明了这一点。我国是一个大国,每年有上千万的学生需要学习微积分,教学方法的优劣是很关重要的事情。

    J. Keisler在《ElementaryCalculus》教材中,引入以下“转移原则”:

    TRANSFERPRINCIPLE

    Every realstatement that holds for one or more particular real functions holds for thehyperreal natural extensions of these functions.

    这个“转移原则”说的就是本文上面说的意思。那么,我们要问:是不是有可能在超实数系里面首先利用无穷小方法证明了一条定理,而在传统实数系里面却没有证明这条定理?毫无疑问,这当然是可能的。为什么不能呢?这有什么值得怀疑的?

    无穷小方法与(ε,δ)极限论是怎样等价的?J. Keisler 在教学辅导书中说得明明白白,文员薛Lily将其转录之后,我们会在第一时间告诉大家。围绕无穷小方法的那一团疑云就会随风飘去。一个文员所做的事情,就是白纸黑字,铁板钉钉,你不服气不行。

    莱布尼兹(1646-1716)在29岁时发明了“无穷小”理想数,至今受到人们的喜爱。按照现代模型论的解释,无穷小就是比实数更加接近于零的超实数,需要用思维逻辑“显微镜”才能观察到它们的存在。在数字零与非零实数之间,还有空隙?当然有,而且在这个间隙中存在无限多的超实数。说白了,实数系的漏洞很多很多。1948年,28岁的Edwin Hewitt发现这些漏洞,让人们大吃一惊。有人喜欢说无穷小的坏话,但是,没有人说它在数学理论上是不正确的。我要是有个女儿,一定让她学习无穷小方法,聪明伶俐,做事非常细心。

    袁萌   923

    展开全文
  • 我对当前状态模型的看法总结 去做 将其放在一个很好解释性应用程序上下文中 主页 其他所有页面链接 主页说明 每个示例说明 深入探讨每个示例 然后把第二个例子放在一起 从状态示例中查找更多示例 写出我为...
  • 图灵机的意义思想内涵

    万次阅读 2017-06-13 20:28:36
    图灵提出图灵机的模型并不是为了同时给出计算机的设计,它的意义我认为有如下几点: 1、 它证明了通用计算理论,肯定了计算机实现的可能性,同时它给出了计算机应有的主要架构;2、 图灵机模型引入了读写与算法与...


    图灵提出图灵机的模型并不是为了同时给出计算机的设计,它的意义我认为有如下几点:

    1、 它证明了通用计算理论,肯定了计算机实现的可能性,同时它给出了计算机应有的主要架构;

    2、 图灵机模型引入了读写与算法与程序语言的概念,极大的突破了过去的计算机器的设计理念;

    3、 图灵机模型理论是计算学科最核心的理论,因为计算机的极限计算能力就是通用图灵机的计算能力,很多问题可以转化到图灵机这个简单的模型来考虑。

    对图灵机给出如此高的评价并不是高估,因为从它的设计与运行中,我们可以看到其中蕴涵的很深邃的思想。

    通用图灵机等于向我们展示这样一个过程:程序和其输入可以先保存到存储带上,图灵机就按程序一步一步运行直到给出结果,结果也保存在存储带上。

    另外,我们可以隐约看到现代计算机主要构成(其实就是冯诺依曼理论的主要构成),存储器(相当于存储带),中央处理器(控制器及其状态,并且其字母表可以仅有0和1两个符号),IO系统(相当于存储带的预先输入);
    展开全文
  • 中介逻辑ML(Medium Logic),自建立了它三值语义模型后,ML就被许多学者认定为三值逻辑。对于中介逻辑核心理论中介命题逻辑...新模型不仅反映了中介逻辑基本思想,而且为中介逻辑在其他领域应用提供了基础。
  • 这两天无意间发现一个非常有意义的工作,称为“相对GAN”,简称 RSGAN,来自文章 The relativistic discriminator: a key element missing from standard GAN,据说该文章还得到了 GAN 创始人 Goodfellow 点赞。...

    这两天无意间发现一个非常有意义的工作,称为“相对GAN”,简称 RSGAN,来自文章 The relativistic discriminator: a key element missing from standard GAN,据说该文章还得到了 GAN 创始人 Goodfellow 的点赞。这篇文章提出了用相对的判别器来取代标准 GAN 原有的判别器,使得生成器的收敛更为迅速,训练更为稳定。

    05e6336c060df1b721e974f64c20ce791089f18b

    可惜的是,这篇文章仅仅从训练和实验角度对结果进行了论述,并没有进行更深入的分析,以至于不少人觉得这只是 GAN 训练的一个 trick。但是在笔者看来,RSGAN 具有更为深刻的含义,甚至可以看成它已经开创了一个新的 GAN 流派。所以,笔者决定对 RSGAN 模型及其背后的内涵做一个基本的介绍。不过需要指出的是,除了结果一样之外,本文的介绍过程跟原论文相比几乎没有重合之处。

    “图灵测试”思想

    SGAN

    SGAN 就是标准的 GAN(Standard GAN)。就算没有做过 GAN 研究的读者,相信也从各种渠道了解到 GAN 的大概原理:“造假者”不断地进行造假,试图愚弄“鉴别者”;“鉴别者”不断提高鉴别技术,以分辨出真品和赝品。两者相互竞争,共同进步,直到“鉴别者”无法分辨出真、赝品了,“造假者”就功成身退了。

    在建模时,通过交替训练实现这个过程:固定生成器,训练一个判别器(二分类模型),将真实样本输出 1,将伪造样本输出 0;然后固定判别器,训练生成器让伪造样本尽可能输出 1,后面这一步不需要真实样本参与。

    问题所在

    然而,这个建模过程似乎对判别器的要求过于苛刻了,因为判别器是孤立运作的:训练生成器时,真实样本没有参与,所以判别器必须把关于真实样本的所有属性记住,这样才能指导生成器生成更真实的样本。

    在生活实际中,我们并不是这样做的,所谓“没有对比就没有伤害,没有伤害就没有进步”,我们很多时候是根据真、赝品的对比来分辨的。比如识别一张假币,可能需要把它跟一张真币对比一下;识别山寨手机,只需要将它跟正版手机对比一下就行了;等等。类似地,如果要想把赝品造得更真,那么需要把真品放在一旁不断地进行对比改进,而不是单单凭借“记忆”中的真品来改进。

    “对比”能让我们更容易识别出真、赝品出来,从而更好地制造赝品。而在人工智能领域,我们知道有非常著名的“图灵测试”,指的是测试者在无法预知的情况下同时跟机器人和人进行交流,如果测试者无法成功分别出人和机器人,那么说明这个机器人已经(在某个方面)具有人的智能了。“图灵测试”也强调了对比的重要性,如果机器人和人混合起来后就无法分辨了,那么说明机器人已经成功了。

    接下来我们将会看到,RSGAN 就是基于“图灵测试”的思想的:如果鉴别器无法鉴别出混合的真假图片,那么生成器就成功了;而为了生成更好的图片,生成器也需要直接借助于真实图片。

    RSGAN基本框架

    SGAN分析

    首先,我们来回顾一下标准 GAN 的流程。设真实样本分布为 p̃(x),伪造样本分布为 q(x),那么固定生成器后,我们来优化判别器 T(x):

    dca4f41569ada823bae6d184b11219e6f255f5d7

    这里的 σ 就是 sigmoid 激活函数。然后固定判别器,我们优化生成器 G(z):

    112734621ef16fa219b68ec07f8432df65c31b57

    注意这里我们有个不确定 h,我们马上就来分析它。从 (1) 我们可以解出判别器的最优解满足(后面有补充证明):

    8d54b146540fd97c88f04be92f34116c90d70115

    代入 (2),可以发现结果为:

    4f5b91a32a2d507e0fd25983a418100aacdd05bd

    写成最后一个等式,是因为只需要设 f(t)=h(log(t)),就能够看出它具有 f 散度的形式。也就是说,最小化 (2) 就是在最小化对应的 f 散度。关于 f 散度,可以参数我之前写的 f-GAN 简介:GAN 模型的生产车间 [1]

    f 散度中的 f 的本质要求是 f 是一个凸函数,所以只需要选择 h 使得 h(log(t)) 为凸函数就行。最简单的情况是 h(t)=−t,对应 h(log(t))=−logt 为凸函数,这时候 (2) 为:

    cbe082f8879d63325619dbb0ab50f4230b98d26a

    类似的选择有很多,比如当 h(t)=−logσ(t) 时,233e58be263a19d8d5bfc8cd070aa522b209493d也是凸函数(t>0 时),所以:

    4228a09b1f04ff91b2da1736b81c2c530d38796d

    也是一个合理的选择,它便是 GAN 常用的生成器 loss 之一。类似地还有 h(t)=log(1−σ(t)),这些选择就不枚举了。

    RSGAN目标

    这里,我们先直接给出 RSGAN 的优化目标:固定生成器后,我们来优化判别器 T(x):

    527a4de916387adb89a62dec4a2a2cbb29742fa8

    这里的 σ 就是 sigmoid 激活函数。然后固定判别器,我们优化生成器 G(z):

    34f8e081fba1293875b68a7d79a76cda1d31a182

    跟 SGAN 一样,我们这里保留了一般的 h,h 的要求跟前面的 SGAN 的讨论一致。而 RSGAN 原论文的选择是:

    3d08590d29971815224f128ecc4f8f3ef9017a78

    看上去就是把 SGAN 的判别器的两项换成一个相对判别器了,相关的分析结果有什么变化呢?

    理论结果

    通过变分法(后面有补充证明)可以得到,(7) 的最优解为:

    112dd1d7f3dc6d1a861cda78c6a9e245480004e7

    代入到 (8),结果是:

    bf96a15f61c36446083a497e47b89471c4cdf715

    这个结果便是整个 RSGAN 的精华所在了,它优化的是 p̃(Xr)q(Xf) 与 p̃(Xf)q(Xr) 的 f 散度!

    这是什么意思呢?它就是说,假如我从真实样本采样一个 Xr 出来,从伪造样本采样一个 Xf 出来,然后将它们交换一下,把假的当成真,真的当成假,那么还能分辨出来吗?换言之:p̃(Xf)q(Xr) 有大变化吗?

    假如没有什么变化,那就说明真假样本已经无法分辨了,训练成功,假如还能分辨出来,说明还需要借助真实样本来改善伪造样本。所以,式 (11) 就是 RSGAN 中的“图灵测试”思想的体现:打乱了数据,是否还能分辨出来?

    模型效果分析

    作者在原论文中还提出了一个 RaSGAN,a 是 average 的意思,就是用整个 batch 的平均来代替单一的真/伪样本。但我觉得这不是一个特别优雅的做法,而且论文也表明 RaSGAN 的效果并非总是比 RSGAN 要好,所以这就不介绍了,有兴趣的读者看看原论文即可。

    至于效果,论文中的效果列表显示,RSGAN 在不少任务上都提升了模型的生成质量,但这并非总是这样,平均而言有轻微的提升吧。作者特别指出的是 RSGAN 能够加快生成器的训练速度,我个人也实验了一下,比 SGAN、SNGAN 都要快一些。

    我的参考代码:

    https://github.com/bojone/gan/blob/master/keras/rsgan_sn_celeba.py

    借用 MingtaoGuo [2] 的一张图来对比 RSGAN 的收敛速度:

    8a40eba1f2670188d63205fa4028c3c6f2c8c279

    RSGAN收敛速度对比

    从直观来看,RSGAN 更快是因为在训练生成器时也借用了真实样本的信息,而不仅仅通过判别器的“记忆”;从理论上看,通过 T(Xr)、T(Xf) 作差的方式,使得判别器只依赖于它们的相对值,从而简单地改善了判别器 T 可能存在的偏置情况,使得梯度更加稳定。甚至我觉得,把真实样本也引入到生成器的训练中,有可能(没仔细证明)提升伪造样本的多样性,因为有了各种真实样本来对比,模型如果只生成单一样本,也很难满足判别器的对比判别标准。

    相关话题讨论

    简单总结

    总的来说,我觉得 RSGAN 是对 GAN 的改进是从思想上做了改变的,也许 RSGAN 的作者也没有留意到这一点。

    我们经常说,WGAN 是 GAN 之后的一大突破,这没错,但这个突破是理论上的,而在思想上还是一样,都是在减少两个分布的距离,只不过以前用 JS 散度可能有各种问题,而 WGAN 换用了 Wasserstein 距离。

    我觉得 RSGAN 更像是一种思想上的突破——转化为真假样本混淆之后的分辨——尽管效果未必有大的进步。(当然你要是说大家最终的效果都是拉近了分布距离,那我也没话说)。

    RSGAN 的一些提升是容易重现的,当然由于不是各种任务都有提升,所以也有人诟病这不过是 GAN 训练的一个 trick。这些评论见仁见智吧,不妨碍我对这篇论文的赞赏和研究。

    对了,顺便说一下,作者 Alexia Jolicoeur-Martineau [3] 是犹太人总医院(Jewish General Hospital)的一名女生物统计学家,论文中的结果是她只用一颗 1060 跑出来的 [4]。我突然也为我只有一颗 1060 感到自豪了,然而我有 1060 但我并没有 paper。

    延伸讨论

    最后胡扯一些延伸的话题。

    首先,可以留意到,WGAN 的判别器 loss 本身就是两项的差的形式,也就是说 WGAN 的判别器就是一个相对判别器,作者认为这是 WGAN 效果好的重要原因。

    这样看上去 WGAN 跟 RSGAN 本身就有一些交集,但我有个更进一步的想法,就是基于 p̃(xr)q(xf) 与p̃(xf)q(xr) 的比较能否完全换用 Wasserstein 距离来进行?我们知道 WGAN 的生成器训练目标也是跟真实样本没关系的,怎么更好地将真实样本的信息引入到 WGAN 的生成器中去?

    还有一个问题,就是目前作差仅仅是判别器最后输出的标量作差,那么能不能是判别器的某个隐藏层作差,然后算个 mse 或者再接几层神经网络?总之,我觉得这个模型的事情应该还没完。

    补充证明

    (1) 的最优解

    1a8df17dd091b373b7df372d5b53306d53e8daf5

    变分用 δ 表示,跟微分基本一样:

    89f2724b21a01e32c45d8b64b2bae7e01bba701b

    极值在变分为 0 时取到,而 δσ(T(x)) 代表任意增量,所以如果上式恒为 0,意味着括号内的部分恒为 0,即:

    aa86f6fc0e320fc72e11d642ada763febeec5d37

    (7) 的最优解

    20edd754f70794df05bb1368acabd13f7720eb57

    变分上式:

    d85b576933479d778c0db07eb2ce28351f08f394

    极值在变分为 0 时取到,所以方括号内的部分恒为 0,即:

    1222c6b0377c3f4055052b209110f2a4fb2d15c6



    原文发布时间为:2018-10-29
    本文作者:苏剑林
    本文来自云栖社区合作伙伴“PaperWeekly”,了解相关信息可以关注“PaperWeekly”。
    展开全文
  • 对微分方程模型,以香港为例讨论了 自愈影响,在一定意义下说明自愈现象在SARS传播中是普遍存在。模拟模型利用Small-World Network模拟现实中人们之间接触;借鉴Sznajd模型观念传播基本思想“考察区域内每个...
  • Stent正在将的思想的思想相结合。 聊天: : 关于状态机几句话 状态机是计算数学模型。 这是一个抽象概念,其中机器可能具有不同状态,但在给定时间只能满足其中之一。 它接受输入,并根据该输入(加上...
  • 由于液晶显示器不能完全满足通道独立性和色品恒定性而导致其色度特征化精度不高,故液晶显示器精确色度特征化模型的研究具有重要意义。将分空间处理的思想应用于对液晶显示器色度特征化精度较高掩模(Masking)...
  • 经过领域模型的分析后,面向对象已经初具雏形,但领域类并不能指导我们进行编码工作,因为领域类只是从用例模型中提炼出来反应业务领域概念,而并不是真正意义软件类。 “革命尚未成功,同志还需努力”,...
  • 在分析循环贷款和简化模型主要特征基础上,提出了应用简化模型解决循环贷款定价问题建模思想。通过在鞅测度下计算贷款收入和成本支出现金流,建立了盈亏平衡条件下定价模型的框架,推导出了循环贷款定价公式...
  • 基于积分几何意义的视角, 利用函数逼近的思想, 结合复化梯形公式, 提出一种新GM(1,1) 模型背景值优化方法. 算例结果表明, 利用优化背景值计算公式所建立GM(1,1) 模型在预测精度上有显著提高.</p>
  • 固体热容是反映晶体热学性质一个重要物理量,对固体热容具体求解是一个相当复杂问题,在一般讨论中,常采用爱因斯坦模型及德拜模型。...对进一步理解两种模型的物理思想,及其讨论具体问题方法具有重要意义
  • 为解决这些系统开发瓶須,MathWork8公司提出了基于模型设计(Model Based Design,MBD) 系统开发理念,其意义在于:用 Simulink 模哦描述系统和子系统中物理职型,并在统一仿真环境中对整个系统进行仿真,以便及时...
  • Bart模型应用实例及解析(一)————基于波士顿房价数据集回归模型前言一、数据集1、数据集获取2、数据集变量名及意义二、完整代码三、代码运行结果及解析1.数据描述性分析2.建立Bart模型以及分析3.变量选择4....
  • 传统Event模型的碰撞模板是一个长方体模板,本文在前人研究基础上提出了用椭球体代替长方体碰撞模板的思想,并对飞机穿越垂直间隔片概率重新进行计算。结果表明,在相同条件下改进后Event碰撞风险模型是原模型...
  • 本文基于一种MP模型的几何意义解释---球邻域模型,即将神经网络训练转化为几何点集覆盖问题,通过对神经网络分界面分析提出了一种改进前馈神经网络训练算法,并且引入神经网络集成的思想,用以解决手写体...
  • Bart模型应用实例及解析(一)————基于波士顿房价数据集回归模型前言一、数据集1、数据集获取2、数据集变量名及意义2、数据集描述性统计分析二、使用步骤1.引入库2.读入数据总结 前言 这里是在实战中使用...
  • 基于多层体系结构Web应用数据...通过分析J2EE架构和XML技术,结合两者优点,依据数据处理过程功能模块和组件化思想,提出一个通用数据模型.该模型具有扩充性、平台无关性和可靠性特点,是一个通用Web应用模型.
  • 当模糊变量是三角模糊数时,将模糊模型转化为确定意义清晰等价模型进行求解;在模型推导过程中,提出了一个引理和一个定理,并给出了其详细证明过程。对于那些无法转化为清晰等价形式复杂情况,设计了一种基于...
  • Reactor线程模型

    千次阅读 2017-08-14 16:41:11
    首先要需要说明的是,reactor线程模型并不是netty所独有,其是一种并发编程模型,更确切的或者说一种思想,其具有的是指导意义,开发者需要在这种编程模型思想的指导下,结合自己的实际场景,来进行合理的设计。...
  • 基于用户协同过滤推荐模型

    千次阅读 2017-06-12 09:52:13
    主要思想是建立用户与用户、物品与物品之间相似性联系。并将这些转化为有意义的数据。常用语电商网站中,以为客户推荐其喜好产品为目的。主要系统过滤推荐方式主要有以下四种: - 基于用户协同过滤推荐 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 799
精华内容 319
关键字:

模型思想的意义