精华内容
下载资源
问答
  • 逻辑sigmoid用来产生伯努利分布的phi参数,因为它的范围是0到1,也就是phi参数的有效值区间。 softplus函数用来产生正态/高斯分布的beta或sigma参数,因为它的范围是0到正无穷,

    http://www.deeplearningbook.org/

    67页,3.10 常用函数及性质
    逻辑sigmoid用来产生伯努利分布的phi参数,因为它的范围是0到1,也就是在phi参数的有效值区间。
    softplus函数用来产生正态/高斯分布的beta或sigma参数,因为它的范围是0到正无穷,

    4.1 underflow和overflow
    一种rounding错误,会是毁灭性的,是underflow,发生在数字在0附近的时候会rounded到0,很多函数有近似错误在计算机表示数字的时候。
    很多函数会得到一个0而不是一个小正数,例如,我们通常都要避免除0,

    另外一个毁灭性的的数字错误是overflow,发生在数字在正负无穷的时候,因为进一步的计算会把正负无穷的值改变为非数字的值,比如softmax函数,softmax通常用来预测multinoulli分布的概率,考虑所有xi等于相同的常数c的时候,理论上我们应该看到所有输出应该是1/n,但是这个不会发生当c为巨大值的时候,如果c是巨大负值,这时exp(c)会underflow,也就是说softmax的分母会是0,当c非常正值大的时候,exp(c)会overflow,都会让结果无法定义。这两种问题可以这样解决,(见81页)

    4.2 Poor Conditioning
    Conditioning的意思是一个函数在输入有小的变化时,输出的变化速度,当函数输入有很小的波动的时候 函数输出变化很快,将会是科学计算的问题,因为rounding错误在输入的时候,会造成很大的输出改变。

    考虑这个函数f(x)=(A^-1) * x,A是R^(n*n),当A作特征值分解,它的condition数字是(4.2)所示,(4.2)是最大特征值和最小特征值的比值,当这个值很大的时候,矩阵反转会对输入的错误特别敏感。
    这个敏感性是矩阵的内在性质,不是矩阵反转造成的rounding错误,在我们乘以矩阵反转的时候poorly conditioned矩阵会扩大之前存在的错误,实际操作中,错误会因数字计算错误和矩阵反转自身的一起合起来更大。

    4.3基于梯度的优化
    大多数深度学习算法都有优化过程,优化是通过改变x使f(x)最大化或最小化,这个f(x)我们称作objective函数或criterion,当我们求最小化的时候,我们称f(x)为cost函数或loss函数,在最大化或最小化一个函数时,我们会这样表示,x* = arg min f(x),

    我们通常要最小化的函数是有多个输入,f:R^n -> R , 只有一个(张量)的输出
    对于有多个输入的函数,我们要定义偏导数(partial derivatives)的意思,这个偏导数意思是在唯一的xi变化的时候,函数的值如何变化。
    而f的梯度,表示为 倒三角x f(x),包括所有偏导数。
    directional derivative在u向量的方向是f在u的坡度(见85页)
    为了最小化f,我们需要找到f减少最快的方向,

    4.3.1 梯度以外:Jacobian和Hessian矩阵
    有时我们需要找到 输入输出都是vector的函数的 所有偏导数,这种包括所有偏导数的的矩阵叫Jabobian矩阵,我们表示为 f: R^m -> R^n ,
    我们也关注 一个导数的导数,也即二阶导数,当我们的函数有多个输入维度的时候,这时就有很多二阶导数,这些二阶导数组合在一起就叫Hessian矩阵。

    展开全文
  • 6.3 hidden unitsRELU是hidden单元很好的默认选择,rectified linear函数0点不是可微分的,这貌似会使rectified linear函数不能使用基于梯度的训练算法,而实践中,梯度下降仍然表现很好。 因为我们不期望训练...

    6.3 hidden units

    RELU是hidden单元很好的默认选择,rectified linear函数在0点不是可微分的,这貌似会使rectified linear函数不能使用基于梯度的训练算法,而实践中,梯度下降仍然表现很好。
    因为我们不期望训练达到一个梯度为0的点,cost函数的最小值在一个未定义的梯度是可以接受的,隐藏单元不能微分的情况一般是只在几个少数的点,在一个点是可微分的只有这点的左右导数相等。
    大多数隐藏单元接受一个向量输入x,进行转换z=Wx+b,然后应用非线性激活函数g(z)

    6.3.1 Rectified Linear Units and Their Generalizations

    RELU
    初始化参数的时候,最好把b的所有元素都设置比较小,正值,比如0.1

    6.3.2 logistic sigmoid and hyperbolic tangent

    deeplearning
    这两个激活函数很近似因为tanh(z)=2σ(2z)-1
    我们已经看到sigmoid单元作为输出单元,用来预测binary变量的值为1的概率,不像是分段线性的单元,sigmoidal单元saturate在几乎整个取值域,即它在z是一个大的正值的时候saturate到一个高值,在z是一个很负的值的时候saturate到一个低值,只在z在0附近的时候敏感,这种很广泛的saturation会让基于梯度的训练很困难,基于这点,sigmoid作为隐藏单元不被鼓励,而作为输出单元因为如有一个合适的cost函数能抵消其saturation就可以。
    如果必须用sigmoid做隐藏单元,tanh激活函数更好些,因为tanh(0)=0而σ(0)=1/2,

    6.4 Architecture Design

    使用多少单元和这些单元如何连接。

    6.4.1 universal approximation properties and depth

    一个线性模型,通过矩阵操作把特征映射到输出,容易训练,但我们更想训练非线性函数。
    幸运的是,有隐藏层的feedforward networks有universal approximation框架,特别的,这个universal approximation theorem指出有线性输出层和至少一层隐藏层(这个隐藏层又有任意的squashing激活函数,Squashing Function是将一个较大的输入值映射到较小的区间0~1的函数。)的feedforward network,可以approximate任意Borel measurable函数,从一个有限维空间到其他一个空间。Borel measurable函数本书不做介绍,我们的目标是说对于任意连续非离散函数,在R^n空间的的这个函数,是Borel measurable的这样就能被一个神经网络approximate。一个神经网络也能approximate映射任意的有限维离散空间到另一空间。
    所以这个universal approximation theorem的意思就是说无论我们要训练的函数是什么样子,我们都可以用一个MLP表示这个函数,然而我们并不能保证训练算法能够训练这个函数,即使MLP能够表示这个函数,但是训练可能会因为两个原因失败:1,是训练算法可以能不饿能找到目的函数的参数,2,是训练算法可能会因为overfit选择错误的函数。
    这个universal approximation理论指出存在一个神经网络足够大来达到我们想要的精度,但是没有指出这个神经网络会有多大。

    展开全文
  • 美国时间 2015 年 12 月 28 日晚,著名 Linux 发行版 Debian GNU/Linux 的创始人 Ian Murdock 被发现旧金山的家中离世,30日,Debian 社区正式发表了悼念声明,Linux Story 将全文翻译如下: 我们怀着沉重地心情...

    screenshot美国时间 2015 年 12 月 28 日晚,著名 Linux 发行版 Debian GNU/Linux 的创始人 Ian Murdock 被发现在旧金山的家中离世,30日,Debian 社区正式发表了悼念声明,Linux Story 将全文翻译如下:

    我们怀着沉重地心情哀悼刚刚离我们而去的 Ian Murdock,开源软件的坚定支持者,父亲,儿子,和 Debian 中的 "ian"。

    screenshot

    Ian 从 1993 年8 月开始启动 Debian 项目,并在同一年的稍晚时间正式发布了它的第一个版本,Debian 还会一直坚定不移地继续努力,成为流行世界、亿万人受惠的通用操作系统,不管是嵌入式设备还是太空站,都能看到它的身影。

    Ian 一直非常关注在创建一个发行版和开源社区文化的过程中做正确的事情,不管是技术上,还是道德上。每一次准备好的系统发布,都包含着对自由软件和自由精神立场的坚定支持。

    Ian 对开源的忠诚奉献一直引导着他的工作,不管是在 Debian 还是在后来的年月里,一直伴随他朝着最好的未来。Ian 的梦想一直都在发扬和继续,Debian 社区仍然非常活跃,成千上万的开发者们用数不清的工作时间带给世界一个安全可靠的操作系统。

    这段特殊时期,Debian 社区的精神会一直陪伴着 Ian 的家庭,会陪伴一起共度难关。

    他 的家庭同时也请求大家在这个艰难的时刻留给他们一些隐私空间,我们对此非常尊重,同时也号召大家尊重 Ian 家人的愿望,来自 Debian 社区和开源社区的关心他的人们的慰问,可以发送到这个专属邮箱 in-memoriam-ian@debian.org ,Debian 社区会保存这份善意,并存档。

    逝者已往,愿 Ian 安息,这位把自己的浪漫书写在了 Debian 和 Free Software 的传奇人物,一路走好,我们会永远记住您!Linux Story 谨上。

    ====================================分割线================================
    文章转载自 开源中国社区[http://www.oschina.net]

    展开全文
  • 分类、输入缺失分类、回归、转录、机器翻译、结构化输出、异常检测、合成和采样 、缺失值填补、去噪、密度估计或概率质量函数估计 经验 根据学习过程中的不同经验,机器学习算法可以大致分类为无监督(unsuper- ...

    机器学习基础

    1. 学习算法

    • 任务
      分类、输入缺失分类、回归、转录、机器翻译、结构化输出、异常检测、合成和采样、缺失值填补、去噪、密度估计或概率质量函数估计
    • 经验
      根据学习过程中的不同经验,机器学习算法可以大致分类为无监督(unsupervised)算法和监督(supervised)算法,不过它们之间界线通常是模糊的。

    2. 容量、过拟合和欠拟合

    • 这两个因素对应机器学习的两个主要挑战: 欠拟合(underfitting)和过拟合(overfitting)。欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和和测试误差之间的差距太大。通过调整模型的容量(capacity),我们可以控制模型是否偏向于过拟合或者欠拟合。

    3.

    机器学习的一些算法在《机器学习实战中文版》和《周志华机器学习》这两本书中更为详细,若之后学习上有推理需求,之后再来补充,先偷个懒

    展开全文
  • 《电子商务毕业论文外文翻译范文《JavaandtheInternet》》由会员分享,可在线阅读,更多相关《电子商务毕业论文外文翻译范文《JavaandtheInternet》(15页珍藏版)》请人人文库网上搜索。1、外文文献:Java and the ...
  • 下面是这本书的介绍: The Art of Application Performance Testing, 1st Editionby Ian MolyneauxPublisher: OReilly Medi
  • 有许多关于 GAN 如何工作的理论或实证研究论文,关于如何用 GAN 做新奇而有趣的事情的论文(例如关于应用无监督翻译的第一篇论文),新的度量标准等等。但这个主题不是关于那些。 还有很多关于 GAN 的文章作为更大...
  • 结果到网上找了一圈,有几个网友的也做这件事情。参考他们的成果,做了一些改动。 创建完python文件后,创建个软链接到$PATH路径中,就可以直接输入脚本名字加上要翻译的英文了。这里使用的Google的翻译服务...
  • 特别感谢Ian Hickson,因为他是本协议的原始作者和编辑。本规范的初始设计受益于WHATWG 和WHATWG 邮件列表的许多人的参与。对规范的贡献没有按照章节跟踪,但WHATWG HTML规范 http://whatwg.org/html5 中给出了...
  • Android Support Library 23.2 (译者注:本文标注了部分文字链接,但须要科学上网,要查看全部链接。...这一系列库提供了向后兼容的API,以及旧版本号的安卓平台上也能使用的支持库特有的...
  • GAN之父NIPS 2016上做的报告:两个竞争网络的对抗(含译文全文PDF下载)作者:Ian Goodfellow翻译:七月在线DL翻译组译者:范诗剑 汪识瀚 李亚楠审校:管博士 寒小阳 加号责编:翟惠良声明:本译文仅供学习交流,...
  • Eclipse中配置WEKA

    2009-06-25 10:08:56
    为了和书一致 (Ian H. Witten and Eibe Frank (2005) "Data Mining: Practical machine learning tools and techniques", 2nd Edition, Morgan Kaufmann, San Francisco, 2005. 国内有翻译的版 本) ,请下载book ...
  • C++批判(1)

    千次阅读 2011-12-28 15:26:44
    以下文章翻译自Ian Joyner所著的 《C++?? A Critique of C++ and Programming and ...该篇文章已经包含在Ian Joyner所写的《Objects Unencapsulated 》一书中(目前已经有了日文的翻译版本),该书的介绍可参见于: h
  • Deep Learning An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron ...感谢大神GitHub上共享自己的中文翻译:Deep-Learning中文PDF版 第二章 线性代数 An MIT Press book Ian Goodfellow an
  • Generative Adversarial Nets论文笔记+代码解析

    万次阅读 多人点赞 2017-01-17 18:34:52
    前面Generative Adversarial Nets(译)一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译在翻译的过程中,遇到的不少的问题,也有一些自己的理解,这里本人对这篇文章与大家进行交流,...
  • 来源:AI前线本文约3700字,建议阅读10+分钟。本文翻译整理了“最可爱”的机器学习可视化大数据集。[ 导读 ]本文是 Ian Johnson OpenVisCon...
  • Posted by Ian Lake, Developer Advocate 翻译:http://android-developers.blogspot.sg/ (更新sdk,extra/android/ 下能找到design 库) Android 5.0 Lollipop 引入了Material Design,刷新了Andr
  • ShopTalk第16集

    2020-06-24 22:24:51
    Dave和我一起参加了WordPress.com的Automattic主题牧马人Ian Stewart(他可能此刻就考虑WordPress主题)。 我们讨论了WordPress多站点,培训WordPress客户端,数据库同步,团队生产力等等。 直接连结→ 翻译...
  • 原文转自Understanding Generative Adversarial Networks (GANs),将其翻译过来进行学习。1. 介绍Yann LeCun将生成对抗网络描述为“近十年来机器学习中最有趣的想法”。 的确,自从2014年由Ian J. Goodfellow及其...
  • 作者:Ian Adam & David Stien, SAIC Ltd日期:19-Dec-2003 出处:http://www.dbanotes.net翻译:Fenng ORACLE 的安装 ORACLE8i 通过新的基于 Java 的 ORACLE Universal Installer (OUI) 来安装,所有...
  • 作者:Ian Adam & David Stien, SAIC Ltd日期:19-Dec-2003 出处:http://www.dbanotes.net翻译:Fenng 数据库启动与关闭 Windows2000 上数据库可以通过启动相关的服务打开。通过控制面板的服务选项...
  • 原文作者:IAN HAMILTON 译文出自:掘金翻译计划 本文永久链接:github.com/xitu/gold-m… 译者:ALVINYEH 校对者:luochen1992、melon8 iPhone X 能否成为一个快速、廉价、简单的面部捕捉系统?大约...
  • VAE-GANs到底是什么

    千次阅读 2020-10-02 13:10:44
    翻译自What The Heck Are VAE-GANs...但是阅读了一些相关论文以及观看了Ian Goodfellow(Open AI的研究者)对GANs大约30分钟长短的介绍,下面我将就自己的理解来介绍VAE-GANs。 原图和经过VAE, VAE-GAN重建后的图像
  • 前言:这是在读研时翻译的一篇关于嵌入式web技术的一篇文章,原文标题为“Engineering Web Technologies for Embedded Applications”,作者Ian Douglas Agranat。由于文中有许多图片,因此只把简介写这里,全文...
  • 雷锋网 (公众号:雷锋网) 按:本文为 雷锋字幕组 编译的技术...翻译 | 廖颖 陈俊雅 整理 | 凡江2014年 Ian Goodfellow 提出了 生成对抗网络(GAN) 。这篇文章主要介绍 Keras 中 搭建GAN实现图像去模糊 。所有的Ker...

空空如也

空空如也

1 2 3
收藏数 55
精华内容 22
关键字:

在ian翻译