精华内容
下载资源
问答
  • 学习理论
    千次阅读
    2021-10-17 10:06:10


    一、计算学习理论(computation learning theory)

    计算学习理论研究的是关于通过“计算”来进行“学习”的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计。


    二、PAC 学习(Probably Approximately Correct,概率近似正确)在干什么?

    计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PAC)学习理论。
    我们通过一个”猜区间“游戏来说明PAC learning是什么。

    1. Learning intervals(区间学习)

    首先举一个简单的猜数游戏:

    玩家1 心中默默假想一个区间[a b],同时随机地选取一个数字x。无论他怎么选择x,他都要告诉大家x是否在区间[a b]内(即a<x<b是否成立)。我们假设如果x在区间内为1,如果在区间外则为0。

    玩家2 则通过玩家1 口中报出来的数字x和“1”、“0”来确定区间[a b]的值。因为玩家1 报数字的次数总归是有限(finite)的,所以很明显玩家2 几乎不可能完全的猜对a和b的值。但玩家2 可以根据玩家1 报出的新数据不断地更正自己的猜测。

    极端的想象一下,如果玩家1 可以无限(infinte)次地去报数字,并且告诉大家这个数字x是否在区间内,我们就可以计算玩家 2 的区间所预测的错误结果的可能性。如果这个误差很小很小,那我们就可以说玩家2 “学习”了玩家1 的区间[a b]。也就是玩家2 猜对了!那么这个区间问题可以被称为PAC-learnable。

    1. PAC learning

    讲完这个游戏,我们重新回顾一下PAC learning的全名:probably approximately correct learning。

    Probably的意思是:如果玩家1 可以无限次的玩这个游戏来报数字,玩家2 就能给出一个很好的区间预测。换句话说,玩家2 可以极大可能的猜对玩家1 假象的区间[a b]

    Approximately correct 的意思是:在给定新的报数后,预测区间已经十分接近于玩家1 心中的假想区间了。并且这个预测区间的误差很小很小很小…………


    三、PAC 学习理论简单总结

    先放PAC学习相关理论的一个总结:同等条件下,模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下,样本数量越大,模型泛化误差越小,因此还可以说模型越复杂越吃样本。


    四、为什么要学习 PAC 学习理论?

    此理论可以帮助我们更深入的了解机器学习的学习机制。

    已经入门或者从事过一段时间机器学习相关工作的你,有没有想过为什么在训练样本上学习了一个假设(函数?模型?下文统一叫假设)就能保证这个假设在训练样本之外的数据上有效?小样本量数据为什么不适用CNN/RNN?

    也就是所谓的泛化性?


    五、什么是PAC学习理论?

    先说一下机器学习。机器学习有两个元素:模型与数据。其中模型又包含两部分:优化算法与假设空间。所谓机器学习就是用优化算法从假设空间中选择一个假设,使此假设能符合给定的数据描述。因此优化算法通俗的讲就是假设选择算法。

    而PAC学习理论不关心假设选择算法,他关心的是能否从假设空间 H 中学习一个好的假设 h 。看到 能否 二字了没?此理论不关心怎样在假设空间中寻找好的假设,只关心能不能找得到。现在我们在来看一下什么叫“好假设”?只要满足两个条件(PAC辨识条件)即可:

    1. 近似正确:泛化误差 E(h) 足够小
      E(h) 越小越好,最好泛化误差能等于0,但一般是不可能的。那我们就把 E(h) 限定在一个很小的数 η之内,即只要假设 h 满足 E(h) < η ,我们就认为 h 是正确的。
    2. 可能正确
      不指望选择的假设 h 百分之百是近似正确的(按上段所述,即 E(h) < η ),只要 很可能 是近似正确的就可以,即我们给定一个值 μ ,假设 h 满足 P(h近似正确)>=1-μ。

    综上两点,就得到了PAC(可能近似正确,probably approximate correct)可学习的定义。简单的讲就是模型在短时间内利用少量的(多项式级别)样本能够找到一个假设 h ,使其满足 P(E(h) < η) >=1-μ,其中0<η,μ<1。


    参考链接

    1. 周志华《机器学习》西瓜书
    2. https://zhuanlan.zhihu.com/p/34687134
    3. 30分钟了解PAC学习理论——计算学习理论第一讲
    更多相关内容
  • 动态贝叶斯网络推理学习理论及应用;动态系统;可靠性评估;故障诊断;贝叶斯网络建模;DBN
  • 最近看到了周志华老师出了新书《机器学习理论导引》,我抱着不能错过的心态买来看了一看,发现新书与以前看过的机器学习方面的书所讲述的内容完全不一样,给我带来了很多收获,于是想写一篇笔记记录一下。

    文章目录

    1. 背景

    最近看到了周志华老师出了新书《机器学习理论导引》,我抱着不能错过的心态买来看了一看,发现新书与以前看过的机器学习方面的书所讲述的内容完全不一样,于是想写一篇笔记记录一下。

    2. 闲谈

    封面

    这是一本让人自省并且发现自己的无知的书。

    我大概是一年前开始了解机器学习的,也就是那个 不学AI,无以言 的时候。周志华老师的《机器学习》,李航老师的《统计学习方法》,拿在手上好像走路带风,有了这两本书,好像就把自己和熙熙攘攘的人群区分了开来,我们是知道AI的人,他们是 不知道AI的人

    我在淘宝搜了一下,《深度学习》没有上面两本书卖得好,为什么呢?主要是太重了不好带着出门。

    刚开始学的时候,sklearn 一调,两手一叉,再喝口茶,看着屏幕上输出的 loss 逐渐降低,感觉自己就是 AIMaster

    后来陆陆续续看了一点CVNLPGAN知识图谱,虽然公式很多看不懂,但许多时候也就是这样的网络 和那样的 卷积 的一些组合。再加上可以 import tensorflow as tffrom torch import nnimport mxnet as mx,哪里不会点哪里,想要什么网络都有现成的。

    于是,AI 工具的低使用门槛和 AI 岗位的高收益形成了鲜明的对比,这就是金融界苦苦追寻的无风险套利啊。一时间搞生物的、搞机械的、搞通讯的都开始学起了 AI,其中当然少不了我们搞计算机的,字节跳动甚至因为收到的算法工程师简历的数量远超需求,给求职者发邮件建议大家转投开发岗位。与此同时,我们也学会了一个词叫人才内卷

    质疑的声音也总会有的,一个跑出来的结果好,但是你根本不知道为什么好的模型,真的会有不错的应用前景吗?

    在这样的环境下,潜心搞理论研究的人少,赶紧调个参发两篇论文的人多。

    我学得也很浮躁,因为别人在宣扬 AI 会推翻人类对世界的统治的时候,我默默地看了一眼屏幕中的神经网络,低下了自己的头。


    从京东小哥手里拿过书的时候,我掂量了一下,不重,适合带出门。拆掉外包装之后,发现页面有一点褶皱,不要紧,再过一年可能就看起来跟新买的一样了。

    看书先看目录,可是一看目录我就傻了,预想之中的熟悉感没有到来,很多东西见都没见过。

    我们来看看《机器学习》的目录。

    ├── 第1章 绪论
    ├── 第2章 模型评估与选择
    ├── 第3章 线性模型
    ├── 第4章 决策树
    ├── 第5章 神经网络
    ├── 第6章 支持向量机
    └── ...
    

    是不是觉得都比较熟悉,起码有个大概的idea,知道这些是什么东西。

    再来看看《机器学习理论导引》的目录。

    ├── 第1章 预备知识
    ├── 第2章 可学性
    ├── 第3章 复杂度
    ├── 第4章 泛化界
    ├── 第5章 稳定性
    ├── 第6章 一致性
    ├── 第7章 收敛率
    └── 第8章 遗憾界
    

    阿Sir,这些都是啥呀。什么是PAC可学VC维Natarajan维线性超平面在线强凸优化

    我再翻到序言部分,老师从2017年开始试讲本书,期间多次调整内容,在2018年给南京大学研究生讲完一轮后,有 1 / 3 1/3 1/3 的学生感觉难度较大。再次调整内容后,再2019年春季又讲授一轮,学生反馈情况大致符合预期。

    我们可以再拿周志华老师之前的作品来进行对比。在《机器学习》一书中,周志华老师提到这是一本面向理工科高年级本科生和研究生的教科书,并且给出了如果作为本科生教材,讲授进度上的一些建议。

    而在《机器学习理论导引》中,老师说,本书读者必须具备较为扎实的理工科高年级本科生的数学知识,还必须具备机器学习的基础知识,至少应该系统性地学习过机器学习的专门性教科书。

    由此我们大概可以认为,《机器学习理论导引》是《机器学习》一书的后续进阶读物,涉及理论研究方面的内容,主要面向的群体应该还是研究生。

    对于我这个刚接触机器学习一年的普通本科生来说,里面是全新的内容,粗看下来更像是一本数学和统计方面的书,同时也意味着我有不少的数学知识需要补充。

    这就是为什么我在一开始说到,这是一本让人自省并且发现自己的无知的书。

    有了黑箱工具的支持,我们站在应用的层面上,很容易觉得机器学习不过如此,但是机器学习真的不过如此吗?有时候,我们产生不过如此的感觉,是因为我们知道的东西太少。

    有一种认知偏差叫做达克效应(D-K effect),全称为邓宁-克鲁格效应(Dunning-Kruger effect)。能力欠缺者们沉浸在自我营造的虚幻的优势之中,常常高估自己的能力水平。

    D-K Effect

    这本书也许就能让人从愚昧山峰上走下来,意识到自己的无知。

    如果说《机器学习》与讲TensorFlow的书相比,前者是道,后者是器,那么《机器学习理论导引》可能就是道之道,用来研究机器学习理论的理论。

    在意识到自己的无知之后,我也想一边学习本书,一边写几篇笔记记录自己的学习过程,想要了解的同学可以关注后续。


    联系邮箱:curren_wong@163.com

    CSDNhttps://me.csdn.net/qq_41729780

    知乎https://zhuanlan.zhihu.com/c_1225417532351741952

    公众号复杂网络与机器学习

    欢迎关注/转载,有问题欢迎通过邮箱交流。

    展开全文
  • 在线阅读:深度学习理论与实战:提高篇 序言 16年9月的时候我在CSDN发了一些深度学习的文章,主要是面向没有太多经验的开发者。达文读了后觉得我的文章比较通俗易懂,邀请我写一本书,当时头脑一热就答应下来。虽然...

    在线阅读:深度学习理论与实战:提高篇

    序言

    16年9月的时候我在CSDN发了一些深度学习的文章,主要是面向没有太多经验的开发者。达文读了后觉得我的文章比较通俗易懂,邀请我写一本书,当时头脑一热就答应下来。虽然现在出版的书籍汗牛充栋,但是对我来说著书立言始终是一件非常严肃和重大的事情。立德、立功、立言乃儒家的三不朽,可见古人对于其重视。我的这本书只是关于深度学习的技术类书籍,远远谈不上立言,但是总归会有一些读者的,因此我希望这本书至少对读者有一些帮助,而不是误人子弟。从开始写下第一个字到现在,前后跨越四年历时两年半。一方面是因为工作忙没有太多时间,但更重要的原因是我希望把它写得更好一点。写书的过程也是学习的过程,书中的每一篇论文每一行代码,作者都要求自己完全读懂,不懂的内容绝对不放到书里面。当然由于个人水平有限,肯定还是会有很多理解的偏差和疏漏,敬请读者不吝指教。

    市面上关于深度学习的书籍很多,本书最大的特点是理论结合实战和内容的广度。现在大家能够看到的深度学习书籍大概可以分为两类,一类只关注理论而另一类只关注应用。前者多为一些会议论文集,当然也包括Ian Goodfellow和Yoshua Bengio等人的Deep Learning。这类书籍的读者是专业的研究者和相关专业的学生,它更多的是关注基础理论和最新的前沿进展。这类书籍通常比较难懂,而且读完之后仍然不知道怎么动手解决问题。而另外一类书籍更关注应用,多为框架工具的介绍,偶尔提及一些理论也是点到而止,在读者看来各种算法只是一个黑盒子,虽然能跑起来,但是知其然不知其所以然,不知道怎么调优,碰到问题时更加不知道怎么解决。本书的目标是使用通俗易懂的语言来介绍基础理论和最新的进展,同时也介绍代码的实现。通过理论与实践的结合使读者更加深入的理解理论知识,同时也把理论知识用于指导实践。因此本书的一大特点就是每介绍完一个模型都会介绍它的实现,读者阅读完一个模型的介绍之后就可以运行、阅读和修改一下这些代码,从而可以更加深刻的理解理论知识。

    本书第二个比较大的特点就是内容的广度,本书覆盖听觉、视觉、语言和强化学习四大领域。从章节的命名读者也可以看到作者的”野心”,本书覆盖了深度学习的大部分常见应用方向。市面上的书大部分只介绍视觉和语言的内容,而且一般也只限于CNN用于简单的图像分类或者RNN、seq2seq模型在NLP中的应用。本书的视觉部分除了介绍CNN以及最新的ResNet和Inception模型之外,还介绍了用于目标检测的R-CNN、Fast R-CNN、Faster R-CNN模型;用于实例分割的Mask R-CNN模型;用于人脸识别的FaceNet;还包括Neural Style Transfer和GAN(包括DCGAN和Cycle GAN)。语言部分除了很多书都有的RNN/LSTM/GRU等基础模型,用于机器翻译、chatbot的seq2seq模型和Attention机制之外还包括最新的ELMo、OpenAI GPT和BERT等模型,此外本书还介绍了NLP的很多经典任务,包括语言模型、词性标注、成分句法分析、依存句法分析和机器翻译。除了介绍深度学习的解决方案之外也会介绍传统的基于统计机器学习的方法,让读者能够了解这个领域的发展过程。而听觉和强化学习是目前市面上大部分书都很少提及的内容。大家都知道2012年AlexNet在视觉领域的突破,但是深度学习最早的突破其实发生在语音识别方向。本书会详细介绍经典的基于HMM-GMM的语音识别系统,包括基于WFST的解码器和Kaldi的用法。接着会介绍HMM-DNN系统,然后到最新的End-to-End的语音识别系统,主要会介绍CTC模型,包括CTC用于验证码识别的示例和DeepSpeech系统。最后会介绍使用CNN实现简单的语音关键词识别,这个简单的例子在智能设备上会非常有用。国内关于强化学习的书籍不多,因此本书首先用一章的篇幅介绍强化学习的基本概念,包括MDP、动态规划、蒙特卡罗方法、TD学习和Policy Gradient。接着会介绍DQN、基于深度学习的Policy Gradient算法,最后是介绍AlphaGo、AlphaGo Zero和Alpha Zero算法。

    当然由于时间和作者的水平所限,这些领域都遗漏了很多内容,比如听觉只包括了语音识别,但是没有语音合成、Music等;深度强化学习也没有最新的Imitation Learning、Inverse Reinforcement Learning和Meta Learning等内容。但是读者在了解了本书的基本概念和基本模型之后,要学习更新的内容也会比较容易,作者以后有时间和精力也会持续更新这些内容。

    最后还包含一章哲学的内容,主要是作者对于人工智能是否可以实现的一些个人观点。本书的大部分内容都是来自别人的知识,最多是加上了我自己的一些理解。如果要在这本书里寻找一点“原创性”内容的话,最有可能就是在这一章了。里面有很多荒诞无稽的观点,但是读者不妨在饭后茶余当成消遣的文章看看也并无太大坏处,看后有什么想法也可以在后面留言和作者交流。

    本书的内容参考了很多论文、书籍以及开源代码,感谢他们的工作!作者会尽量在文章加入相关链接,如果原作者认为有版权问题,请联系作者。

    由于涉及的内容很广,再加上作者比较啰嗦的写作方式(作者喜欢阅读英文书,因为很多英文书的作者把读者当小白,总是不厌其烦的解释,而大多数中文书不知道是作者水平太高还是太低,总会有太多”显然”、”易证”的东西。作者写书也是假设读者什么都不懂,所以会很啰嗦),所以几年下来写的内容竟然上千页。出版社的编辑说这么厚的书得卖多少钱啊,这没法出版。因此把这本书拆分成了两本:《深度学习理论与实战:基础篇》和《深度学习理论与实战:提高篇》。基础篇已经在编辑出版中,预计年中可以和读者见面。提高篇则更加专业,不同的人可能只关注不同的方向,为了小部分内容而购买整本书似乎不合算。所以作者把提高篇免费开放出来,希望对读者的学习和工作有所裨益。本文会持续更新,敬请关注!

    草稿目录

    下面是《深度学习理论与实战:提高篇》草稿的目录截图,感谢ElegantLaTeX免费提供的Latex模板。作者在整理时可能会有所调整,因此仅供参考。

    展开全文
  • 30分钟了解PAC学习理论——计算学习理论第一讲

    万次阅读 多人点赞 2017-02-26 14:42:41
    PAC理论是计算学习理论很重要的一部分,它解释了机器学习的学习机理。了解此理论可以更深入的了解机器学习,解释模型的泛化效果。如果深入研究更能帮助我们针对不同问题选择不同模型。  本文旨在让机器学习刚...

    马瘦毛长蹄子肥,
    搞机器学习的谁也不服谁,
    自从二狗学了PAC,
    见谁都拿拳往别人小胸胸上捶。
    啪!今天给大家说一段PAC理论

     先放PAC学习相关理论的一个总结:同等条件下,模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下,其数量越大,模型泛化误差越小,因此还可以说模型越复杂越吃样本。本文旨在让大家快速了解这句话的含义。您只需要提前了解假设空间、泛化误差、经验误差的概念(不明白的百度20分钟)及任何一本概率论教材前两章内容就能看懂这篇文章。

    为什么要学习PAC学习理论?

     此理论可以帮助我们更深入的了解机器学习的学习机制。
     已经入门或者从事过一段时间机器学习相关工作的你有没有想过为什么在训练样本上学习了一个假设(函数?模型?下文统一叫假设)就能保证这个假设在训练样本之外的数据上有效?看完这篇文章你就会明白有效性是有严谨的理论保证的。
     几千条样本数据就敢用CNN/RNN?你心也够大的。如果你非要这么做,老司机会语重心长的教育你:“数据太少,会导致过拟合”。看完这篇文章就会明白为什么了。
     如果看完这篇文章后你能回答这两个问题,那么恭喜你,你已经对PAC学习理论有了大致的了解了。

    什么是PAC学习理论?

     先说一下机器学习。机器学习有两个元素:模型与数据。其中模型又包含两部分:优化算法与假设空间。所谓机器学习就是用优化算法从假设空间中选择一个假设,使此假设能符合给定的数据描述。因此优化算法通俗的讲就是假设选择算法。
     而PAC学习理论不关心假设选择算法,他关心的是能否从假设空间 中学习一个好的假设 h 。看到能否二字了没?此理论不关心怎样在假设空间中寻找好的假设,只关心能不能找得到。现在我们在来看一下什么叫“好假设”?只要满足两个条件(PAC辨识条件)即可

    • 近似正确:泛化误差E(h)足够小

      E(h) 越小越好,最好泛化误差能能于0,但一般是不可能的。那我们就把 E(h) 限定在一个很小的数 ϵ 之内,即只要假设 h 满足E(h)ϵ,我们就认为 h 是正确的。

    • 可能正确

      不指望选择的假设h百分之百是近似正确的(按上段所述,即 E(h)ϵ ),只要很可能是近似正确的就可以,即我们给定一个值 δ ,假设 h 满足P(h)1δ

       综上两点,就得到了PAC(可能近似正确,probably approximate correct)可学习的定义。简单的讲就是模型在短时间内利用少量的(多项式级别)样本能够找到一个假设 h ,使其满足 P(E(h)ϵ)1δ0<ϵ,δ<1

      什么条件能满足PAC可学习?

       先介绍下Hoeffding不等式

      Hoeffding不等式:给定m个取值 [0,1] 之间的独立随机变量 x1,x2,,xn ,对任意 ϵ>0 有如下等式成立:
      P(|1mi=1mxi1mi=1mE(xi)|ϵ)2e2mϵ2

       由泛化误差 E(h) 与经验误差 Ê (h) 的定义易知 E(Ê (h))=E(h) ,因此可推出公式(1):

      hP(|E(h)Ê (h)|ϵ)2e2mϵ2(1)

       根据不等式(1)可推出公式(2):
      hP(|E(h)Ê (h)|ϵ)12||e2mϵ2(2)

      证明过程如下(看不懂也没关系,不会影响你对理论的理解,直觉比证明过程更重要):

      P(h:|E(h)Ê (h)|ϵ)=1P(h:|E(h)Ê (h)|ϵ)=1P((|E(h1)Ê (h1)|ϵ)(|E(h2)Ê (h2)|ϵ)(|E(h||)Ê (h||)|ϵ))1i=1||P(|E(hi)Ê (hi)|ϵ)12||e2mϵ2

       公式(2)说明了什么?说明了对于任意 ϵ ,只要样本数量 m 足够大,|E(h)Ê (h)|ϵ发生的可能性就非常大,此时我们可以用经验误差近似泛化误差。回到一开始我们提出的那两个问题:
       1. 为什么在训练样本上学习得到的假设会在真实样本上有效?公式(2)很好的说明了这一问题。只要样本数量 m 足够大或者假设空间的大小||足够小,公式(2)就能保证学到的假设 h 的泛化误差 E(h) 与经验误差 Ê (h) 足够接近。 h 在训练样本上的表现与在真实样本上一致。
       2. 为什么少量样本能用CNN/RNN等复杂模型会导致过拟合?还是看公式(2)。样本数量m太小的话 |E(h)Ê (h)|ϵ 发生的可能性变小。即学到的 h 在训练样本上的表现与在真实样本上不一致,这是过拟合直接的表现形式。

      对以上两点的解释没有考虑 || 为无穷大情况,但不影响大家理解。实际上如果 || 为无穷大,下一节的VC维照样可以给出类似解释。

       现在开始解决我们本小节提出的问题。什么条件才能满足PAC可学习?还是看公式(2),另 δ=2||e2mϵ2 ,即:

      m=M=ln2||δ2ϵ2(3)

       本小节结论:只要样本数量 m 大于公式(3)中的M,就能保证模型在当前条件下是PAC可学习的。

      VC维理论:更紧的条件

      先说一下什么是。简单的讲,紧的意思就是恰好满足条件。

       为了保证PAC可学习,根据公式(3),需要样本数量大于等于 M M此值越小,PAC条件越有可能达到。那么有没有比 M <script type="math/tex" id="MathJax-Element-55">M</script>更紧也就是更小的值呢?这就引出了VC维理论。
       欲知VC维理论为何物,且听下篇文章分解。

    展开全文
  • 《统计学习理论的本质》

    千次阅读 2019-05-13 21:59:46
    对于其经典就不多说了,对我目前而言,重点在于其讲述的学习理论。 机器学习作为学习理论的一个具化来理解,更立体的角度来观察学习机器学习理论。 《统计学习理论的本质》 ValadimirN.VapnikValadimir N. ...
  • 理解PAC学习理论

    千次阅读 2018-02-05 11:48:27
    PAC学习相关理论的一个重要总结:同等条件下,模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下,其数量越大,模型泛化误差越小,因此还可以说...为什么要学习PAC学习理论?  此理论可以帮助我们更
  • PAC学习理论:机器学习那些事

    万次阅读 2016-12-14 10:08:22
     本文转载于:深度译文:机器学习那些事 英文【原题】A Few Useful Things to Know About Machine Learning 机器学习是有别于专家系统(基于知识/规则)的一种模式识别方法,与专家系统的构建方法不同,但目的...
  • 机器学习理论知识概述

    万次阅读 2017-09-15 15:52:15
    1、机器学习所研究的主要内容,是关于在计算机上从数据中产生“模型(model)”的算法,即学习算法(learning algorithm)。有了学习算法,我们把经验数据提供给它,它就能基于这些数据产生模型;在面对新的情况时,...
  • 下一代深度学习的重点研究方向,出自科技部变革性技术关键科学问题重点专项2017年度项目申报指南建议
  • 计算学习理论、统计学习基础理论

    千次阅读 2016-12-21 23:06:25
    支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。 1. VC 维理论 2. 结构风险最小化
  • 上篇主要介绍了常用的特征选择方法及稀疏学习。分别介绍了子集搜索与评价、过滤式、包裹式以及嵌入式四种类型的特征选择方法:子集搜索与评价是一种...本篇将讨论一种为机器学习提供理论保证的学习方法--计算学习理论
  • 快速入门——深度学习理论解析与实战应用

    万次阅读 多人点赞 2018-07-11 21:01:54
    如果你热爱深度学习,如果你想快速入门深度学习,如果你想巩固深度学习理论并渴望自己动手写神经网络,《深度学习理论解析与实战应用》将给你提供完整的知识体系,帮助你快速掌握深度学习核心理论和实战经验。...
  • 深度学习理论——特征提取算法

    万次阅读 2018-08-15 22:00:20
    大家好,继续理论学习,今天介绍几种最常见的特征提取算法。 1.LBP算法(Local Binary Patterns,局部二值模式) LBP算子是一种用来描述图像局部纹理特征的算子,具有灰度不变性。 其主要思想是在目标像素周围...
  • [我们团队招聘博士博士后,碩士,实习生或研究助理,专攻分布式系统与算法,欢迎各位同学咨询和转发]香港中文大学计算机学院教授James Cheng招收2018年入学机器学习理论方向全奖博士生。欢迎热爱机器学习,数学基础...
  • 0基础入门统计学习方法和支持向量机,从高等代数的欧几里得几何空间出发,到线性分类、核函数、VC维理论,步步深入,是笔者打开思路过程,也供其余入门者参考。(高手还望多多指教,错误之处手下留情~)
  • 计算学习理论介绍

    千次阅读 2016-11-18 14:00:59
    现今,机器学习和神经网络已经广为人知。每年有无数篇论文发表,光顶会NIPS每年就有四百篇左右的论文发表。各种应用包括机器翻译、机器阅读等领域都在快速发展。...对于任何学科,理论都是基石,然而机器学习却表现得很
  • 统计学习理论

    千次阅读 2016-07-29 08:25:18
    万普尼克(Vapnik)建立的一套机器学习理论,使用统计的方法,因此有别于归纳学习等其它机器学习方法。由这套理论所引出的支持向量机对机器学习的理论界以及各个应用领域都有极大的贡献,一般情况下弗拉基米尔-万普...
  • 看到12章,题目叫计算学习理论,当时一萌,这是干什么用的呢?前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究,那是否对计算与学习这两方面的理论研究呢?...
  • 机器学习笔记(十二)计算学习理论

    千次阅读 2017-04-25 13:16:45
    12.计算学习理论 12.1基础知识 计算学习理论(computationallearning theory)研究的是关于通过计算来进行学习的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法提供理论保证,并...
  • 谈一谈PAC学习理论

    千次阅读 2018-03-14 06:40:44
    这个系列的博客, 我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度,对PAC 理论的数学给出框架,再从通俗易懂的角度,给与相对直白的理解。 机器学习作为一个当下十分火热的话题,引来了无数学者的...
  • 深入学习理论:VC维(VC dimensions)

    千次阅读 2018-04-20 15:49:33
    这篇文章主要是从第二个式子来讨论问题,就是主要分析模型的泛化能力,推导模型的复杂程度和泛化能力之间的关系(也就是表征系统复杂度的vc维和泛化误差之间的关系)。vc维在这里面起到了一个惩罚项的作用,它所表征...
  • 机器学习---计算学习理论

    千次阅读 2016-04-15 18:02:01
    因为以下内容全都在证明机器学习的方法是有效的,你可以用机器学习来得到你想要的结果。然而对于编程或者使用这个方法的人来说,你只要放心大胆地用就行了。就像你知道1+1=2,你并不需要知道它为什么等于,反正你...
  • 大家好,继续深度学习理论学习。记录一下自己觉得有用的关于深度学习基本结构的相关知识。 1.池化层 池化层不包含需要学习的参数,使用时仅需指定池化类型,池化核大小和池化步长。池化类型一般都取平均池化...
  • 第12章 计算学习理论

    2021-03-24 14:25:29
    第12章 计算学习理论 式(12.1) 解析 此式为泛化误差的定义式. 所谓泛化误差,是指当样本 从真实的样本分布 中采样后其预测值 不等于真实值 的概率.在现实世界中,我们很难获得样本分布 ,而实际获得的数据集可以...
  • 强化学习 公开课 Reinforcement Learning-David Silver 与吴恩达的课程对于机器学习和深度学习初学者的意义相同,David Silver的这门课程绝对是大多数人学习强化学习必选的课程。 课程从浅到深,把强化学习的内容...
  • 学习理论谈学习中的实践

    千次阅读 2013-09-29 21:47:36
    意在增加个体经验的实践学习,在古今中外的学习思想中均有体现,并且颇受重视。增长知识与亲身体验,是学习的两个方面,是不可分割的。正是这两方面的不断交互和相互促进,才形成一种有效的学习,实现人的内在发展和...
  • 本文主要参考中科院自动化研究所复杂系统与智能科学实验室王珏研究员《关于机器学习的讨论》,讨论机器学习的描述,理论基础,发展历史以及研究现状。 关键字:机器学习,科学依据,发展脉络   0引言   20...
  • 深度学习理论基础

    千次阅读 2020-01-29 10:24:15
    谈到深度学习理论基础,可能读者首先想到的就是通用近似定理(Universal approximation theorem),其表示拥有无限神经元的单层前馈网络能逼近紧致实数子集上的任意连续函数。 通俗来说, 只要神经元足够多,...
  • 深度学习理论

    千次阅读 2012-05-05 12:42:20
    深度学习理论及其在语音信号处理的可能应用 已有 428 次阅读 2011-9-4 10:39|系统分类:科研笔记  深度学习(Deep Learning)理论是对深度信念网络的基础上总结发展起来的一门新兴学科,该理论在视觉、声音、...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 638,333
精华内容 255,333
关键字:

学习理论