精华内容
下载资源
问答
  • 2018-08-04 09:59:00

    本章讲了梯度下降的几种方式:batch梯度下降、mini-batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。

    更多内容参考 机器学习&深度学习

    有的时候数据量会影响算法的结果,如果样本数据量很大,使用梯度下降优化参数时,一次调整参数需要计算全量的样本,非常耗时。
    o_wuenda18_1.png
    如果训练集和验证集的误差像左边的图形这样,就可以证明随着数据量的增加,将会提高模型的准确度。而如果像右边的图,那么增加样本的数量就没有什么意义了。

    因此可以考虑缩小m的使用量,可以使用随机梯度下降。随机梯度下降的过程是:随机打散所有的样本,然后从第一个样本开始计算误差值,优化参数;遍历所有的样本。这样虽然优化的方向比较散乱,但是最终还是会趋于最优解。
    o_wuenda18_2.png
    还有一种方式叫做小批量梯度下降,每次使用一小部分的数据进行验证。比批量梯度下降更快,但是比随机梯度下降更稳定。
    o_wuenda18_3.png

    针对损失函数和batch的数量,可以画出下面的图:图1的震荡曲线可以忽略,此时的震荡可能是由于局部最小值造成的;图2如果增加数量能使得曲线更平滑,那么可以考虑增加batch的数量。图3 可能是模型根本没有在学习,可以考虑修改一下其他的参数。图4可能是因为学习太高,可以使用更小的学习率。
    o_wuenda18_4.png
    在线学习就是随着数据的获取,增量的来当做每个batch进行训练。

    如果数据的样本很大,其实也可以通过map reduce的方式来进行并行处理,比如把数据切分成很多块,每个map运行完,统一在reduce端进行参数梯度下降学习。多CPU的情况下,也是同样的道理。

    o_wuenda18_5.png

    更多相关内容
  • 梁劲机器学习笔记-全面简单Getting Started With MachineLearning (all in one)_部分1。详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。以浅显易懂的方式去讲解它,降低大家的学习门槛。因为文件...
  • 梁劲机器学习笔记-全面简单Getting Started With MachineLearning (all in one)_部分2。详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。以浅显易懂的方式去讲解它,降低大家的学习门槛。因为文件...
  • 机器学习笔记

    2018-12-20 17:18:01
    根据斯坦福大学的吴恩达教授的课程,记录的学习笔记。
  • 机器学习笔记.pdf

    2020-06-20 11:54:26
    来自SAP的梁劲(Jim Liang)所写的一份 700+页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。对于新手也非常友好
  • 从基础概念到数学公式,这是一...近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。
  • 编译:Amusi(CVer)作者:梁劲(Jim Liang),来自SAP(全球第一大商业软件公司)。书籍特点:条理清晰,含图像化表示更加易懂,对公式有详细的注解等。内容概要:主要分为基本...

    编译:Amusi(CVer)

    作者:梁劲(Jim Liang来自SAP(全球第一大商业软件公司)

    书籍特点:条理清晰,含图像化表示更加易懂,对公式有详细的注解等。

    内容概要:主要分为基本概念、常用算法和其他三部分。

    正是对机器学习的过程中的痛苦有切身体会,作者希望能做一份教程,以浅显易懂的方式去讲解它,降低大家的学习门槛。作者为此花费了数月时间,经常做到深夜,把自己的学习笔记整理成了这份教程。

    电子书PDF获得方式

    为了节约大家的时间,我已经将这份书籍的电子版 PDF 打包好了。获取步骤如下:

    1.关注下方公众号

    2.后台回复关键词:机器学习笔记

    注:建议复制,不然容易打错

    程序员编程

    全部教程包含三大部分:

    • Part1 介绍了基本概念,包括机器学习的流程、数据处理、建模、评估指标(如MSE、ROC曲线)、模型部署、过度拟合、正则化等。

    • Part2 是常用的算法,包括线性回归、逻辑回归、神经网络、SVM、Knn、K-Means、决策树、随机森林、AdaBoost、朴素贝叶斯、梯度下降、主成分分析等

    • Part3 介绍了大规模机器学习的方法等。

    整个教程包含大量图片,辅助以文字。一图胜千言,能用图的地方,作者尽量不用文字。用diagram等方式来图解复杂的概念,降低学习曲线,整个教程虽然超过700页,但因为有图,所以比看一般的文字教程要轻松很多。如果学一般的教程,可能需要3个月到半年的话,希望这份教程能加速你的学习过程。 

    注:文末附有电子版下载方式~

    部分内容节选

    另外分享一份60页的《Python数据分析入门PPT》,可以下载学习


    PPT领取方式:

    扫描下方公众号回复:PPT,可获取下载链接

    Python面试

    最后推荐一本对Python感兴趣的书籍《Python进阶》,是《Intermediate Python》的中文译本,IntermediatePython这本书具有如下几个优点:简单、易读、易译。这些都不是重点,重点是:它是一本开脑洞的书。无论你是Python初学者,还是Python高手,它显现给你的永远是Python里最美好的事物。

    Python进阶手册领取方式:

    扫描下方公众号回复:Python进阶,可获取下载链接

    JAVA

    展开全文
  • 点击上方“AI算法与图像处理”,选择“星标”公众号重磅干货,第一时间送达本文经机器之心授权转载,禁二次转载近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Lia...

    点击上方“AI算法与图像处理”,选择“星标”公众号

    重磅干货,第一时间送达640?wx_fmt=jpeg

    本文经机器之心授权转载,禁二次转载

    近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。编者看到后,也迫不及待的推广给更多的读者。完整的 PDF 请从文后作者公开的链接下载。

    在介绍中,Jim Liang 写到:

    人工智能是这两年风头正劲的领域,也是未来具有颠覆性可能的新领域。不少人尝试去学习机器学习相关的知识。然而,一旦越过最初的 overview 阶段,很多人就开始打退堂鼓了,然后迅速放弃。

    为什么会这样?

    极 高 的 学 习 曲 线

    • 首当其冲就是数学,涉及统计学、微积分、概率、线性代数等,大家虽然都学过高等数学,但如果你还记得里面的细节,算你牛。更可能的情况是,多数人都对高等数学忘记了,面对各种算法里的大量公式,感到厌恶,甚至恐惧。

    • 其次因为机器学习本身是一个综合性学科,而且是一个快速发展的学科,知识点散乱,缺乏系统性。

    • 市面上的机器学习/深度学习书籍、文章、教程,遍地开花,但能以清晰的方式表达、循序渐进地讲解的教程,其实不多,大量的教程没有考虑到学习者的基础,使得初学者感到挫败和困惑。

    图 解 机 器 学 习

    正是对机器学习的过程中的痛苦有切身体会,我希望能做一份教程,以浅显易懂的方式去讲解它,降低大家的学习门槛。我为此花费了数月时间,经常做到深夜,把自己的学习笔记整理成了这份教程。

    从结构来看,全部教程包含两部分:

    640?wx_fmt=png

    Part 1 介绍了基本概念,包括:

    • 机器学习的流程

    • 数据处理

    • 建模

    • 评估指标(如 MSE、ROC 曲线)

    • 模型部署

    • 过度拟合

    • 正则化等

    在第一部分,作者先介绍了如今应用普遍的机器学习:从自动驾驶、语音助手到机器人。其中有些思想,也是众多读者们了解过的,例如:为何机器学习在这个时候会火(大数据、计算力、更好的算法);机器学习、人工智能、深度学习三者的关系等。

    除了这些基础概念,这份教程也对机器学习模型的开发流程做了图像化展示(如下图),即使对此不太了解的读者,也能通过这种流程展示有所学习。

    640?wx_fmt=png

    640?wx_fmt=png

    建立机器学习解决方案的步骤

    在 Part1 的其他小节,作者以类似的图像展示,对数据、建模、模型部署等内容做了详细介绍,这里就不一一列举,可以从原报告查看。

    在 Part2,作者介绍了 常用的算法,包括:

    • 线性回归

    • 逻辑回归

    • 神经网络

    • SVM

    • Knn

    • K-Means

    • 决策树

    • 随机森林

    • AdaBoost

    • 朴素贝叶斯

    • 梯度下降

    • 主成分分析

    这部分包含了大量的数学公式,但作者尽力注解了其中的每个公式,从而充分、清晰地表达了众多数学概念。

    例如在「神经网络」部分,作者整理了 59 页的笔记(从 311 页到 369 页)。作者从人脑中的神经元架构说起,介绍了人工神经网络(ANN)、人工神经元工作的原理。这份笔记非常注重图像化的概念解释,理解起来非常直观。

    例如,下图中的概念解释很形象地展现了生物神经元和人工神经元工作方式的相似性。

    640?wx_fmt=png

    生物神经元的树突输入-轴突输出模式和人工神经元的输入输出模式对比。

    640?wx_fmt=png

    过拟合的解释。

    640?wx_fmt=png

    人工神经元的基础结构。

    在涉及到数学公式时,作者会在旁边有详细的注解,如下图所示:

    640?wx_fmt=png

    对于并列的可选项(如激活函数、常用神经网络架构等),也会有全面的列表:

    640?wx_fmt=png

    常用的激活函数。

    然后会有每个激活函数的单独介绍:

    640?wx_fmt=png

    Sigmoid 激活函数。

    640?wx_fmt=png

    用神经网络分类手写数字的前向传播示例(softmax 激活函数)。

    对于神经网络中较为复杂的概念(如求导、反向传播),几张图就能解释清楚:

    640?wx_fmt=png

    关于神经网络的完整训练过程,作者用简略流程图+计算细节展开的方式呈现:

    640?wx_fmt=png

    反向传播算法完整流程。

    640?wx_fmt=png

    前向传播部分的计算细节。

    就像前面提到的,这部分除了「神经网络」的介绍,还包括随机森林、梯度下降等概念的介绍,读者们可查看原教程。

    总结

    看完这份教程之后,小编觉得这是一份包罗万象的学习笔记,既适合非专业人士了解有关机器学习的基础概念,又适合有专业背景的学生进一步学习。

    写教程是为了自己持续学习,分享教程是为了帮助更多人学习。就像作者所说,「Learning by doing/teaching, 写这个教程主要是强迫自己持续学习,另外,也想分享给他人,希望能帮助到更多想学习 Machine Learning 的人,降低大家的学习痛苦。

    教程文档下载地址(百度云):

    https://pan.baidu.com/s/10dqr26gnmb_d95UFH7qmng

    640?wx_fmt=png

    640?wx_fmt=jpeg

    加我微信,拉你入群,离 AI 更近一步

    展开全文
  • 声明:本文资源为作者官方开源资源,仅做技术分享作者:梁劲(Jim Liang),来自SAP(全球第一大商业软件公司)。笔记细节非常到位,下载请注意文件大小400多M书籍特点:条理清晰,含...

    声明:本文资源为作者官方开源资源,仅做技术分享

    作者:梁劲(Jim Liang来自SAP(全球第一大商业软件公司)

    笔记细节非常到位,下载请注意文件大小400多M

    书籍特点:条理清晰,含图像化表示更加易懂,对公式有详细的注解等。

    内容概要:主要分为基本概念、常用算法和其他三部分。

    正是对机器学习的过程中的痛苦有切身体会,作者希望能做一份教程,以浅显易懂的方式去讲解它,降低大家的学习门槛。作者为此花费了数月时间,经常做到深夜,把自己的学习笔记整理成了这份教程。

    全部教程包含三大部分:

    • Part1 介绍了基本概念,包括机器学习的流程、数据处理、建模、评估指标(如MSE、ROC曲线)、模型部署、过度拟合、正则化等。

    • Part2 是常用的算法,包括线性回归、逻辑回归、神经网络、SVM、Knn、K-Means、决策树、随机森林、AdaBoost、朴素贝叶斯、梯度下降、主成分分析等

    • Part3 介绍了大规模机器学习的方法等。

    整个教程包含大量图片,辅助以文字。一图胜千言,能用图的地方,作者尽量不用文字。用diagram等方式来图解复杂的概念,降低学习曲线,整个教程虽然超过700页,但因为有图,所以比看一般的文字教程要轻松很多。如果学一般的教程,可能需要3个月到半年的话,希望这份教程能加速你的学习过程。 

    注:文末附有电子版下载方式~

    部分内容节选

    电子书下载

    为了节约大家的时间,我已经将这份书籍的电子版 PDF 打包好了。获取步骤如下:

    获得方式:

    1、扫码下方二维码,关注公众号「肉眼品世界」
    2、回复「ai029」(建议复制)即可获取
    

    ????长按上方二维码 2 秒
    回复「ai029」即可领取
    

    推荐阅读:

    华为15年招聘经验总结:可用之才,必备5个特质

    最全C资料,不会C语言,别说懂架构!

    GO语言版《算法进阶指南》火了,完整版PDF下载!

    后端,你再不懂vue就out了

    如何成为一个骚气的架构师,看这一篇就够了

    亿级(无限级)并发,没那么难

    世界的真实格局分析,地球人类社会底层运行原理

    不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)

    展开全文
  • 这次我们来谈谈机器学习中另外一个数学气息比较浓的算法朴素贝叶斯算法。 可能有朋友会看见数学气息比较浓心理就咯噔一下,先别急着叉掉本文,说朴素贝叶斯算法算法的数学气息比较浓,并非它有什么巨发杂的数学公式...
  • Getting Started With MachineLearning (all in one)_V0.94,by Jim Liang,分为3部分进行介绍,包括Part 1: The Fundamental concept,Part 2: Well-known ...有趣的机器学习图解英文学习手册,分享给需要的朋友。
  • 近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法...
  • 导读:近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。完整的 PDF 请从文后作者...
  • 正是对机器学习的过程中的痛苦有切身体会,作者希望能做一份教程,以浅显易懂的方式去讲解它,降低大家的学习门槛。作者为此花费了数月时间,经常做到深夜,把自己的学习笔记整理成了这份教程。 电子书PDF获得方式 ...
  • 编译:Amusi(CVer)作者:梁劲(Jim Liang),来自SAP(全球第一大商业软件公司)。书籍特点:条理清晰,含图像化表示更加易懂,对公式有详细的注解等。内容概要:主要分为基本...
  • 本文约1600字,建议阅读5分钟本文为全球第一大商业软件公司的梁劲公开了自己所写的一份 520 页的学习教程,详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。前段时间,来...
  • 编译:Amusi(CVer)作者:梁劲(Jim Liang),来自SAP(全球第一大商业软件公司)。书籍特点:条理清晰,含图像化表示更加易懂,对公式有详细的注解等。内容概要:主要分为基本...
  • 转自:机器之心来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种...
  • 作者 梁劲(Jim Liang),来自SAP(全球第一大商业软件公司)。书籍特点 条理清晰,含图像化表示更加易懂,对公式有详细的注解等。内容概要 主要分为...
  • 前段时间,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各种经典算法。编者看到后,也迫不及待的...

空空如也

空空如也

1 2 3 4
收藏数 63
精华内容 25
关键字:

机器学习 梁劲