精华内容
下载资源
问答
  • 深度学习--感知机讲解

    千次阅读 2019-04-20 08:14:37
    感知机 什么是神经网络?在回答这个问题之前,我会先解释...感知机由科学家Frank Rosenblatt发明于1950至1960年代,他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。现如今,我们通常使用其它种...

    https://www.toutiao.com/a6680517499806548487/

     

    感知机

    什么是神经网络?在回答这个问题之前,我会先解释一种叫做感知机(perceptron)的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代,他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。现如今,我们通常使用其它种类的人工神经元模型——在这本书里,以及在许多关于神经网络的最新工作里,主要使用的是一种叫做sigmoid神经元(sigmoid neuron)的神经元模型。我们会在稍后学习sigmoid神经元。为了理解sigmoid神经元,我们首先需要花一点时间来理解感知机,这是非常有价值的。

    那么,感知机是怎么工作的呢?感知机的输入是几个二进制,输出是一位单独的二进制:

    深度学习--感知机讲解

     

    本例中的感知机有三个输入,。通常,它可以有更多或者更少的输入。Rosenblatt提出了一种计算输出的简单的规则。他引入了权重(weight),,等实数来表示各个输入对于输出的重要程度。神经元的输出是0还是1,由加权和是否小于或者大于某一个阈值(threshold value)。和权重一样,阈值也是一个实数,同时它是神经元的一个参数。使用更严密的代数形式来表示:

    这就是感知机的工作方式!

    这是一个基础的数学模型。你可以这样理解感知机,它是一个通过给evidence赋予不同权重从而作出决策的机器。让我们来举一个例子,或许这不是一个真实的例子,但是它很容易理解,稍后我们会举一个更实际的例子。假设周末就要到了,你听说你所在的城市将会举办一个奶酪节。你非常喜欢奶酪,你正在犹豫是否要去参加这个节日。你可能需要权衡以下几个因素来作出决定:

    1. 天气好不好?
    2. 你的男朋友或者女朋友会陪你去吗?
    3. 坐公共交通方便去吗?(假设你自己没有车)

    我们可以使用和这几个二进制变量来表示这三个因素。比如,如果天气很好,那么我们令,否则如果天气不好,那么。同样地,如果你的男朋友或者女朋友也想去,那么,否则。代表公共交通的也用类似的方法来表示。

    假设你真的超级喜欢奶酪,即便是你的男朋友或者女朋友的对此没兴趣并且交通也不方便的情况下,你也依然很想去。不过,你非常在意天气情况,如果天气不好的话你就不会去参加了。你可以用感知机来为这样的决策建立模型。一种方式是,你可以为天气赋予权重,为另外两个条件赋予权重和。相对来说值比较大的表明了天气情况对你的决策影响更大,胜过了你的男朋友或者女朋友是否会陪你去,以及交通的便捷程度。最后,假设你选择作为感知机的阈值。这样,这个感知机就构建起了一个决策模型,只要天气好就输出,只要天气不好就输出。你的男朋友或者女朋友是否会去,以及公共交通是否方便,都不会影响输出的结果。

    通过调整权重和阈值的大小,我们可以得到不同的决策模型。例如,假设我们选择的阈值为。那么此时,如果要让感知机做出你应该去参加这个节日的决策,就需要满足天气很好或者交通方便的同时你的男朋友或者女朋友也会陪你去。也就是说,这个决策模型与之前不同了。阈值的降低意味着你参加这个节日的意愿越强。

    显然,感知机不能完全建模人类的决策系统!不过,这个例子阐明的是感知机如何赋予不同evidence权重来达到做出决策的目的。一个由感知机构成的复杂网络能够做出更加精细的决策,这貌似看上去是说得通的:

    深度学习--感知机讲解

     

    在这个网络中,第一列感知机——通常称为第一层感知机——通过赋予输入的evidence权重,做出三个非常简单的决策。第二层感知机呢?每一个第二层感知机通过赋予权重给来自第一层感知机的决策结果,来做出决策。通过这种方式,第二层感知机可以比第一层感知机做出更加复杂以及更高层次抽象的决策。第三层感知机能够做出更加复杂的决策。通过这种方式,一个多层网络感知机可以做出更加精细的决策。

    顺便提一句,当我之前定义感知机的时候,我说到感知机只有一个输出。在上面这个网络中,感知机似乎看上去有多个输出。实际上,它们仍然只有一个输出。多个输出箭头仅仅是用来方便表示它的输出被用作其它几个感知机的输入。如果画成一个输出分裂出几个箭头就太难看了。

    让我们来简化一下对感知机的描述。的条件太笨重了,我们可以通过使用两个新记法来简化它。第一是使用点乘来代替。我们有,其中和都是向量,它们的元素分别代表了权重和输入。第二是将阈值移到不等号的另一侧,并使用偏置(bias)来代替阈值threshold, 。于是,感知机规则可以被重写为:

    你可以将偏置(bias)理解为感知机为了得到输出为1的容易度的度量。如果从生物的角度来理解,偏置是使神经元被激活的容易度的度量。如果一个感知机的偏置非常大,那么这个感知机的输出很容易为1,相反如果偏置非常小,那么输出1就很困难。显然,引入偏置的概念仅仅是一个很小的改动,稍后我们会对这个公式进行进一步的简化。在本书的剩余部分,我们将不再使用阈值,而是使用偏置(bias)。

    我之前将感知机描述为通过权衡evidence做出决策的一种方法。感知机的另一种用途是计算初等逻辑函数,例如AND、OR和NAND。例如,假如一个感知机有两个输入,每一个权重都是,偏置为,如图:

    深度学习--感知机讲解

     

    那么,对于输入,输出为,因为的结果是正的。这里我用符号显式写出了运算过程。类似地,对于输入和,输出都是。但是对于输入,输出为,因为的结果是负的。从而,这个感知机就实现了NAND门!

    这个NAND的例子表明了我们可以使用感知机来计算初等逻辑函数。实际上,我们可以使用感知机网络计算任何逻辑函数,因为NAND门在计算上是通用的,这意味着我们可以使用NAND门构建任意逻辑运算。例如,我们可以使用NAND门构造一个求和两个比特和的电路。这需要计算,以及进位:

    深度学习--感知机讲解

     

    为了得到一个等价的感知机网络,我们可以将所有的NAND门替换成一个拥有两个输入,权重均为,偏置为的感知机。下图是替换后的结果。我将右下角的NAND门对应的感知机移动了一点位置,仅仅是为了方便画箭头。

    深度学习--感知机讲解

     

    值得注意的是,最左面的感知机的输出在作为最下面的感知机的输入时,被用到了两次。我之前定义感知机模型的时候,没有提到是否允许这种情况。实际上,这并没有什么影响。如果我们不允许这种情况发生,那么我们可以将这两条权重为的线合并成一个权重为的线。(如果你不能理解这点,你应该停下来试图证明这种替换是等价的。)通过这种变换,这个网络变成如下图的形式,所有未被标记的权重都为,所有的偏置都为,以及一条被标出的边的权重为:

    深度学习--感知机讲解

     

    到目前为止,我都将输入和当做变量画在了感知机网络的左边。实际上,大家更习惯使用另外一层感知机——输入层(input layer)——来为输入编码:

    深度学习--感知机讲解

     

    以下这个记号用来表示输入感知机,它有一个输出,没有输入,

    深度学习--感知机讲解

     

    但这并不意味着感知机可以没有输入。我们可以这样理解,假设存在一个没有输入的感知机,那么加权和恒为0,所以如果,那么感知机输出,如果,那么感知机输出为。这意味着这个感知机仅仅输出一个固定的值,而非我们想要的值(在上面的例子中是)。所以,我们最好不要将输入感知机当做感知机,而是理解为一个特殊的单元,它能够输出我们想要的值。

    以上这个加法的例子展示了感知机网络如何模拟一个包含很多NAND门的电路。同时,由于NAND门对于计算是通用的,所以感知机对于计算也是通用的。

    感知机的计算普遍性既让人感到安心,也让人感到失望。说它是安心的,因为感知机网络与任何其它的计算设备拥有同样强大的计算能力。说它是令人沮丧的,因为它看上去不过是一种新的NAND门,很难搞个大新闻。

    不过,情况还是相对比较乐观的。我们可以设计学习算法(learning algorithm)使得能够自动地调整人工神经元网络的权重和偏置。这种调整能够对外部刺激作出响应,而不需要程序员的直接干预。这些学习算法使得我们能够用一种与传统逻辑门从根本上不同的方法使用人工神经元。我们不需要显式地排布NAND和其它逻辑门组成电路,取而代之的是,神经网络可以通过简单的学习来解决问题,通常这些问题用直接设计传统电路的方法来解决是非常困难的。

    展开全文
  • 感知机到深度学习发展史

    千次阅读 2019-06-12 21:39:51
    本篇文章主要介绍了从机器学习到深度学习,从感知机到深度学习的内容。

    原创不易,转载前请注明博主的链接地址:Blessy_Zhu https://blog.csdn.net/weixin_42555080
     

     
    在这里插入图片描述

    一 从机器学习到深度学习

    我们知道,Machine Learning分为两大派别:频率派和贝叶斯派;前者逐渐发展为统计学习,后者逐渐发展为概率图模型(PGM)
    在这里插入图片描述
    其中,频率派常用的思想有:正则化、核化、集成化、层次化;概率图模型常见的模型有:有向图模型如Bayesian Network,无向图模型如:Markov Network,有向+无向(混合)模型:mixed Network。
    在这里插入图片描述
    频率派中的层次化思想最主要的应用就是神经网络(Neural Network),神经网络有很多模型:MLP多层感知机,AutoEncoder自动编码机,CNN人工神经网络,RNN循环神经网络;这些统称为深度神经网络。而有向图如果加了Deep,就变成Deep Diercted Network,如Sigmoid 信念网络、GAN生成式对抗网络,VAE变分自编码器;无向图模型加了Deep,会有深层波尔兹曼机;有向+无向模型加了Deep,会有深度信念网络Deep Belief Network;他们统称为深化生成模型Deep Generative Model。
    在这里插入图片描述
    深度神经网络和深度生成模型这两部分组成Deep Learning。这就是由Machine Learning到Deep Learning的粗略过程。

    二 从感知机到深度学习历史

    2.1 宏观描述

    在这里插入图片描述
    宏观来看,从1940年起,深度学习经历了三次打的浪潮。首先提出了MP模型Hebb(海布)学习规则.这是神经网络的起源,也奠定了神经网络的基础模型。
    第一波浪潮。在1960年,提出了感知机模型,感知机模型可以对简单的数据节点进行分类,这个发现引起了第一波的AI浪潮,因为人们认为简单的感知机可以实现分类功能,那通过组合可以实现更复杂的功能,但后面发现感知机无法模拟异或运算,无法处理非线性的问题,第一波浪潮就这样沉入了低谷。
    第二波浪潮。1980年Hopfiled网络,Boltzmann机和BP算法的提出,人们发现可以增加网络的深度来实现非线性的功能,所以开始了第二次浪潮。但是在80年代,计算机的计算能力十分有限,很难训练出一个有效的模型来使用,所以导致了这种方式始终处于鸡肋的状态。再加上同一时期浅层方法的成功,如SVM(1995), 使得人们转为研究浅层的方法。
    1998年CNN被提出,也应用到了邮政局的邮政编码识别,但是因为当时并不重视这种深度网络,导致并没有火起来。
    第三波浪潮。到了2006年,Hinton提出了DBN,解决了更深层次的网络是可以通过一些策略更好的训练和实现,所以就引起了现在深度学习的第三次浪潮。

    2.2 细致讲解

    在这里插入图片描述
    上面的内容就不用文字写了,大家可以形象的通过上图看到。

    三 总结

    本篇文章介绍了从机器学习到深度学习,从感知机到深度学习的内容。
    这篇文章就到这里了,欢迎大佬们多批评指正,也欢迎大家积极评论多多交流。
     

     
    在这里插入图片描述

    参考文章

    1 深度学习概述与发展历史-花书第一章解读(下)
    2 梳理百年深度学习发展史
    3 01-深度学习-概述-深度学习的发展历程
    4 神经网络和深度学习简史(一)

    展开全文
  • 机器学习-感知机perceptron

    万次阅读 多人点赞 2015-10-05 18:28:19
    在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超...

    在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化(最优化)。感知机的学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型。感知机由Rosenblatt于1957年提出的,是神经网络支持向量机的基础。

    定义

    假设输入空间(特征向量)为 XRn ,输出空间为Y={-1, +1}。输入 xX 表示实例的特征向量,对应于输入空间的点;输出y∈Y表示示例的类别。由输入空间到输出空间的函数为

    f(x)=sign(wx+b)

    称为感知机。其中,参数w叫做权值向量weight,b称为偏置bias wx 表示w和x的点积

    i=1mwixi=w1x1+w2x2+...+wnxn

    sign为符号函数,即

    f(x)={+11if x>=0else

    在二分类问题中, f(x) 的值(+1或-1)用于分类 x 为正样本(+1)还是负样本(-1)。感知机是一种线性分类模型,属于判别模型。我们需要做的就是找到一个最佳的满足wx+b=0的w和b值,即分离超平面(separating hyperplane)。如下图,一个线性可分的感知机模型


    这里写图片描述

    中间的直线即 wx+b=0 这条直线。

    线性分类器的几何表示有:直线、平面、超平面。

    学习策略

    核心:极小化损失函数。

    如果训练集是可分的,感知机的学习目的是求得一个能将训练集正实例点和负实例点完全分开的分离超平面。为了找到这样一个平面(或超平面),即确定感知机模型参数w和b,我们采用的是损失函数,同时并将损失函数极小化。

    对于损失函数的选择,我们采用的是误分类点到超平面的距离(可以自己推算一下,这里采用的是几何间距,就是点到直线的距离):

    1w|wx0+b|

    其中 ||w|| L2 范数。

    对于误分类点 (xi,yi) 来说:

    yi(wxi+b)>0

    误分类点到超平面的距离为:

    1wyi(wx0+b)

    那么,所有点到超平面的总距离为:

    1wxiϵMyi|wx0+b|

    不考虑 1||w|| ,就得到感知机的损失函数了。

    L(w,b)=xiϵMyi(wx0+b)

    其中M为误分类的集合。这个损失函数就是感知机学习的经验风险函数

    可以看出,随时函数 L(w,b) 是非负的。如果没有误分类点,则损失函数的值为0,而且误分类点越少,误分类点距离超平面就越近,损失函数值就越小。同时,损失函数 L(w,b) 是连续可导函数。

    学习算法

    感知机学习转变成求解损失函数 L(w,b) 的最优化问题。最优化的方法是随机梯度下降法(stochastic gradient descent),这里采用的就是该方法。关于梯度下降的详细内容,参考wikipedia Gradient descent。下面给出一个简单的梯度下降的可视化图:


    这里写图片描述

    上图就是随机梯度下降法一步一步达到最优值的过程,说明一下,梯度下降其实是局部最优。感知机学习算法本身是误分类驱动的,因此我们采用随机梯度下降法。首先,任选一个超平面 w0 b0 ,然后使用梯度下降法不断地极小化目标函数

    minw,bL(w,b)=xiϵMyi(wx0+b)

    极小化过程不是一次使M中所有误分类点的梯度下降,而是一次随机的选取一个误分类点使其梯度下降。使用的规则为 θ:=θαθ(θ) ,其中 α 是步长, θ(θ) 是梯度。假设误分类点集合 M 是固定的,那么损失函数L(w,b)的梯度通过偏导计算:

    L(w,b)w=xiϵMyixi

    L(w,b)b=xiϵMyi

    然后,随机选取一个误分类点,根据上面的规则,计算新的 w,b ,然后进行更新:

    w:=w+ηyixi

    b:=b+ηyi

    其中 η 是步长,大于0小于1,在统计学习中称之为学习率(learning rate)。这样,通过迭代可以期待损失函数 L(w,b) 不断减小,直至为0.

    下面给出一个感知器学习的图,比较形象:


    这里写图片描述

    由于上图采取的损失函数不同,所以权值的变化式子有点区别,不过思想都是一样的。

    算法描述如下:

    算法:感知机学习算法原始形式

    输入:T={(x1,y1),(x2,y2)...(xN,yN)}(其中xi∈X=Rn,yi∈Y={-1, +1},i=1,2...N,学习速率为η)
    输出:w, b;感知机模型f(x)=sign(w·x+b)
    (1) 初始化w0,b0,权值可以初始化为0或一个很小的随机数
    (2) 在训练数据集中选取(x_i, y_i)
    (3) 如果yi(w xi+b)≤0
               w = w + ηy_ix_i
               b = b + ηy_i
    (4) 转至(2),直至训练集中没有误分类点

    解释:当一个实例点被误分类时,调整w,b,使分离超平面向该误分类点的一侧移动,以减少该误分类点与超平面的距离,直至超越该点被正确分类。

    伪代码描述:

    这里写图片描述

    对于每个 wx 其实是这样子的(假设x表示的是七维):


    这里写图片描述

    yj(t)=f[w(t)xj+b]=f[w1(t)xj,1+w2(t)xj,2++wn(t)xj,n+b]

    对于输入的每个特征都附加一个权值,然后将相加得到一个和函数f,最后该函数的输出即为输出的y值。

    实例

    正样本点: x1=(3,3)T , x2=(4,3)T
    负样本点: x1=(1,1)T
    求感知机模型 f(x)=sign(wx+b) ,其中 w=(w(1),w(2))T,x=(x(1),x(2))T

    解答思路:根据上面讲解的,写初始化权值w和偏置b,然后一步一步的更新权值,直到所有的点都分正确为止。

    解:

    (1) 令 w0=0,b0=0
    (2) 随机的取一个点,如 x1 ,计算 y1(w0x1+b0) ,结果为0,表示未被正确分类,根据下面的式子更新 w,b (此例中,我们将学习率 η 设置为1):

    ww+ηyixi

    bb+ηyi

    计算得到

    w1=w0+ηy1x1=(3,3)T

    b1=b0+ηy1=1

    得到一个模型

    w1x+b1=3x(1)+3x(2)+1

    (3)接着继续,计算各个点是否分错,通过计算得到, x1x2 两个点, yi(w0xi+b1) 都大于0,所以是被正确分类的点,无需修改权值w和bias项;而对于 x3 通过计算得到 y3(w0x3+b1)<0 ,误分了,所以修改权值:

    w2=w1+y3x3=(2,2)T

    b2=b1+y3=0

    得到线性模型:

    w2x+b2=2x(1)+2x(2)

    一次下去,知道所有的点都有 yi(w0xi+b1)>0 即可


    ……
    ……
    ……

    最后求得

    w7=(1,1)T,b7=3

    所以感知机模型为:

    f(x)=sign(x(1)+x(2)3)

    即我们所求的感知机模型。

    小结

    感知器Perceptron在机器学习当中是相当重要的基础,理解好感知器对后面的SVM和神经网络都有很大的帮助。事实上感知器学习就是一个损失函数的最优化问题,这里采用的是随机梯度下降法来优化。

    好吧,对于感知机的介绍,就到此为止!在复习的过程中顺便做下笔记,搜搜资料,整理整理,也算是给自己一个交代吧。希望本文章能对大家能有点帮助。

    References

    [1] 统计学习方法, 李航 著
    [2] Wikiwand之Perceptron http://www.wikiwand.com/en/Perceptron
    [3] Wikipedia https://en.wikipedia.org/wiki/Machine_learning



    本栏目机器学习持续更新中,欢迎来访:Dream_Angel_Z 博客
    新浪微博: @拾毅者


    展开全文
  •   在上一篇深度学习——感知机(perceptron)图文详解中我们已经讨论完了简单感知机的原理和实现了,同时也知道了简单感知机的局限性了,不能表示异或门这点让人深感遗憾。今天我们就将介绍多层感知机,它可以通过...

    一,多层感知机

      在上一篇深度学习——感知机(perceptron)图文详解中我们已经讨论完了简单感知机的原理和实现了,同时也知道了简单感知机的局限性了,不能表示异或门这点让人深感遗憾。今天我们就将介绍多层感知机,它可以通过“叠加层”来表示异或门。不过,我们先暂时不考虑叠加层具体是指什么,先从其他视角来思考一下异或门的问题

    1.1 现在已有的门电路组合

      异或门的制作方法有很多,其中之一就是组合我们前面做好的与门、与非门、或门进行配置。这里,与门、与非门、或门用图1中的符号表示。
    在这里插入图片描述

    图1

      另外,图1中与非门前端的○表示反转输出的意思。那么,如果要实现异或门的话,需要如何配置与门、与非门和或门呢?是不是用与门、与非门、或门代替图2中的各个“?”,就可以实现异或门。
    在这里插入图片描述

    图2

      我们前面讲到的感知机的局限性,严格地讲,应该是“单层感知机无法表示异或门”或者“单层感知机无法分离非线性空间”。不过接下来我们就将看到通过组合感知机(叠加层)就可以实现异或门了。
      异或门可以通过图3所示的配置来实现。这里, x1和x2表示输入信号,y表示输出信号。 x1和x2是与非门和或门的输入,而与非门和或门的输出则是与门的输入。
    在这里插入图片描述

    图3

      现在,我们来确认一下图3的配置是否真正实现了异或门。这里,把s1作为与非门的输出,把s2作为或门的输出,填入真值表中。结果如图4所示,观察x1、 x2、 y,可以发现确实符合异或门的输出。
    在这里插入图片描述

    图4 异或门的真值表

    1.2 异或门的实现

      下面我们试着用Python来实现图3所示的异或门。使用之前定义的AND函数、 NAND函数、 OR函数,可以像下面这样的实现。

    def XOR(x1, x2):
    	s1 = NAND(x1, x2)
    	s2 = OR(x1, x2)
    	y = AND(s1, s2)
    	return y

    这个XOR函数会输出预期的结果。

    XOR(0, 0) # 输出0
    XOR(1, 0) # 输出1
    XOR(0, 1) # 输出1
    XOR(1, 1) # 输出0

      这样,异或门的实现就完成了。下面我们试着用感知机的表示方法(明确地显示神经元)来表示这个异或门,结果如图5所示。如图5,异或门是一种多层结构的神经网络。这里,将最左边的一列称为第0层,中间的一列称为第1层,最右边的一列称为第2层。图5的感知机与前面介绍的与门、或门的感知机(上一篇中的图1)形状不同。实际上,与门、或门是单层感知机,而异或门是2层感知机。叠加了多层的感知机也称为多层感知机(multi-layered perceptron)。
    在这里插入图片描述

    图5 感知机表示异或门

      图5中的感知机总共由3层构成,但是因为拥有权重的层实质上只有2层(第0层和第1层之间,第1层和第2层之间),所以称为“2层感知机”。不过,也有的文献认为图5的感知机是由3层构成的,因而将其称为“3层感知机”。
      在图5所示的2层感知机中,先在第0层和第1层的神经元之间进行信号的传送和接收,然后在第1层和第2层之间进行信号的传送和接收,具体如下所示。
    1.第0层的两个神经元接收输入信号,并将信号发送至第1层的神经元。
    2.第1层的神经元将信号发送至第2层的神经元,第2层的神经元输出y。

      这种2层感知机的运行过程可以比作流水线的组装作业。第1段(第1层)的工人对传送过来的零件进行加工,完成后再传送给第2段(第2层)的工人。第2层的工人对第1层的工人传过来的零件进行加工,完成这个零件后出货(输出)。
      像这样,在异或门的感知机中,工人之间不断进行零件的传送。通过这样的结构(2层结构),感知机得以实现异或门。这可以解释为“单层感知机无法表示的东西,通过增加一层就可以解决”。也就是说,通过叠加层(加深层),感知机能进行更加灵活的表示。

    二,从与非门到计算机

      多层感知机可以实现比之前见到的电路更复杂的电路。比如,进行加法运算的加法器也可以用感知机实现。此外,将二进制转换为十进制的编码器、满足某些条件就输出1的电路(用于等价检验的电路)等也可以用感知机表示。实际上,使用感知机是可以表示计算机的。计算机是处理信息的机器。向计算机中输入一些信息后,它会按照某种既定的方法进行处理,然后输出结果。所谓“按照某种既定的方法进行处理”是指,计算机和感知机一样,也有输入和输出,会按照某个既定的规则进行计算。人们一般会认为计算机内部进行的处理非常复杂,而实际上只需要通过与非门的组合,就能再现计算机进行的处理。这说明了什么?说明使用感知机也可以表示计算机。前面也介绍了,与非门可以使用感知机实现。也就是说,如果通过组合与非门可以实现计算机的话,那么通过组合感知机也可以表示计算机(感知机的组合可以通过叠加了多层的单层感知机来表示)。
      综上,多层感知机能够进行复杂的表示,甚至可以构建计算机。那么,什么构造的感知机才能表示计算机呢?层级多深才可以构建计算机呢?理论上可以说2层感知机就能构建计算机。这是因为,已有研究证明,2层感知机(严格地说是激活函数使用了非线性的sigmoid函数的感知机)可以表示任意函数。但是,使用2层感知机的构造,通过设定合适的权重来构建计算机是一件非常累人的事情。实际上,在用与非门等低层的元件构建计算机的情况下,分阶段地制作所需的零件(模块)会比较自然,即先实现与门和或门,然后实现半加器和全加器,接着实现算数逻辑单元(ALU),然后实现CPU。因此,通过感知机表示计算机时,使用叠加了多层的构造来实现是比较自然的流程。

    三,总结

    • 感知机是具有输入和输出的算法。给定一个输入后,将输出一个既定的值。
    • 感知机将权重和偏置设定为参数。
    • 使用感知机可以表示与门和或门等逻辑电路。
    • 异或门无法通过单层感知机来表示。
    • 使用2层感知机可以表示异或门。
    • 单层感知机只能表示线性空间,而多层感知机可以表示非线性空间。
    • 多层感知机(在理论上)可以表示计算机。
      结合上一篇,我们学习了感知机。感知机是一种非常简单的算法,要理解它的构造并不难,不过因为感知机是学习的神经网络的基础,因此弄明白感知机是非常重要的。

     

     

    参考文献: 深度学习入门:基于Python的理论与实现Deep Learning from Scratch
    展开全文
  • 感知机

    千次阅读 2019-06-19 07:59:46
    感知机 感知机是二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为...感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型...
  • 一个简单的引导问题 假设我们有以下两种标签的二维数据,标签分别为-1/1,我们想通过训练到一条直线将它们很好的分开。 ...这里可以用感知机的方法,这个例子是学习感知机最熟悉的配方。 感知机...
  • 设置链接的初始权重有一个经验规则 :在一个节点传入链接数量平方根倒数的范围内随机采样,即从均值为0、标准方差等于节点传入链接数量平方根倒数的正态分布中进行采样。 后文中,我们将采用这种方式。 # 正态...
  • 本文代码推荐使用Jupyter notebook跑,这样得到的结果更为直观。 感知机 MCP神经元和罗森布拉特筏...罗森布拉特筏值感知机最初的规则:  将权重初始化为0或者一个极小的数  迭代所有训练样本x  计算输出值y  
  • 《大数据算法学习》(一)感知机

    千次阅读 2020-03-12 20:28:12
    学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。 2.感知机的概念 感知机接收多个输入信号,输出一个信号。 这里所说的“信号”可以想象成电流或河流那 样具备“流动性”的东西。像电流流过导线...
  • 感知机模型的原理

    千次阅读 2017-05-28 23:01:32
    感知机模型 感知机学习策略 感知机学习算法
  • 机器学习--感知机理论知识(二)

    千次阅读 2020-10-10 12:40:07
    上周我们学习感知机算法的原始形式,这周我们将对原始形式算法收敛性进行说明,然后再讲解感知机算法的对偶形式。 算法的收敛性 收敛性即意味着经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及...
  • 神经网络学习笔记(五):感知机

    千次阅读 2014-11-18 10:57:51
    神经网络(Neural Networks)是受到人类大脑对于外界事物认知方式的启发建立的机器学习算法,也叫人工神经网络(ArtificialNeural Networks)。
  • 感知机(Perceptron)和多层感知机(Multi-Layer Perceptron) 之前并未做过笔记,所以这篇文章是对以下内容回顾,对应: 第六周:(02)感知机 ...《机器学习》(西瓜书):第5章 神经网络 - 5.2 感知机...
  • 武汉科技大学 1 人工神经网络 (Artifical Neural ... 感知机学习规则 学习规则 ? 学习规则 所谓学习规则就是修改神经网络的 权值和偏置值的方法和过程也称这种过程 是训练算法学习规则的目的是为了训练 网络来完成某些
  •   深度神经网络(Deep Neural Networks,DNN)是深度学习的基础,由于神经网路是基于感知机模型的扩展,因此多层感知机(Multi-Layer perceptron,MLP)就可以看作是深度神经网络。在深度学习中,用于分类的卷积神经...
  • 1. Minsky与Papert指出:感知机是线性模型,所以不能表示复杂的函数,如异或(XOR).验证感知机为什么不能表示异或。 首先写出异或函数对应的输入输出: y 1 1 -1 1 -1 +1 -1 1 +1 ...
  • 深度学习入门之从感知机开始

    千次阅读 2016-12-08 00:20:13
    深度学习的一些个人学习(1)
  • 感知机算法(perceptron learning algorithm)

    千次阅读 2017-03-05 10:27:20
    学习NG的课程里,他提到了感知机算法,大体内容如下:其实感知器学习算法,就是利用介绍的单层感知器。首先利用给的正确数据,计算得到输出值,将输出值和正确的值相比,由此来调整每一个输出端上的权值。首先 是...
  • 感知机原理小结

    千次阅读 2018-08-18 00:43:05
    感知机由Rosenblatt于1957年提出,是神经网络和支持向量机的基础。这里先简单介绍一下什么是感知机。本篇博客为《统计学方法》第二章和博客《感知机原理小结》的总结。 感知机模型  感知机是二分类的线性分类...
  • 机器学习总结2_感知机算法(PLA)

    万次阅读 多人点赞 2016-04-21 20:20:17
    大部分机器学习的书以及视频都是以感知机算法作为开头的。既然放在最前面,它应该就是一个很简单的机器学习算法。事实上,它确实很简单。 如下图所示: 红色和蓝色的点分别表示训练集中的正样本和负样本,PLA的任务...
  • 本文主要介绍了神经网络入门必须要了解的两个算法:感知机和BP神经网络。从人工神经网络的由来到感知机算法的原理、BP算法的原理及推导。
  • 一文搞懂单层感知机

    2020-05-22 19:56:16
    文章目录1 单层感知机1.1 结构1.2 学习规则1.3 学习率1.4 收敛条件1.5 案例 1 单层感知机 1.1 结构 如下图所示,其实质就是一种映射关系。 1.2 学习规则 实质是更新权值,具体过程见如下公式。 y=f(∑i=1nxi⋅wi)...
  • python3实现简单的感知器 下面使用python3实现or运算: #-*- coding:utf-8 -*- from functools import reduce class Perceptron(object): def __init__(self, input_num, activator): ''' 初始化感知器,...
  • 2感知机学习规则 #感知机学习规则例子 #感知机收敛条件 误差小于某个预先设定的较小的值 两次迭代之间的权值变化已经很小 设定最大迭代次数,当迭代超过最大次数就停止 3线性神经网络 线性神经网络在结构...
  • 深度神经网络DNN(一)——感知机

    万次阅读 2020-09-10 00:15:05
    文章目录感知机的概念逻辑电路实现感知机的实现感知机的局限性多层感知机感知机与计算机小结 感知机的概念 感知机接收多个输入信号,输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西...
  • @(人工智能)BP神经网络推导–通过误差传递学习内部表达这是研一学习一门课程的课程实践,当时和另一位实验室小伙伴合作完成BP神经网络的推导以及部分应用,参考的是一本外文书籍(影印版)的部分章节,有我自己翻译...
  • 入门——感知机训练

    2018-05-11 14:42:21
    根据感知机学习规则,分类直线与权重向量正交。如果开始的分类直线计算出来的Yj与预期输出Dj之间有误差Ej=Dj-Yj,就应该把连接权重Wj的方向依据学习向量X调整。正误差时,Wj朝着X调整,因此,Wj(t+1)=Wj(t)+n*Ej*X....
  • 参考:https://blog.csdn.net/u012162613/article/details/43221829 ... 一、什么是多层感知机? 多层感知机MLP,结构为:输入层——(1或n层)隐含层——输出层,层与层之间全连接(全连接的意思就是:上...
  • 本系列文章是自己学了一段时间深度学习并且做出一定东西后再回头打数学理论基础而写,旨在巩固自己的基础,帮助小白快速入门。 这都是自己弄懂之后才写的,完全弄懂那些数学公式也是比较难的,希望看这篇文章的小...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,167
精华内容 9,266
关键字:

感知机学习计算规则