精华内容
下载资源
问答
  • 2019-11-06 11:05:52

    一、LeNet简介

    在这里插入图片描述
    LeNet-5是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构,一般LeNet即指代LeNet-5。

    LeNet-5包含七层,不包括输入,每一层都包含可训练参数(权重),当时使用的输入数据是32*32像素的图像。下面逐层介绍LeNet-5的结构,并且,卷积层将用Cx表示,子采样层则被标记为Sx,完全连接层被标记为Fx,其中x是层索引。

    层C1是具有六个55的卷积核的卷积层(convolution),特征映射的大小为2828,这样可以防止输入图像的信息掉出卷积核边界。C1包含156个可训练参数和122304个连接。

    层S2是输出6个大小为1414的特征图的子采样层(subsampling/pooling)。每个特征地图中的每个单元连接到C1中的对应特征地图中的22个邻域。S2中单位的四个输入相加,然后乘以可训练系数(权重),然后加到可训练偏差(bias)。结果通过S形函数传递。由于2*2个感受域不重叠,因此S2中的特征图只有C1中的特征图的一半行数和列数。S2层有12个可训练参数和5880个连接。

    层C3是具有16个5-5的卷积核的卷积层。前六个C3特征图的输入是S2中的三个特征图的每个连续子集,接下来的六个特征图的输入则来自四个连续子集的输入,接下来的三个特征图的输入来自不连续的四个子集。最后,最后一个特征图的输入来自S2所有特征图。C3层有1516个可训练参数和156 000个连接。

    层S4是与S2类似,大小为22,输出为16个55的特征图。S4层有32个可训练参数和2000个连接。

    层C5是具有120个大小为55的卷积核的卷积层。每个单元连接到S4的所有16个特征图上的55邻域。这里,因为S4的特征图大小也是55,所以C5的输出大小是11。因此S4和C5之间是完全连接的。C5被标记为卷积层,而不是完全连接的层,是因为如果LeNet-5输入变得更大而其结构保持不变,则其输出大小会大于1*1,即不是完全连接的层了。C5层有48120个可训练连接。

    F6层完全连接到C5,输出84张特征图。它有10164个可训练参数。这里84与输出层的设计有关。

    二、发展历史

    LeNet5诞生于1994年,是最早的卷积神经网络之一,并且推动了深度学习领域的发展。自从1988年开始,在多年的研究和许多次成功的迭代后,这项由Yann LeCun完成的开拓性成果被命名为LeNet5。

    1989年,Yann LeCun等人在贝尔实验室的研究首次将反向传播算法进行了实际应用,并且认为学习网络泛化的能力可以通过提供来自任务域的约束来大大增强。他将使用反向传播算法训练的卷积神经网络结合到读取“手写”数字上,并成功应用于识别美国邮政服务提供的手写邮政编码数字。这即是后来被称为LeNet的卷积神经网络的雏形。同年,Yann LeCun在发表的另一篇论文中描述了一个小的手写数字识别问题,并且表明即使该问题是线性可分的,单层网络也表现出较差的泛化能力。而当在多层的、有约束的网络上使用有位移不变性的特征检测器(shift invariant feature detectors)时,该模型可以在此任务上表现得非常好。他认为这些结果证明了将神经网络中的自由参数数量最小化可以增强神经网络的泛化能力。

    1990年他们发表的论文再次描述了反向传播网络在手写数字识别中的应用,他们仅对数据进行了最小限度的预处理,而模型则是针对这项任务精心设计的,并且对其进行了高度约束。输入数据由图像组成,每张图像上包含一个数字,在美国邮政服务提供的邮政编码数字数据上的测试结果显示该模型的错误率仅有1%,拒绝率约为9%。

    其后8年他们的研究一直继续,直到1998年,Yann LeCun,Leon Bottou,Yoshua Bengio和Patrick Haffner在发表的论文中回顾了应用于手写字符识别的各种方法,并用标准手写数字识别基准任务对这些模型进行了比较,结果显示卷积神经网络的表现超过了其他所有模型。他们同时还提供了许多神经网络实际应用的例子,如两种用于在线识别手写字符的系统和能每天读取数百万张支票的模型。

    他们的研究取得了巨大的成功,并且激起了大量学者对神经网络的研究的兴趣。在今天向过去回首,目前性能最好的神经网络的架构已与LeNet不尽相同,但这个网络是大量神经网络架构的起点,并且也给这个领域带来了许多灵感。

    三、发展分析

    LeNet的设计较为简单,因此其处理复杂数据的能力有限;此外,在近年来的研究中许多学者已经发现全连接层的计算代价过大,而使用全部由卷积层组成的神经网络。
    现在在研究中已经很少将LeNet使用在实际应用上,对卷积神经网络的设计往往在某个或多个方向上进行优化,如包含更少的参数(以减轻计算代价)、更快的训练速度、更少的训练数据要求等。

    更多相关内容
  • CNN发展简史——LeNet(一)

    千次阅读 2019-04-26 11:51:31
    CNN简史 首先来回顾一下CNN发展的历史,为什么要做这个总结呢?...神经网络这一概念最早是生物界提出的,而人工智能界的神经网络很大程度上是在模拟人类的神经元。影响到CNN起源的相关研究是有关视觉皮层的...

    简介
    首先来回顾一下CNN发展的历史,为什么要做这个总结呢?除了加深我们对CNN框架的理解之外,沿着CNN发展的历史进程走一遍也是非常有趣的事。假如你不研究历史,你肯定不知道打火机居然早于火柴被发明,而ReLU比tanh更早被应用在神经网络中。
    .
    .
    很久很久以前:
    神经网络这一概念最早是生物界提出的,而人工智能界的神经网络很大程度上是在模拟人类的神经元。影响到CNN起源的相关研究是有关视觉皮层的,其中较著名的是Hubel 和Wiesel1968年做出的工作。他们将猫麻醉后,把电极插到其视觉神经上连接示波器,并给它们看不同的图像,观察脑电波的反应。由这些现象得到的结论有:
    在这里插入图片描述
    由于这项发现,Hubel和Wiesel共享了1981年的诺贝尔奖。这项发现不仅在生物学上留下浓墨重彩的一笔,而且对20年后人工智能的发展埋下了伏笔。

    • 最直接的就是多层级结构,这项研究发现几层不同的细胞,最早的视网膜和LGN用于接受视觉信息并做初步处理响应光点,然后简单细胞开始响应线条,再之后复杂细胞和超复杂细胞做进一步处理。
    • 另一个就是过滤(filtering)的概念,我们不同细胞只对特定的输入感兴趣,而会过滤掉其他的信息。
    • 此外还有本地连接,即每个神经元不会对整个图像做出响应,它只会对其本地附近的区域感兴趣。
    • 最后但是同样重要的概念就是平移不变性,这种不变性被认为是启发了神经网络中池化单元的设计。

    虽然我们在生物上得到了很多启发,但是我们对人类大脑的工作机理的了解仍然只是皮毛,由此也给仿生的CNN留下许多疑惑。例如:
    在这里插入图片描述
    总之,这么来看,CNN中大部分重要的思想都在生物中有所体现。
    .
    .
    .
    (-1980年-)Neocognitron :
    日本科学家福岛邦彦提出了neocognitron,其目标是构建一个能够像人脑一样实现模式识别的网络结构从而帮助我们理解大脑的运作。他创造性的从人类视觉系统引入了许多新的思想到人工神经网络,被许多人认为是CNN的雏形。
    Neocoginitron的主要贡献:
    在这里插入图片描述
    这么一看的话,基本上大部分现代CNN的结构在这个模型上都已经得到了体现。卷积运算的三个重要思想:稀疏交互、参数共享和等变表示也只有参数共享没有考虑到了。
    .
    .
    .
    (-1985-)BP for CNN :
    1985年,Rumelhart和Hinton等人提出了反向传播(Back Propagation,BP)算法。BP神经网络是一种多层的前馈神经网络,其主要的特点是:信号是前向传播的,而误差是反向传播的。
    具体来说,对于如下的只含一个隐层的神经网络模型:
    在这里插入图片描述
    BP神经网络的过程主要分为两个阶段,第一阶段是信号的前向传播,从输入层经过隐含层,最后到达输出层;第二阶段是误差的反向传播,从输出层到隐含层,最后到输入层,依次调节隐含层到输出层的权重和偏置,输入层到隐含层的权重和偏置。
    .
    .
    .
    (-1992-)Cresceptron :
    在1992年,美籍华裔科学家翁巨杨发表了他的Cresceptron。虽然从结构上来看他的模型没有非常出彩之处,但是这篇论文中的两个trick却被广泛应用至今:

    1. 数据增强(Data Augmentation)
      我们将训练的输入进行平移,旋转,缩放等变换操作然后加入到训练集中,一方面这可以扩充训练集,另一方面也提高了算法的鲁棒性,减少了过拟合的风险。

    2. 最大池化的提出
      改变了千篇一律的用平均池化做downsampling的状况。
      .
      .
      .
      (-1998-)LeNet-5 :
      LeNet是卷积神经网络的祖师爷LeCun在1998年提出,用于解决手写数字识别的视觉任务。当年美国大多数银行就是用它来识别支票上面的手写数字的,它是早期卷积神经网络中最有代表性的实验系统之一。自那时起,CNN的最基本的架构就定下来了:卷积层、池化层、全连接层。
      LenNet-5共有7层(不包括输入层),每层都包含不同数量的训练参数,如下图所示:
      在这里插入图片描述
      LeNet-5中主要有2个卷积层、2个下抽样层(池化层)、3个全连接层3种连接方式。

    3. LeNet-5第一层:卷积层C1
      C1层是卷积层,形成6个特征图谱。卷积的输入区域大小是5x5,每个特征图谱内参数共享,即每个特征图谱内只使用一个共同卷积核,卷积核有5x5个连接参数加上1个偏置共26个参数。卷积区域每次滑动一个像素,这样卷积层形成的每个特征图谱大小是(32-5)/1+1=28x28。C1层共有26x6=156个训练参数,有(5x5+1)x28x28x6=122304个连接。

    4. LeNet-5第二层:池化层S2
      S2层是一个下采样层(为什么是下采样?利用图像局部相关性的原理,对图像进行子抽样,可以减少数据处理量同时保留有用信息)。C1层的6个28x28的特征图谱分别进行以2x2为单位的下抽样得到6个14x14((28-2)/2+1)的图。每个特征图谱使用一个下抽样核。5x14x14x6=5880个连接。

    5. LeNet-5第三层:卷积层C3
      C3层是一个卷积层,卷积和和C1相同,不同的是C3的每个节点与S2中的多个图相连。C3层有16个10x10(14-5+1)的图,每个图与S2层的连接的方式如下表所示:
      在这里插入图片描述
      在这里插入图片描述
      这种不对称的组合连接的方式有利于提取多种组合特征。该层有(5x5x3+1)x6 + (5x5x4 + 1) x 6 + (5x5x4 +1)x3 + (5x5x6+1)x1 = 1516个训练参数,共有1516x10x10=151600个连接。

    6. LeNet-5第四层:池化层S4
      S4是一个下采样层。C3层的16个10x10的图分别进行以2x2为单位的下抽样得到16个5x5的图。5x5x5x16=2000个连接。连接的方式与S2层类似。

    7. LeNet-5第五层:全连接层C5
      C5层是一个全连接层。由于S4层的16个图的大小为5x5,与卷积核的大小相同,所以卷积后形成的图的大小为1x1。这里形成120个卷积结果。每个都与上一层的16个图相连。所以共有(5x5x16+1)x120 = 48120个参数,同样有48120个连接。

    8. LeNet-5第六层:全连接层F6
      F6层是全连接层。F6层有84个节点,对应于一个7x12的比特图,该层的训练参数和连接数都是(120 + 1)x84=10164。

    9. LeNet-5第七层:全连接层Output
      Output层也是全连接层,共有10个节点,分别代表数字0到9,如果节点i的输出值为0,则网络识别的结果是数字i。采用的是径向基函数(RBF)的网络连接方式。假设x是上一层的输入,y是RBF的输出,则RBF输出的计算方式是:
      在这里插入图片描述
      yi的值由i的比特图编码(即参数Wij)确定。yi越接近于0,则标明输入越接近于i的比特图编码,表示当前网络输入的识别结果是字符i。该层有84x10=840个设定的参数和连接。

    以上是LeNet-5的卷积神经网络的完整结构,共约有60,840个训练参数,340,908个连接。一个数字识别的效果如图所示:
    在这里插入图片描述
    LeNet-5的架构基于这样的观点:图像的特征分布在整张图像上,以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方法。
    在那时候,没有GPU帮助训练,甚至CPU的速度也很慢。因此,能够保存参数以及计算过程是一个关键的进展。这和将每个像素用作一个大型多层神经网络的单独输入相反。LeNet5阐述了那些像素不应该被使用在第一层,因为图像具有很强的空间相关性,而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。
    但是这个模型在后来的一段时间并未能火起来,主要原因是要求机器性能较好,而且其他的算法像SVM也能达到类似的效果甚至超过。

    LeNet5特征能够总结为如下几点
    1)卷积神经网络使用三个层作为一个系列: 卷积,池化,非线性;
    2)使用卷积提取空间特征;
    3)使用映射到空间均值下采样(subsample);
    4)双曲线(tanh)或S型(sigmoid)形式的非线性;
    5)多层神经网络(MLP)作为最后的分类器;
    6)层与层之间的稀疏连接矩阵避免大的计算成本。

    总结:
    从1998年到2010年,神经网络处于孵化阶段,大多数人没有意识到他们不断增强的力量,与此同时其他研究者则进展缓慢。由于手机相机以及便宜的数字相机的出现,越来越多的数据可被利用。并且计算能力也在成长,CPU变得更快,GPU变成了多种用途的计算工具。这些趋势使得神经网络有所进展,虽然速度很慢,数据和计算能力使得神经网络能够完成的任务越来越有趣,之后一切变得清晰起来。
    通过对LeNet-5的网络结构的分析,可以直观地了解一个卷积神经网络的构建方法,可以为分析、构建更复杂、更多层的卷积神经网络做准备。

    LeNet的Keras实现:
    在这里插入图片描述
    系列传送门:
    CNN发展简史——AlexNet(二)
    CNN发展简史——VGG(三)
    CNN发展简史——GoogLeNet(四)
    CNN发展简史——ResNet(五)
    CNN发展简史——DenseNet(六)

    展开全文
  • 卷积神经网络鼻祖LeNet网络分析

    千次阅读 2018-12-14 15:48:56
    1998年,被成为是现代卷积神经网络的鼻祖LeNet,被Yann LeCun正式提出。下图是广为流传LeNet的网络结构,它可以用麻雀虽小,五脏俱全来形容,其中卷积层、池化层、全连接层,这些都是现代卷积神经网络的基本组件。 ...

    卷积神经网络鼻祖LeNet网络分析

     

    https://www.toutiao.com/a6634346529920385539/

     

     

    1998年,被成为是现代卷积神经网络的鼻祖LeNet,被Yann LeCun正式提出。下图是广为流传LeNet的网络结构,它可以用麻雀虽小,五脏俱全来形容,其中卷积层、池化层、全连接层,这些都是现代卷积神经网络的基本组件。

     

    总体来说LeNet是从输入INPUT->C1卷积层->S2池化层->C3卷积层->S4池化层->C5卷积层->F6全连接层->输出OUTPUT,如下图所示。

     

    1 LeNet输入

    LeNet的输入图像是32*32的大小,这要比mnist数据集中字母28*28要大。也就是说,要对mnist的数据进行两圈值为零的像素填充。像素填充的目的是为了让图像边缘的区域,也能出现在卷积过程感受野的中心。

     

    2 LeNet的C1卷积层

    C1层是LeNet的第一个卷积层,它的输入是32*32大小的图像,然后经过卷积过程,输出为6个通道28*28大小的特征图像。其中卷积核的大小为5*5,在LeNet中都使用了5*5大小的卷积核。

     

    卷积过程的滑动步长为1,所以输出特征图像的计算方式为:32-5+1=28,因此输出特征图的大小为28*28。

    因为输入为1通道的图像,然后用了6个卷积核,所以输出为6通道的特征图像。C1层的参数计算方式为(5*5+1)*6=156,其中每个卷积核为5*5,还带有一个偏置项。

     

    3 LeNet的S2池化层

    LeNet的第2层即S2是个池化层,在之前的文章中也为大家介绍过池化(pooling)过程,它是在做下采样操作,目的是在保留特征图像主要信息的同时,降低卷积神经网络的参数数量。

     

    常见的池化有两种:

    (1)Max-Pooling,选择Pooling窗口中的最大值作为采样值;

    (2)Mean-Pooling, 将Pooling窗口中的所有值相加取平均,以平均值作为采样值。

     

    在S2中的池化,选择的是特征图像2*2大小的窗口区域进行池化,因此特征图像的大小缩减了一倍,即从28*28的大小,变为14*14的大小。池化过程不影响特征图通道的数目,S2层池化过程如下图所示。

     

     

    4 卷积与池化的重复

    在卷积神经网络中,卷积与池化可以重复多次,可以一层卷积带有一层的池化如LeNet中的C1->S2,C3->S4,也可以多层卷积后再跟一个池化层。

     

    在这里大家可以去思考一个问题,也就是怎样计算C3层的参数数目(提示,可以结合C1层的计算方式和之前文章中介绍的卷积知识去推算)。

     

    在这里还需要注意的是C5层,它是一个比较特殊的卷积层,它的输入是16通道5*5大小的特征图像,而输出是一个120的向量。C5层可以有两种实现,第一种是使用5*5大小的卷积核进行卷积,第二种是将16通道5*5大小的特征图像拉平,然后再做全连接。

     

     

    5 全连接

    在实际LeNet的编码实现中,F6层和Output层都可以用全连接来实现。其中F6是120->84的全连接,而Output是84->10的全连接,最后的10对应10种类别。

     

    F6层参数数量的计算为(120+1)*84=10164,这个跟多层感知器全连接参数的计算方式是一样的,每个全连接都带有一个偏置项。

     

    后记

    LeNet是学习卷积神经网络的一个非常好的示例,通过学习LeNet可以对卷积神经网络设计有基础的认识,比如卷积核大小,通道数目,全连接结构等等,为以后深入学习卷积神经网络设计打下比较好的基础。另外,在现在的卷积神经网络中经常会使用ReLU作为激活函数,并采用批归一化BN,DropOut等处理,在后续的文章还会为大家带来更多的分享,欢迎大家关注我们。

     

    本文作者:宽涛老师

     

    展开全文
  • 针对计算机辅助乳腺疾病诊断方法准确率低、耗时长等问题,提出一种基于改进的 卷积神经网络(CNN)的乳腺...测试结果表明:所提出的分类模型平均准确率高达92.31%,平均训练时间为968s,充分验证 了该方法的有效性。
  • pytorch LeNet模型

    2020-12-05 19:41:46
    LeNet-5模型是Yan Lecun在1998年提出的一种卷积神经网络模型,最初设计用于手写数字的识别,是早期卷积神经网络中最有代表性的实验系统之一 LeNet的网络结构如下图所示 LeNet模型 LeNet分为卷积层块和全连接层块两个...

    网络结构图

    LeNet-5模型是Yan Lecun在1998年提出的一种卷积神经网络模型,最初设计用于手写数字的识别,是早期卷积神经网络中最有代表性的实验系统之一
    LeNet的网络结构如下图所示在这里插入图片描述

    LeNet模型

    LeNet分为卷积层块和全连接层块两个部分。

    上图为LeNet-5识别手写体数字的过程,其包含输入层在内共有八层。

    LeNet5由7层CNN(不包含输入层)组成,上图中输入的原始图像大小是32×32像素,卷积层用Ci表示,采样层(pooling,池化)用Si表示,全连接层用Fi表示。

    输入层

    数据输入层,输入图像的尺寸为32X32

    1、C1层(卷积层):6@28×28

    该层使用了6个卷积核,每个卷积核的大小为5×5,这样就得到了6个feature map(特征图)。

    每个卷积核(5×5)与原始的输入图像(32×32)进行卷积,这样得到的feature map(特征图)大小为(32-5+1)×(32-5+1)= 28×28

    2、S2层(下采样层,也称池化层):6@14×14

    这一层主要是做池化或者特征映射(特征降维),池化单元为2×2,因此,6个特征图的大小经池化后即变为14×14。

    3、C3层(卷积层):16@10×10

    C3层有16个卷积核,卷积核大小为5×5。

    4、S4(下采样层,也称池化层):16@5×5

    与S2的分析类似,池化单元大小为2×2,因此,该层与C3一样共有16个特征图,每个特征图的大小为5×5。

    5、C5层(卷积层):120
    该层有120个卷积核,每个卷积核的大小仍为5×5,特征图大小为(5-5+1)×(5-5+1)= 1×1
    6、F6层(全连接层):84
    F6层有84个单元,之所以选这个数字的原因是来自于输出层的设计,对应于一个7×12的比特图,如下图所示,-1表示白色,1表示黑色,这样每个符号的比特图的黑白色就对应于一个编码
    在这里插入图片描述

    7、OUTPUT层(输出层):10
    Output层也是全连接层,共有10个节点,分别代表数字0到9

    在这里插入图片描述

    代码实现

    import torch
    import torchvision
    from torch import nn, optim
    
    # 加载数据函数
    def load_data_mnist(batch_size, resize=None, root='~/Datasets/'):
        """Download the fashion mnist dataset and then load into memory."""
        trans = []
        if resize:
            trans.append(torchvision.transforms.Resize(size=resize))
        trans.append(torchvision.transforms.ToTensor())
        
        transform = torchvision.transforms.Compose(trans)
        mnist_train = torchvision.datasets.MNIST(root=root, train=True, download=True, transform=transform)
        mnist_test = torchvision.datasets.MNIST(root=root, train=False, download=True, transform=transform)
        
        train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=0)
        test_iter = torch.utils.data.DataLoader(mnist_test, batch_size=batch_size, shuffle=False, num_workers=0)
    
        return train_iter, test_iter
    
    # 定义网络
    class LeNet(nn.Module):
        def __init__(self):
            super(LeNet, self).__init__()
            self.conv = nn.Sequential(
                nn.Conv2d(1, 6, 5,padding=2,padding=2), # in_channels, out_channels, kernel_size
                nn.ReLU(),
                nn.MaxPool2d(2, 2), # kernel_size, stride
                nn.Conv2d(6, 16, 5),
                nn.ReLU(),
                nn.MaxPool2d(2, 2)
            )
            self.fc = nn.Sequential(
                nn.Linear(16*5*5, 120),
                nn.ReLU(),
                nn.Linear(120, 84),
                nn.ReLU(),
                nn.Linear(84, 10)
            )
    
        def forward(self, img):
            feature = self.conv(img)
            output = self.fc(feature.view(img.shape[0], -1))
            return output
    
    
    net = LeNet()
    
    batch_size = 256
    
    # 加载数据
    train_iter, test_iter = load_data_mnist(batch_size=batch_size,root=root)
    
    # 评估
    def evaluate_accuracy(data_iter, net):
        acc_sum, n = 0.0, 0
        with torch.no_grad():
            for X, y in data_iter:   
                net.eval() # 评估模式, 这会关闭dropout
                acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()
                net.train() # 改回训练模式
           
                n += y.shape[0]
        return acc_sum / n
    
    # 训练
    def train_ch5(net, train_iter, test_iter, batch_size, optimizer, num_epochs):
        loss = torch.nn.CrossEntropyLoss()
        for epoch in range(num_epochs):
            train_l_sum, train_acc_sum, n, batch_count = 0.0, 0.0, 0, 0
            for X, y in train_iter:
            
                y_hat = net(X)
                l = loss(y_hat, y)
                optimizer.zero_grad()
                l.backward()
                optimizer.step()
                train_l_sum += l.item()
                train_acc_sum += (y_hat.argmax(dim=1) == y).sum().item()
                n += y.shape[0]
                batch_count += 1
            test_acc = evaluate_accuracy(test_iter, net)
            print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'
                  % (epoch + 1, train_l_sum / batch_count, train_acc_sum / n, test_acc))
    
    lr, num_epochs = 0.001, 5
    optimizer = torch.optim.Adam(net.parameters(), lr=lr)
    train_ch5(net, train_iter, test_iter, batch_size, optimizer, num_epochs)
    
    
    展开全文
  • LeNet

    2020-06-02 10:13:20
    LeNet
  • [3]从1998到2018,《舌尖上的中国》有云“剩下的都交给时间吧” 图灵奖-历年得主https://amturing.acm.org/byyear.cfm [4]卷积神经网络之父,也是站在导师Geoffrey Hinton反向传播算法的肩膀上! 参考资料 Y. LeCun...
  • CNN与LeNet

    千次阅读 2018-12-29 14:45:37
    LeNet论文翻译 2 用于字符识别的卷积神经网络 A 卷积网络 B LeNet-5 LeNet论文解读 神经元模型 从传统神经网络到CNN 连接数和参数个数的计算 特征图连接方式 结束语 相关资料 下面列出的论文都是我学习CNN...
  • LeNet网络模型

    千次阅读 2017-09-06 22:14:20
      LeNet模型是一种用来识别手写数字的最经典的卷积神经网络,他是Yann LeCun在1998年设计并提出的。当年美国大多数银行就是用它来识别支票上面的手写数字的。它的识别准确性非常高。   LeNet的网络模型框架如下...
  • LeNet神经网络

    千次阅读 2017-03-16 18:04:00
    LeNet神经网络
  • 由于 LeNet-5 提出时间比较早,其网络中使用的一些技术在现在已经很少使用,因此现在我们所使用的 LeNet-5 与原始论文的有所不同。 LeNet-5 的结构图 CiC_iCi​:卷积层;SiS_iSi​:下采样层(池化层);FiF_iFi...
  • LeNet网络详解及pytorch实现

    千次阅读 2021-11-22 14:26:38
    LeNet神经网络由深度学习三巨头之一的Yan LeCun提出,他同时也是卷积神经网络 (CNN,Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类,并在美国的银行中投入了使用。LeNet的实现确立了...
  • 基于LeNet5的手写数字识别神经网络

    千次阅读 2021-09-25 08:55:47
    在这里我们着重介绍一下在1998年首次被提出的CNN元组LeNetLeNet子啊1998年被提出,是进行手写数字识别的网络,如下图所示,他又连续的卷积层和池化层(正确地讲,是只“抽选元素”的子采样层),最后经全连接输出...
  • MATLAB版本的Lenet理解

    千次阅读 2019-09-06 14:07:44
    最近看了各大博客关于lenet的讲解,最终发现还是下载MATLAB源码自己看理解最直观,花了3天时间捋清了lenet的训练方式,仅供参考。 MATLAB版本lenet下载链接 1. 简介 LeNet是Yan LeCun提出的一种用于识别手写体数字的...
  • 卷积神经网络起源于上世纪九十年代Yann LeCun提出Lenet5,卷积神经网络可用于目标检测、交通流量检测,还可用于人口密度测算,在医学上面,卷积神经网络可用于辅助诊断,在图像的语义分析方面卷积也是一个重要的...
  • 文件名称: [codes]LeNet-5下载 收藏√ [5 4 3 2 1]开发工具: Others文件大小: 11938 KB上传时间: 2014-12-04下载次数: 120提 供 者: 柳下惠详细说明:是matlab的代码,关于yann Lecun在89年提出的cnn的原型,这个...
  • 玩转深度学习——pytorch实现Lenet网络...T贝尔实验室的研究员Yann LeCun在1989年提出的(并以其命名),目的是识别图像 [LeCun et al., 1998]中的手写数字。 当时,Yann LeCun发表了第一篇通过反向传播成功训练卷积神
  • 更多python教程请到友情连接: 菜鸟教程https://www.piaodoo.com 初中毕业读什么技校 http://cntkd.net...目录1.LeNet介绍2.LetNet网络模型3.pytorch实现LeNet1.LeNet介绍 LeNet神经网络由深度学习三巨头之一的Yan Le
  • 上面描述的只是单层网络结构,前A&T Shannon Lab 的 Yann LeCun等人据此提出了基于卷积神经网络的一个文字识别系统 LeNet-5。该系统90年代就被用于银行手写数字的识别。 2. 文字识别系统LeNet-5 在经典的模式...
  • 文章目录1 卷积神经网络的出世2 卷积神经网络的发展3 全连接神经网络3.1 反向...CNN最早的雏形就是1998年由LeCun提出LeNet网络! 目前对于卷积神经网络,一个比较泛化的定义就是“含有卷积层的神经网络,都可以称为
  • 在imagenet上的图像分类challenge上大神Alex提出的alexnet网络结构模型赢得了2012届的冠军,振奋人心,利用CNN实现了图片分类,别人用传统的神经网络调参跳到半死也就那样,Alex利用CNN精度远超传统的网络。...
  • 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了,就想着简单整理一下,以备查阅之需。如果读者是初接触CNN,建议可以先看一看“Deep Learning(深度学习)...
  • Pytorch CIFAR10图像分类 LeNet5篇

    千次阅读 2021-08-01 23:25:03
    Pytorch CIFAR10图像分类 LeNet5篇 文章目录Pytorch CIFAR10图像分类 LeNet5篇4.定义网络(LeNet5)5. 定义损失函数和优化器6. 训练损失函数曲线准确率曲线学习率曲线7.测试查看准确率查看每一类的准确率抽样测试并...
  • 经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出,以及GPU和大数据带来的历史机遇,CNN在2012年迎来了历史突破–AlexNet,从此CNN呈现爆炸式发展。  从此,...
  • CNN经典架构LeNet-5及参数调整

    千次阅读 2019-05-22 20:36:19
    详解CNN经典架构LeNet-5及参数调整 Create Wed May 2019.5.22 19:18 目前来说,深度学习、机器学习一直给人就是高深莫测的感觉。但是其实对于深度学习在计算机视觉方面的研究问题,目前来说其实就是对一些视频(帧...
  • LeNet-5 数字识别(上)

    千次阅读 2021-12-23 15:20:22
    当我们学习编程的时候,编写的第一个程序一般是实现打印"Hello World"。而机器学习(或深度学习)的入门教程,一般都是 MNIST 数据库上的手写识别问题。原因是手写识别属于典型的图像分类问题,比较简单,同时MNIST...
  • 上图所示是刘昕博士总结的CNN结构演化的历史,起点是神经认知机模型,此时已经出现了卷积结构,经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出,以及GPU和...
  • 经典神经网络已经没有太多好说的了,所以这个系列不是为了介绍...feature map : 特征图,为啥这个放第一个,因为刚开始的时候,这个东西让我模糊(懵逼)了一段时间。feature map = channel。目前电子图片大多都是RG...
  • CNN模型之LeNet-5

    2019-08-26 20:30:12
    一、介绍         卷积神经网络是当前深度学习领域比较火的研究方法。其应用主要是在计算机视觉上。...LeNet-5由Y. LeCun 在1998年发表的文章《Gradient-Based ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,813
精华内容 1,925
关键字:

lenet提出时间