精华内容
下载资源
问答
  • STI、LOD与WPE概念形成机理及对电路设计的影响

    千次阅读 多人点赞 2019-06-17 15:39:57
    文章目录LOD的概念STI的概念WPE的概念STI、WPE效应对电路设计的影响STI效应WPE效应 LOD的概念 LOD是 Length of Diffusion的缩写,当拥有相同的Gate Length和Gate Width的两个MOS,因为扩散区长度不同造成其电流...

    根据网络资料综合

    LOD的概念

    LOD是 Length of Diffusion的缩写,当拥有相同的Gate Length和Gate Width的两个MOS,因为扩散区长度不同造成其电流不同所产生的效应为LOD效应。如下图,两个MOS (A和B)其Gate Length Gate Width皆为0.5um和2um,但由于扩散区分别为1um和1.5um,所以其电流大小并不同。
    LOD示意图
    从0.25um以下的制程,组件之间是利用较先进的STI(Shallow Trench Isolation)的方法来做隔绝。 STI的作法,会在substrate上挖出一个沟槽,再填入二氧化硅当绝缘层。这个在substrate挖出沟槽的动作会产生应力的问题,由于FOX(Field Oxide)到Poly Gate的距离不同,应力对MOS的影响也不同。

    STI的概念

    STI是Shallow Trench Isolation的缩写,STI压力效应就是浅槽隔离压力效应。为了完成有源器件的隔离,在它周围必须形成绝缘侧壁,在较为先进的CMOS工艺制成中,通常用STI的方法来做隔离。浅槽隔离利用高度各向异性反应离子刻蚀在表面切出了一个几乎垂直的凹槽。该凹槽的侧壁被氧化,然后淀积多晶硅填满凹槽的剩余部分。
    STI示意图
    在substrate挖出浅槽时会产生压力的问题。由于扩散区到MOS管的距离不同,压力对MOS管的影响也不同。所以对于相同长宽两个MOS管,由于对应的扩散区长度的不同而造成器件性能的不同。

    WPE的概念

    在离子注入制造工艺时,原子从掩模板的边沿开始扩散,在阱边附近的地方硅片表面变得密集,如图2所示。结果就是,阱表面浓度会随着距离掩模板的边沿的远近而有所不同,因此整个阱的掺杂浓度是不均匀的,如图2中的a)所示。这种不均匀造成MOS管阈值电压的不同,还有其它的电性能也有所不同,它会随着距离阱边距离的不同而不同,如图2中的b)所示。这种现象就是我们常说的阱邻近效应(WPE:Well Proximity Effect)。

    WPE形成描述
    WPE形成描述
    WPE效应根本的原因是: 植入的离子在光阻材料上发生了散射,在光阻边缘, 散射离子进入到阱硅表面,影响了边缘区域的掺杂浓度。考虑WPE的影响主要表现在三个方面:阈值电压、迁移率及体效应。CMC(Compact Model Council)紧凑模型协会对WPE模型进行了拓展。

    上述定义较为宽泛,因为一般来讲应该有三种情况:1,形成N型阱;2,形成P型阱;3,形成深N型埋层;在另一资料中有这样的说明:深阱为闩锁效应保护提供了低电阻路径,并且抑制了双极型增益,深埋层也是NMOSFET隔离三阱的关键。然而,深埋层影响了光阻边缘器件。一些离子在光阻上散射到光阻边缘的硅表面上,改变了这些器件的阈值电压。据观察阈值偏差可以达到20-100mV,横向范围约3-10um, 在硼深反型P阱中,磷深反型N阱中及被三阱隔离的P阱中都可以观察到。需要注意的是: 深埋层的顺序在不同工厂会有所不同,比如IBM:STI -> NW -> PW -> DNW,TSMC:STI -> DNW -> PW -> NW。相对而言,TSMC的深埋层对隔离P型阈值影响要小些。

    STI、WPE效应对电路设计的影响

    STI效应

    STI带来的压力对器件性能有重要影响,特别是电流Idsat和阈值电压Vth。而这些效应是非常重要的,在仿真器件性能的时候必须包含在内,而MOS管的特性与版图的设计又是息息相关的(图3)。
    在这里插入图片描述
    下面通过一组实验数据看看STI的压力对于MOS管漏端电流Ids的影响。横轴是不同的Vgs值(图4)。测试STI的压力对于PMOS管和NMOS管的漏端电流的影响。工艺是0.13um,PMOS管和NMOS管为3.3V,length=0.6um, width=24um,此处设置sa=sb。

    我们可以看出,这种压力对于PMOS管和NMOS管的影响正好相反。PMOS管:电流随SA(SB)的增大而变小;NMOS管:电流随SA(SB)的增大而增大。

    在这里插入图片描述
    测试STI的压力对于gm的影响,横轴是不同的Vgs值(图5)。在Sa=Sb=0.345um,Sa=Sb=1.5um,两种条件下,对于一个length=0.15um的PMOS,相差约有3%,对于一个length=0.6um的PMOS,相差约有10%。而这些差异,仅仅是一个MOS的差异,对于数十个、数百个甚至与数千个MOS的组合会使电路偏差很大,有可能导致不工作。

    WPE效应

    下面我们再来看看WPE的影响.对于同一个器件,固定的长宽,固定的源漏区(SA、SB)大小,根据将它放置在离阱边界距离不同的地方(图6)
    在这里插入图片描述
    我们看到了下面的测试结果(图7):0.13um工艺下,测试3.3V NMOS管的Vth随SC的距离的变化:
    在这里插入图片描述
    我们可以看出,当NMOS管距离阱边比较近的时候,Vth会增大约50mV。Vth也会随着源漏端的方向而有所不同,达到约有10 mV的偏差。当NMOS管距离阱边比较远的时候,如SC的距离大于3um,Vth基本上就没有多少的偏差了。

    通过一系列实验数据,我们可以看出,STI、WPE对器件性能有重要影响,在深亚微米IP模块设计中必须考虑的制造工艺的影响。那么,对IP模块级别的设计,如何减小或者避免这两种效应呢?

    展开全文
  • 点击进入_更多_Java千百问1、什么是内存的物理地址我们通过8086CPU来说明内存地址是如何形成的。首先我们要了解物理地址,当CPU需要访问一个内存单元时,需要给出内存单元的地址,而每一个内存单元在物理内存空间...

    点击进入_更多_Java千百问

    1、什么是内存的物理地址

    我们通过8086CPU来说明内存地址是如何形成的。

    首先我们要了解物理地址,当CPU需要访问一个内存单元时,需要给出内存单元的地址,而每一个内存单元在物理内存空间中都有一个唯一的地址,即可以通过这个地址定位到内存单元,而这个地址即为物理地址

    CPU通过地址总线将一个内存单元的物理地址送入存储器,而后CPU便可以通过这个物理地址来访问这个物理地址所指向的内存单元了。

    2、内存物理地址在CPU中如何形成

    首先,我们知道8086CPU的地址总线是20根,即每次都可以传输20位的地址,从而寻址能力有2^20,也就是1MB的大小。但是,8086CPU的寄存器只有16位,也就是在8086CPU的内部,处理、传输、暂存的地址都只能是16位,即8086CPU不能完整的保存下一个物理地址(物理地址为20位)。

    如果以最简单的方式(即直接用16位寄存器来保存物理地址)的话,寻址能力只有2^16,也就是64KB大小,难道8086CPU只能支持64KB大小的内存吗?
    当然不是,8086CPU在这里采取了一定的措施,使其寻址能力达到1MB。

    8086CPU在内部把两个16位的地址进行合成,从而形成一个20位的物理地址,8086CPU的寻址能力便可以达到1MB。具体是如何将两个16位的地址合成为一个20位的物理地址的呢?
    当CPU在访问内存时,其会使用一个16位的基地址,然后再使用一个16位的偏移地址,通过将两个地址传入8086CPU的地址加法器中进行合成,即可以构造出20位的物理地址。

    至于合成的方式如下:
    将段地址左移4位,形成基地址,然后将基地址和偏移地址相加便形成了20位的物理地址。如下图:

    这里写图片描述

    1000H=0001 0000 0000 0000;
    0002H=0000 0000 0000 0010;
    1000H<<4+0002H=
    1 0000 0000 0000 0010=10002H

    3、内存段是什么

    其实在物理内存中是没有内存段这一概念的,内存段的概念来自于CPU中的段寄存器

    我们将若干个地址连续内存单元看做是一个段,通过将一个段地址左移4位形成基地址,然后通过这个基地址来定位这个段的起始地址,最后再通过偏移地址便可以精确定位到段中的内存单元了。

    由于内存段的起始地址是一个段地址左移4位,所以内存段的起始地址肯定是16的倍数。而且一个内存段内部的内存单元只能通过偏移地址来定位,而偏移地址为16位,所以一个段的长度也就是2^16也就是64KB的大小。

    在编程时,可以将一段内存定义成为一个段,分为数据段代码段栈段这三种类型的段。具体如下:

    1. 数据段
      存放我们所需要使用数据的内存段(当然段起始地址肯定是16的倍数,并且段长度<=64KB)。

    2. 代码段
      存放代码(也就是指令)的内存段。

    3. 栈段
      我们将一段内存当做栈来使用就称为栈段。

    一个简单的例子:

    MOV BX, 1000H   ;
    MOV DS, BX      ;向DS段寄存器传入1000H段地址。
    MOV AX, [1234H] ;将内存地址1000H:1234H(即11234H)中的值读到AX寄存器中。
    展开全文
  • C++基础概念OOA、OOD、OOP

    千次阅读 2016-02-28 20:47:28
    OOA:Object-Oriented Analysis面向对象分析 OOA可分为共主题层、对象类层、结构层、属性层和服务层等5个层次和标示对象类、...抽象是形成概念的必须手段,数据抽象是OOA的核心原则。它强调吧数据(属相)和操作(服务

    OOA:Object-Oriented Analysis面向对象分析

    OOA可分为共主题层、对象类层、结构层、属性层和服务层等5个层次和标示对象类、标示结构、定义主题、定义属性和定义服务等5个活动组成。

    OOA的主要原则:

    (1)抽象:从许多十五中舍弃个别的、非本质的特征,抽取共同的、本质性的特征就叫抽象。抽象是形成概念的必须手段,数据抽象是OOA的核心原则。它强调吧数据(属相)和操作(服务)结合为一个不可分的系统单位(对象),对象的外部只需要知道它做什么,而不必知道它如何做

    (2)封装就是把对象的属性和服务结合为一个不可分的系统单位,并尽可能隐蔽对象的内部细节

    (3)继承:特殊类的对象拥有的其一般类的全部属性与服务,称特殊类对一般类的继承。好处:使系统模型比较简练也比较清晰。

    (4)分类:就是把具有相同属性和服务的对象划分为一类,用类作为这些对象的抽象描述。分类原则实际上是抽象原则运用于对象描述时的一种表现形式。

    (5)聚合:又称组装,其原则是把一个复杂的事物看成若干比较简单的事物的组装体,从而简化对复杂事物的描述。

    (6)消息通信:这一原则要求对象之间只能通过消息进行同学而不允许在对象之外直接地存取对象内部的属性。通过消息进行通信是由于封装原则而引起的。


    面向对象三种分析模型

    1.对象模型:对用例模型进行分析,把系统分解成相互协作的分析类,通过类图/对象图描述对象/对象的属性/对象间的关系,是系统的静态模型。

    2.动态模型:描述系统的动态行为,通过时序图/协作图描述对象的交互,以揭示对象间如何协作来完成每个具体的用例,单个对象的状态变化动态行为可以通过状态图来表达。

    3.功能模型:用例模型a作为输入


    OOA方法的基本步骤:

    1.确定对象和类

    2.确定结构(structure)

    3.确定主题(subject)

    4.确定属性(attribute)

    5.确定方法(method)


    OOD:Object-Oriented Design面向对象设计师一种软件设计方法,是一种工程化规范。其主要作用是对OOA分析的结果作为进一步的规范化整理,以便能够被OOP直接接受。


    OOP:Object-Oriented Programming面向对象程序设计。OOP达到了软件工程的三个重要目标:重用性、灵活性和扩展性。

    OOP主要有以下的概念和组件:

    组件:数据和功能一起在运行着的计算机程序中成成的单元,组件在OOP计算机程序中是模块和结构化的基础。

    抽象性:程序有能力忽略正在处理中信息的某些方面,即对信息主要方面关注的能力。

    封装:也叫信息封装,确保组件不会以不可预期的方式改变其他组件的背部状态;只有在那些提供了内部状态改变方法的组件中,才可以方位其内部状态。

    多态性:组件的引用和类集合会涉及到其他许多不同类型的组件,而且引用组件所产生的结果得一句实际调用的类型。

    继承性:允许在现存的组件基础上创建子类组件,这统一并增强了多态性和封装性。典型的来说就是用类来对组件进行分组,而且还可以定义新类为现存的类的扩展,这样就可以将类组织成树形或网状结构,这体现了动作的通用性。



    展开全文
  • 卷积神经网络概念与原理

    万次阅读 多人点赞 2016-09-05 10:00:27
    一、卷积神经网络的基本概念 受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向...

    一、卷积神经网络的基本概念

     

           受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。

           卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中,通常包含若干个特征平面(featureMap),每个特征平面由一些矩形排列的的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。子采样也叫做池化(pooling),通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度,减少了模型的参数。

    二、卷积神经网络的应用场景

     

    三、卷积神经网络的原理

    3.1 神经网络

           首先介绍神经网络,这一步的详细可以参考资源1。简要介绍下。神经网络的每个单元如下:

    logistic

           其对应的公式如下:

    equal

           其中,该单元也可以被称作是Logistic回归模型。当将多个单元组合起来并具有分层结构时,就形成了神经网络模型。下图展示了一个具有一个隐含层的神经网络。

    equal

            其对应的公式如下:

    equal

           比较类似的,可以拓展到有2,3,4,5,…个隐含层。

           神经网络的训练方法也同Logistic类似,不过由于其多层性,还需要利用链式求导法则对隐含层的节点进行求导,即梯度下降+链式求导法则,专业名称为反向传播。关于训练算法,本文暂不涉及。

    3.2 卷积神经网络

           受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。

           卷积神经网络与普通神经网络的区别在于,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中,通常包含若干个特征平面(featureMap),每个特征平面由一些矩形排列的的神经元组成,同一特征平面的神经元共享权值,这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接,同时又降低了过拟合的风险。子采样也叫做池化(pooling),通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度,减少了模型的参数。卷积神经网络的基本结构如图所示:

     

           卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。

    3.2.1局部感受野

           卷积神经网络有两种神器可以降低参数数目,第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱。因而,每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想,也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的(即这些神经元只响应某些特定区域的刺激)。如下图所示:左图为全连接,右图为局部连接。

    equal

            在上右图中,假如每个神经元只和10×10个像素值相连,那么权值数据为1000000×100个参数,减少为原来的万分之一。而那10×10个像素值对应的10×10个参数,其实就相当于卷积操作。

    3.2.3 权值共享

           但其实这样的话参数仍然过多,那么就启动第二级神器,即权值共享。在上面的局部连接中,每个神经元都对应100个参数,一共1000000个神经元,如果这1000000个神经元的100个参数都是相等的,那么参数数目就变为100了。

           怎么理解权值共享呢?我们可以这100个参数(也就是卷积操作)看成是提取特征的方式,该方式与位置无关。这其中隐含的原理则是:图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上,所以对于这个图像上的所有位置,我们都能使用同样的学习特征。

           更直观一些,当从一个大尺寸图像中随机选取一小块,比如说 8x8 作为样本,并且从这个小块样本中学习到了一些特征,这时我们可以把从这个 8x8 样本中学习到的特征作为探测器,应用到这个图像的任意地方中去。特别是,我们可以用从 8x8 样本中所学习到的特征跟原本的大尺寸图像作卷积,从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。

           如下图所示,展示了一个3×3的卷积核在5×5的图像上做卷积的过程。每个卷积都是一种特征提取方式,就像一个筛子,将图像中符合条件(激活值越大越符合条件)的部分筛选出来。

    equal

    3.2.4 多卷积核

           上面所述只有100个参数时,表明只有1个10*10的卷积核,显然,特征提取是不充分的,我们可以添加多个卷积核,比如32个卷积核,可以学习32种特征。在有多个卷积核时,如下图所示:

    equal

           上图右,不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像,这两幅图像可以看做是一张图像的不同的通道。如下图所示,下图有个小错误,即将w1改为w0,w2改为w1即可。下文中仍以w1和w2称呼它们。

          下图展示了在四个通道上的卷积操作,有两个卷积核,生成两个通道。其中需要注意的是,四个通道上每个通道对应一个卷积核,先将w2忽略,只看w1,那么在w1的某位置(i,j)处的值,是由四个通道上(i,j)处的卷积结果相加然后再取激活函数值得到的。

    equal

    equal

           所以,在上图由4个通道卷积得到2个通道的过程中,参数的数目为4×2×2×2个,其中4表示4个通道,第一个2表示生成2个通道,最后的2×2表示卷积核大小。

    3.2.5 Down-pooling

           在通过卷积获得了特征 (features) 之后,下一步我们希望利用这些特征去做分类。理论上讲,人们可以用所有提取得到的特征去训练分类器,例如 softmax 分类器,但这样做面临计算量的挑战。例如:对于一个 96X96 像素的图像,假设我们已经学习得到了400个定义在8X8输入上的特征,每一个特征和图像卷积都会得到一个 (96 − 8 + 1) × (96 − 8 + 1) = 7921 维的卷积特征,由于有 400 个特征,所以每个样例 (example) 都会得到一个 7921 × 400 = 3,168,400 维的卷积特征向量。学习一个拥有超过 3 百万特征输入的分类器十分不便,并且容易出现过拟合 (over-fitting)。

           为了解决这个问题,首先回忆一下,我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征),同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling),有时也称为平均池化或者最大池化 (取决于计算池化的方法)。

    equal

            

           子采样有两种形式,一种是均值子采样(mean-pooling),一种是最大值子采样(max-pooling)。两种子采样看成特殊的卷积过程,如图下图所示:

           (1)均值子采样的卷积核中每个权重都是0.25,卷积核在原图inputX上的滑动的步长为2。均值子采样的效果相当于把原图模糊缩减至原来的1/4。

           (2)最大值子采样的卷积核中各权重值中只有一个为1,其余均为0,卷积核中为1的位置对应inputX被卷积核覆盖部分值最大的位置。卷积核在原图inputX上的滑动步长为2。最大值子采样的效果是把原图缩减至原来的1/4,并保留每个2*2区域的最强输入。

            至此,卷积神经网络的基本结构和原理已经阐述完毕。

     

    3.2.6 多卷积层

     

     

           在实际应用中,往往使用多层卷积,然后再使用全连接层进行训练,多层卷积的目的是一层卷积学到的特征往往是局部的,层数越高,学到的特征就越全局化。

    四、卷积神经网络的训练

          本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练,毕竟CNN中有卷积层和下采样层,虽然和MLP的bp算法本质上相同,但形式上还是有些区别的,很显然在完成CNN反向传播前了解bp算法是必须的。

    4.1 Forward前向传播

     

           前向过程的卷积为典型valid的卷积过程,即卷积核kernalW覆盖在输入图inputX上,对应位置求积再求和得到一个值并赋给输出图OutputY对应的位置。每次卷积核在inputX上移动一个位置,从上到下从左到右交叠覆盖一遍之后得到输出矩阵outputY(如图4.1与图4.3所示)。如果卷积核的输入图inputX为Mx*Nx大小,卷积核为Mw*Nw大小,那么输出图Y为(Mx-Mw+1)*(Nx-Nw+1)大小。

     

    4.2 BackForward反向传播

           在错误信号反向传播过程中,先按照神经网络的错误反传方式得到尾部分类器中各神经元的错误信号,然后错误信号由分类器向前面的特征抽取器传播。错误信号从子采样层的特征图(subFeatureMap)往前面卷积层的特征图(featureMap)传播要通过一次full卷积过程来完成。这里的卷积和上一节卷积的略有区别。如果卷积核kernalW的长度为Mw*Mw的方阵,那么subFeatureMap的错误信号矩阵Q_err需要上下左右各拓展Mw-1行或列,与此同时卷积核自身旋转180度。subFeatureMap的错误信号矩阵P_err等于featureMap的误差矩阵Q_err卷积旋转180度的卷积核W_rot180。

           下图错误信号矩阵Q_err中的A,它的产生是P中左上2*2小方块导致的,该2*2的小方块的对A的责任正好可以用卷积核W表示,错误信号A通过卷积核将错误信号加权传递到与错误信号量为A的神经元所相连的神经元a、b、d、e中,所以在下图中的P_err左上角的2*2位置错误值包含A、2A、3A、4A。同理,我们可以论证错误信号B、C、D的反向传播过程。综上所述,错误信号反向传播过程可以用下图中的卷积过程表示。

     

    4.3 权值更新过程中的卷积

           卷积神经网络中卷积层的权重更新过程本质是卷积核的更新过程。由神经网络的权重修改策略我们知道一条连接权重的更新量为该条连接的前层神经元的兴奋输出乘以后层神经元的输入错误信号,卷积核的更新也是按照这个规律来进行。

     

           在前向卷积过程中,卷积核的每个元素(链接权重)被使用过四次,所以卷积核每个元素的产生四个更新量。把前向卷积过程当做切割小图进行多个神经网络训练过程,我们得到四个4*1的神经网络的前层兴奋输入和后层输入错误信号,如图所示。

     

            根据神经网络的权重修改策略,我们可以算出如图所示卷积核的更新量W_delta。权重更新量W_delta可由P_out和Q_err卷积得到,如图下图所示。

    五、常见网络结构

     

    5.1 ImageNet-2010网络结构

    ImageNet LSVRC是一个图片分类的比赛,其训练集包括127W+张图片,验证集有5W张图片,测试集有15W张图片。本文截取2010年Alex Krizhevsky的CNN结构进行说明,该结构在2010年取得冠军,top-5错误率为15.3%。值得一提的是,在今年的ImageNet LSVRC比赛中,取得冠军的GoogNet已经达到了top-5错误率6.67%。可见,深度学习的提升空间还很巨大。

    下图即为Alex的CNN结构图。需要注意的是,该模型采用了2-GPU并行结构,即第1、2、4、5卷积层都是将模型参数分为2部分进行训练的。在这里,更进一步,并行结构分为数据并行与模型并行。数据并行是指在不同的GPU上,模型结构相同,但将训练数据进行切分,分别训练得到不同的模型,然后再将模型进行融合。而模型并行则是,将若干层的模型参数进行切分,不同的GPU上使用相同的数据进行训练,得到的结果直接连接作为下一层的输入。

    equal

    上图模型的基本参数为:
    
    • 输入:224×224大小的图片,3通道
    • 第一层卷积:11×11大小的卷积核96个,每个GPU上48个。
    • 第一层max-pooling:2×2的核。
    • 第二层卷积:5×5卷积核256个,每个GPU上128个。
    • 第二层max-pooling:2×2的核。
    • 第三层卷积:与上一层是全连接,3*3的卷积核384个。分到两个GPU上个192个。
    • 第四层卷积:3×3的卷积核384个,两个GPU各192个。该层与上一层连接没有经过pooling层。
    • 第五层卷积:3×3的卷积核256个,两个GPU上个128个。
    • 第五层max-pooling:2×2的核。
    • 第一层全连接:4096维,将第五层max-pooling的输出连接成为一个一维向量,作为该层的输入。
    • 第二层全连接:4096维
    • Softmax层:输出为1000,输出的每一维都是图片属于该类别的概率。

    5.2 DeepID网络结构

            DeepID网络结构是香港中文大学的Sun Yi开发出来用来学习人脸特征的卷积神经网络。每张输入的人脸被表示为160维的向量,学习到的向量经过其他模型进行分类,在人脸验证试验上得到了97.45%的正确率,更进一步的,原作者改进了CNN,又得到了99.15%的正确率。

    如下图所示,该结构与ImageNet的具体参数类似,所以只解释一下不同的部分吧。

    equal

           上图中的结构,在最后只有一层全连接层,然后就是softmax层了。论文中就是以该全连接层作为图像的表示。在全连接层,以第四层卷积和第三层max-pooling的输出作为全连接层的输入,这样可以学习到局部的和全局的特征。

     

     

     

     

    参考资源

    • [1] http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 栀子花对Stanford深度学习研究团队的深度学习教程的翻译
    • [2] http://blog.csdn.net/zouxy09/article/details/14222605 csdn博主zouxy09深度学习教程系列
    • [3] http://deeplearning.net/tutorial/ theano实现deep learning
    • [4] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
    • [5] Sun Y, Wang X, Tang X. Deep learning face representation from predicting 10,000 classes[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 1891-1898.
    • [6] http://blog.csdn.net/stdcoutzyx/article/details/41596663
     
     
    展开全文
  • 面向对象基本概念

    万次阅读 多人点赞 2019-02-06 21:56:15
    对同类对象抽象出其共性,形成类。类中的大多数数据,只能用本类的方法进行处理。类通过一个简单的外部接口与外界发生关系,对象与对象之间通过消息进行通信。程序流程由用户在使用中决定。对象即为人对各种具体物体...
  • 【UML】概念、关系、图(一)

    千次阅读 热门讨论 2014-12-21 21:55:50
    UML是用图形表现系统的整体结构,将现实世界的东西进行抽象,通过一张张的图来描述各个功能之间的关系以及用户的需求,从不同的角度为系统建模,形成概念模型。通过UML,使我们更加轻松的理解软件的结构。
  • 关于专利上位概念和下位概念

    千次阅读 2018-10-11 16:29:53
    上位概念不会破坏下位概念的创造性和新颖性。 写专利时尽量要求上位,...上位概念,容易形成基础专利。最好的基础专利是别人没有可以绕开的方法。此时如果他人在此基础上继续申请专利,申请下位概念的专利,此时可...
  • Java多线程——基本概念

    万次阅读 多人点赞 2019-10-23 10:36:25
    线程和多线程 ...进程在其执行过程中,可以产生多个线程,形成多条执行线索,每条线索,即每个线程也有它自身的产生、存在和消亡的过程,也是一个动态的概念 主线程:(每个Java程序都有一个...
  • 具象读作jù xiàng,形容词,具体的,不抽象的 具有实象存在,与抽象相对 ...抽象 1:从许多事物中,舍弃个别的、非本质的属性,抽出共同的、本质的属性的过程,是形成概念的必要手段。 如: 快乐 (当做为一个抽象化
  • 数据库 - 概念结构设计

    万次阅读 2015-05-08 10:15:46
    概念结构设计什么是概念结构设计 将需求分析得到的用户需求抽象为信息结构即概念模型的过程就是概念结构设计 概念结构是各种数据模型的共同基础,它比数据模型更独立于机器、更抽象,从而更加稳定 概念结构设计是...
  • NFV基本概念

    万次阅读 多人点赞 2019-07-29 11:26:27
    1.NFV相关基本概念 NFV(网络功能虚拟化) SDN(软件定义网络) 一个NFV的标准架构包括NFV infrastructure(NFVI),MANO(Management and Orchestration)和VNFs,三者是标准架构中顶级的概念实体。 NFVI(NFV ...
  • kafka Stream概念

    万次阅读 2016-12-15 00:11:10
    它构建在一些重要的流处理概念之上:区分事件时间和处理时间、开窗的支持、简单有效的状态管理等。Kafka Streams入门的门槛很低:很容易编写单机的示例程序,然后通过在多台机器上运行多个实例即可水平扩展从而达到...
  • 考研逻辑整理 - 概念概念的种类

    千次阅读 2017-06-17 18:01:01
    概念及其逻辑特征1) 定义:概念是反映事物本质属性的思维形式。 2) 逻辑特征:  ①. 内涵:概念所反映的事务的本质属性。  ②. 外延:概念所反映的事物对象的数量和范围。概念的种类1) 单独概念与普遍概念:根据...
  • Elasticsearch - 核心概念

    千次阅读 2015-11-02 15:30:44
    对于学习Elasticsearch,掌握以下基本概念非常重要,你可以试着将以下概念和mysql(库、表、数据行、字段)进行对位。基本概念Elasticsearch 有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。...
  • 概念学习(Concept learning)

    千次阅读 2013-07-07 19:21:35
    概念学习就是学习把具有共同属性的事物集合在一起并冠以一个名称,把不具有此类属性的事物排除出去。影响概念学习的因素主要... 概念学习的过程包括概念的获得和概念的运用两个环节:获得概念有两种形式,即概念形成
  • 数据库:概念结构设计

    千次阅读 2019-09-03 09:27:03
    概念结构设计是将需求分析得到的用户需求抽象为信息结构即概念模型的过程,它是整个数据库设计的关键。只有将需求分析阶段得到的系统应用需求抽象为信息世界的结构,才能更好、更准确地转化为机器世界中的数据模型,...
  • 索引概念

    千次阅读 2017-12-10 14:34:33
    这样就会形成一个紧凑的索引结构,近似顺序填满,由于每次插入时也不需要移动已有数据,因此效率很高, 也不会增加很多开销在维护索引上。 如果使用非自增主键(如果身份证或学号),由于每次插入主键的值近似...
  • 名词与概念

    万次阅读 2020-04-19 12:28:13
    名词与概念 DDD Domain Driven Design即领域驱动设计 CQRS Command Query Responsibility Seperation(命令查询职责分离)的缩写把查询数据 同程为 Query (查询), 只提供根据聚合的ID 进行查询,查询结果 ...
  • 图的连通概念辨析

    千次阅读 2016-12-06 15:09:54
    图的连通概念辨析@(数据结构)针对无向图:连通:从顶点v到顶点w都有路径存在。 极大连通子图:该连通子图包含所有的边 极小联通子图:既要保持图的通畅,又要使得边数最少。 图的生成树是极小连通子图。即:对于树而...
  • Active Directory 基础概念

    千次阅读 2015-09-28 09:01:24
    1.概念 活动目录(Active Directory)是面向WindowsStandard Server、Windows Enterprise Server以及 WindowsDatacenter Server的目录服务。活动目录服务是Windows Server 2000操作系统平台的中心组件之一。理解活动...
  • DDD的基本概念介绍

    千次阅读 2020-01-10 15:06:17
    DDD的基本概念澄清 目录 什么是DDD Ubiquitous language (通用语言) Layered architecture(分层架构) Entity(实体) Value Ojbect(值对象) Service(服务) Module(模块) Aggregate(聚合) ...
  • 数据库分析之概念结构设计

    万次阅读 2018-07-01 23:54:56
    概念结构设计:将需求分析得到的用户需求抽象为信息结构(即概念模型)的过程。 一、概念模型 在需求分析阶段所得到的应用需求应该首先抽象为信息世界的结构,然后才能更改、更准确地用某一数据库管理系统实现...
  • k8s-基础概念

    千次阅读 2019-09-24 16:12:30
    看了《Kubernetes的权威指南》《Kubernetes实战》,也看了网上很多文章,基础概念的定义好像都有些不一样,我也按自己的理解整理一下这些基础概念。 kubernetes是什么? kubernetes是一个基于容器技术的分布式...
  • 数据库概念结构设计

    千次阅读 2020-12-26 12:04:48
    概念结构设计 将需求分析得到的用户需求抽象成信息世界的概念结构模型的过程。 概念结构是各种数据模型的基础,它比数据模型更独立于机器,更加抽象更加稳定。 概念结构设计是数据库设计的关键。 一般用ER图来描述...
  • MCU概念

    千次阅读 2011-07-13 21:36:45
    MCU(Micro Control Unit) 中文名称为微控制单元,又称单片微型计算机(Single Chip ...是指随着大规模集成电路的出现及其发展,将计算机的CPU、RAM、ROM、定时计数器和多种I/O接口集成在一片芯片上,形成芯片级的
  • 人脸支付技术原理和基本概念介绍

    千次阅读 2019-06-04 08:25:24
    2019-06-02 21:31:57 ...近日,支付宝蜻蜓、微信青蛙以及人行牵头银联和各商业银行推进落地的刷脸支付系统陆续开始推向市场,笔者近期分别对相关产业各方采用的技术原理和基本概念进行了一些学习和研...
  • Flink中的一些核心概念

    万次阅读 2016-05-02 22:46:23
    Flink中的一些基础而又关键的核心概念。了解这些概念有助于更进一步理解Flink的设计。
  • Openstack 概念架构详解

    千次阅读 2015-09-27 14:22:07
    Openstack 项目是一个支持所有云...Openstack 通过一系列服务,形成了一个IaaS解决方案,每一个服务都提供了相应的API来更好地使用。 1.Openstack 服务 Openstack 包含以下服务: 1)Dashboard 该服务的工程名为H
  • linux死锁概念

    千次阅读 2020-08-28 22:21:04
    有关线程死锁的问题? 死锁:是指两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们将无法推进下去。...4.循环等待条件:若干进程之间形成一种头尾相接的循环等待关系 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 415,136
精华内容 166,054
关键字:

形成概念