精华内容
下载资源
问答
  • CNN网络结构发展(最全整理)

    千次阅读 2019-11-03 20:24:28
    CNN网络结构发展 本文介绍了CNN基本部件以及其在发展过程中的各种网络结构特性和优缺点 CNN基本部件介绍 局部感受野 在图像中局部像素之间的联系较为紧密,而距离较远的像素联系相对较弱。因此,其实每个神经...

    CNN网络结构的发展

    本文介绍了CNN基本部件以及其在发展过程中的各种网络结构特性和优缺点

    CNN基本部件介绍

    1. 局部感受野

    在图像中局部像素之间的联系较为紧密,而距离较远的像素联系相对较弱。因此,其实每个神经元没必要对图像全局进行感知,只需要感知局部信息,然后在更高层局部信息综合起来即可得到全局信息。卷积操作即是局部感受野的实现,并且卷积操作因为能够权值共享,所以也减少了参数量。

    1. 池化

    池化是将输入图像进行缩小,减少像素信息,只保留重要信息,主要是为了减少计算量。主要包括最大池化和均值池化。

    1. 激活函数

    激活函数的用是用来加入非线性。常见的激活函数有sigmod, tanh, relu,前两者常用在全连接层,relu常见于卷积层

    1. 全连接层:

    全连接层在整个卷积神经网络中起分类器的作用。在全连接层之前需要将之前的输出展平

    经典网络结构

    1. LeNet5

    由两个卷积层,两个池化层,两个全连接层组成。卷积核都是5×5,stride=1,池化层使用maxpooling

    在这里插入图片描述
    2. AlexNet

    模型共八层(不算input层),包含五个卷积层、三个全连接层。最后一层使用softmax做分类输出

    AlexNet使用了ReLU做激活函数;防止过拟合使用dropout和数据增强;双GPU实现;使用LRN
    在这里插入图片描述
    在这里插入图片描述

    1. VGG

    全部使用3×3卷积核的堆叠,来模拟更大的感受野,并且网络层数更深。VGG有五段卷积,每段卷积后接一层最大池化。卷积核数目逐渐增加。

    总结:LRN作用不大;越深的网络效果越好;1×1的卷积也很有效但是没有3×3好

    在这里插入图片描述
    4. GoogLeNet(inception v1)

    从VGG中我们了解到,网络层数越深效果越好。但是随着模型越深参数越来越多,这就导致网络比较容易过拟合,需要提供更多的训练数据;另外,复杂的网络意味更多的计算量,更大的模型存储,需要更多的资源,且速度不够快。GoogLeNet就是从减少参数的角度来设计网络结构的。

    GoogLeNet通过增加网络宽度的方式来增加网络复杂度,让网络可以自己去应该如何选择卷积核。这种设计减少了参数 ,同时提高了网络对多种尺度的适应性。使用了1×1卷积可以使网络在不增加参数的情况下增加网络复杂度。

    在这里插入图片描述
    Inception-v2

    在v1的基础上加入batch normalization技术,在tensorflow中,使用BN在激活函数之前效果更好;将5×5卷积替换成两个连续的3×3卷积,使网络更深,参数更少

    Inception-v3

    核心思想是将卷积核分解成更小的卷积,如将7×7分解成1×7和7×1两个卷积核,使网络参数减少,深度加深

    Inception-v4结构

    引入了ResNet,使训练加速,性能提升。但是当滤波器的数目过大(>1000)时,训练很不稳定,可以加入activate scaling因子来缓解

    1. Xception

    在Inception-v3的基础上提出,基本思想是通道分离式卷积,但是又有区别。模型参数稍微减少,但是精度更高。Xception先做1×1卷积再做3×3卷积,即先将通道合并,再进行空间卷积。depthwise正好相反,先进行空间3×3卷积,再进行通道1×1卷积。核心思想是遵循一个假设:卷积的时候要将通道的卷积与空间的卷积进行分离。而MobileNet-v1用的就是depthwise的顺序,并且加了BN和ReLU。Xception的参数量与Inception-v3相差不大,其增加了网络宽度,旨在提升网络准确率,而MobileNet-v1旨在减少网络参数,提高效率。

    在这里插入图片描述
    在这里插入图片描述
    6. MobileNet系列

    V1

    使用depthwise separable convolutions;放弃pooling层,而使用stride=2的卷积。标准卷积的卷积核的通道数等于输入特征图的通道数;而depthwise卷积核通道数是1;还有两个参数可以控制,a控制输入输出通道数;p控制图像(特征图)分辨率。
    在这里插入图片描述
    在这里插入图片描述

    V2

    相比v1有三点不同:1.引入了残差结构;2.在dw之前先进行1×1卷积增加feature map通道数,与一般的residual block是不同的;3.pointwise结束之后弃用ReLU,改为linear激活函数,来防止ReLU对特征的破环。这样做是因为dw层提取的特征受限于输入的通道数,若采用传统的residual block,先压缩那dw可提取的特征就更少了,因此一开始不压缩,反而先扩张。但是当采用扩张-卷积-压缩时,在压缩之后会碰到一个问题,ReLU会破环特征,而特征本来就已经被压缩,再经过ReLU还会损失一部分特征,应该采用linear。

    在这里插入图片描述
    在这里插入图片描述
    V3

    互补搜索技术组合:由资源受限的NAS执行模块集搜索,NetAdapt执行局部搜索;网络结构改进:将最后一步的平均池化层前移并移除最后一个卷积层,引入h-swish激活函数,修改了开始的滤波器组。

    V3综合了v1的深度可分离卷积,v2的具有线性瓶颈的反残差结构,SE结构的轻量级注意力模型。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    1. EffNet

    EffNet是对MobileNet-v1的改进,主要思想是:将MobileNet-1的dw层分解层两个3×1和1×3的dw层,这样 第一层之后就采用pooling,从而减少第二层的计算量。EffNet比MobileNet-v1和ShuffleNet-v1模型更小,进度更高。
    在这里插入图片描述
    在这里插入图片描述

    1. EfficientNet

    研究网络设计时在depth, width, resolution上进行扩展的方式,以及之间的相互关系。可以取得更高的效率和准确率。
    在这里插入图片描述

    1. ResNet

    VGG证明更深的网络层数是提高精度的有效手段,但是更深的网络极易导致梯度弥散,从而导致网络无法收敛。经测试,20层以上会随着层数增加收敛效果越来越差。ResNet可以很好的解决梯度消失的问题(其实是缓解,并不能真正解决),ResNet增加了shortcut连边。
    在这里插入图片描述

    1. ResNeXt

    基于ResNet和Inception的split+transform+concate结合。但效果却比ResNet、Inception、Inception-ResNet效果都要好。可以使用group convolution。一般来说增加网络表达能力的途径有三种:1.增加网络深度,如从AlexNet到ResNet,但是实验结果表明由网络深度带来的提升越来越小;2.增加网络模块的宽度,但是宽度的增加必然带来指数级的参数规模提升,也非主流CNN设计;3.改善CNN网络结构设计,如Inception系列和ResNeXt等。且实验发现增加Cardinatity即一个block中所具有的相同分支的数目可以更好的提升模型表达能力。
    在这里插入图片描述
    在这里插入图片描述

    1. DenseNet

    DenseNet通过特征重用来大幅减少网络的参数量,又在一定程度上缓解了梯度消失问题。
    在这里插入图片描述

    1. SqueezeNet

    提出了fire-module:squeeze层+expand层。Squeeze层就是1×1卷积,expand层用1×1和3×3分别卷积,然后concatenation。squeezeNet参数是alexnet的1/50,经过压缩之后是1/510,但是准确率和alexnet相当。
    在这里插入图片描述

    1. ShuffleNet系列

    V1

    通过分组卷积与1×1的逐点群卷积核来降低计算量,通过重组通道来丰富各个通道的信息。Xception和ResNeXt在小型网络模型中效率较低,因为大量的1×1卷积很耗资源,因此提出逐点群卷积来降低计算复杂度,但是使用逐点群卷积会有副作用,故在此基础上提出通道shuffle来帮助信息流通。虽然dw可以减少计算量和参数量,但是在低功耗设备上,与密集的操作相比,计算、存储访问的效率更差,故shufflenet上旨在bottleneck上使用深度卷积,尽可能减少开销。
    在这里插入图片描述

    V2

    使神经网络更加高效的CNN网络结构设计准则:

    输入通道数与输出通道数保持相等可以最小化内存访问成本

    分组卷积中使用过多的分组会增加内存访问成本

    网络结构太复杂(分支和基本单元过多)会降低网络的并行程度

    element-wise的操作消耗也不可忽略
    在这里插入图片描述

    1. SENet
      在这里插入图片描述

    2. SKNet
      在这里插入图片描述

    展开全文
  • 网络架构

    千次阅读 2018-03-27 08:32:41
    第一章 一、企业网络架构介绍 1.什么是网络? 网络不只是设备,还有传输介质,两个一起搭建起来才叫网络。 2.小型网络和大型网络有哪些区别? 小型网络通常采用扁平状结构,扩展能力不行,为了以后的发展应...
    

    第一章

     一、企业网络架构介绍
      1.什么是网络?
       网络不只是设备,还有传输介质,两个一起搭建起来才叫网络。
      2.小型网络和大型网络有哪些区别?
       小型网络通常采用扁平状结构,扩展能力不行,为了以后的发展应采取多层网络结构;
       大型企业用户较多,一般采用层次化结构以支持扩展和增添。
      3.网络的远程互联是什么?
       如果有的出差员工或者组织在外地需要企业内部资料的时候,要访问内部网络,所以要建立连接,考虑私密性和安全,VPN技术可以实行。
      4.大型企业网络设计的基本思想是什么?
       在设计大型企业网络时应考虑自身情况,保证业务需求的前提下,考虑是否可靠稳定可扩展和安全和可管理性,以确保企业的正常运作和发展。
      5.网络有几种?
       局域网、广域网、城域网。

     二、传输介质介绍

      1.简单网络是什么?
       两个终端,用一条能承载数据传输的物理传输介质连接起来,组成一个简单网络。
      2.网线线序有几种?
       两种,直通和交叉,568A、568B,568B用的多。
      3.企业网络中部署千兆以太网时用哪种传输介质?
       纤。
      4.什么是冲突域?
       共享网络中的主机同时发送信息导致无法通信,冲突。
      5.CSMA/CD的工作原理是什么?
       先听后发,边听边发,冲突停发,随机延迟后重发。

     三、分层模型及以太网帧结构(以太网是根据IEEE 802.3标准来管理和控制数据帧的)
       协议:为了使数据可以在网络上从源传递到目的地,网络上所有设备需要“讲”相同的“语言”
       数据通信协议:决定数据的格式和传输的一组规则或一组惯例
      1.为什么要进行分层
       为了降低通信的复杂性,需将协议进行分层处理

      2.OSI层次设计理念
       1>建立七层模型的主要目的是为解决异种网络互连时所遇到的兼容性问题
       2>它的最大优点是将服务、接口、协议这三个概念明确地区分开来
        服务:某一层为上一层提供一些什么功能
        接口:上层如何使用下层服务
        协议:如何实现本层的服务
       3>这样各层之间具有很强的独立性,互联网络中各实体采用什么样的协议是没有限制的
        只要向上提供相同的服务并且不改变相邻层的接口就可以
      3.Ethernet-II 帧格式
       type 
       0x0800   ip
       0x0806   ARP
       Ethernet-II 帧类型值大于等于1536(0x0600)
       以太网数据帧长度在64-1518字节之间
      4.数据帧传输
       数据链路层基于MAC地址进行帧的传输
       数据帧的发送和接收:当主机接收到的数据帧所包含的目的MAC地址是自己时,
            会把以太网封装剥掉后送往上层协议

      单播
      广播
      组播
      5.网络设备如何确定以太网数据帧的上层协议
       type 
       0x0800   ip
       0x0806   ARP
     四、IP编址
      ip包头格式
       协议号:协议字段,用来标识封装的上层数据是UDP还是TCP,UDP是17,TCP是6
      1.ip地址分为网络部分和主机部分
       第一部分是网络号,表示ip地址所属网段
       第二部分是主机号,用来唯一标识本网段上的某台网络设备
      网络地址:对网段描述 主机位为0
      广播地址:主机位全为1
      2. ip地址分类
      A类:0.0.0.0(不可用)--126.255.255.255(不可用)127开头的地址用来测试网卡的TCP/IP属性
      B类:128.0.0.0(不可用)--191.255.255.255(不可用)
      C类:192.0.0.0(不可用)--233.255.255.255(不可用) 
      3.ip地址类型
      私有地址范围
       10.0.0.0---10.255.255.255
       172.16.0.0---172.31.255.255
       192.168.0.0---192.168.255.255
      特殊地址
       127.0.0.0-127.255.255.255(测试)
       0.0.0.0(未指定地址)
       255.255.255.255(全部网络 广播地址) 
      4.网络通信
       同一网段能直接通信,不同网段默认不能通信 
      5.有类ip编址缺陷
       在设计网络时使用有类IP地址会造成地址浪费 
     五、可变长子网掩码 VLSM 
      1.子网划分
       核心思想:借用主机位来制造新的网络
       好处:缩减网络流量、优化网络性能、简化管理、
        更为灵活地形成大覆盖范围的网络
       最本质作用:合理分配ip地址
       
      2.划分子网方法
      1>根据需要子网数目来确定子网位数
      2>根据每个子网的主机数目来确定主机位数,然后确定子网位数

      3.  子网数目=2的X次方(x代表子网位数)
       主机数目=2的y次方(y代表子网位数) 
       可用主机数目=主机数目-2
      4.无类域间路由(CIDR) 
       突破传统ip地址的分类边界,将路由表中若干条路由汇聚为一条路由,
       减少了路由表的规模,提高了路由器的可扩展性。CIDR增强了网络的可扩展性
      
      5.网关
       网关用来转发来自不同网段之间的数据包
     六、ICMP协议(Internet 控制报文协议)

      1.ICMP用来传递差错、控制、查询等信息
       ICMP重定向----控制主机
        路由器产生
        主机处理重定向报文

      2.ICMP差错检测
       ICMP Echo Request和ICMP Echo Reply分别用来查询和响应某些信息,进行差错检测
      
      3.ICMP错误报告
       当网络设备无法访问目标时,会自动发送ICMP目的不可达报文到发送端设备

      4.ICMP数据包格式
       Type表示ICMP数据类型,code表示同一消息类型中的不同信息
      5.ICMP消息类型和编码类型 
       Type类型       编码          描述
       0             0          Echo Reply
       3             0          网络不可达
       3             1          主机不可达
       3             2          协议不可达
       3             3          端口不可达
       5             0          重定向
       8             0          Echo Request

      6.ICMP应用---Tracert(发送的是UDP报文)
       Tracert显示数据包在网络传输过程中所经过的每一跳
     七、ARP协议
      网络设备有数据要发送给另一台网络设备时,必须要知道对方的网络层地址(IP地址)。
      IP地址由网络层来提供,但仅有IP地址是不够的,ip数据报文必须封装成帧才能通过数据链路进行发送。
      数据帧必须要包含目的MAC地址,因此发送端还必须获取到目的MAC地址

      1.数据链路层在进行数据封装时,需要目的MAC地址(同一网段)

      2.查询arp的方法?
       display arp
       先ping,再学习MAC地址
       arp -a查询MAC地址
        
      3.Arp数据包格式
       Arp报文不能穿越路由器,不能被转发大其它广播域

      4.ARP代理(华为设备默认关闭)
       位于不同网络的网络设备在不配置网关的情况下,能够通过ARP代理实现相互通信
       开启ARP代理:arp-proxy enable

      5.免费ARP
       用来检测IP地址是否冲突

      6.网络设备在什么情况下发送ARP request
       发包没有目的MAC地址(同一网段)

      7.网络设备在什么时候会产生免费ARP?
       配ip之后--检测地址是否有冲突 
     八、传输层协议
      传输层定义了主机应用程序之间端到端的连通性。
      1.传输层中最常见的两个协议:
         1.传输控制协议(TCP)可靠、TCP连接
         2.用户数据包协议(UDP)

      1. TCP :一种面向连接的传输层协议,提供可靠的传输服务。
       端口号:用来区分不同的网络服务
       0-1023知名端口号  1024-65535动态端口号
        协议          端口号
         FTP           20、21
         HTTP    80
        Telnet           23
         SMTP            25  
      2.TCP建立连接过程
       TCP STN报文请求建立连接
       TCP通过三次握手建立可靠连接
      TCP头部那些标识位参与了TCP三次握手
        SYN SYN ACK   ACK

      
      3.Tcp关闭连接:四次断开
       主机在关闭连接之前,要确认收到来自对方的ACK

      4.UDP
        UDP是一种面向无连接的传输层协议,传输可靠性没有保证
       当应用程序对传输的可靠性要求不高,但是对传输速度和延迟要求较高时,可以用UDP协议
       来替代TCP协议在传输层控制数据的转发

       UDP传输数据时没有确认机制
       UDP适合实时数据传输。
       相比TCP,UDP的传输效率更高、开销更小,但无法保障数据传输的可靠性
      5.UDP传输过程
       使用UDP传输数据时,由应用程序根据需要提供报文到达确认,排序、流量控制等功能
       UDP不提供重传机制,占用资源小,处理效率高 
     九、数据转发过程
      1. 数据在转发的过程中会进行一系列的封装和解封装

       数据包在相同网段内或不同网段之间转发所依据的原理基本一致

      2.TCP封装(传输层封装)
       当主机建立到达目的地的TCP连接后,便开始对应用层数据进行封装。
      3.数据帧转发过程
       如果主机工作在半双工状态下,会使用CSMA/CD来检测链路是否空闲
       同一个冲突域里的设备都会接收到主机A发送的数据帧
       只有网关会处理该数据帧,并继续转发。
      4.数据包转发过程
       网关检查是否具有到达目的网络的路由条目
       如果存在转发路径,则为数据包添加一个新的二层帧头和帧尾,并继续转发。
      
      5.传输层如何能够准确将数据交给特定应用
       根据端口号确定

    展开全文
  • 笔者主要从事图像的识别与分类研究,在这里笔者值探讨卷积神经的发展史。 1.BP 1985年,Rumelhart和Hinton等人提出了后向传播(Back Propagation,BP)算法(也有说1986年的,指的是他们另一篇paper:...

    笔者主要从事图像的识别与分类研究,在这里笔者值探讨卷积神经的发展史。

    1.BP

    1985年,Rumelhart和Hinton等人提出了后向传播(Back Propagation,BP)算法(也有说1986年的,指的是他们另一篇paper:Learning representations by back-propagating errors),使得神经网络的训练变得简单可行,这篇文章在Google Scholar上的引用次数达到了19000多次,目前还是比Cortes和Vapnic的Support-Vector Networks稍落后一点,不过以Deep Learning最近的发展劲头来看,超越指日可待。

    【注】BP虽然不算卷积神经网络,但它是神经网络的老前辈,学习神经网络不得不知道的一个网络啊。
    Hinton主页

    2.LeNet5

    1988年,LeCun在BP网络的基础上发表了“A theoretical framework for Back-Propagation”几年后,LeCun利用BP算法来训练多层神经网络用于识别手写邮政编码,(论文:Handwritten Digit Recognition: Applications of Neural Net Chips and Automatic Learning)这个工作也可以说是就是CNN的开山之作,多处用到了55的卷积核,但在这篇文章中LeCun只是说把55的相邻区域作为感受野,并未提及卷积或卷积神经网络。在随后很多年,LeCun不断优化,发表了很多关于手写识别的文章。

    1994年,word-level training of a handwritten word recognizer based on convolutional neural networks发表,这可以说是最早的卷积神经网络之一, 并且推动了深度学习领域的发展。自从1988年开始,在许多次成功的迭代后,这项由Yann LeCun完成的开拓性成果被命名为LeNet5(参见:Gradient-Based Learning Applied to Document Recognition).

    1998年的LeNet5标注着CNN的真正面世,但是这个模型在后来的一段时间并未能火起来,主要原因是要求机器性能较好,而且其他的算法像SVM也能达到类似的效果甚至超过。

    LeNet5的架构基于这样的观点:(尤其是)图像的特征分布在整张图像上,以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方法。在那时候,没有GPU帮助训练,甚至CPU的速度也很慢。因此,能够保存参数以及计算过程是一个关键的进展。这和将每个像素用作一个大型多层神经网络的单独输入相反。LeNet5阐述了那些像素不应该被使用在第一层,因为图像具有很强的空间相关性,而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。
    LeNet5特征能够总结为如下几点:
    1)卷积神经网络使用三个层作为一个系列: 卷积,池化,非线性;
    2)使用卷积提取空间特征;
    3)使用映射到空间均值下采样(subsample);
    4)双曲线(tanh)或S型(sigmoid)形式的非线性;
    5)多层神经网络(MLP)作为最后的分类器;
    6)层与层之间的稀疏连接矩阵避免大的计算成本。

    总体看来,这个网络是最近大量神经网络架构的起点,并且也给这个领域带来了许多灵感。
    这里写图片描述
    【注】以上提及的文章均可在LeCun的主页中找到。

    LeCun主页
    LeCun论文下载地址

    从1998年到2010年,神经网络处于孵化阶段,大多数人没有意识到他们不断增强的力量,与此同时其他研究者则进展缓慢。由于手机相机以及便宜的数字相机的出现,越来越多的数据可被利用。并且计算能力也在成长,CPU变得更快,GPU变成了多种用途的计算工具。这些趋势使得神经网络有所进展,虽然速度很慢,数据和计算能力使得神经网络能够完成的任务越来越有趣,之后一切变得清晰起来。

    3.Dan Ciresan Net

    2010 年的时候,**Dan Claudiu Ciresan 和 Jurgen Schmidhuber **发布了最早的 GPU 神经网络的一个实现。这个实现是在一块 NVIDIA GTX 280 图形处理器上运行 9 层的神经网络,包含前向与反向传播。

    2010年Dan Claudiu Ciresan和Jurgen Schmidhuber发表了一个GPU神经网络(Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition)。论文里面证明了使用 NVIDIA GTX 280 GPU之后能够处理高达9层的神经网络。

    从此之后,Nvidia公司的股价开始不断攀升,深度学习也越来越为人们所熟知。

    论文地址
    Dan Claudiu Ciresan 地址

    4. AlexNet

    2012年,Alex Krizhevsky发表了AlexNet(参见 ImageNet Classification with Deep Convolutional Neural Networks),它是LeNet的一种更深更宽的版本,并以显著的优势赢得了困难的ImageNet竞赛。

    AlexNet是在2012年被发表的一个经典之作,并在当年取得了ImageNet最好的成绩,也是在那年之后,更多的更深的神经网络被提出,其官方提供的数据模型。

    AlexNet 将LeNet的思想扩展到了更大的能学习到更复杂的对象层次的神经网络上。这项工作的贡献有:
    1)使用修正的非线性单元(ReLU)
    2)在训练的时候使用Dropout技术有选择的忽视单个神经元,从而避免过拟合
    3)覆盖进行最大池化,避免平均池化的平均化效果。
    4)使用GPU NVIDIA GTX580减少训练时间

    在那时, GPU比CPU提供更多数量的核,训练时间可以提升10倍。这又反过来允许使用更大的数据集和更大的图像。

    AlexNet的成功掀起了一场小革命。卷积神经网络现在是深度学习的骨干。它已经变成了现在能够解决有用任务的大型神经网络的代名词。
    这里写图片描述

    Alex Krizhevsky主页及论文下载地址1
    Alex Krizhevsky主页及论文下载地址2

    5.ZF Net

    2013 ILSVRC比赛冠军,结构相对于AlexNet无太大的变化,只是进行了参数的优化。使用Relu激活函数,交叉熵代价函数。

    这里写图片描述

    Matthew D. Zeiler论文下载
    Rob Fergus主页

    6.Overfeat

    2013年12月, 纽约大学的Yann LeCun实验室提出了AlexNet的衍生–Overfeat(参见: OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks). 这篇文章也提过了学习边界框(learning bounding box),并导致之后出现了很多研究同一主题的论文。

    这里写图片描述

    论文地址

    7.VGG-Net

    2014年,来自牛津大学的VGG网络(参见: Very Deep Convolutional Networks for Large-Scale Image Recognition)是第一个在各个卷积层使用更小的3*3过滤器(filter),并把他们组合成为一个卷积序列进行处理的网络。

    这看起来和LeNet的原理相反,即使用大的卷积来获得一张图像中相似的特征。和AlexNet的99或1111过滤器不同,VGG的过滤器很小,离LeNet竭力所要避免的臭名昭著的11的卷积异常接近–至少在该网络的第一层是这样。但是VGG巨大的进展是通过依次采用多个33的卷积,能够模仿出更大的感受野(receptive field)的效果,例如55或77.这些思想也被用在了最近的更多的网络架构上。如Inception与ResNet。
    VGG网络使用多个33卷积层去表征复杂特征。如果VGG-E的第3,4,5块(block):256256 和 512512个33过滤器被依次使用多次,以提取更多复杂特征以及这些特征的组合。其效果就等于一个带有3个卷积层的大型的512*512分类器。这显然意味着大量的参数和学习能力。但是这些网络训练困难,必须划分到较小的网络,并逐层累加。这是因为缺少强大的方式对模型进行正则化,这样或多或少约束大量由于大量参数增长的搜索空间。

    VGG在许多层中都使用大特征尺寸,因为推断(inference)在运行时是相当耗费时间。正如Inception的瓶颈那样,减少特征的数量将节省一些计算成本。

    VGG-Net 在ILSVRC localization and classification 两个问题上分别取得了第一名和第二名,VGG-Net不同于AlexNet的地方是:VGG-Net使用更多的层,通常有16-19层,而AlexNet只有8层。另外一个不同的地方是:VGG-Net的所有 convolutional layer 使用同样大小的 convolutional filter,大小为 3 x 3。

    这里写图片描述
    目前VGG有6个版本。

    Andrew Zisserman主页
    Karen Simonyan主页

    论文地址1
    论文地址2

    8.NIN

    网络中的网络(NiN,参见论文: Network in Network)的思路简单又伟大: 使用1*1卷积为卷积层的特征提供更组合型的能力。

    NiN架构在各个卷积之后使用空间MLP层,以便更好地在其它层之前组合特征。同样,你可以认为11卷积与LeNet最初的原理相悖,但是事实上他们可以以一种更好的方式组合卷积特征,而这时不可能通过简单的堆叠更多的卷积特征做到的。这和使用原始像素作为下一层输入是有区别的。其中11卷积常常被用于在卷积之后的特征映射上对特征进行空间组合,所以它们实际上可以使用非常少的参数,并在这些特征上的所有像素上共享。

    MLP的能力是通过将卷积特征组合到更复杂的组(group)来极大地增强单个卷积特征的有效性。这个想法之后被用到一些最近的框架上,例如ResNet,Inception及其衍生技术。

    NiN也使用了平均池化层作为最后分类器的一部分,这是另一种将会变得常见的实践。这是用过在分类之前对网络针对多个输入图像的响应进行平均完成的。

    这里写图片描述
    NIN目前有3个版本。

    论文地址

    9. R-CNN、Fast R-CNN、Faster R-CNN

    RCNN(Regions with CNN features)是将CNN方法应用到目标检测问题上的一个里程碑,由年轻有为的RBG大神提出,借助CNN良好的特征提取和分类性能,通过RegionProposal方法实现目标检测问题的转化。
    各个论文均可在Ross Girshick主页找到。
    这里写图片描述

    Ross Girshick (rbg)地址
    论文笔记

    源码:
    R-CNN:
    https://github.com/rbgirshick/rcnn

    Fast R-CNN:
    https://github.com/rbgirshick/fast-rcnn
    https://github.com/rbgirshick/caffe-fast-rcnn

    Faster R-CNN:
    https://github.com/chenyuntc/simple-faster-rcnn-pytorch
    https://github.com/YoungGer/Faster-RCNN-Pytorch
    https://github.com/rbgirshick/py-faster-rcnn

    10.GoogLeNet

    来自Google的Christian Szegedy 开始追求减少深度学习网络的计算开销, 并设计出GoogleLeNet-第一个Inception架构。

    在2014年秋季,深度学习模型正在变得在图像与视频帧的分类中非常有用。大多数怀疑者已经不再怀疑深度学习与神经网络这一次真的回来了。而且相信这种趋势将一直发展下去。鉴于这些技术的用处,谷歌这样的巨头非常有兴趣在他们的服务器上高效且大规模的部署这些架构。

    在2014年ILSVRC挑战赛获得冠军,将Top5 的错误率降低到6.67%. 一个22层的深度网络,论文题目为:Going deeper with convolutions。GoogLeNet这个名字也是挺有意思的,为了像开山鼻祖的LeNet网络致敬,他们选择了这样的名字。

    GoogLeNet使用没有Inception模块的主干作为初始层,之后是与NiN相似的一个平均池化层加softmax分类器。这个分类器比AlexNet与VGG的分类器的运算数量少的多。这也促成了一项非常有效的网络设计(参见论文: An Analysis of Deep Neural Network Models for Practical Applications)Christian和他的团队都是非常高产的研究人员。2015年2月,Batch-normalized Inception被引入作为InceptionV2(参见论文: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift).Batch-normalization 在一层的输出上计算所有特征映射的均值和标准差,并且使用这些值规范化它们的响应。这相当于数据增白(whitening),因此使得所有的神经图(neural maps)在同样的范围内有响应,而且是零均值。在下一层不需要从输入数据中学习offset时,这有助于训练,还能重点关注如何最好的结合这些特性。

    2015年12月, 该团队发布Inception模块和类似架构的一个新版本(参见论文:Rethinking the Inception Architechture for Computer Vision).该论文更好地解释了原始的GoogLeNet架构,在设计选择上给出了更过的细节。原始思路如下:
    通过谨慎构建网络,平衡深度与宽度,从而最大化进入网络的信息流。在每次池化之前,增加特征映射。每当深度增加时,网络层的深度或者特征的数量也系统性的增加。使得每一层深度增加之前,先增加特征的结合。一般只使用33的卷积,可能情况下将55和77过滤器分成多个33。

    Inception v4也结合了Inception模块和ResNet模块的特性。我认为该架构不太简洁。但也充斥着较少透明度的启发法。很难理解里面的选择,对作者而言也难以解释。考虑到网络的简洁性,可被轻易理解并修正,那ResNet可能就更好了。

    这里写图片描述
    目前GoogLeNet有4个版本。

    论文地址:
    [v1] Going Deeper with Convolutions, 6.67% test error
    http://arxiv.org/abs/1409.4842
    [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error
    http://arxiv.org/abs/1502.03167
    [v3] Rethinking the Inception Architecture for Computer Vision, 3.5% test error
    http://arxiv.org/abs/1512.00567
    [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error
    http://arxiv.org/abs/1602.07261

    11.ResNet

    2015年12月又出现了新的变革,这和Inception V3出现的时间一样。ResNet有着简单的思路:供给两个连续卷积层的输出,并分流(bypassing)输入进入下一层(参见论文: Deep Residual Learning for Image Recognition)。

    这和之前的一些旧思路类似。DanReSNet中,他们分流两个层并被应用于更大的规模。在两层后分流是一个关键的直觉。因为分流一个层并未给出更多的改进。通过两层可能认为是一个小型的分类器,或者一个Network-In-Network。

    这是第一个超过100的网络, 甚至还能训练出1000层的网络。

    有大量网络层的ResNet开始使用类似于Inception瓶颈层的网络层,这种层通过首先由带有更小输出的11卷积较少特征的数量,然后使用一个33的层,再使用1*1层处理更大量的特征。类似于Inception模块,这样能够保证计算量低,同事提供丰富的特征结合。

    ResNet在输入上使用相对简单的初始化层: 一个带有两个池的7*7卷积层。可以把这个与更复杂、更少直觉性的InceptionV3 V4坐下对比。ResNet也是用一个池化层加上softmax作为最后的分类器。

    关于ResNet的其他洞见每天都有发生:
    ResNet可被认为既是平行模块又是连续模块,把输入输出视为在许多模块中并行,同时每个模块的输出又是连续连接的。
    ResNet也可被视为并行模块或连续模块的多种组合(参见论文: Residual Networks are Exponential Ensembles of Relatively Shallow Networks)。
    已经发现ResNet通常在20-30层的网络块上以并行的方式运行。而不是连续流过整个网络长度。
    当ResNet像RNN一样把输出反馈到输入时,该网络可被视为更好的生物上可信的皮质模型(参见论文: Bridging the Gaps between Residual Learning, Recurrent Neural Networks and Visual Cortex)。

    这里写图片描述

    论文地址

    12.SqueezeNet

    2016年,SqueezeNet(参见论文: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size)是最近才公布的,该架构对ResNet与Inception里面的概念进行了重新的处理。一个更好的架构设计网络型号要小,而且参数还不需要复杂的压缩算法。

    这里写图片描述
    目前有4个版本。

    论文地址
    源码

    13.ENet

    详细了解ENet可参见论文:ENet: A Deep Neural Network Architecture for Real-time semantic Segmentation. ENet 是一个编码加解码的网络,将分类反向传播给原始图像进行分割。这只使用了神经网络,没有其他算法进行图像分割。

    ENet被设计为在开始时尽可能使用最小数量的资源。正是因为它有着如此小的脚本,编码器和解码器网络共占有0.7MB 16fp的精度。即使这么小的型号,ENet在分割准确度上也类似于或高于其他神经网络的解决方案。

    这里写图片描述

    论文地址

    14. FractalNet

    (参见论文: FractalNet:Ultra-Deep Neural Network without Residuals)使用递归架构,它没有在ImageNet上测试。该架构是ResNet的衍生或者更通用的ResNet。

    这里写图片描述

    目前有4个版本。

    论文地址

    15.Xception

    Xception是google继Inception后提出的对Inception v3的另一种改进,主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。

    这里写图片描述

    目前有3个版本。

    论文地址
    caffe实现的Xception:
    TensorFlow实现的Xception

    展开全文
  • 文章目录目录前言传统路由交换技术路由和交换交换技术传统的 2 层交换技术具有路由功能的 3 层交换技术具有网络服务功能的 7 层交换技术路由技术三层网络架构核心层(Core Layer)汇聚层(Aggregation Layer)接入层...

    目录

    三层网络架构

    三层网络架构:是采用层次化模型设计的三层网络,Cisco 称之为:分级的互连网络模型(Hierarchical Inter-networking Model)。即将复杂的网络设计分成几个层次,每个层次着重于某些特定的功能,这样就能够使一个复杂的大问题变成许多简单的小问题。三层网络架构设计的网络有三个层次:

    • 核心层(网络的高速交换主干)
    • 汇聚层(提供基于策略的连接)
    • 接入层 (将工作站接入网络)

    为了方便管理、提高网络性能,大中型网络应按照标准的三层结构设计。但是,对于网络规模小,联网距离较短的环境,可以采用 “收缩核心” 设计,忽略汇聚层。核心层设备可以直接连接接入层,这样一定程度上可以省去部分汇聚层费用,还可以减轻维护负担,更容易监控网络状况。

    在这里插入图片描述

    核心层(Core Layer)

    核心层:核心交换机为进出数据中心的包提供高速的转发,为多个汇聚层提供连接性,核心交换机为整个网络提供一个弹性的 L3 路由网络。

    核心层是网络的高速交换主干,对整个网络的连通起到至关重要的作用。核心层应该具有如下几个特性:可靠性、高效性、冗余性、容错性、可管理性、适应性、低延时性等。在核心层中,应该采用高带宽的千兆以上交换机,因为核心层是网络的枢纽中心,重要性突出。核心层设备采用双机冗余热备份是非常必要的,也可以使用负载均衡功能,来改善网络性能。网络的控制策略最好尽量少在核心层上实施。核心层一直被认为是所有外部网络流量的最终承受者,所以对核心层的设计以及网络设备的要求十分严格。核心层设备将占投资的主要部分。

    汇聚层(Aggregation Layer)

    汇聚层:汇聚交换机连接接入交换机,同时提供其他的服务,例如:防火墙,SSL Offload,入侵检测,网络分析等。

    汇聚层是网络接入层和核心层的 “中介(中间层)”,就是在 Server 接入核心层前先做汇聚,以减轻核心层设备的负荷。汇聚层具有实施策略、安全、工作组接入、虚拟局域网(VLAN)之间的路由、源地址或目的地址过滤等多种功能。在汇聚层中,应该选用支持三层交换技术和 VLAN 的交换机,以达到网络隔离和分段的目的。

    接入层(Access Layer)

    接入层:接入交换机通常位于机架顶部,所以它们也被称为ToR(Top of Rack)交换机,它们物理连接服务器。

    接入层是直接面向用户连接的部分,向本地网段提供工作站接入,主要解决了相邻用户之间的互访需求。所以接入层可以选择不支持 VLAN 和三层交换技术的普通交换机,接入层交换机具有低成本、高端口密度且即插即用的特性。接入层还应当适当负责一些用户管理功能(如:地址认证、用户认证、计费管理等),以及用户信息收集工作(如:用户的 IP 地址、MAC 地址、访问日志等)。

    三层网络架构的设计原则

    • 层次化设计:每个层可以看作为是一个具有特定角色和功能的、结构定义良好的模块,层次化的设计结构,易于扩展和维护,降低了设计的复杂度和难度。三层网络架构可以更好地控制网络规模和网络质量,同时也方便网络管理和维护。
    • 模块化设计:每个模块对应一个部门、功能或业务区域,可根据网络规模灵活扩展,部门或区域内部调整涉及范围小,容易进行问题定位。
    • 冗余设计:双节点冗余性设计可以保证设备级可靠,适当的冗余提高可靠性,但过度的冗余也不便于运行维护。如果无法做好双节点冗余设计,对框式的核心交换机或者出口路由器,可以考虑单板级的冗余,如双主控板,双交换网板。另外,关键链路可以采用 Eth-Trunk 链路实现链路级可靠性。
    • 对称性设计:网络的对称性便于业务部署,拓扑直观,便于协议设计和分析。

    在这里插入图片描述
    在这里插入图片描述

    三层网络架构的特点

    通常情况下,汇聚交换机是 L2 和 L3 网络的分界点,汇聚交换机以下的是 L2 网络,以上是 L3 网络。每组汇聚交换机管理一个 POD(Point Of Delivery),每个 POD 内都是独立的 VLAN 网络。服务器在 POD 内移动不必修改 IP 地址和默认网关,因为一个 POD 对应一个 L2 广播域。

    在这里插入图片描述
    汇聚交换机和接入交换机之间通常使用 STP(Spanning Tree Protocol,生成树协议)。STP 使得对于一个 VLAN 网络只有一个汇聚层交换机可用,其他的汇聚层交换机在当前使用的汇聚层交换机出现故障时才被使用(下图中的虚线)。也就是说汇聚层是一个 Active-Passive 的 HA 模式。这样在汇聚层,是做不到水平扩展的,因为就算加入多个汇聚层交换机,仍然只有一个在工作。一些私有的协议,例如 Cisco 的 vPC(Virtual Port Channel)可以提升汇聚层交换机的利用率。但是,一方面,这是私有协议,另一方面,vPC 也不能真正做到完全的水平扩展。上图是一个汇聚层作为 L2/L3 分界线,且采用 vPC 的网络架构。

    在这里插入图片描述

    三层网络架构面临的问题

    STP 协议既是良方又是毒药

    生成树协议(Spanning Tree Protocol,STP),是一种工作在 OSI 网络模型中的第二层(数据链路层)的通信协议,基本应用是防止交换机冗余链路产生的环路,用于确保以太网中无环路的逻辑拓扑结构,从而避免了广播风暴大量占用交换机的资源

    传统的数据中心网络技术,STP 是二层网络中非常重要的一种协议。但是,在二层网络中使用 STP 协议有一个相当矛盾的点,那就是 可靠性安全性 的矛盾。

    • 可靠性是指构建二层网络时,一般会采用会采用设备冗余和链路冗余的方式。
    • 安全性是指二层交换机同处于一个广播域,广播报文在环路中会反复持续传送,可能会形成广播风暴,所以必须防止形成环路。要想两种同时达到,可以采用 STP(生成树协议)自动控制,即冗余设备和冗余链路成备份,在正常情况下被阻塞掉,当出现链路故障时冗余的设备端口和链路才会被打开。

    为什么二层交换网络会产生物理环路

    1. 链路冗余:交换机之间为了冗余、带宽提升、或错误连接难免会产生一个封闭的物理环路,而以太网的转发机制又决定了不能有物理环路,一有环路,那些发给所有主机的 Broadcast 、Unknown Unicast Frame 就会肆无忌惮在环路上永不停歇地绕圈圈。这些 Frame 永远无法到达目的地,对交换机 CPU 是一个致命的打击,如果有环路的发生,你可能无法本地、或远程登录你的交换机,只有重启或拔线了。
    2. 二层交换机的转发机制:交换机对于从一个 Port N 上 incoming 的 frame,学习其 Source MAC X,生成 MAC Address Table(MAC X: Port N)。这样它就会生成 MAC 地址和 Port 的映射表,如果收到一个 Frame,就会通过 Frame 的 Destination MAC 与 MAC Address Table 进行匹配,继而得出这个 Frame 应该从哪一个 Port 发送出去。如果没有匹配到,就认为是 unknown Unicast 或 broadcast,只好将它从所有 Port( 除了 incoming 口)发送出去,让 Frame 到了其他的交换机上尝试处理,于是这个 Frame 就有可能会一直在封闭的环路里无限的循环。

    STP 协议的设计思路:人类的很多智慧来自于大自然,同学们仔细观察一棵树,会发现一棵树,有根,树干,树杈,树枝,叶子,水分通过根,源源不断地输送到主干,树杈,然后到达叶子。水分在从根扩散到叶子的过程中,一直是单向的;而叶子因为光合作用产生的能量,再沿着叶子到达树枝,树杈,树干,一直到根。水分和能量是相反方向的流量,如果定义根为上游,叶子为下游,则水是从上游流向下游;而能量则是由下游流向上游。无论是哪个方向的流量,都没有在原地打转的情况发生,那是因为树的物理结构是发散的,没有树干、树杈、树枝的物理交织,自然不会发生环路。网络科学家发现了这个规律,有一个大胆设想,既然二层网络里有物理环路,那用一种逻辑的方法将物理的环路斩断,斩成一个发散的树状架构,是不是Frame就不会无限循环下去了?答案是肯定的,也是这么做的。如果把树的拓扑结构用于二层交换网络,在二层网络里选择一个根(Root Bridge),其它交换机当作树的树杈,每个树杈自然有一个根末梢(Root Port),这个就是交换机的上游接口,除了根末梢,其它的接口都是下游接口,至于下游接口是畅通的、还是阻断的,取决于到根的路径成本(Cost),谁更接近根,谁就畅通(Forwarding) ,即常说的 Designated Port;谁远离根,谁就需要被阻断(Blocked),即常说的 Non Designated Port。通过这种仿生的机制,可以有效地避免网络环路。

    STP 协议的工作原理:任意一个交换机中如果到达根网桥有两条或者两条以上的链路,生成树协议都根据算法把其中一条切断,仅保留一条,从而保证任意两个交换机之间只有一条单一的活动链路。因为这种生成的这种拓扑结构,很像是以根交换机为树干的树形结构,故为生成树协议。

    STP 的工作过程:首先进行根网桥的选举,其依据是网桥优先级(Bridge Priority)和 MAC 地址组合生成的桥 ID,桥 ID 最小的网桥将成为网络中的根桥(Root Bridge)。在此基础上,计算每个节点到根桥的距离,并由这些路径得到各冗余链路的代价,选择最小的成为通信路径(相应的端口状态变为 Forwarding),其它的就成为备份路径(相应的端口状态变为 Blocking)。STP 生成过程中的通信任务由 BPDU 完成,这种数据包又分为包含配置信息的配置 BPDU(其大小不超过 35B)和包含拓扑变化信息的通知 BPDU(其长度不超过 4B)。

    由于 STP 协议造成的逐层收敛的性能问题,一般情况下 STP 的网络规模不会超过 100 台交换机。STP 的这种机制导致了二层链路利用率不足,尤其是在网络设备具有全连接拓扑关系时,这种缺陷尤为突出。如下图所示,当采用全网 STP 二层设计时,STP 将阻塞大多数链路,使接入到汇聚间带宽降至 1/4,汇聚至核心间带宽降至 1/8。这种缺陷造成越接近树根的交换机,端口拥塞越严重,造成的带宽资源浪费就越可观。

    在这里插入图片描述

    云计算推动纵向流量向横向流量的转变

    早期数据中心的流量有 80% 为纵向(north-south,南北)流量,随着云计算、分布式架构的发展,现在已经转变为 70% 为横向(east-west,东西)流量。所谓纵向流量指的是从数据中心外部到内部服务器之间交互的流量;横向流量指的是数据中心内部服务器之间交互的流量。

    随着云计算的到来,越来越丰富的业务对数据中心的流量模型产生了巨大的冲击,如搜索、并行计算等业务,需要大量的服务器组成集群系统,协同完成工作,这导致服务器之间的流量变得非常大。比如搜索,用户只是发出一个搜索指令,服务器集群就在海量数据面前进行搜索与计算,这个过程是非常复杂的,而只是将结果传递给用户。早期数据中心主要满足外部对数据中心的访问,所以流量就以 “南北” 为主。这种流量模型受到了出口带宽的限制,一般的数据中心访问都会存在收敛比,即网络接入带宽比较大,而出口带宽比较小,访问的速度无法提升,在业务高峰期时,用户访问数据中心的体验感下降,这种网络模型已经不适应现今数据中心的发展需要。

    服务器虚拟化带来的虚拟机迁移问题

    但随着数据量的增长,数据中心运营者发现的服务器不够了,当时最早做出反应是服务器层面,服务器虚拟化趋势越来越强,“提高服务器利用率”,“充分发挥计算资源效能”,成了当时最常听到的声音。随之而来的就是服务器与网络之间的关系改变了,原来网络和操作系统紧耦合的关系被打破,变成了松耦合的关系,网络不再能直接感知到操作系统了。而这种对应关系上的变化又带来了两个层面的矛盾:

    1. 性能层面:单台物理机上的应用多了,或者说是虚拟机多了,单个网口上承载的数据流量大了,原来的链路不够了;
    2. 功能层面:物理服务器不是真正的业务所在了,真正的业务在虚拟机上,但是虚拟机要在服务器上漂移,不能够被固定在原先一个区域当中了;

    在三层网络架构中,通常会将二层网络的范围限制在网络接入层以下,避免出现大范围的二层广播域。这就导致了服务器不能随便在不同二层域之间移动,一旦服务器迁移到其他二层域,就需要变更 IP 地址,伴随着生产业务中断。在具有网络关联性的服务器集群中甚至会牵一发而动全身,相关的服务器也要跟着变更相应的配置,影响巨大。

    由于这般限制,传统数据中心的三层网络架构设计根本无法满足服务器虚拟化中更灵活的、可自定义的虚拟机迁移策略。服务器虚拟化从根本上改变了数据中心网络架构的需求,需求数据中心、甚至是跨数据中的网络可以支持大范围的二层域,二层网络规模有多大,虚拟机才能调度、迁移有多远。

    从三层网络到大二层网络架构的演进

    在这里插入图片描述
    传统的用三层架构(Three-tier Architecture)根据物理位置将服务器划分为不同 POD,每个 POD 内的服务器都属于同一个 VLAN, 因此服务器无需修改 IP 地址和网关就可以在 POD 内部任意迁移位置。POD 内走二层广播,POD 间走三层路由。

    这种架构由核心交换机、汇聚交换机和接入交换机组成。在汇聚交换机和接入交换机之间运行生成树协议(Spanning Tree Protocol,STP)以保证网络的二层部分(L2)没有环路。STP 有许多好处:简单,即插即用(plug-and-play,P&P),只需很少配置。但是,STP 无法使用并行转发路径(Parallel Forwarding Path),所以它永远会禁用 VLAN 内的冗余路径,这意味着在未发生故障时,最大链路带宽的 50% 会被 Block(阻塞)掉。

    2010 年,Cisco 提出了 vPC(Virtual Port Channel,虚拟链路聚合)技术来解决 STP 的限制。 vPC 解放了被 STP 禁用的端口,提供接入交换机到汇聚交换机之间的 Active-Active 上行链路,充分利用可用的带宽。使用 vPC 技术时,STP 会作为备用机制(Fail-safe Mechanism)。

    随着云计算的发展,使得应用的部署方式越来越分布式,导致数据中心内部横向流量(East-West-Traffic)显著提升,冗长的横向流量路径(接入→汇聚→核心→汇聚→接入)会导致高时延。这些流量需要被高效地处理,并且还要保证低的、可预测的延迟。然而,vPC 只能提供两个并行上行链路,因此三层数据中心架构中的带宽成为了瓶颈。

    在这里插入图片描述

    可见,在云计算时代,传统的三层网络架构已经无法满足云计算大规模的二层扩展需求。大二层域的概念被摆上了桌面,即整个数据中心的网络、跨多个数据中心的网络都是一个 L2 广播域。这样,数据中心的管理员可以创建一个集中式的、更加灵活的、能够按需分配的资源池,服务器/虚拟机就可以在任意地点创建,迁移,而不需要修改 IP 地址或默认网关。

    在这里插入图片描述
    然后,大二层网络最大的缺点是 BUM(Broadcase,Unknown Unicast,Multicast)会在整个数据中心传播,这就限制了网络的规模。因为网络规模大到一定程度时,BUM 风暴就会严重影响正常的网络通讯。这是数据中心网络发展过程中向网络服务提供商们提出的又一个新的课题,而服务商们交出的答卷就是 Overlay 网络。

    展开全文
  • 为什么网络正朝着Leaf-Spine架构发展

    千次阅读 2018-09-14 15:59:08
    然而,连接选项的进步与先进的软件定义网络(SDN)技术相结合,正在使网络架构师重新构想如何构建网络。游戏的名称是端到端的高效数据流。如果速度和延迟受到关注,尽管实施成本较高,但叶子架构被证明是更好的选择。 ...
  • 深度学习算法最近变得越来越流行和越来越有用的算法,然而深度学习或者深度神经网络的成功得益于...模型设计一开始的时候模型权重越多模型越大,其精度越高,后来出现了resNet、GoogleNet、Inception等网络架构之后,
  • 以前从来没关注电信无线上网网络的具体架构(也即PS域架构),现在开始学5G接触这些东西时,理解起来很痛苦,资料也少,于是一方面到处找人咨询,一方面到处查资料,最后发现应该从3G、4G时代的架构及功能开始学习,...
  • 计算机网络发展

    万次阅读 2016-02-05 14:08:52
    计算机网络发展 1. 计算机网络发展过程大致分为四个阶段 ...第三阶段 20世纪70年代末 形成具有统一的网络体系结构、遵循国际标准化协议的计算机网络。 第四阶段 始于20世纪80年代末 向互连、高速、智能化
  • 目录 文章目录目录前文列表网络虚拟化什么是网络虚拟化云计算环境下的网络虚拟化需要解决的问题服务器内部的网络虚拟化I/O 虚拟...《数据中心网络架构的问题与演进 — 传统路由交换技术与三层网络架构》 网络虚拟化 ...
  • 5G网络架构

    万次阅读 多人点赞 2019-09-30 17:26:52
    本文以发展演变的眼光来看5G架构,会涉及到很多与LTE甚至3G的对比分析。 一、5G 3大应用场景 eMBB 增强移动宽带 URLLC 超低时延高可靠通信 mMTC 海量机器通信 二、概念 2.1、专有名词 RAN --- 无线接入网 。...
  • 企业网网络架构介绍

    千次阅读 2019-07-02 01:49:43
    企业网网络架构介绍 前言 企业的业务总是在不断地发展,对网络的需求也是在不断地变化,这就要求企业网络应该具备适应这种需求不断变化的能力。因此,我们了解企业网络的架构是如何适应业务的需求将变得十分必要。...
  • 目录 文章目录目录前文列表SDNOverlay 网络Overlay 网络的优势参考文章 前文列表 《数据中心网络架构的问题与演进 — 传统路由交换技术与三层网络架构》 ...关于 SDN 在《OpenFlow/SDN 的缘起与发展》一文中已经提及...
  • 传统的三层网络架构,在发展了多年后,终于也命数将尽了,替代它的,将是叶脊网络架构。究其原因,是因为传统三层网络架构自身存在一些无法突破的限制与弊端,在当今云计算风起云涌,虚拟化如火如荼,数据中心越来越...
  • 以下关于星型网络拓扑结构的描述正确的是______。 (多选题 *必答) A 星型拓扑易于维护 B 在星型拓扑中,某条线路的故障不影响其它线路下的计算机通信 C 星型拓扑具有很高的健壮性,不存在单点故障的问题 D 由于...
  • 每日一学|数据中心spine leaf网络架构

    千次阅读 2019-05-08 14:03:54
    传统的三层网络结构应用广泛而且技术成熟,但随着技术的发展趋势,它的瓶颈也不断涌现,导致越来越多的网络工程师放弃这种结构网络,而spine leaf——叶脊拓扑网络结构,则越来越成为受关注的选择。 传统的三层...
  • 零信任网络架构设计

    千次阅读 2019-11-12 17:51:38
    今天分享关于零信任网络架构设计文章,本人不太愿意写细节文章,主要是我们一起把思路理顺,后期落地有方向即可,如有错误或不够细节地方,还请见谅,有问题咱们一起沟通交流! 一、什么是零信任 零信任简单来讲是...
  • 神经网络架构搜索(Neural Architecture Search)杂谈

    万次阅读 多人点赞 2018-12-02 13:24:26
    搜索空间中的网络架构可以表示为描述结构的字符串或向量。 二、搜索策略 网络结构的搜索策略有很多。像随机搜索就是比较简单,但相对低效的做法,通常用作baseline。其它研究得比较多的有几类: 基于强化...
  • 计算机网络发展

    万次阅读 2018-09-23 20:30:29
    1.面向终端的计算机网络 时间:20世纪50年代初 以单个计算机为中心的远程联机系统,构成面向终端的计算机网络 由一台中央主计算机连接大量的地理上处于分散位置的终端。这类简单的“终端——通信线路——计算机...
  • 大二层网络架构

    千次阅读 2020-08-17 13:20:13
    极简二层树形组网更符合SDN发展趋势,SDN需要一个极简的二层物理网络,这种二层简化了SDN控制器的自动化编排和智能运维,提升了网络的即插即用能力,新建网络建议优选二层网络架构。 何为即插即用: 在部署网络设备时...
  • 计算机网络发展(简述)

    千次阅读 2019-04-24 10:07:36
    此时叫做计算机与计算机互联网络,这个时候主机既数据处理又做通信交互,出现不同网络结构。 第三代:70年代中至80年代末,此时计算机网络进入标准化阶段,这个阶段主要的特点有: 民间科研机构出现的教育科研网络...
  • Caffe神经网络结构汇总

    千次阅读 2017-06-01 15:58:50
    自2012年Alexnet赢得了ImageNet竞赛以来,深度学习(神经网络)得到了飞速发展,产生了许多的神经网络结构,本文主要总结Caffe中使用的神经网络(分类的神经网络),本文的神经网络作者都使用Caffe训练过,并在Kaggle...
  • 目录 文章目录目录前文列表Clos Networking 前文列表 《数据中心网络架构的问题与演进 — 传统路由交换技术与三层网络架构》 《数据中心网络架构的问题与演进 — 网络虚拟化》 Clos Networking ...
  • 5G无线网络架构及规划

    千次阅读 2020-05-31 18:32:52
    5G通信网络架构 移动通信网络由三部分构成 接入网 承载网 核心网
  • 在做完这个项目之后,我一直想好好总结一下所学到的关于卷积神经网络的知识。现在趁着有点空闲,随手记录一点以前学过的,或者正在学习的知识点,相当于一个备忘录。 ** 2.卷积神经网络模型概览 ** 从一开始的LeNet...
  • 层次化网络设计(三层网络结构

    万次阅读 2019-05-14 21:51:45
    三层网络架构是采用层次化架构的三层网络。 三层网络架构采用层次化模型设计,即将复杂的网络设计分成几个层次,每个层次着重于某些特定的功能,这样就能够使一个复杂的大问题变成许多简单的小问题。三层网络架构...
  • 计算机网络体系结构

    千次阅读 多人点赞 2019-08-30 14:55:53
    计算机网络体系结构(一)计算机网络概述1.计算机网络的概念、组成与功能2.计算机网络的分类3.计算机网络的标准化工作及相关组织成与功能(二)计算机网络体系结构与参考模型1.计算机网络分层结构2.计算机网络协议、接口...
  • 3G网络结构

    千次阅读 2016-05-21 19:53:32
    3G网络结构图如下所示: 更详细一些的架构图: MSC/VLR和GMSC属于电路域,GGSN和SGSN属于分组域。 1,UE(UserEquipment) UE 是用户终端设备,它主要包括射频处理单元、基带处理单元、协议栈模
  • 大家好,我是小林哥。 平日里,大家都喊程序员加班多很辛苦,动不动就掉头发,但干的还是很香的,毕竟大多数公司钱...第二,纯粹看你技术能力,只要自己愿意付出努力,技术能力肯定会慢慢提高上来,而且现在比起几十年
  • 神经网络发展

    千次阅读 2019-04-03 23:36:50
    人工神经网络(简称神经网络)是神经系统的模拟,包括了大脑神经系统的许多特征。人脑是一个高度复杂的、非线性的和并行的计算机器(信息处理系统)。人脑能够组织它的组成成分,即神经元,以比今天已有的最快的计算机...
  • 浅聊卷积神经网络发展

    千次阅读 2018-09-23 10:30:53
    卷积神经网络发展主要是为了解决人类视觉问题,不过现在其它方向也都会使用。发展历程主要从Lenet5-&gt;Alexnet-&gt;VGG-&gt;GooLenet-&gt;ResNet等。 Lenet5 上世界80年代发明了卷积层,但由于...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 498,549
精华内容 199,419
关键字:

关于网络架构现在的发展