三层网络架构是采用层次化架构的三层网络。
三层网络架构采用层次化模型设计，即将复杂的网络设计分成几个层次，每个层次着重于某些特定的功能，这样就能够使一个复杂的大问题变成许多简单的小问题。三层网络架构设计的网络有三个层次：核心层（网络的高速交换主干）、汇聚层（提供基于策略的连接）、接入层 （将工作站接入网络）。

• 核心层：核心层是网络的高速交换主干，对整个网络的连通起到至关重要的作用。核心层应该具有如下几个特性：可靠性、高效性、冗余性、容错性、可管理性、适应性、低延时性等。在核心层中，应该采用高带宽的千兆以上交换机。因为核心层是网络的枢纽中心，重要性突出。核心层设备采用双机冗余热备份是非常必要的，也可以使用负载均衡功能，来改善网络性能。
• 汇聚层：汇聚层是网络接入层和核心层的“中介”，就是在工作站接入核心层前先做汇聚，以减轻核心层设备的负荷。汇聚层具有实施策略、安全、工作组接入、虚拟局域网（VLAN）之间的路由、源地址或目的地址过滤等多种功能。在汇聚层中，应该选用支持三层交换技术和VLAN的交换机，以达到网络隔离和分段的目的。
• 接入层：接入层向本地网段提供工作站接入。在接入层中，减少同一网段的工作站数量，能够向工作组提供高速带宽。接入层可以选择不支持VLAN和三层交换技术的普通交换机。

三层网络结构短板

三层网络结构基于性能瓶颈和网络利用率等等的原因，资深的网络设计师都在探索新的数据中心的拓扑结构。

三层网络结构数据中心网络传输模式是不断地改变的。大多数网络都是纵向（north-south）的传输模式—主机与网络中的其它非相同网段的主机通信都是设备-交换机-路由到达目的地。同时，三层网络结构在同一个网段的主机通常连接到同一个交换机，可以直接相互通讯。

然而，三层网络结构现代数据中心的计算和存储基础设施，主要网络流量模式从已经不止是单纯的不同网段之间通讯。三层网络结构内外网的通讯、网络段分布在多个接入交换机，要求主机通过网络互连等这些环境。这些三层网络结构网络环境的变化催生了两种技术趋势：网络收敛和虚拟化。

• 网络收敛：三层网络结构中，储存网络和通信网络在同一个物理网络中。主机和阵列之间的数据传输通过储存网络来传输，在逻辑拓扑上就像是直接连接的一样。如ISCSI等。
• 虚拟化：将物理客户端向虚拟客户端转化。虚拟化服务器是未来发展的主流和趋势，它将使三层网络结构的网络节点的移动变得非常简单。

横向网络（east-west）在纵向设计的三层网络结构中传输数据会带有传输的瓶颈，因为数据经过了许多不必要的节点（如路由和交换机等设备）。如果三层网络结构上主机需要通过高速带宽相互访问，但通过层层的uplink口，会导致潜在的、而且非常明显的性能衰减。三层网络结构的原始设计更会加剧这种性能衰减，由于生成树协议会防止冗余链路存在环路，双上行链路接入交换机只能使用一个指定的网络接口链接。

虽然增大内部交换层的带宽有助于改善三层网络结构的传输阻塞，但这样受益的只是一个节点。E-W模式中主机之间的的数据传输并非同一时间只是存在两个节点之间。相反，三层网络结构数据中心中的主机之间在任何时间都有数据传输的。因此，三层网络结构增加带宽这种高成本低效率的投资只是治标不治本。

参考自：https://baike.baidu.com/item/%E4%B8%89%E5%B1%82%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84/5506471?fr=aladdin

摘要

Swin Transformer是一种新型transformer，通过引入CNN中常用的层次化构建方式构建层次化Transformer以及引入locality思想解决transformer迁移至CV上的scale和分辨率的问题。
论文：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

问题的提出

Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：

1. 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。
2. CV比起NLP需要更大的分辨率，而且CV中使用Transformer的计算复杂度是图像尺度的平方，这会导致计算量过于庞大。
   为了解决这两个问题，Swin Transformer相比之前的ViT做了两个改进：
   1.引入CNN中常用的层次化构建方式构建层次化Transformer 。
   2.引入locality思想，对无重合的window区域内进行self-attention计算。

相比于ViT，Swin Transfomer计算复杂度大幅度降低，具有输入图像大小线性计算复杂度。Swin Transformer随着深度加深，逐渐合并图像块来构建层次化Transformer，可以作为通用的视觉骨干网络，应用于图像分类、目标检测和语义分割等任务。

方法

Swin Transformer

Swin Transformer架构，和CNN架构非常相似，构建了4个stage，每个stage中都是类似的重复单元，如图1（。
和ViT类似，通过patch partition将输入图片HxWx3划分为不重合的patch集合，其中每个patch尺寸为4x4，那么每个patch的特征维度为4x4x3=48，patch块的数量为H/4 x W/4；stage1部分，先通过一个linear embedding将输划分后的patch特征维度变成C，然后送入Swin Transformer Block；
stage2-stage4操作相同，先通过一个patch merging，将输入按照2x2的相邻patches合并，这样子patch块的数量就变成了H/8 x W/8，特征维度就变成了4C，是跟stage1一样使用linear embedding将4C压缩成2C，然后送入Swin Transformer Block。
Swin Transformer和ViT划分patch的方式略有不同，ViT是先确定patch的数量，然后计算确定每个patch的尺寸，而Swin Transformer是先确定每个patch的大小，然后计算确定patch数量。这个设计是为了方便Swin Transformer的层级构建。

图1

图1（b）是两个连续的Swin Transformer Block。一个Swin Transformer Block由一个带两层MLP的shifted window based MSA组成。在每个MSA模块和每个MLP之前使用LayerNorm(LN)层，并在每个MSA和MLP之后使用残差连接。

Shifted Window based MSA

图2

图2中红色区域是window，灰色区域是patch。W-MSA将输入图片划分成不重合的windows，然后在不同的window内进行self-attention计算。假设一个图片有hxw的patches，每个window包含MxM个patches，那么MSA和W-MSA的计算复杂度分别为：

由于window的patch数量远小于图片patch数量，W-MSA的计算复杂度和图像尺寸呈线性关系。W-MSA虽然降低了计算复杂度，但是不重合的window之间缺乏信息交流，于是进一步引入shifted window partition来解决不同window的信息交流问题，在两个连续的Swin Transformer Block中交替使用W-MSA和SW-MSA。以图2为例，将前一层Swin Transformer Block的8x8尺寸feature map划分成2x2个patch，每个patch尺寸为4x4，然后将下一层Swin Transformer Block的window位置进行移动，得到3x3个不重合的patch。移动window的划分方式使上一层相邻的不重合window之间引入连接，大大的增加了感受野。

实验

Swin Transformer的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4最高-1）和密集的预测任务。

图3 ImageNet-1K 分类上不同主干的比较。

目标检测（COCO测试中为58.7 box AP和51.1 mask AP）和语义分割（ADE20K val上为53.5 mIoU）。其性能在COCO上为+2.7 box AP和+2.6 mask AP。

图4 COCO 对象检测和实例分割的结果。 † 表示额外的解卷积层用于生成分层特征图。 * 表示多尺度测试.

在ADE20K上为+3.2 mIoU，远远超过了现有技术，证明了基于Transformer的模型作为视觉骨干的潜力。

图5 ADE20K val 和测试集上的语义分割结果。 † 表示额外的反卷积层用于生成分层特征图。 ‡ 表示该模型在 ImageNet-22K 上进行了预训练。