这两天碰到一个疑难故障，一台物理机以接入到交换机hybird模式，该物理机下一台虚拟机以ipsec net2net方式接入到一台天翼云的主机,实现了将天翼云VPC网络与本地私网打通的目标，但是本地私网有133.3.5.0/24，133.3.103.0/24，133.3.107.0/24等多个C端的私网地址，在配置ipsec vpn时，专门把通过私网路由修改为133.3.0.0/16，配置全部完成后出现了一个非常诡异的现象，就是只有交换机端口的pvid改为对应的vlan号，该网段才能双向访问至天翼云内网，否则就只能是天翼云内网单通。

一、故障时拓扑图

    

      当内网网关交换机与内网IPSEC服务器采用hybird模式互联，且pvid设置为505时，天翼云内网192.168.1.0/24与内网133.3.5.0/24可以相互正常访问，但是内网133.3.103.0/24与133.3.107.0/24网段无法ping通天翼云，从天翼云192.168.1.0/24可以ping通133.3.103.0/24及133.3.107.0/24网，如果将hybird配置模式中将端口透传的vlan由untag模式修改为tag模式，且将内网ipsec服务器上对应的网卡修改为支持vlan的模式后可以解决133.3.103.0/24，133.3.107.0/24与天翼云192.168.1.0/24网络互访问题，但是速度非常慢只有10m，且丢包严重。

内网网关交换机配置



 二、通过trunk模式直接接入交换机避开hybird模式

从新配置一台物理服务器直接以trunk模式接入内网网关交换机，服务器安装centos7操作系统，并将网卡全部设置为支持vlan的模式，对所有的ip地址均采用vlan模式



交换机端口配置信息



三、centos7系统配置启用vlan

1、加载8021q模块

modprobe --first-time 8021q

如果只是显示该模块信息可以使用如下命令

modinfo 8021q

 

2、配置父接口



比如我的物理接口是eno1,那么就修改这个文件/etc/sysconfig/network-scripts/ifcfg-eth0

文件修改为以下内容：

DEVICE=ethX
TYPE=Ethernet
BOOTPROTO=none
ONBOOT=yes



3、配置vlan子接口

有几个vlan子接口就配置几个文件，在/etc/sysconfig/network-scripts/目录中配置VLAN接口配置。配置文件名应该是父接口加上.字符加上VLAN ID号。例如，如果VLAN ID为505，并且父接口为eno1，则配置文件名应为ifcfg-eno1.505

BOOTPROTO=none

DEVICE=eno1.505

ONBOOT=yes

IPADDR=133.3.5.211

PREFIX=24

NETWORK=133.3.5.0

VLAN=yes



再配置其它vlan子接口的内容，根据实际情况配置完毕。 



4、重新启动网络服务使配置生效

systemctl restart network

重启网络服务后，使用ip add命令查看发现网络已经启动成功，分别启动了eno1.103,eno1.107,eno1.505三个子接口



 

5、通过tcpdump抓包测试vlan帧

tcpdump -i eno1 -nn -e -vvv vlan

 

 

四、通过IPSEC-VPN网络测试天翼云至客户内网的网络性能

1、通过iperf3测试带宽性能

a、天翼云访问内网带宽测试

天翼云主机上执行

iperf3 -c 133.3.5.71

内网测试主机上执行

iperf3 -s



网速可达50M，因为天翼云限速50M上行，所以当天翼云上行速率突破50M时就会大量丢包，导致RETR642。 

b、内网访问天翼云带宽测试

天翼云执行测试服务端

iperf3 -s

内网主机上执行

iperf3 -c 192.168.1.42



因为天翼云主机未限制下行，而内网的出口带宽只有100M,实际通过IPSEC加密衰减后，实际可以达到71.4M，并且没有一次RETR发生。

总结：

    内网网关交换机使用trunk模式接入物理服务器直接使用vlan形式可以避免掉入虚拟化层与硬件vlan中的陷阱，在没有进行trunk改造之前，通过直接将hybird端口vlan打上tag帧的方式丢包十分严重，基本用不成，这次调整后整个网络结构更加清晰明了，为今后对虚拟化网络中配置主机网络服务指明了方向，需要将物理网络的vlan通过trunk一直打进主机，虚拟机通过桥接进物理网络后再到主机操作系统上解开vlan报文，避免虚拟化层处理vlan信息，也不要在交换机上把一堆vlan处理成untag模式。

 

zgwp：经常碰到超过远程连接数而无法连接服务器，你可以采用如下方法解决|@||@||@|此时一般有以下选|@|1.打托管商电话要求机房手动强制重启.|@|2.使用专用远程连接器.|@|如果以上两条不方便实现,那请看下面这条最方便的吧|@|用如下命令形式解决超过最大连接数问题|@|运行 mstsc /v:IP /console ,比如|@|就可以连接到远程系统的的会话。mstsc /v:211.211.0.5 /console|@|其实这主要是mstsc参数的了解，可通过mstsc /?学习一下。|@|远程桌面连接|@|MSTSC [＜Connection File＞] [/v:＜sever[:port]＞] [/console] [/f[ullscreen]]|@|[/w:＜width＞ /h:＜height＞] | /Edit"ConnectionFile" | /Migrate | /?|@|＜Connection File＞ -- 指定连接的 .rdp 文件的名称。|@|/v:＜sever[:port]＞ -- 指定要连接到的终端服务器。|@|/console -- 连接到服务器的控制台会话。|@|/f -- 以全屏模式启动客户端。|@|/w: ＜width＞ -- 指定远程桌面屏幕的宽度。|@|/h:＜height＞ -- 指定远程桌面屏幕的亮度。|@|/edit -- 打开指定的 .rdp 文件来编辑。|@|/migrate -- 将客户端连接管理器创建的旧版连接文件迁移到新的 .rdp 连接文件。|@|/? -- 生成这个用法消息。|@||@| |@||@| |@||@|而要从根本上解决还是需要修改服务器端配置:|@||@|使用远程桌面链接登录到终端服务器时经常会遇到“终端服务器超出最大允许链接数”，引起该问题的原因在于终端服务的缺省链接数为2个链接，并且当登录远程桌面后如果不是采用注销方式退出，而是直接关闭远程桌面窗口，那么实际上会话并没有释放掉，而是继续保留在服务器端，这样就会占用总的链接数，当这个数量达到最大允许值时就会出现上面的提示。|@|　　解决方式：|@|　　一、用注销来退出远程桌面而不是直接关闭窗口|@|　　二、限制已断开链接的会话存在时间|@|　　三、增加最多链接数，即设置可连接的数量多些 |@||@|第三可采用如下几种方式来修改： |@||@|1.从终端服务配置中修改：|@|打开管理工具里的终端服务配置，再单击连接，双击右边的RDP-Tcp，弹出RDP-Tcp属性，选择网卡，可设置最多连接数，或者设置为无限制的连接数。当然这个值不也能太大，否则会占用较多的系统资源。不过这里修改的值好像不起作用，设置成无限制时照样还是会出现本文所说的情况。 |@||@|修改会话存在时间：运行－Tscc.msc－连接－双击RDP-Tcp或右击－属性－会话－选中第一个的替代用户设置(O)－结束已断开的会话［将默认值“从不”改为一个适当的时间，比如30分钟］|@|2.打开“控制面板”，双击“添加删除程序”，单击“添加删除Windows组件”*“组件”|@|，在Windows组件向导对话框中选中“终端服务” * “下一步” * “应用服务器” * “下|@|一步”，然后按照提示即可改变终端服务的模式。 |@|不过听说用此法，改了应用需要许可证，90天后过期:( |@||@|3.win2003的话可以从组策略修改：|@|　　组策略级别要高于终端服务配置，当启用组策略后终端服务配置中的相应选项会变成灰色不可修改|@|　　运行－gpedit.msc－计算机配置－管理模板－Windows组件－终端服务|@|　　双击右边的”限制连接数量“－选择”已启用“－填入允许的最大连接数|@||@|

问题实际：
新建服务器无法连接互联网，经检查发现问题为服务器网卡直连到三层交换机的trunk口上，导致出现vlan问题。
解决思路：
将服务器划入对应的vlan中，使其能够连通互联网，能够进行远程访问（SSH远程22端口默认为开放）
解决方法：
1、检查服务器内核中是否有8021q协议（trunk协议）
modinfo 8021q
2、复制需要划vlan的网卡信息
# 格式为：网卡名称.vlan名称
cp -p ifcfg-em4 ifcfg-em4.255

3、修改对应网卡配置信息
cat /etc/sysconfig/network-scripts/ifcfg-em4
# 按照下面修改
TYPE=Ethernet
BOOTPROTO=none
DEVICE=em4
ONBOOT=yes

4、修改vlan网卡信息
cat /etc/sysconfig/network-scripts/ifcfg-em4.255
# 按照下面进行修改
BOOTPROTO=none
DEVICE=em4.255
ONBOOT=yes
IPADDR=172.16.255.59    # 自身地址
PREFIX=24   # 子网掩码
NETWORK=172.16.255.0   # 所处网段
GATEWAY=172.16.255.254  # 网关地址
VLAN=yes  # 开启vlan
TYPE=Vlan  # 网卡类型
VLAN_ID=255  # 所属VLAN

5、重启网卡生效
service network restart
6、检查vlan是否已经添加成功
cat /proc/net/vlan/config    # 该目录原本不存在，第一次添加vlan后自动新建
VLAN Dev name    | VLAN ID
Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD
em4.255        | 255  | em4

虚拟化部署之linux网卡的VLAN配置

如果服务器上连的交换机端口已经预先设置了TRUNK,并允许特定的VLAN可以通过，那么服务器的网卡在配置时就必须指定所属的VLAN，否则就不通了，这种情形在虚拟化部署时较常见。

###vconfig 可以通过YUM方式安装 , voncifg 位于epel 源中###

一.首先要确认Linux系统内核是否已经支持VLAN功能：

当前使用内核以及操作系统版本：

[root@test ~]# cat /etc/redhat-release

Red Hat Enterprise Linux Server release 6.5 (Santiago)

首先yum安装vconfig,如果有就不用装了

yum install vconfig

查看核心是否提供VLAN 功能，执行

[root@test]# dmesg | grep -i 8021q

802.1Q VLAN Support v1.8 Ben Greear

[root@test~]# modprobe 8021q

[root@test~]#lsmod |grep 8021q //查看系统内核是否支持802.1q协议

8021q 18633 0

[root@test ~]# lspci //确认网卡驱动是否已经正常加载

00:00.0 Host bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX Host bridge (rev 01)

00:01.0 PCI bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX AGP bridge (rev 01)

00:07.0 ISA bridge: Intel Corporation 82371AB/EB/MB PIIX4 ISA (rev 08)

00:07.1 IDE interface: Intel Corporation 82371AB/EB/MB PIIX4 IDE (rev 01)

00:07.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 08)

00:07.7 System peripheral: VMware Virtual Machine Communication Interface (rev 10)

00:0f.0 VGA compatible controller: VMware SVGA II Adapter

00:11.0 PCI bridge: VMware PCI bridge (rev 02)

00:15.0 PCI bridge: VMware PCI Express Root Port (rev 01)

00:15.1 PCI bridge: VMware PCI Express Root Port (rev 01)

00:15.2 PCI bridge: VMware PCI Express Root Port (rev 01)

二.物理网卡、子网卡、虚拟VLAN网卡的关系：


	
物理网卡：

	物理网卡这里指的是服务器上实际的网络接口设备，在系统中可以看到的，比如2个物理网卡分别对应是eth0和eth1这两个网络接口。
	
	

	
子网卡：

	子网卡在这里并不是实际上的网络接口设备，但是可以作为网络接口在系统中出现，如eth0:1、eth1:2这种网络接口。它们必须要依赖于物理网卡，虽然可以与物理网卡的网络接口同时在系统中存在并使用不同的IP地址，而且也拥有它们自己的网络接口配置文件。但是当所依赖的物理网卡不启用时(Down状态)这些子网卡也将一同不能工作。
	
	
虚拟VLAN网卡：

	这些虚拟VLAN网卡也不是实际上的网络接口设备，也可以作为网络接口在系统中出现，但是与子网卡不同的是，他们没有自己的配置文件。他们只是通过将物理网加入不同的VLAN而生成的VLAN虚拟网卡。如果将一个物理网卡添加到多个VLAN当中去的话，就会有多个VLAN虚拟网卡出现，他们的信息以及相关的VLAN信息都是保存在/proc/net/vlan/config这个临时文件中的，而没有独自的配置文件。它们的网络接口名是eth0.1、eth1.2这种名字。
注：当需要启用VLAN虚拟网卡工作的时候，关联的物理网卡网络接口上必须没有IP地址的配置信息。

[root@test ~]# vi/etc/sysconfig/network-scripts/ifcfg-eth1

————————————————–

DEVICE=eth1

ONBOOT=yes

BOOTPROTO=static

设定静态地址并且不给IP地址设定。

三、在Linux配置VLAN Trunk：

由于在Linux上eth1要被设定为Trunk，并且属于特定的3111VLAN。eth2也要被设定为Trunk，并且属于特定的3112VLAN。

1.将eth1添加到VLAN 3111中：

[root@test]# vconfig add eth1 3111

WARNING: Could not open/proc/net/vlan/config. Maybe you need to load the 8021q module, or maybe youare not using PROCFS??

Added VLAN with VID == 3111 to IF -:eth1:-

第一次添加VLAN虚拟网卡的时候就一定会出现上面的那句提示，原因是因为默认下/proc/net/vlan/config这个专门用来保存VLAN信息的文件是没有的。由于第一次添加VLAN网卡，那么这个文件也会被自动建立起来。另外，在/proc/目录下面的文件都是系统的临时文件，因此重新启动后必定丢失休息，所以在配置并测试VLAN成功后，可以将一些相关命令添加到rc.local这个启动脚本当中去。在执行该命令之前可以先到/proc/net/目录查看下，并不存在vlan文件夹，执行后会创建一个vlan文件夹，并生成config配置文件，以及对应的虚拟vlan网卡配置文件 eth1.3111等.

2.同样将eth2添加到VLAN3112中：

[root@test ~]# vconfig add eth2 3112

Added VLAN with VID == 3112 to IF -:eth2:-

3.检查添加的VLAN虚拟网卡信息：

[root@test ~]# cat/proc/net/vlan/config

VLAN Dev name | VLAN ID

Name-Type:VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD

eth1.3111 | 3111 | eth1

eth2.3112 | 3112 | eth2

VLAN Dev name | VLAN ID

可以看到所有的VLAN虚拟网卡以及它们所归属的主物理网卡。

(如果只有一个物理网卡，也可配置为文件ifcfg-eth1.3111和ifcfg-eth1.3112)

4.为VLAN虚拟网卡设定IP地址并且进行启用：

[root@test ~]# ifconfig eth1.3111 192.168.20.1 up

[root@test ~]# ifconfig eth2.3112 192.168.30.1 up

这是临时的，可以这样做

利用cp命令复制接口的ip地址配置

cp ifcfg-eth1 ifcfg-eth1.3111

cp ifcfg-eth2 ifcfg-eth2.3112

把ifcfg-eth1和ifcfg-eth2中的原有地址去掉，再vi修改ifcfg-eth1.3111和ifcfg-eth2.3112文件，设置IP地址等信息。

5.最后重启network服务，令配置生效。

重新启动网络服务

[root@test ~]# service network restart

Shutting down interface eth1: [ OK ]

Shutting down interface eth2: [ OK ]

Shutting down loopback interface: [ OK ]

Bringing up loopback interface: [ OK ]

Bringing up interface eth1: [ OK ]

Bringing up interface eth2: [ OK ]

6.检查Linux系统下的所有网络接口信息：

[root@test ~]# ifconfig |more

到这里已经基本上将VLAN的主要配置完成了。

7、验证连通性

[root@test ~]# ping 192.168.20.254

PING 192.168.20.254 (192.168.20.254) 56(84) bytes of data.

64 bytes from 192.168.20.254: icmp_seq=1 ttl=255 time=8.42 ms

64 bytes from 192.168.20.254: icmp_seq=2 ttl=255 time=1.47 ms

64 bytes from 192.168.20.254: icmp_seq=3 ttl=255 time=1.51 ms

64 bytes from 192.168.20.254: icmp_seq=4 ttl=255 time=1.58 ms

^C

--- 192.168.20.254 ping statistics ---

4 packets transmitted, 4 received, 0% packet loss, time 6325ms

rtt min/avg/max/mdev = 1.470/2.550/8.427/2.400 ms

[root@test ~]# ping 192.168.30.254

PING 192.168.30.254 (192.168.30.254) 56(84) bytes of data.

64 bytes from 192.168.30.254: icmp_seq=1 ttl=255 time=8.42 ms

64 bytes from 192.168.30.254: icmp_seq=2 ttl=255 time=1.47 ms

64 bytes from 192.168.30.254: icmp_seq=3 ttl=255 time=1.51 ms

64 bytes from 192.168.30.254: icmp_seq=4 ttl=255 time=1.58 ms

^C

--- 192.168.30.254 ping statistics ---

4 packets transmitted, 4 received, 0% packet loss, time 6325ms

rtt min/avg/max/mdev = 1.470/2.550/8.427/2.400 ms

扩展

生成vlan接口的配置文件后,创建逻辑接口 br# 以便将不同的vlan接口桥接到不同的桥设备上