这两天碰到一个疑难故障，一台物理机以接入到交换机hybird模式，该物理机下一台虚拟机以ipsec net2net方式接入到一台天翼云的主机,实现了将天翼云VPC网络与本地私网打通的目标，但是本地私网有133.3.5.0/24，133.3.103.0/24，133.3.107.0/24等多个C端的私网地址，在配置ipsec vpn时，专门把通过私网路由修改为133.3.0.0/16，配置全部完成后出现了一个非常诡异的现象，就是只有交换机端口的pvid改为对应的vlan号，该网段才能双向访问至天翼云内网，否则就只能是天翼云内网单通。
一、故障时拓扑图
当内网网关交换机与内网IPSEC服务器采用hybird模式互联，且pvid设置为505时，天翼云内网192.168.1.0/24与内网133.3.5.0/24可以相互正常访问，但是内网133.3.103.0/24与133.3.107.0/24网段无法ping通天翼云，从天翼云192.168.1.0/24可以ping通133.3.103.0/24及133.3.107.0/24网，如果将hybird配置模式中将端口透传的vlan由untag模式修改为tag模式，且将内网ipsec服务器上对应的网卡修改为支持vlan的模式后可以解决133.3.103.0/24，133.3.107.0/24与天翼云192.168.1.0/24网络互访问题，但是速度非常慢只有10m，且丢包严重。
内网网关交换机配置
二、通过trunk模式直接接入交换机避开hybird模式
从新配置一台物理服务器直接以trunk模式接入内网网关交换机，服务器安装centos7操作系统，并将网卡全部设置为支持vlan的模式，对所有的ip地址均采用vlan模式
交换机端口配置信息
三、centos7系统配置启用vlan
1、加载8021q模块
modprobe --first-time 8021q如果只是显示该模块信息可以使用如下命令
modinfo 8021q
2、配置父接口
比如我的物理接口是eno1,那么就修改这个文件/etc/sysconfig/network-scripts/ifcfg-eth0
文件修改为以下内容：
DEVICE=ethX TYPE=Ethernet BOOTPROTO=none ONBOOT=yes
3、配置vlan子接口
有几个vlan子接口就配置几个文件，在
/etc/sysconfig/network-scripts/目录中配置VLAN接口配置。配置文件名应该是父接口加上.字符加上VLAN ID号。例如，如果VLAN ID为505，并且父接口为eno1，则配置文件名应为ifcfg-eno1.505
BOOTPROTO=none
DEVICE=eno1.505
ONBOOT=yes
IPADDR=133.3.5.211
PREFIX=24
NETWORK=133.3.5.0
VLAN=yes
再配置其它vlan子接口的内容，根据实际情况配置完毕。
4、重新启动网络服务使配置生效
systemctl restart network
重启网络服务后，使用ip add命令查看发现网络已经启动成功，分别启动了eno1.103,eno1.107,eno1.505三个子接口
5、通过tcpdump抓包测试vlan帧
tcpdump -i eno1 -nn -e -vvv vlan
四、通过IPSEC-VPN网络测试天翼云至客户内网的网络性能
1、通过iperf3测试带宽性能
a、天翼云访问内网带宽测试
天翼云主机上执行
iperf3 -c 133.3.5.71
内网测试主机上执行
iperf3 -s
网速可达50M，因为天翼云限速50M上行，所以当天翼云上行速率突破50M时就会大量丢包，导致RETR642。
b、内网访问天翼云带宽测试
天翼云执行测试服务端
iperf3 -s
内网主机上执行
iperf3 -c 192.168.1.42
因为天翼云主机未限制下行，而内网的出口带宽只有100M,实际通过IPSEC加密衰减后，实际可以达到71.4M，并且没有一次RETR发生。
总结：
内网网关交换机使用trunk模式接入物理服务器直接使用vlan形式可以避免掉入虚拟化层与硬件vlan中的陷阱，在没有进行trunk改造之前，通过直接将hybird端口vlan打上tag帧的方式丢包十分严重，基本用不成，这次调整后整个网络结构更加清晰明了，为今后对虚拟化网络中配置主机网络服务指明了方向，需要将物理网络的vlan通过trunk一直打进主机，虚拟机通过桥接进物理网络后再到主机操作系统上解开vlan报文，避免虚拟化层处理vlan信息，也不要在交换机上把一堆vlan处理成untag模式。
问题实际：
新建服务器无法连接互联网，经检查发现问题为服务器网卡直连到三层交换机的trunk口上，导致出现vlan问题。
解决思路：
将服务器划入对应的vlan中，使其能够连通互联网，能够进行远程访问（SSH远程22端口默认为开放）
解决方法：
1、检查服务器内核中是否有8021q协议（trunk协议）
modinfo 8021q2、复制需要划vlan的网卡信息
# 格式为：网卡名称.vlan名称 cp -p ifcfg-em4 ifcfg-em4.2553、修改对应网卡配置信息
cat /etc/sysconfig/network-scripts/ifcfg-em4 # 按照下面修改 TYPE=Ethernet BOOTPROTO=none DEVICE=em4 ONBOOT=yes4、修改vlan网卡信息
cat /etc/sysconfig/network-scripts/ifcfg-em4.255 # 按照下面进行修改 BOOTPROTO=none DEVICE=em4.255 ONBOOT=yes IPADDR=172.16.255.59 # 自身地址 PREFIX=24 # 子网掩码 NETWORK=172.16.255.0 # 所处网段 GATEWAY=172.16.255.254 # 网关地址 VLAN=yes # 开启vlan TYPE=Vlan # 网卡类型 VLAN_ID=255 # 所属VLAN5、重启网卡生效
service network restart6、检查vlan是否已经添加成功
cat /proc/net/vlan/config # 该目录原本不存在，第一次添加vlan后自动新建 VLAN Dev name | VLAN ID Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD em4.255 | 255 | em4
连接服务器的交换机，未知用途的情况下，网工会配置接口为trunk模式，允许所有vlan。此时centos服务器上需要配置VLAN子接口，才能正常联网。
实验环境：vmware Vsphere 7.0.0+分布式交换机，中继模式 虚拟机：CentOS Linux release 7.8.2003 (Core) 交换机：Huawei CE6810-48S4Q-LI（trunk,允许所有vlan） vlan：146,147 子网：vlanif146:172.19.146.1/24,vlanif147:172.19.147.1/24cd /etc/sysconfig/network-scripts/ #进入网卡目录 cp ifcfg-ens192 ifcfg-ens192.146 #复制一份网卡配置，146代表vlanID，中间点要加。 vi ifcfg-ens192.146 #编辑网卡配置 按以下格式添加： TYPE=Etherent BOOTPROTO=none DEFROUTE=yes DEVICE=ens192.146 #注意，名字与复制后的网卡名字相同 ONBOOT=yes IPADDR=172.19.146.100 NETMASK=255.255.255.0 GATEWAY=172.19.146.1 VLAN=yes #注意大小写不可以随意切换 systemctl restart network #重启网卡 ip a #验证子接口是否生效 route -n #查看路由 ping 172.19.146.1 #网络网络是否通信 vi /etc/resolv.conf #配置DNS ping www.qq.com #验证外网是否正常
1.确认可用网卡及vlan id
eth5可用
vlan25:10.118.25.0/24
2.编辑网卡配置文件
vim /etc/sysconfig/network-scripts/ifcfg-eth5DEVICE=eth5.25 BOOTPROTO=static ONBOOT=yes VLAN=yes BRIDGE=br_eth5.25
vim /etc/sysconfig/network-scripts/ifcfg-eth5.25DEVICE=eth5.25 BOOTPROTO=static ONBOOT=yes VLAN=yes BRIDGE=br_eth5.25
vim /etc/sysconfig/network-scripts/ifcfg-br_eth5.25DEVICE=br_eth5.25 BOOTPROTO=static ONBOOT=yes TYPE=Bridge IPADDR=10.118.25.225 NETMASK=255.255.255.0 GATEWAY=10.118.25.1重启OS
reboot验证
ip a转载于:https://www.cnblogs.com/dragon7421/p/11539798.html
