CentOS7 bond4配置

bonding的七种工作模式:

bonding技术提供了七种工作模式，在使用的时候需要指定一种，每种有各自的优缺点.

1. balance-rr (mode=0) 默认, 有高可用 (容错) 和负载均衡的功能, 需要交换机的配置，每块网卡轮询发包 (流量分发比较均衡).
2. active-backup (mode=1) 只有高可用 (容错) 功能, 不需要交换机配置, 这种模式只有一块网卡工作, 对外只有一个mac地址。缺点是端口利用率比较低
3. balance-xor (mode=2) 不常用
4. broadcast (mode=3) 不常用
5. 802.3ad (mode=4) IEEE 802.3ad 动态链路聚合，需要交换机配置
6. balance-tlb (mode=5) 不常用
7. balance-alb (mode=6) 有高可用 ( 容错 )和负载均衡的功能，不需要交换机配置 (流量分发到每个接口不是特别均衡)

将网卡enp175s0f1、enp176s0f1绑定为bond4

centos 7 负载模式: mode4（802.3ad 动态链路聚合）

加载bonding模块
[root@server129 network-scripts]# modprobe  bonding
[root@server129 network-scripts]# lsmod |grep bonding
 bonding               152979  0 
 

修改网卡配置文件

[root@server129 ~]# cd /etc/sysconfig/network-scripts/
[root@server129 network-scripts]# cat ifcfg-enp175s0f1
TYPE=Ethernet
BOOTPROTO=none
NAME=enp175s0f1
DEVICE=enp175s0f1
ONBOOT=yes
MASTER=bond4
SLAVE=yes

[root@server129 network-scripts]# cat ifcfg-enp176s0f1
TYPE=Ethernet
BOOTPROTO=none
NAME=enp176s0f1
DEVICE=enp176s0f1
ONBOOT=yes
MASTER=bond4
SLAVE=yes

[root@server129 network-scripts]# cat ifcfg-bond4   #创建bond网卡文件
TYPE=Bond
BOOTPROTO=static
DEVICE=bond4
NAME=bond4
ONBOOT=yes
IPADDR=10.105.1.129
NETMASK=255.255.254.0
GATEWAY=10.105.1.254
DNS1=10.255.9.2
BONDING_MASTER=yes
BONDING_OPTS="mode=4 miimon=100 lacp_rate=fast arp_validate=0"

重启服务，使配置生效：
systemctl network restart

bonding状态查看：
cat /proc/net/bonding/bond4

网卡数据链路层负载均衡是使用mode4，且可以实现物理链路间互备，提供给用户的是一个逻辑上的链路，该逻辑链路的有效网络带宽为全部物理链路带宽之和。
Bonding mode4的一些特性：
最多支持绑定8个主机的网卡端口；
LACP控制协议数据包每秒发送一次，检测主机网卡是否存活的检测包每30秒（fast）或每秒（slow）发送一次；
LACP mode：active或passive，默认为passive模式，即只有当探测到有支持LACP功能的设备时自己才启用LACP功能；
对Bonding mode4的理解可以参考下面的链接。
https://en.wikipedia.org/wiki/Link_aggregation#Link_Aggregation_Control_Protocol

1、Bonding的模式一共有7种
#defineBOND_MODE_ROUNDROBIN       0   （balance-rr模式）网卡的负载均衡模式
#defineBOND_MODE_ACTIVEBACKUP     1   （active-backup模式）网卡的容错模式
#defineBOND_MODE_XOR              2   （balance-xor模式）需要交换机支持
#defineBOND_MODE_BROADCAST        3    （broadcast模式）
#defineBOND_MODE_8023AD           4   （IEEE 802.3ad动态链路聚合模式）需要交换机支持
#defineBOND_MODE_TLB              5   自适应传输负载均衡模式
#defineBOND_MODE_ALB              6   网卡虚拟化方式
 bonding模块的所有工作模式可以分为两类：多主型工作模式和主备型工作模式，balance-rr 和broadcast属于多主型工作模式而active-backup属于主备型工作模式。（balance-xor、自适应传输负载均衡模式（balance-tlb）和自适应负载均衡模式（balance-alb）也属于多主型工作模式，IEEE 802.3ad动态链路聚合模式（802.3ad）属于主备型工作模式。

2、加载并查看bonding模块
可以使用modinfo bonding 命令查看bonding模块的信息，默认情况下bonding模块没有被加载
可以以root用户登录，输入如下的命令进行开启加载bonding模块
modprobe  bonding    
modinfo bonding
lsmod | grep 'bonding'

3、修改网卡配置文件
编辑/etc/sysconfig/network-scripts/目录下的网卡配置文件，一般情况下网卡是以em+数字命名(dell主机)，但也有其它命名方式。需要以物理主机系统实际的网卡配置文件名称为准。
注：确认已经将系统服务NetworkManager关闭，且关闭服务自启动。
注：以下是将2块网卡设置成链路聚合式负载均衡bond，如果有更高的数据通信需求，可以考虑把4块物理网卡全部加入bond中可提供4Gb的通信能力。

创建/etc/sysconfig/network-scripts/ifcfg-bond0文件，加入如下内容：
DEVICE=bond0
NAME=bond0
TYPE=Bond
BONDING_MASTER=yes
IPADDR=192.168.120.30
PREFIX=24
GATEWAY=192.168.120.1 
ONBOOT=yes
BOOTPROTO=static
BONDING_OPTS="mode=4 miimon=100 lacp_rate=1"
注：mode=4，设置为链路负载均衡模式；miimon=100，监控网线链路故障的时间间隔(毫秒)；lacp_rate=1，检测主机网卡是否存活的检测包每30秒（fast）或每秒（slow）发送一次。

修改/etc/sysconfig/network-scripts/ifcfg-em1文件：
DEVICE=em1
TYPE=Ethernet
BOOTPROTO=static
NAME=em1
ONBOOT=yes
MASTER=bond0
SLAVE=yes

修改/etc/sysconfig/network-scripts/ifcfg-em2文件：
DEVICE=em2
TYPE=Ethernet
BOOTPROTO=static
NAME=em2
ONBOOT=yes
MASTER=bond0
SLAVE=yes

在主机上确认配置结果方法：
#ethtool  bond0
注意查看Speed是否是2000Mb/s

#cat /proc/net/bonding/bond0

注：当主机网卡使用bond mode4模式时，需要交换机端口设置为IEEE 802.3ad Dynamic link aggregation模式。

可以参照如下对交换机端口Gi1/0/24, Gi1/0/25的配置。
注：当交换机未做设置时，主机上的bonding mode=4将不会生效，主机会使用一块物理网卡进行通信。
interface Port-channel3
  switchport access vlan 120
  switchport mode access
  spanning-tree portfast
  spanning-tree bpduguard enable
interface GigabitEthernet1/0/24
  switchport access vlan 120
  switchport mode access
  spanning-tree portfast
  spanning-tree bpduguard enable
  channel-protocol lacp
  channel-group 3 mode active
!
interface GigabitEthernet1/0/25
  switchport access vlan 120
  switchport mode access
  spanning-tree portfast
  spanning-tree bpduguard enable
  channel-protocol lacp
  channel-group 3 mode active
!
在交换机上确认：
#show etherchannel summary
Group     Port-channel     Protocol     Ports
1               Po1(SD)          -
2               Po3(SU)          LACP          Gi1/0/24(P) Gi1/0/25(P)
要求Po3后面必须是SU状态。S - Layer2, U - in user
注：Cisco交换机另有特殊的配置，不同于上面。

4、流量测试与可用性测试
1）测试分别插掉网卡连线，观察网络连通丢包情况。

2）从多个服务器上使用iPerf工具对做了bond的地址进行压测
验证吞吐量是否达到单网卡的约2倍。
Fedora 64 bits / Red Hat 64 bits / CentOS 64 bits (AMD64)
https://iperf.fr/download/fedora/iperf3-3.0.11-2.fc23.x86_64.rpm

启动iperf服务端：iperf3 -s
启动客户端连接服务端：iperf3 -c 192.168.6.96 -t 100 -w 512k -f M
  -c 表示服务端地址
  -t 表示测试持续时间，这里是10秒
  -w 表示报文大小
  -f 表示测试结果的度量单位，这里是兆

使用ifstat, iftop , nload等工具观察配置的bond的网卡的流量，其中bond0的流量应是em1, em2之和。
————————————————
 

CentOS 7.6 bond mode4 配置

双万兆网口配置 bond mode4 layer3+4

双网卡配置 bond mode4 配置

# cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core)

yum search ifconfig
yum install net-tools.x86_64

• 查看网线是否插入

# cat /sys/class/net/ens3f0/carrier
1
# cat /sys/class/net/ens3f1/carrier
1

• 关闭 NetworkManager 服务

systemctl status NetworkManager.service
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service

• 内核加载 bonding

modprobe --first-time bonding

# lsmod | grep bonding
bonding               152656  0

创建配置文件 ifcfg-bond0

vim /etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0
TYPE=Bond
IPADDR=192.168.2.11
NETMASK=255.255.255.0
GATEWAY=192.168.2.1
DNS1=114.114.114.114
USERCTL=no
BOOTPROTO=none
ONBOOT=yes
BONDING_MASTER=yes
BONDING_OPTS="miimon=100 mode=4 xmit_hash_policy=layer3+4"

如果bond0接口已经配置，不再需要配置

vim /etc/modprobe.d/bond.conf
alias bond0 bonding
options bond0 miimon=100 mode=4 xmit_hash_policy=layer3+4

备份网卡配置文件

cd /etc/sysconfig/network-scripts
cp ifcfg-ens3f0 ifcfg-ens3f0_backup
cp ifcfg-ens3f1 ifcfg-ens3f1_backup

ens3f0

vim /etc/sysconfig/network-scripts/ifcfg-ens3f0

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3f0
UUID=39aa32a1-acb3-4cd3-a806-be5c041a2310
DEVICE=ens3f0
ONBOOT=yes
MASTER=bond0
SLAVE=yes

ens3f1

vim /etc/sysconfig/network-scripts/ifcfg-ens3f1

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3f1
UUID=4b5c8908-3e83-40b2-a9db-d0713135f4c2
DEVICE=ens3f1
ONBOOT=yes
MASTER=bond0
SLAVE=yes

• 重启网络服务

systemctl restart network

# ifconfig
bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST>  mtu 1500
        inet 192.168.2.11  netmask 255.255.255.0  broadcast 192.168.2.255

查看bond0信息

cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: bc:16:95:07:97:b0
Active Aggregator Info:
	Aggregator ID: 1
	Number of ports: 1
	Actor Key: 15
	Partner Key: 1
	Partner Mac Address: 00:00:00:00:00:00

Slave Interface: ens3f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: bc:16:95:07:97:b0
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: churned
Actor Churned Count: 0
Partner Churned Count: 1
details actor lacp pdu:
    system priority: 65535
    system mac address: bc:16:95:07:97:b0
    port key: 15
    port priority: 255
    port number: 1
    port state: 77
details partner lacp pdu:
    system priority: 65535
    system mac address: 00:00:00:00:00:00
    oper key: 1
    port priority: 255
    port number: 1
    port state: 1

Slave Interface: ens3f1
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: bc:16:95:07:97:b1
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: churned
Partner Churn State: churned
Actor Churned Count: 1
Partner Churned Count: 1
details actor lacp pdu:
    system priority: 65535
    system mac address: bc:16:95:07:97:b0
    port key: 15
    port priority: 255
    port number: 2
    port state: 69
details partner lacp pdu:
    system priority: 65535
    system mac address: 00:00:00:00:00:00
    oper key: 1
    port priority: 255
    port number: 1
    port state: 1

查看bond0 速率

ethtool bond0

Settings for bond0:
	Supported ports: [ ]
	Supported link modes:   Not reported
	Supported pause frame use: No
	Supports auto-negotiation: No
	Supported FEC modes: Not reported
	Advertised link modes:  Not reported
	Advertised pause frame use: No
	Advertised auto-negotiation: No
	Advertised FEC modes: Not reported
	Speed: 10000Mb/s
	Duplex: Full
	Port: Other
	PHYAD: 0
	Transceiver: internal
	Auto-negotiation: off
	Link detected: yes

交换机配置 lacp

Speed: 20000Mb/s 速率

# ethtool bond0
Settings for bond0:
	Supported ports: [ ]
	Supported link modes:   Not reported
	Supported pause frame use: No
	Supports auto-negotiation: No
	Supported FEC modes: Not reported
	Advertised link modes:  Not reported
	Advertised pause frame use: No
	Advertised auto-negotiation: No
	Advertised FEC modes: Not reported
	Speed: 20000Mb/s
	Duplex: Full
	Port: Other
	PHYAD: 0
	Transceiver: internal
	Auto-negotiation: off
	Link detected: yes

防火墙

# firewall-cmd --state
running

systemctl stop firewalld.service

网速测试

yum install -y iperf3

服务端

iperf3 -s

iperf3 -c 192.168.0.1服务端IP

参考

Centos7双网卡绑定配置 bonding
centos 链路捆绑（聚合）bonding配置举例
Centos 7 安装 iperf和服务器之间测速