Linux LACP-bonding: configuratie, verificatie en probleemoplossing

Linux LACP-bonding combineert meerdere ethernetinterfaces tot één logische verbinding, waardoor u meer totale bandbreedte krijgt en automatische failover tussen fysieke NIC's. Het maakt gebruik van de IEEE 802.3ad-standaard, waarbij beide kanten (server en switch) onderhandelen welke verbindingen actief zijn en hoe het verkeer wordt verdeeld. Dit bericht behandelt wat LACP eigenlijk doet, wanneer u het moet verkiezen boven de andere Linux-bondingmodi, hoe u het op een moderne Linux-server configureert en hoe u controleert of het werkt.

Wat is linkaggregatie en LACP?

Linkaggregatie combineert meerdere fysieke netwerkverbindingen tot één logisch kanaal. Dit dient twee doelen: het vergroten van de totale beschikbare bandbreedte binnen de linkgroep en het bieden van automatische failover als een afzonderlijke link uitvalt.

LACP, het Link Aggregation Control Protocol, is de dynamische versie van linkaggregatie zoals gedefinieerd door IEEE 802.3ad. In plaats van te vertrouwen op statische configuratie aan beide uiteinden, wisselt LACP controlepakketten, LACPDU's genaamd, uit tussen de server en de switch. De twee partijen onderhandelen over welke verbindingen aan de aggregatie deelnemen, controleren de status van elke verbinding en voegen leden toe aan of verwijderen ze uit de groep naarmate de omstandigheden veranderen.

In een Linux-context draait LACP als modus 4 (802.3ad) van de kernel-bonding-driver. De driver creëert een logische interface (meestal bond0) die eigenaar is van het IP-adres, terwijl fysieke interfaces zoals eth0 en eth1 ondergeschikt zijn aan de bond. Vanuit het perspectief van het besturingssysteem is er één netwerkinterface. Vanuit het perspectief van de kabel zijn er meerdere parallelle ethernetverbindingen.

Een paar dingen die LACP specifiek niet doet, maar die mensen vaak verwachten:

• Een enkele TCP-verbinding verloopt nog steeds via één fysieke verbinding. LACP verdeelt de datastromen, niet de pakketten binnen een datastroom. Twee gebundelde 1 GbE-verbindingen zorgen er niet voor dat een enkele download sneller gaat dan 1 Gbps.
• LACP vereist een switch die 802.3ad ondersteunt. Het vormt geen bond met een onbeheerde of niet-LACP-switch.
• Alle aangesloten verbindingen moeten op dezelfde snelheid en in dezelfde duplexmodus werken. U kunt een 1 GbE-poort niet bundelen met een 10 GbE-poort.

Linux-bondingmodi: wanneer LACP te gebruiken

De Linux-bondingdriver ondersteunt zeven modi. Bij de meeste productie-implementaties wordt een van de drie gebruikt.

Modus 1: active-backup

Eén interface is actief, de andere blijven inactief. Als de actieve interface uitvalt, neemt een andere het binnen een paar honderd milliseconden over. Er is geen switchconfiguratie nodig, wat dit de juiste keuze maakt wanneer de switches buiten uw controle vallen of geen 802.3ad ondersteunen. U krijgt redundantie, maar geen extra bandbreedte.

Modus 4: 802.3ad (LACP)

Alle leden verwerken verkeer. De bonding-driver en de switch gebruiken LACP om de actieve set af te spreken en storingen te detecteren. Uitgaand verkeer wordt over de leden verdeeld met behulp van een hash-beleid dat u configureert. Dit is de standaardkeuze voor dedicated servers die zijn aangesloten op beheerde switches wanneer u zowel redundantie als extra bandbreedte wilt voor multi-flow-workloads.

Modus 6: balance-alb

Adaptieve load balancing in beide richtingen, zonder dat switch-ondersteuning nodig is. De driver onderschept ARP-reacties om MAC-adressen te herschrijven en inkomend verkeer te verdelen. Het werkt, maar het is kwetsbaar in vergelijking met LACP. Gebruik het alleen wanneer het configureren van de switchzijde echt onmogelijk is.

Beslissingsregel:

• Geen beheerde switch, of u hebt alleen failover nodig: modus 1 (active-backup).
• Beheerde switch, meerdere stromen, u wilt zowel bandbreedte als redundantie: modus 4 (LACP).
• Gebeheerde switch is onmogelijk, maar u hebt in beide richtingen load balancing nodig: modus 6 (balance-alb).

De modi 0 (balance-rr), 2 (balance-xor), 3 (broadcast) en 5 (balance-tlb) bestaan, maar zijn zelden de juiste keuze op moderne hardware. Kies modus 1 of modus 4, tenzij u een specifieke reden hebt om dat niet te doen.

LACP-bonding configureren op Linux

Op moderne Ubuntu- en Debian-systemen wordt LACP geconfigureerd via netplan. Op RHEL, CentOS Stream, AlmaLinux en Rocky Linux gebruikt u NetworkManager via nmcli of door de onderliggende verbindingsbestanden te bewerken.

Netplan (Ubuntu, Debian)

Zet het volgende in /etc/netplan/01-lacp.yaml:

network:
  version: 2
  renderer: networkd
  ethernets:
    eth0:
      dhcp4: no
    eth1:
      dhcp4: no
  bonds:
    bond0:
      interfaces: [eth0, eth1]
      addresses: [10.0.0.5/24]
      gateway4: 10.0.0.1
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
        transmit-hash-policy: layer3+4

Pas vervolgens toe met netplan apply. De belangrijkste parameters:

• mode: 802.3ad schakelt LACP in.
• lacp-rate: fast verzendt LACPDU's elke seconde in plaats van de standaard 30 seconden. Moet overeenkomen met de instelling van de switch.
• mii-monitor-interval: 100 peilt de linkstatus elke 100 ms.
• transmit-hash-policy: layer3+4 verdeelt datastromen op basis van bron-/bestemmings-IP en TCP/UDP-poort. Dit zorgt voor een betere verdeling dan het standaard layer2 beleid voor typisch web- en databasverkeer.

NetworkManager (RHEL, AlmaLinux, Rocky)

nmcli con add type bond ifname bond0 con-name bond0 \
  bond.options "mode=802.3ad,miimon=100,lacp_rate=fast,xmit_hash_policy=layer3+4"
nmcli con add type ethernet ifname eth0 master bond0
nmcli con add type ethernet ifname eth1 master bond0
nmcli con mod bond0 ipv4.addresses 10.0.0.5/24 ipv4.gateway 10.0.0.1 ipv4.method manual
nmcli con up bond0

Switch-zijde

De switch heeft een LAG-groep (vaak een port-channel genoemd) nodig die is geconfigureerd voor de actieve LACP-modus, met hetzelfde aantal lidpoorten als de bond. De exacte syntaxis verschilt per leverancier, maar de vereisten niet: de poorten moeten zich in hetzelfde VLAN bevinden, zijn ingesteld op dezelfde snelheid en duplex, en moeten aan ten minste één kant de actieve LACP-modus gebruiken. Actief aan beide kanten is de veiligste opstelling.

Op Cisco IOS:

interface range gigabitethernet0/1 - 2
 channel-group 1 mode active
 channel-protocol lacp

Op Aruba/ProCurve:

trunk 1-2 trk1 lacp

De lacp_rate instelling op de switch moet overeenkomen met die van de host. Een discrepantie hier is een van de meest voorkomende LACP-configuratiefouten en veroorzaakt intermitterend flapping om de 30 seconden.

LACP controleren en problemen oplossen

Controleer de live-status van de bond aan de Linux-kant:

cat /proc/net/bonding/bond0

Vier dingen om op te letten in de uitvoer:

1. Bonding Mode: IEEE 802.3ad Dynamic link aggregation bevestigt dat modus 4 is geladen.
2. Elke ondergeschikte interface die wordt vermeld met MII Status: up en link failure count: 0.
3. Een waarde anders dan nul Partner Mac Address voor elke ondergeschikte. Als hier alleen nullen staan, betekent dit dat de switch helemaal geen LACP-pakketten verstuurt, ofwel omdat de poort niet in een LACP-actieve LAG zit, ofwel omdat de kabel in de verkeerde poort zit.
4. Aggregator ID is hetzelfde op elk lid. Verschillende ID's betekenen dat de leden niet daadwerkelijk zijn gecombineerd, maar onafhankelijk van elkaar werken.

De snelste manier om te controleren of er bandbreedte wordt gebruikt, is door iperf3 uit te voeren met meerdere parallelle streams (iperf3 -P 8) vanaf een andere host. Als de totale doorvoer de capaciteit van een enkele verbinding overschrijdt, werkt de LACP-balancering correct. Een test met één stream die de snelheid van één verbinding weergeeft, is het verwachte gedrag, geen bug.

De meest voorkomende LACP-problemen en hun oorzaken:

• De MAC-adres van de partner bestaat volledig uit nullen: de switchpoort bevindt zich niet in een LACP-actieve LAG, of de kabels zijn verkeerd aangesloten.
• De bond komt tot stand, maar de doorvoer blijft steken op één link: het hash-beleid is waarschijnlijk standaard ingesteld op layer2, dat alleen op de bestemmings-MAC hasht. Schakel over naar layer3+4.
• Intermitterend flapperen om de 30 seconden: lacp_rate mismatch tussen host en switch.
• Eén ondergeschikte werkt, maar de andere verwerkt nooit verkeer: snelheid/duplex-mismatch, of de switchpoorten bevinden zich niet in dezelfde LAG-groep aan de switchzijde.

Wanneer LACP niet de juiste oplossing is

LACP lost een specifiek probleem op: het samenvoegen van meerdere verbindingen tussen één host en één switch (of één switchstack) om redundantie en bandbreedte per datastroom te verkrijgen. Er zijn scenario's waarin het niet de juiste tool is.

Als u alleen redundantie nodig hebt en de switches geen 802.3ad ondersteunen, gebruik dan in plaats daarvan modus 1 (active-backup). Dit werkt met alles.

Als u twee afzonderlijke switches moet koppelen voor redundantie op chassisniveau, zal standaard LACP geen verbinding maken tussen twee niet-gerelateerde switches. U hebt Multi-Chassis Link Aggregation (MLAG) nodig, waarbij twee switches zich presenteren als één logische LACP-partner. De meeste leveranciers van enterprise-switches implementeren dit onder hun eigen naam: Cisco vPC, Arista MLAG, Juniper MC-LAG.

Als u één enkele flow nodig hebt die de bandbreedte van één link overschrijdt, kan LACP dit niet. De opties zijn om een snellere fysieke link te gebruiken (2x 10 GbE vervangen door 1x 25 GbE of 1x 40 GbE), of om een geheel andere technologie te gebruiken. SR-IOV biedt virtual machines prestaties met een enkele stroom die bijna de lijnsnelheid benaderen door elke VM een hardwareversnelde virtuele NIC te geven, maar het lost een ander probleem op en heeft zijn eigen beperkingen. Dat is een onderwerp voor een aparte post.

Voor de meeste dedicated en colocatieservers die veel gelijktijdige verbindingen verwerken, blijft LACP het standaardantwoord. Twee gebundelde 10 GbE-verbindingen met layer3+4 hashing kunnen ruimschoots meer dan 18 Gbps aan geaggregeerd verkeer over vele stromen aan, terwijl ze een NIC- of kabelstoring doorstaan zonder een pakket te verliezen.