Σύνδεση Linux LACP: διαμόρφωση, επαλήθευση και αντιμετώπιση προβλημάτων

Το Linux LACP bonding συνδυάζει πολλαπλές διεπαφές Ethernet σε έναν ενιαίο λογικό σύνδεσμο, προσφέροντάς σας μεγαλύτερο συνολικό εύρος ζώνης και αυτόματη ανακατεύθυνση σε περίπτωση βλάβης μεταξύ φυσικών καρτών δικτύου (NIC). Χρησιμοποιεί το πρότυπο IEEE 802.3ad, με τις δύο πλευρές (διακομιστής και διακόπτης) να διαπραγματεύονται ποιοι σύνδεσμοι είναι ενεργοί και πώς κατανέμεται η κίνηση. Αυτή η ανάρτηση καλύπτει τι κάνει στην πραγματικότητα το LACP, πότε να το επιλέξετε έναντι των άλλων τρόπων σύνδεσης του Linux, πώς να το διαμορφώσετε σε έναν σύγχρονο διακομιστή Linux και πώς να επαληθεύσετε ότι λειτουργεί.

Τι είναι η συγκέντρωση συνδέσεων και το LACP;

Η συγκέντρωση συνδέσεων συνδυάζει πολλαπλές φυσικές συνδέσεις δικτύου σε ένα λογικό κανάλι. Εξυπηρετεί δύο σκοπούς: την αύξηση του συνολικού διαθέσιμου εύρους ζώνης σε ολόκληρη την ομάδα συνδέσεων και την παροχή αυτόματης ανακατεύθυνσης σε περίπτωση που κάποια μεμονωμένη σύνδεση βγει εκτός λειτουργίας.

Το LACP, το Πρωτόκολλο Ελέγχου Συγκέντρωσης Συνδέσεων, είναι η δυναμική έκδοση της συγκέντρωσης συνδέσεων που ορίζεται από το πρότυπο IEEE 802.3ad. Αντί να βασίζεται σε στατική διαμόρφωση και στα δύο άκρα, το LACP ανταλλάσσει πακέτα ελέγχου που ονομάζονται LACPDUs μεταξύ του διακομιστή και του διακόπτη. Οι δύο πλευρές διαπραγματεύονται ποιες συνδέσεις θα ενταχθούν στη συγκέντρωση, παρακολουθούν την κατάσταση κάθε σύνδεσης και προσθέτουν ή αφαιρούν μέλη από την ομάδα ανάλογα με τις μεταβαλλόμενες συνθήκες.

Σε περιβάλλον Linux, το LACP εκτελείται ως λειτουργία 4 (802.3ad) του προγράμματος οδήγησης σύνδεσης του πυρήνα. Το πρόγραμμα οδήγησης δημιουργεί μια λογική διεπαφή (συνήθως bond0) που κατέχει τη διεύθυνση IP, ενώ οι φυσικές διεπαφές όπως eth0 και eth1 γίνονται υποκείμενες της σύνδεσης. Από την πλευρά του λειτουργικού συστήματος υπάρχει μία διεπαφή δικτύου. Από την πλευρά του καλωδίου υπάρχουν πολλαπλές παράλληλες συνδέσεις Ethernet.

Μερικά πράγματα που το LACP συγκεκριμένα δεν κάνει, τα οποία οι χρήστες συχνά αναμένουν:

• Μια μεμονωμένη σύνδεση TCP εξακολουθεί να διακινείται μέσω ενός φυσικού συνδέσμου. Το LACP εξισορροπεί τις ροές, όχι τα πακέτα εντός μιας ροής. Δύο συνδεδεμένοι σύνδεσμοι 1 GbE δεν θα κάνουν μια μεμονωμένη λήψη να είναι ταχύτερη από 1 Gbps.
• Το LACP απαιτεί ένα διακόπτη που υποστηρίζει 802.3ad. Δεν θα σχηματίσει σύνδεση με έναν μη διαχειριζόμενο ή μη LACP διακόπτη.
• Όλες οι συνδέσεις-μέλη πρέπει να λειτουργούν με την ίδια ταχύτητα και διπλή κατεύθυνση. Δεν μπορείτε να συνδέσετε μια θύρα 1 GbE με μια θύρα 10 GbE.

Λειτουργίες σύνδεσης Linux: πότε να χρησιμοποιείτε το LACP

Ο οδηγός σύνδεσης του Linux υποστηρίζει επτά λειτουργίες. Οι περισσότερες εφαρμογές παραγωγής χρησιμοποιούν μία από τις τρεις.

Λειτουργία 1: active-backup

Μία διεπαφή μέλους είναι ενεργή, ενώ οι άλλες παραμένουν αδρανείς. Εάν η ενεργή διεπαφή παρουσιάσει βλάβη, μια άλλη αναλαμβάνει μέσα σε μερικές εκατοντάδες χιλιοστά του δευτερολέπτου. Δεν απαιτείται διαμόρφωση διακόπτη, γεγονός που καθιστά αυτή τη λειτουργία την κατάλληλη επιλογή όταν οι διακόπτες βρίσκονται εκτός του ελέγχου σας ή δεν υποστηρίζουν το πρότυπο 802.3ad. Παρέχεται εφεδρεία, αλλά όχι επιπλέον εύρος ζώνης.

Λειτουργία 4: 802.3ad (LACP)

Όλα τα μέλη μεταφέρουν κίνηση. Ο οδηγός σύνδεσης και ο διακόπτης χρησιμοποιούν LACP για να διαπραγματευτούν το ενεργό σύνολο και να ανιχνεύσουν βλάβες. Η εξερχόμενη κίνηση εξισορροπείται μεταξύ των μελών χρησιμοποιώντας μια πολιτική κατακερματισμού που διαμορφώνετε. Αυτή είναι η τυπική επιλογή για αποκλειστικούς διακομιστές που είναι συνδεδεμένοι σε διαχειριζόμενους διακόπτες, όταν θέλετε τόσο εφεδρεία όσο και επιπλέον εύρος ζώνης για φόρτους εργασίας πολλαπλών ροών.

Λειτουργία 6: balance-alb

Προσαρμοστική εξισορρόπηση φορτίου και στις δύο κατευθύνσεις, χωρίς να απαιτείται υποστήριξη διακόπτη. Το πρόγραμμα οδήγησης παρεμποδίζει τις απαντήσεις ARP για να ξαναγράψει τις διευθύνσεις MAC και να διανείμει την εισερχόμενη κίνηση. Λειτουργεί, αλλά είναι ευάλωτο σε σύγκριση με το LACP. Χρησιμοποιήστε το μόνο όταν η διαμόρφωση από την πλευρά του διακόπτη είναι πραγματικά αδύνατη.

Κανόνας απόφασης:

• Χωρίς διαχειριζόμενο διακόπτη ή χρειάζεστε μόνο failover: λειτουργία 1 (active-backup).
• Διαχειριζόμενος διακόπτης, πολλαπλές ροές, θέλετε τόσο εύρος ζώνης όσο και εφεδρεία: λειτουργία 4 (LACP).
• Δεν είναι δυνατή η χρήση διαχειριζόμενου διακόπτη, αλλά χρειάζεστε εξισορρόπηση και στις δύο κατευθύνσεις: λειτουργία 6 (balance-alb).

Οι λειτουργίες 0 (balance-rr), 2 (balance-xor), 3 (broadcast) και 5 (balance-tlb) υπάρχουν, αλλά σπάνια αποτελούν τη σωστή επιλογή σε σύγχρονο υλικό. Επιλέξτε τη λειτουργία 1 ή τη λειτουργία 4, εκτός αν έχετε συγκεκριμένο λόγο να μην το κάνετε.

Διαμόρφωση σύνδεσης LACP σε Linux

Στα σύγχρονα συστήματα Ubuntu και Debian, το LACP διαμορφώνεται μέσω του netplan. Στα RHEL, CentOS Stream, AlmaLinux και Rocky Linux, χρησιμοποιήστε το NetworkManager μέσω nmcli ή με την επεξεργασία των υποκείμενων αρχείων σύνδεσης.

Netplan (Ubuntu, Debian)

Εισάγετε τα ακόλουθα στο /etc/netplan/01-lacp.yaml:

network:
  version: 2
  renderer: networkd
  ethernets:
    eth0:
      dhcp4: no
    eth1:
      dhcp4: no
  bonds:
    bond0:
      interfaces: [eth0, eth1]
      addresses: [10.0.0.5/24]
      gateway4: 10.0.0.1
      parameters:
        mode: 802.3ad
        lacp-rate: fast
        mii-monitor-interval: 100
        transmit-hash-policy: layer3+4

Στη συνέχεια, εφαρμόστε με netplan apply. Οι βασικές παράμετροι:

• mode: 802.3ad ενεργοποιεί το LACP.
• lacp-rate: fast στέλνει LACPDUs κάθε δευτερόλεπτο αντί για το προεπιλεγμένο κάθε 30 δευτερόλεπτα. Πρέπει να ταιριάζει με τη ρύθμιση του διακόπτη.
• mii-monitor-interval: 100 ελέγχει την κατάσταση της σύνδεσης κάθε 100 ms.
• transmit-hash-policy: layer3+4 διανέμει τις ροές ανά IP προέλευσης/προορισμού και θύρα TCP/UDP. Αυτό παρέχει καλύτερη ισορροπία από την προεπιλεγμένη layer2 για τυπική κίνηση ιστού και βάσεων δεδομένων.

NetworkManager (RHEL, AlmaLinux, Rocky)

nmcli con add type bond ifname bond0 con-name bond0 \
  bond.options "mode=802.3ad,miimon=100,lacp_rate=fast,xmit_hash_policy=layer3+4"
nmcli con add type ethernet ifname eth0 master bond0
nmcli con add type ethernet ifname eth1 master bond0
nmcli con mod bond0 ipv4.addresses 10.0.0.5/24 ipv4.gateway 10.0.0.1 ipv4.method manual
nmcli con up bond0

Πλευρά διακόπτη

Ο διακόπτης χρειάζεται μια ομάδα LAG (που συχνά ονομάζεται κανάλι θύρας) διαμορφωμένη σε ενεργή λειτουργία LACP, με τον ίδιο αριθμό θυρών μελών με τη σύνδεση. Η ακριβής σύνταξη διαφέρει ανάλογα με τον προμηθευτή, αλλά οι απαιτήσεις παραμένουν οι ίδιες: οι θύρες πρέπει να βρίσκονται στο ίδιο VLAN, να έχουν ρυθμιστεί στην ίδια ταχύτητα και διπλή κατεύθυνση, και να χρησιμοποιούν ενεργή λειτουργία LACP τουλάχιστον από τη μία πλευρά. Η ενεργή λειτουργία και από τις δύο πλευρές αποτελεί την ασφαλέστερη ρύθμιση.

Στο Cisco IOS:

interface range gigabitethernet0/1 - 2
 channel-group 1 mode active
 channel-protocol lacp

Στο Aruba/ProCurve:

trunk 1-2 trk1 lacp

Η lacp_rate ρύθμιση στο διακόπτη πρέπει να ταιριάζει με τον κεντρικό υπολογιστή. Μια αναντιστοιχία εδώ είναι ένα από τα πιο συνηθισμένα σφάλματα διαμόρφωσης LACP και προκαλεί διαλείπουσα διακύμανση κάθε 30 δευτερόλεπτα.

Επαλήθευση και αντιμετώπιση προβλημάτων LACP

Ελέγξτε την τρέχουσα κατάσταση της σύνδεσης από την πλευρά του Linux:

cat /proc/net/bonding/bond0

Τέσσερα πράγματα που πρέπει να προσέξετε στην έξοδο:

1. Bonding Mode: IEEE 802.3ad Dynamic link aggregation επιβεβαιώνει ότι έχει φορτωθεί η λειτουργία 4.
2. Κάθε υποδεέστερη διεπαφή που αναγράφεται με MII Status: up και link failure count: 0.
3. Ένα μη μηδενικό Partner Mac Address για κάθε υποκείμενη. Όλα τα μηδενικά εδώ σημαίνουν ότι ο διακόπτης δεν στέλνει καθόλου πακέτα LACP, είτε επειδή η θύρα δεν βρίσκεται σε LAG ενεργό LACP, είτε επειδή το καλώδιο βρίσκεται σε λάθος θύρα.
4. Aggregator ID είναι το ίδιο σε κάθε μέλος. Διαφορετικά ID σημαίνουν ότι τα μέλη δεν είναι στην πραγματικότητα συνδυασμένα, αλλά λειτουργούν ανεξάρτητα.

Ο γρηγορότερος έλεγχος για να βεβαιωθείτε ότι χρησιμοποιείται το εύρος ζώνης είναι να εκτελέσετε το iperf3 με πολλαπλές παράλληλες ροές (iperf3 -P 8) από άλλο κεντρικό υπολογιστή. Εάν η συνολική απόδοση υπερβαίνει τη χωρητικότητα ενός μεμονωμένου συνδέσμου, το LACP εξισορροπεί σωστά. Μια δοκιμή μίας ροής που δείχνει την ταχύτητα ενός συνδέσμου είναι αναμενόμενη συμπεριφορά, όχι σφάλμα.

Τα πιο συνηθισμένα προβλήματα LACP και οι αιτίες τους:

• Το MAC του συνεργάτη είναι όλα μηδενικά: η θύρα του διακόπτη δεν βρίσκεται σε LAG ενεργό LACP ή τα καλώδια είναι λανθασμένα συνδεδεμένα.
• Η σύνδεση ενεργοποιείται αλλά η απόδοση παραμένει σε μία σύνδεση: η πολιτική κατακερματισμού πιθανώς έχει οριστεί από προεπιλογή στο layer2, η οποία κάνει hash μόνο στο MAC προορισμού. Αλλάξτε σε layer3+4.
• Διαλείπουσα διακύμανση κάθε 30 δευτερόλεπτα: lacp_rate αναντιστοιχία μεταξύ κεντρικού υπολογιστή και διακόπτη.
• Ένας υποτελής λειτουργεί αλλά ο άλλος δεν μεταφέρει ποτέ κίνηση: αναντιστοιχία ταχύτητας/duplex, ή οι θύρες του διακόπτη δεν βρίσκονται στην ίδια ομάδα LAG από την πλευρά του διακόπτη.

Όταν το LACP δεν είναι η σωστή λύση

Το LACP επιλύει ένα συγκεκριμένο πρόβλημα: τη συγκέντρωση πολλαπλών συνδέσεων μεταξύ ενός κεντρικού υπολογιστή και ενός διακόπτη (ή μιας στοίβας διακοπτών) για την επίτευξη εφεδρείας και εύρους ζώνης ανά ροή. Υπάρχουν σενάρια όπου δεν αποτελεί το κατάλληλο εργαλείο.

Εάν χρειάζεστε μόνο εφεδρεία και οι διακόπτες δεν υποστηρίζουν το πρότυπο 802.3ad, χρησιμοποιήστε αντ' αυτού τη λειτουργία 1 (active-backup). Λειτουργεί με οτιδήποτε.

Εάν χρειάζεστε σύνδεση μεταξύ δύο ξεχωριστών διακοπτών για εφεδρεία σε επίπεδο πλαισίου, το τυπικό LACP δεν θα καλύψει δύο διακοπτές που δεν σχετίζονται μεταξύ τους. Χρειάζεστε το Multi-Chassis Link Aggregation (MLAG), όπου δύο διακόπτες παρουσιάζονται ως ένας ενιαίος λογικός συνεργάτης LACP. Οι περισσότεροι προμηθευτές διακοπτών για επιχειρήσεις το εφαρμόζουν με το δικό τους όνομα: Cisco vPC, Arista MLAG, Juniper MC-LAG.

Εάν χρειάζεστε μια ενιαία ροή που να υπερβαίνει το εύρος ζώνης ενός συνδέσμου, το LACP δεν μπορεί να το κάνει αυτό. Οι επιλογές είναι να χρησιμοποιήσετε έναν ταχύτερο φυσικό σύνδεσμο (αντικαταστήστε 2x 10 GbE με 1x 25 GbE ή 1x 40 GbE) ή να χρησιμοποιήσετε μια εντελώς διαφορετική τεχνολογία. Το SR-IOV παρέχει απόδοση μονής ροής σχεδόν ίση με την ταχύτητα της γραμμής σε εικονικές μηχανές, παρέχοντας σε κάθε VM μια εικονική κάρτα δικτύου με επιτάχυνση υλικού, αλλά επιλύει ένα διαφορετικό πρόβλημα και έχει τους δικούς του περιορισμούς. Αυτό είναι θέμα για ξεχωριστή ανάρτηση.

Για τους περισσότερους αποκλειστικούς διακομιστές και διακομιστές συνδιαλλαγής που χειρίζονται πολλές ταυτόχρονες συνδέσεις, το LACP παραμένει η τυπική λύση. Δύο συνδεδεμένες συνδέσεις 10 GbE με layer3+4 hashing χειρίζονται άνετα 18+ Gbps συνολικής κίνησης σε πολλές ροές, ενώ αντέχουν σε βλάβη κάρτας δικτύου ή καλωδίου χωρίς απώλεια πακέτων.