Beállított profilok a Linux-kiszolgálók terhelésének optimalizálásához

beállított profilok a szerver terhelésének optimalizálásához

A Linux alapértelmezett beállításait a kompatibilitás, nem pedig a teljesítmény érdekében hangolták be. A tuned démon előre definiált profilokat tartalmaz, amelyek a CPU-szabályozókat, az I/O-ütemezőket, a kernel-paramétereket és a hálózati puffereket egy adott terheléshez igazítják. Ez a bejegyzés bemutatja, hogyan működnek a profilok, melyiket érdemes választani a gyakori szerverfeladatokhoz, valamint hogyan lehet egyedi profilokat létrehozni és telepíteni egy szerverparkban.

Hogyan működnek a hangolt profilok

A profil egy könyvtár a /usr/lib/tuned/profiles/ (system) vagy /etc/tuned/profiles/ (custom) alatt található könyvtár, amely egy tuned.conf fájlt. A conf fájl a paramétereket pluginok szerint csoportosítja: [cpu], [disk], [sysctl], [vm], [bootloader], és így tovább. Ha aktiválunk egy profilt, a tuned démon minden paramétert egyszerre alkalmaz, ahelyett, hogy tucatnyi sysctl és sysfs parancsot futtatna kézzel.

A profilok a include direktívával egymástól örökölhetnek. A throughput-performance profil például alapul szolgálhat egy egyéni adatbázis-profilhoz, amely csak a vm.swappiness a Transparent Huge Pages beállítást írja felül.

A tuned két üzemmódban fut. A statikus hangolás az aktiváláskor egyszer alkalmazza a profilt, majd nem avatkozik be a rendszer működésébe – ez az ideális megoldás olyan termelési szervereken, ahol a konzisztencia fontosabb, mint az energiamegtakarítás. A dinamikus hangolás valós időben figyeli a lemez-, hálózat- és terheléshasználatot, és menet közben módosítja a beállításokat. A teljesítményprofilok alapértelmezés szerint letiltják a dinamikus hangolást, hogy elkerüljék a figyelésből származó terhelést.

A munkaterheléshez megfelelő profil kiválasztása

A Tuned tucatnyi profilt kínál, amelyek lefedik a leggyakoribb munkaterheléseket. Válassza ki azt, amelyik leginkább megfelel a szerver tényleges feladatainak, ahelyett, hogy az alapértelmezett balanced profilot.

Bizonyos adatbázis-motorokhoz a tuned is rendelkezésre áll postgresql, mssql, valamint oracle olyan profilokat is tartalmaz, amelyek throughput-performance az adott motorok megosztott memóriájának és kernel-ütemező paramétereinek hangolásán túlmutatnak.

Többprocesszoros szervereken a NUMA-topológia fontos szerepet játszik. A távoli csomópontok memóriájához való hozzáférés két-háromszor lassabb lehet, mint a helyi hozzáférés. Késleltetés szempontjából kritikus terhelések esetén kétprocesszoros rendszereken tiltsa le a profilban az automatikus NUMA-kiegyensúlyozást, és manuálisan rendelje a folyamatokat meghatározott csomópontokhoz.

Profilok telepítése és alkalmazása

Telepítse a tuned-et RHEL, Rocky, AlmaLinux vagy Fedora rendszeren:

dnf install tuned
systemctl enable --now tuned

Debian és Ubuntu rendszereken a csomag neve szintén tuned néven szerepel, és a apt. Ha power-profiles-daemon már fut, akkor a konfliktusok elkerülése érdekében maszkolja le:

systemctl mask --now power-profiles-daemon

Sorolja fel az elérhető profilokat, kérdezze meg a tuned-tól, mit ajánl a hardverhez, alkalmazza a profilt, majd ellenőrizze:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Az aktív profil a /etc/tuned/active_profile fájlban, és újraindítás után is megmarad. A hangolás teljes eltávolításához és az alapértékek méréséhez futtassa a tuned-adm off.

Egyéni profil létrehozása AI, ML és nagy sávszélességet igénylő munkaterhelésekhez

Ha az alapprofilokkal már 90%-ban elérte a kívánt eredményt, hozzon létre egy egyedi profilt, amely a leginkább megfelelő profilt örökli, és felülírja a fennmaradó paramétereket. Kezdje egy könyvtárral és egy conf fájllal:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

A legfontosabb beállítások itt:

• numa_balancing=0 megakadályozza, hogy a kernel a képzés futása közben memóriát migráljon a processzorok között, ami a kétprocesszoros GPU-s rendszereknél gyakori akadozás forrása.
• A rmem_max és tcp_rmem értékek 256 MB-ra emelik a socket-puffer felső határát. 25G, 40G vagy 100G összeköttetések esetén a képzési csomópontok között az alapértelmezett pufferméretek az átviteli sebességet jóval a vonali sebesség alatt tartják.
• transparent_hugepages=never eltávolítja a THP által okozott késleltetési ingadozást olyan keretrendszerek esetében, mint a PyTorch és a TensorFlow, amelyek nagy tenzorokat allokálnak.
• iommu=pt az IOMMU-t átviteli módba állítja, ami szükséges a GPU és a hálózati kártya átviteléhez, és csökkenti a bare-metal DMA terhelését.

A [bootloader] újraindítást igényel. A profil aktiválása után futtassa a tuned-adm verify parancsot a futási paraméterek alkalmazásának ellenőrzéséhez, és ellenőrizze journalctl -u tuned , hogy nincsenek-e hibák. Végezzen teljesítménymérést előtte és utána a iostat -xz, numastatparancsot és a megfelelő terheléses teszteszközt (iperf3, fiovagy a tényleges edzési futtatás segítségével).

Egy kompromisszumot érdemes kifejezetten megemlíteni: a CPU-biztonsági intézkedések letiltása körülbelül 3–8%-os teljesítménynövekedést eredményez a GPU-terheléseknél, de 15–30%-os teljesítménycsökkenéssel jár a gyakori rendszerhívás-mintákkal járó terheléseknél. A döntést a rendszer fenyegetési modellje alapján hozza meg. Tűzfal mögötti, dedikált képzési klaszteren belül a számítások általában a letiltás mellett szólnak. Több felhasználós gazdagépen hagyja bekapcsolva őket.

Profilok kezelése szerverparkon belül

A „tuned” kézi alkalmazása már néhány szervernél sem járható megoldás. Az Ansible ezt tiszta módon kezeli. Egyetlen playbook telepíti a „tuned”-et, és létrehozza az egyéni profilkönyvtárakat a /etc/tuned/ a template modul alá, és az inventory-csoportok szerint a megfelelő profilt alkalmazza.

Profilok hozzárendelése az inventory szerepkörökhöz:

• GPU- és AI-csomópontok: accelerator-performance, vagy egy abból örökölt egyéni profil
• Adatbázis-kiszolgálók: throughput-performance vagy a motor-specifikus profil
• Nagy sávszélességű forgalmat továbbító CDN- és edge-csomópontok: network-throughput
• terheléselosztó mögötti API- és webszerverek: network-latency
• VPS és KVM vendégrendszerek: virtual-guest
• hipervizor-gazdagépek: virtual-host

A drift az igazi üzemeltetési probléma. A kézi sysctl módosítások, új alapértelmezéseket tartalmazó csomagfrissítések, vagy egy másik konfigurációkezelő eszköz, amely felülírja a beállításokat, mind azt eredményezik, hogy a beállítások eltérnek a profilban megadottaktól. Ütemezz be egy Ansible-feladatot, amely tuned-adm active és tuned-adm verify a cronon keresztül, és riasztást állíts be hiba esetén. Figyeld /var/log/tuned/tuned.log a „Verification failed” sorokat.

Következtetés

A „tuned” jelentősen csökkenti a kernel és a sysctl hangolásával kapcsolatos találgatásokat. Az alapértelmezett beállítások általános használatra elegendőek, és a munkaterhelés-specifikus profilok, mint például accelerator-performance, throughput-performance, valamint network-throughput segítségével szinte teljesen optimalizálhatja a rendszert anélkül, hogy egyetlen konfigurációs fájlt is írnia kellene.

• Válassza ki a leginkább megfelelő alapprofilt, futtassa a tuned-adm verify, majd végezzen teljesítménytesztet
• Készítsen egyéni profilokat úgy, hogy egy alapprofilt vesz alapul, és csak a szükséges beállításokat módosítja
• Gondosan válaszd ki a NUMA-kiegyensúlyozást, a hugepages-eket és a hálózati puffer méreteit a GPU-s és nagy sávszélességű gépeken
• Végezze el a telepítést Ansible segítségével, és rendszeresen ellenőrizze a rendszert az eltérések észlelése érdekében

Szüksége van olyan bare-metal kapacitásra, amelynek sávszélesség-tartaléka elegendő ezeknek a beállításoknak a tényleges használatához? Forduljon az FDC-hez a nagy átviteli sebességre és GPU-terhelésekre tervezett dedikált szerverekkel kapcsolatban.