Tuned profilok a szerver terhelésének optimalizálásához

A Linux alapértelmezett beállításai a kompatibilitásra, nem pedig a teljesítményre vannak hangolva. A tuned démon előre definiált profilokat tartalmaz, amelyek a CPU-szabályozókat, az I/O-ütemezőket, a kernel-paramétereket és a hálózati puffereket egy adott terheléshez igazítják. Ez a bejegyzés bemutatja, hogyan működnek a profilok, melyiket érdemes választani a gyakori szerverfeladatokhoz, valamint hogyan lehet egyedi profilokat létrehozni és telepíteni egy szerverparkban.

Hogyan működnek a hangolt profilok

A profil egy könyvtár a /usr/lib/tuned/profiles/ (system) vagy /etc/tuned/profiles/ (custom) alatt található könyvtár, amely egy tuned.conf fájlt. A conf fájl a paramétereket pluginok szerint csoportosítja: [cpu], [disk], [sysctl], [vm], [bootloader], és így tovább. Aktiváljon egy profilt, és a tuned démon minden paramétert egyszerre alkalmaz, ahelyett, hogy tucatnyi sysctl és sysfs parancsot futtatna kézzel.

A profilok örökölhetnek egymástól a include utasítással egymástól örökölhetnek. A throughput-performance profil például alapul szolgálhat egy egyéni adatbázis-profilhoz, amely csak a vm.swappiness és a Transparent Huge Pages beállítást írja felül.

A tuned két módban fut. A statikus hangolás az aktiváláskor egyszer alkalmazza a profilt, majd nem avatkozik be a rendszer működésébe, ami előnyös olyan termelési szervereken, ahol a konzisztencia fontosabb, mint az energiamegtakarítás. A dinamikus hangolás valós időben figyeli a lemez-, hálózat- és terheléshasználatot, és menet közben módosítja a beállításokat. A teljesítményprofilok alapértelmezés szerint letiltják a dinamikus hangolást, hogy elkerüljék a figyelés terhelését.

A munkaterheléshez megfelelő profil kiválasztása

A tuned tucatnyi profilt kínál, amelyek lefedik a leggyakoribb munkaterheléseket. Válassza ki azt, amelyik leginkább megfelel a szerver tényleges feladatainak, ahelyett, hogy az alapértelmezett balanced profilot.

Bizonyos adatbázis-motorokhoz a tuned is szállít postgresql, mssql, valamint oracle profilokat is tartalmaz, amelyek throughput-performance azokhoz a motorokhoz tartozó megosztott memória és kernel ütemező paramétereinek hangolásán túlmennek.

Többszálas szervereken a NUMA-topológia fontos. A távoli csomópontok memóriájához való hozzáférés két-háromszor lassabb lehet, mint a helyi hozzáférés. Késleltetés szempontjából kritikus terhelések esetén kétprocesszoros gépeken tiltsa le az automatikus NUMA-kiegyensúlyozást a profilban, és manuálisan rendelje a folyamatokat meghatározott csomópontokhoz.

Profilok telepítése és alkalmazása

Telepítse a tuned-ot RHEL, Rocky, AlmaLinux vagy Fedora rendszeren:

dnf install tuned
systemctl enable --now tuned

Debian és Ubuntu rendszereken a csomag neve tuned néven szerepel, és a apt. Ha power-profiles-daemon már fut, akkor a konfliktusok elkerülése érdekében maszkírozza:

systemctl mask --now power-profiles-daemon

Sorolja fel az elérhető profilokat, kérdezze meg a tuned-tól, mit ajánl a hardverhez, alkalmazza a profilt, és ellenőrizze:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Az aktív profil a /etc/tuned/active_profile és újraindítás után is megmarad. A hangolás teljes eltávolításához és az alapértékek méréséhez futtassa a tuned-adm off.

Egyéni profil létrehozása AI, ML és nagy sávszélességet igénylő munkaterhelésekhez

Ha az alapprofilok 90%-ban megfelelnek az elvárásoknak, hozzon létre egy egyéni profilt, amely a leginkább megfelelő profilt örökli, és felülírja a fennmaradó paramétereket. Kezdje egy könyvtárral és egy conf fájllal:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

A legfontosabb döntések itt:

• numa_balancing=0 megakadályozza, hogy a kernel a képzés futása közben memóriát migráljon a socketek között, ami a két socketes GPU-s gépeken gyakori leállási ok.
• A rmem_max és tcp_rmem értékek 256 MB-ra emelik a socket puffer felső határát. 25G, 40G vagy 100G összeköttetések esetén a képzési csomópontok között az alapértelmezett puffer méretek az átviteli sebességet jóval a vonali sebesség alatt tartják.
• transparent_hugepages=never eltávolítja a késleltetési ingadozást, amelyet a THP okoz olyan keretrendszerekben, mint a PyTorch és a TensorFlow, amelyek nagy tenzorokat allokálnak.
• iommu=pt az IOMMU-t átviteli módba állítja, ami szükséges a GPU és a NIC átviteléhez, és csökkenti a bare-metal DMA overheadjét.

Bármi, ami [bootloader] újraindítást igényel. A profil aktiválása után futtassa a tuned-adm verify parancsot a futási paraméterek alkalmazásának megerősítéséhez, és ellenőrizze journalctl -u tuned , hogy nincsenek-e hibák. Végezzen benchmarkot előtte és utána a iostat -xz, numastatparancsot és a megfelelő terheléses eszközt (iperf3, fiovagy a tényleges edzésfutás).

Egy kompromisszum, amit érdemes kifejezetten megemlíteni: a CPU biztonsági intézkedéseinek letiltása körülbelül 3–8%-os nyereséget jelent a GPU-terheléseknél, de 15–30%-os veszteséget jelent a nagy rendszerhívás-mintázatú terheléseknél. A döntést a rendszer fenyegetési modellje alapján hozza meg. Egy tűzfal mögötti dedikált képzési klaszteren belül a számítások általában a letiltás mellett szólnak. Több bérlős gazdagépen hagyja bekapcsolva őket.

Profilok kezelése szerverparkon belül

A tuned kézi alkalmazása néhány szervernél már nem kivitelezhető. Az Ansible ezt tisztán kezeli. Egyetlen playbook telepíti a tuned-et, és elhelyezi az egyéni profilkönyvtárakat a /etc/tuned/ a template modulba, és az inventory csoportokhoz rendeli a megfelelő profilokat.

Profilok hozzárendelése az inventory szerepkörökhöz:

• GPU- és AI-csomópontok: accelerator-performance, vagy egy abból öröklődő egyéni profil
• Adatbázis-kiszolgálók: throughput-performance vagy a motor-specifikus profil
• Nagy sávszélességű forgalmat továbbító CDN- és edge-csomópontok: network-throughput
• terheléselosztó mögötti API- és webszerverek: network-latency
• VPS és KVM vendégek: virtual-guest
• Hypervisor-gazdagépek: virtual-host

A drift a valódi üzemeltetési probléma. A kézi sysctl módosítások, új alapértelmezéseket tartalmazó csomagfrissítések, vagy egy másik konfigurációkezelő eszköz, amely felülírja a beállításokat, mind azt eredményezik, hogy a beállítások eltérnek a profilban megadottaktól. Ütemezz be egy Ansible feladatot, amely tuned-adm active és tuned-adm verify a cron-on, és riasztást küldjön hiba esetén. Figyelje /var/log/tuned/tuned.log a „Verification failed” sorokat.

Következtetés

A tuned eltávolítja a kernel és a sysctl hangolásából a találgatások nagy részét. Az alapértelmezett beállítások általános használatra elégségesek, és a munkaterhelés-specifikus profilok, mint például accelerator-performance, throughput-performanceés network-throughput segítségével szinte teljesen optimalizálhatja a rendszert anélkül, hogy egyetlen konfigurációs fájlt is írnia kellene.

• Válassza ki a leginkább megfelelő alapprofilt, futtassa a tuned-adm verify, majd futtassa a benchmarkot
• Készítsen egyéni profilokat úgy, hogy örököl egy alapprofilt, és csak a szükséges elemeket írja felül
• Gondosan mérlegelje a NUMA-kiegyensúlyozást, a hugepages-eket és a hálózati puffer méreteket a GPU-s és nagy sávszélességű gépeken
• Vezesse be az Ansible-lel, és végezzen rendszeres ellenőrzéseket az eltérések észlelése érdekében

Szüksége van olyan bare-metal kapacitásra, amelynek sávszélessége elegendő ezeknek a beállításoknak a tényleges használatához? Forduljon az FDC-hez a nagy átviteli sebességre és GPU-terhelésekre tervezett dedikált szerverekkel kapcsolatban.