Nastavené profily pro optimalizaci zatížení serveru

Výchozí nastavení systému Linux je vyladěno pro kompatibilitu, nikoli pro výkon. Démon tuned obsahuje předdefinované profily, které upravují regulátory CPU, plánovače I/O, parametry jádra a síťové vyrovnávací paměti tak, aby odpovídaly konkrétnímu zatížení. Tento příspěvek popisuje, jak profily fungují, který z nich zvolit pro běžné role serverů a jak vytvořit a nasadit vlastní profily v celé flotile.

Jak fungují vyladěné profily

Profil je adresář v rámci /usr/lib/tuned/profiles/ (system) nebo /etc/tuned/profiles/ (custom) obsahující soubor tuned.conf soubor. Soubor conf seskupuje parametry podle pluginů: [cpu], [disk], [sysctl], [vm], [bootloader], a tak dále. Aktivujte profil a démon tuned použije všechny parametry najednou, místo aby spouštěl desítky sysctl a sysfs ručně.

Profily se mohou navzájem dědit pomocí include . Profil throughput-performance například profil může sloužit jako základ pro vlastní profil databáze, který přepisuje pouze vm.swappiness nastavení Transparent Huge Pages.

Nástroj tuned běží ve dvou režimech. Statické ladění použije profil jednou při aktivaci a dále systém nechá na pokoji, což je žádoucí na produkčních serverech, kde je konzistence důležitější než úspora energie. Dynamické ladění monitoruje využití disku, sítě a zátěže v reálném čase a nastavení upravuje za běhu. Profily výkonu ve výchozím nastavení dynamické ladění deaktivují, aby se vyhnuly režijním nákladům na monitorování.

Výběr správného profilu pro vaše pracovní zatížení

tuned dodává desítky profilů pokrývajících nejběžnější pracovní zátěže. Vyberte ten, který odpovídá tomu, co server skutečně dělá, místo toho, abyste nechali výchozí balanced .

Pro konkrétní databázové stroje je dodáván také naladěný postgresql, mssqla oracle profily, které jdou dále než throughput-performance vyladěním parametrů sdílené paměti a plánovače jádra pro tyto enginy.

Na serverech s více procesorovými sokety záleží na topologii NUMA. Přístup k paměti vzdáleného uzlu může být dvakrát až třikrát pomalejší než lokální přístup. U úloh kritických na latenci na počítačích s dvěma procesorovými sokety deaktivujte v profilu automatické vyvažování NUMA a ručně přiřaďte procesy ke konkrétním uzlům.

Instalace a použití profilů

Nainstalujte tuned na RHEL, Rocky, AlmaLinux nebo Fedora:

dnf install tuned
systemctl enable --now tuned

Na Debianu a Ubuntu se balíček také nazývá tuned a instaluje se pomocí apt. Pokud power-profiles-daemon již běží, skryjte jej, abyste předešli konfliktům:

systemctl mask --now power-profiles-daemon

Zobrazte seznam dostupných profilů, zeptejte se tuned, co doporučuje pro daný hardware, použijte profil a ověřte ho:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Aktivní profil je uložen v /etc/tuned/active_profile a zůstává zachován i po restartu. Chcete-li ladění zcela odstranit a změřit základní stav, spusťte tuned-adm off.

Vytvoření vlastního profilu pro AI, ML a úlohy s vysokou šířkou pásma

Pokud vám standardní profily pokryjí 90 % potřeb, vytvořte vlastní profil, který zdědí nastavení z nejbližšího odpovídajícího profilu a přepíše zbývající parametry. Začněte s adresářem a konfiguračním souborem:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Klíčové volby zde:

• numa_balancing=0 zastaví jádro při migraci paměti mezi sokety během trénovacích běhů, což je častý zdroj zpoždění na počítačích s duálními sokety GPU.
• Toto rmem_max a tcp_rmem zvyšují maximální velikost vyrovnávací paměti soketu na 256 MB. U propojení 25G, 40G nebo 100G mezi trénovacími uzly omezují výchozí velikosti vyrovnávací paměti propustnost výrazně pod rychlost linky.
• transparent_hugepages=never odstraňuje kolísání latence, které THP způsobuje u frameworků jako PyTorch a TensorFlow, které alokují velké tenzory.
• iommu=pt nastaví IOMMU do režimu passthrough, který je vyžadován pro passthrough GPU a NIC a snižuje režii na bare-metal DMA.

Cokoli pod [bootloader] vyžaduje restart. Po aktivaci profilu spusťte tuned-adm verify pro potvrzení použitých parametrů běhu a zkontrolujte journalctl -u tuned , zda nedošlo k chybám. Proveďte benchmark před a po pomocí iostat -xz, numastata příslušným nástrojem pro pracovní zátěž (iperf3, fionebo skutečným tréninkovým cyklem).

Jedna kompromisní volba, kterou stojí za to výslovně zmínit: deaktivace bezpečnostních opatření CPU přináší přibližně 3–8% zisk u zátěží na GPU, ale stojí 15–30 % u zátěží s intenzivními vzorci systémových volání. Rozhodněte se na základě modelu hrozeb pro daný systém. Uvnitř vyhrazeného trénovacího clusteru za firewallem matematika obvykle hovoří ve prospěch jejich deaktivace. Na hostiteli s více nájemci je nechte zapnuté.

Správa profilů v rámci serverového parku

Ruční aplikace nástroje tuned přestává být proveditelná, jakmile počet serverů přesáhne několik kusů. Ansible to zvládá bez problémů. Jediný playbook nainstaluje nástroj tuned a umístí adresáře s vlastními profily do složky /etc/tuned/ prostřednictvím template modulu a aplikuje správný profil pro každou skupinu inventáře.

Přiřaďte profily k rolím v inventáři:

• Uzly GPU a AI: accelerator-performancenebo vlastní profil, který z něj dědí
• Databázové servery: throughput-performance nebo profil specifický pro daný engine
• CDN a okrajové uzly přenášející provoz s vysokou šířkou pásma: network-throughput
• API a webové servery za load balancerem: network-latency
• Hosté VPS a KVM: virtual-guest
• Hostitelé hypervizorů: virtual-host

Skutečným provozním problémem je drift. Ruční sysctl změny, aktualizace balíčků, které přinášejí nové výchozí hodnoty, nebo jiný nástroj pro správu konfigurace, který zasahuje do nastaveného, způsobí, že se nastavení bude lišit od toho, co uvádí profil. Naplánujte spuštění úlohy Ansible tuned-adm active a tuned-adm verify na cronu a upozorněte na selhání. Sledujte /var/log/tuned/tuned.log na řádky „Verification failed“.

Závěr

tuned odstraňuje většinu dohadů z ladění jádra a sysctl. Výchozí nastavení je dostatečné pro běžné použití a profily specifické pro pracovní zátěž, jako je accelerator-performance, throughput-performancea network-throughput vám umožní dosáhnout téměř optimálního nastavení, aniž byste museli psát jediný konfigurační soubor.

• Vyberte nejbližší standardní profil, spusťte tuned-adm verifya poté proveďte benchmark
• Vytvořte vlastní profily zděděním ze standardního profilu a přepsáním pouze toho, co potřebujete
• Pečlivě zvažte vyvážení NUMA, hugepages a velikosti síťových bufferů na GPU a zařízeních s vysokou šířkou pásma
• Nasazujte pomocí Ansible a provádějte pravidelné audity, abyste zachytili odchylky

Potřebujete kapacitu na fyzickém hardwaru s dostatečnou šířkou pásma, abyste mohli tato nastavení skutečně využít? Obraťte se na FDC ohledně dedikovaných serverů navržených pro vysokou propustnost a GPU úlohy.