Häälestatud profiilid serveri töökoormuse optimeerimiseks

Linuxi vaikimisi seaded on häälestatud ühilduvuse, mitte jõudluse jaoks. Tuned-daemon sisaldab eelmääratud profiile, mis kohandavad CPU-regulaatoreid, I/O-ajastajaid, tuumaparametreid ja võrgupuhvreid vastavalt konkreetsele töökoormusele. Käesolevas postituses käsitletakse profiilide toimimist, millist valida tavaliste serverirollide jaoks ning kuidas luua ja rakendada kohandatud profiile kogu serveripargis.

Kuidas häälestatud profiilid töötavad

Profiil on kataloog süsteemi all /usr/lib/tuned/profiles/ (süsteem) või /etc/tuned/profiles/ (custom) all asuv kataloog, mis sisaldab tuned.conf faili. Conf-fail rühmitab parameetrid pistikprogrammide kaupa: [cpu], [disk], [sysctl], [vm], [bootloader], jne. Aktiveerige profiil ja tuned-daemon rakendab kõik parameetrid korraga, selle asemel et käivitada kümneid sysctl ja sysfs käsku käsitsi.

Profiilid võivad üksteiselt pärida include direktiivi abil. Näiteks throughput-performance Profiil võib näiteks olla aluseks kohandatud andmebaasiprofiilile, mis asendab ainult vm.swappiness ja läbipaistvate hiiglaslike lehekülgede seadistuse.

tuned töötab kahes režiimis. Staatiline häälestamine rakendab profiili üks kord aktiveerimisel ja jätab süsteemi rahule, mis on soovitatav tootmisserverites, kus järjepidevus on tähtsam kui energiasääst. Dünaamiline häälestamine jälgib ketta, võrgu ja koormuse kasutust reaalajas ning kohandab seadeid lennult. Jõudlusprofiilid lülitavad dünaamilise häälestamise vaikimisi välja, et vältida jälgimisest tulenevat koormust.

Õige profiili valimine teie töökoormusele

tuned pakub tosinat profiili, mis katavad kõige levinumad töökoormused. Valige see, mis vastab serveri tegelikule tegevusele, selle asemel, et jätta kasutusele vaikimisi balanced profiili paigale.

Teatavate andmebaasimootorite jaoks on tuned saadaval ka postgresql, mssqlja oracle profiilid, mis lähevad kaugemale throughput-performance nende mootorite jaoks jagatud mälu ja tuuma ajastaja parameetreid häälestades.

Mitme pesaga serverites on NUMA-topoloogia oluline. Kaugnoodi mälupöördus võib olla kaks kuni kolm korda aeglasem kui kohalik pöördus. Viivitusele tundlike töökoormuste puhul kahe pesaga masinatel lülitage profiilis automaatne NUMA-tasakaalustamine välja ja seostage protsessid käsitsi konkreetsete sõlmedega.

Profiilide installimine ja rakendamine

Installige tuned RHEL-ile, Rocky-le, AlmaLinuxile või Fedorale:

dnf install tuned
systemctl enable --now tuned

Debianis ja Ubuntus nimetatakse paketti samuti tuned ja installitakse käsuga apt. Kui power-profiles-daemon juba töötab, peida see, et vältida konflikte:

systemctl mask --now power-profiles-daemon

Loetlege saadavalolevad profiilid, küsige tunedilt, mida see riistvarale soovitab, rakendage profiil ja kontrollige seda:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Aktiivne profiil salvestatakse faili /etc/tuned/active_profile ja säilib ka pärast taaskäivitamist. Et häälestus täielikult eemaldada ja mõõta algseisundit, käivita tuned-adm off.

Kohandatud profiili loomine AI, ML ja suure ribalaiusega töökoormuste jaoks

Kui valmispõhised profiilid viivad teid 90% eesmärgist, looge kohandatud profiil, mis pärineb kõige sobivamast profiilist ja asendab ülejäänud parameetrid. Alustage kataloogist ja conf-failist:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Peamised valikud siin:

• numa_balancing=0 peatab tuuma mälu migreerimise pistikute vahel treeningu käigus, mis on tavaline takistuse allikas kahe pistikuga GPU-seadmetes.
• The rmem_max ja tcp_rmem väärtused tõstavad pistikupesa puhvri ülemmäära 256 MB-ni. 25G, 40G või 100G ühenduste puhul treeningnoodide vahel piiravad vaikimisi puhvri suurused läbilaskevõimet tunduvalt alla liini kiiruse.
• transparent_hugepages=never eemaldab latentsuse kõikumise, mida THP põhjustab raamistikele nagu PyTorch ja TensorFlow, mis eraldavad suuri tensoreid.
• iommu=pt seab IOMMU läbiviimise režiimi, mis on vajalik GPU ja NIC läbiviimiseks ning vähendab bare-metal DMA koormust.

Kõik, mis on alla [bootloader] nõuab taaskäivitamist. Pärast profiili aktiveerimist käivitage tuned-adm verify , et kinnitada rakendatud jooksuaegseid parameetreid, ja kontrollige journalctl -u tuned vead. Tehke enne ja pärast võrdluskatse iostat -xz, numastatja asjakohase töökoormuse tööriistaga (iperf3, fiovõi tegeliku treeningkäituse abil).

Üks kompromiss, mida tasub selgelt välja tuua: CPU turvalisuse leevenduste keelamine annab umbes 3–8% võidu GPU töökoormuste puhul, kuid maksab 15–30% töökoormustel, millel on rasked süsteemikutsete mustrid. Otsustage vastavalt seadme ohumudelile. Tulemüüri taga asuvas pühendatud treeningklastris on matemaatiliselt tavaliselt kasulikum need keelata. Mitme kasutajaga serveris jäta need sisse lülitatuks.

Profiilide haldamine serveripargis

Tuned käsitsi rakendamine ei ole enam otstarbekas, kui servereid on rohkem kui mõni üksik. Ansible lahendab selle probleemi puhtalt. Üksainus playbook installib tuned, loob kohandatud profiilide kataloogid kausta /etc/tuned/ kaudu template ja rakendab õiget profiili vastavalt inventari rühmale.

Profiilide seostamine inventari rollidega:

• GPU- ja AI-sõlmed: accelerator-performancevõi sellest pärinev kohandatud profiil
• Andmebaasi serverid: throughput-performance või mootorispetsiifiline profiil
• CDN- ja servasõlmed, mis edastavad suure läbilaskevõimega liiklust: network-throughput
• API ja veebiserverid koormuse tasakaalustaja taga: network-latency
• VPS ja KVM-külalised: virtual-guest
• hüperviisori hostid: virtual-host

Kõikumine on tegelik operatsiooniline probleem. Käsitsi sysctl muudatused, pakettide uuendused, mis toovad kaasa uued vaikimisi seaded, või mõni teine konfiguratsiooni haldamise tööriist, mis sekkub tuned'i töösse, põhjustavad kõik seda, et seaded kalduvad profiilis määratust kõrvale. Planeerige Ansible'i töö käivitamine tuned-adm active ja tuned-adm verify ja andke veateadetest teada. Jälgige /var/log/tuned/tuned.log järele, kas ilmuvad read „Verification failed”.

Kokkuvõte

tuned eemaldab suurema osa oletustest tuuma ja sysctl-i häälestamisest. Vaikimisi seaded on üldiseks kasutamiseks piisavalt head ning töökoormusele spetsiifilised profiilid nagu accelerator-performance, throughput-performanceja network-throughput aitavad teil saavutada optimeeritud tulemuse ilma ühtegi konfiguratsioonifaili kirjutamata.

• Valige sobivaim vaikimisi profiil, käivitage tuned-adm verifyja seejärel tehke võrdlustest
• Looge kohandatud profiile, pärides need olemasolevast profiilist ja muutes ainult seda, mida vajate
• Mõelge hoolikalt läbi NUMA tasakaalustamine, hugepages ja võrgupuhvri suurused GPU-del ja suure ribalaiusega seadmetel
• Võtke kasutusele Ansible ja auditeerige graafiku järgi, et märgata kõrvalekaldeid

Kas vajate bare-metal-võimsust koos ribalaiuse varuga, et neid seadeid tegelikult kasutada? Rääkige FDC-ga suure läbilaskevõime ja GPU-töökoormuste jaoks loodud pühendatud serveritest.