Linuxi serverite töökoormuse optimeerimiseks häälestatud profiilid

Häälestatud profiilid serveri töökoormuse optimeerimiseks

Linuxi vaikimisi seaded on häälestatud ühilduvuse, mitte jõudluse jaoks. Tuned-daemon sisaldab eeldefineeritud profiile, mis kohandavad CPU-regulaatoreid, I/O-ajastajaid, tuumaparametreid ja võrgupuhvreid vastavalt konkreetsele töökoormusele. Käesolevas postituses käsitletakse, kuidas profiilid toimivad, millist valida tavaliste serverirollide jaoks ning kuidas luua ja rakendada kohandatud profiile kogu serveripargis.

Kuidas häälestatud profiilid töötavad

Profiil on kataloog süsteemi all /usr/lib/tuned/profiles/ (süsteemi) või /etc/tuned/profiles/ (custom) all asuv kataloog, mis sisaldab tuned.conf faili. Conf-fail rühmitab parameetrid pistikprogrammide kaupa: [cpu], [disk], [sysctl], [vm], [bootloader], jne. Profiili aktiveerimisel rakendab tuned-daemon kõik parameetrid korraga, selle asemel et käivitada kümneid sysctl ja sysfs käsku käsitsi käivitamata.

Profiilid võivad üksteiselt pärida include direktiivi abil. Näiteks throughput-performance Profiil võib näiteks olla aluseks kohandatud andmebaasiprofiilile, mis asendab ainult vm.swappiness ja „Transparent Huge Pages“ seadistust.

tuned töötab kahes režiimis. Staatiline häälestamine rakendab profiili üks kord aktiveerimisel ja jätab süsteemi seejärel rahule, mis on soovitatav tootmisserverites, kus järjepidevus on tähtsam kui energiasääst. Dünaamiline häälestamine jälgib ketta, võrgu ja koormuse kasutust reaalajas ning kohandab seadeid jooksvalt. Jõudlusprofiilid lülitavad dünaamilise häälestamise vaikimisi välja, et vältida jälgimisest tulenevat koormust.

Õige profiili valimine teie töökoormusele

tuned pakub tosinat profiili, mis katavad kõige levinumad töökoormused. Valige see, mis vastab serveri tegelikule otstarbele, selle asemel, et jätta kasutusele vaikimisi balanced profiili paigale.

Teatavate andmebaasimootorite jaoks on Tuned kaasas ka postgresql, mssqlning oracle profiilid, mis lähevad kaugemale kui throughput-performance nende mootorite jagatud mälu ja tuuma ajastaja parameetrite häälestamisest.

Mitme protsessoripesaga serverites on NUMA-topoloogia oluline. Kaugnoodi mälupöördused võivad olla kaks kuni kolm korda aeglasemad kui kohalikud pöördused. Viivitusele tundlike töökoormuste puhul kahe protsessoripesaga serverites lülitage profiilis välja automaatne NUMA-tasakaalustamine ja seostage protsessid käsitsi konkreetsete sõlmedega.

Profiilide installimine ja rakendamine

Paigaldage tuned RHEL-ile, Rocky-le, AlmaLinuxile või Fedorale:

dnf install tuned
systemctl enable --now tuned

Debianis ja Ubuntus kannab pakett samuti nime tuned ja paigaldatakse käsuga apt. Kui power-profiles-daemon on juba käivitatud, peida see konfliktide vältimiseks:

systemctl mask --now power-profiles-daemon

Loetlege saadavalolevad profiilid, küsige tunedilt, mida see riistvarale soovitab, rakendage profiil ja kontrollige seda:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Aktiivne profiil salvestatakse faili /etc/tuned/active_profile ja säilib ka pärast taaskäivitamist. Et häälestus täielikult eemaldada ja mõõta algseisundit, käivita tuned-adm off.

Kohandatud profiili loomine AI, ML ja suure ribalaiusega töökoormuste jaoks

Kui valmisprofiilid viivad teid 90% eesmärgist, looge kohandatud profiil, mis pärineb kõige sobivamast profiilist ja asendab ülejäänud parameetrid. Alustage kataloogist ja konfiguratsioonifailist:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Siin on peamised valikud:

• numa_balancing=0 takistab tuumal mälu ümberpaigutamist pesade vahel treeningu käigus, mis on tavaline takistuse allikas kahepesalistes GPU-arvutites.
• See rmem_max ja tcp_rmem väärtused suurendavad pistikupesa puhvri ülempiiri 256 MB-ni. 25G, 40G või 100G ühenduste puhul õppimissõlmede vahel piiravad vaikimisi puhvri suurused läbilaskevõimet tunduvalt alla liini kiiruse.
• transparent_hugepages=never eemaldab latentsuse kõikumise, mida THP põhjustab raamistikele nagu PyTorch ja TensorFlow, mis eraldavad suuri tensoreid.
• iommu=pt lülitab IOMMU läbiviimise režiimi, mis on vajalik GPU ja NIC läbiviimiseks ning vähendab bare-metal DMA koormust.

Kõik, mis on väiksem kui [bootloader] nõuab taaskäivitamist. Pärast profiili aktiveerimist käivitage tuned-adm verify , et veenduda, et jooksuaegsed parameetrid on rakendatud, ning kontrollige journalctl -u tuned , kas esineb vigu. Viige enne ja pärast läbi jõudlustest iostat -xz, numastatja asjakohase töökoormuse tööriistaga (iperf3, fiovõi tegeliku treeningkäituse abil).

Üks kompromiss, mida tasub selgelt välja tuua: CPU turvameetmete keelamine annab GPU töökoormuste puhul ligikaudu 3–8% võidu, kuid maksab 15–30% töökoormuste puhul, kus esineb palju süsteemikõnesid. Otsustage vastavalt seadme ohumudelile. Tulemüüri taga asuvas spetsiaalses treeningklastris on matemaatiliselt tavaliselt kasulikum need keelata. Mitme kasutajaga serveris jäta need sisse lülitatuks.

Profiilide haldamine serveripargis

Käsitsi „tuned“i rakendamine ei ole enam otstarbekas, kui servereid on rohkem kui mõni üksik. Ansible lahendab selle probleemi sujuvalt. Üksainus playbook installib „tuned“i ja loob kohandatud profiilide kataloogid kausta /etc/tuned/ kaudu template ja rakendab iga inventarirühma jaoks õiget profiili.

Profiilide seostamine inventari rollidega:

• GPU- ja AI-sõlmed: accelerator-performancevõi sellest pärinev kohandatud profiil
• Andmebaasi serverid: throughput-performance või mootorispetsiifiline profiil
• CDN- ja servasõlmed, mis edastavad suure läbilaskevõimega liiklust: network-throughput
• koormuse tasakaalustaja taga asuvad API- ja veebiserverid: network-latency
• VPS- ja KVM-külalissüsteemid: virtual-guest
• hüperviisori hostid: virtual-host

Kõrvalekalded on tegelik operatsiooniline probleem. Käsitsi sysctl muudatused, pakettide uuendused, mis toovad kaasa uued vaikimisi seaded, või mõni teine konfiguratsiooni haldamise tööriist, mis sekkub tuned'i töösse, põhjustavad kõik seda, et seaded kalduvad profiilis määratust kõrvale. Planeerige Ansible'i ülesande käivitamine tuned-adm active ja tuned-adm verify ja andke veateadete korral hoiatus. Jälgige /var/log/tuned/tuned.log järele, kas esineb ridu „Verification failed”.

Kokkuvõte

tuned kõrvaldab suurema osa oletustest tuuma ja sysctl-i häälestamisel. Vaikimisi seaded on üldiseks kasutamiseks piisavalt head ning töökoormusele spetsiifilised profiilid, nagu accelerator-performance, throughput-performanceja network-throughput aitavad teil saavutada peaaegu optimaalse tulemuse ilma ühtegi konfiguratsioonifaili kirjutamata.

• Valige sobivaim vaikimisi profiil, käivitage tuned-adm verifyja seejärel mõõda jõudlust
• Looge kohandatud profiile, pärides need olemasolevast profiilist ja muutes vaid seda, mida vaja
• Pöörake erilist tähelepanu NUMA tasakaalustamisele, hugepages’ile ja võrgupuhvri suurustele GPU-del ja suure läbilaskevõimega masinatel
• Võtke kasutusele Ansible'iga ja auditeerige kindla ajakava järgi, et märgata kõrvalekaldeid

Kas vajate bare-metal-võimsust koos piisava ribalaiuse varuga, et neid seadeid tegelikult kasutada? Pöörduge FDC poole, et saada teavet suure läbilaskevõimega ja GPU-töökoormuste jaoks loodud pühendatud serverite kohta.