sunucu iş yükü optimizasyonu için ayarlanmış profiller

Linux varsayılan ayarları, performans için değil uyumluluk için ayarlanmıştır. Tuned daemon, belirli bir iş yüküne uyacak şekilde CPU denetleyicilerini, I/O zamanlayıcılarını, çekirdek parametrelerini ve ağ tamponlarını ayarlayan önceden tanımlanmış profiller içerir. Bu yazıda, profillerin nasıl çalıştığı, yaygın sunucu rolleri için hangisinin seçilmesi gerektiği ve bir filo genelinde özel profillerin nasıl oluşturulacağı ve dağıtılacağı ele alınmaktadır.

Ayarlanmış profiller nasıl çalışır?

Profil, /usr/lib/tuned/profiles/ (sistem) veya /etc/tuned/profiles/ (özel) altındaki, bir tuned.conf dosyasını içerir. conf dosyası, parametreleri eklentiye göre gruplandırır: [cpu], [disk], [sysctl], [vm], [bootloader]ve benzeri. Bir profili etkinleştirdiğinizde, tuned arka plan programı düzinelerce sysctl ve sysfs komutları çalıştırmak yerine, her parametreyi tek seferde uygular.

Profiller, include yönetici ile birbirlerinden miras alabilirler. Örneğin throughput-performance Örneğin, profile, yalnızca vm.swappiness ayarı geçersiz kılan özel bir veritabanı profilinin temeli olarak kullanılabilir.

tuned iki modda çalışır. Statik ayarlama, profili etkinleştirme sırasında bir kez uygular ve sistemi kendi haline bırakır; bu, güç tasarrufundan çok tutarlılığın önemli olduğu üretim sunucularında istediğiniz şeydir. Dinamik ayarlama, disk, ağ ve yük kullanımını gerçek zamanlı olarak izler ve ayarları anında ayarlar. Performans profilleri, izleme yükünü önlemek için varsayılan olarak dinamik ayarlamayı devre dışı bırakır.

İş yükünüz için doğru profili seçme

tuned, en yaygın iş yüklerini kapsayan bir düzine profil sunar. Varsayılan balanced profilini olduğu gibi bırakmayın.

Belirli veritabanı motorları için, tuned ayrıca postgresql, mssqlve oracle bu motorlar için paylaşılan bellek ve çekirdek zamanlayıcı parametrelerini ayarlayarak throughput-performance bu motorlar için paylaşılan bellek ve çekirdek zamanlayıcı parametrelerini ayarlayarak daha da ileri gider.

Çok soketli sunucularda NUMA topolojisi önemlidir. Uzak düğüm bellek erişimi, yerel erişimden iki ila üç kat daha yavaş olabilir. Çift soketli kutulardaki gecikme açısından kritik iş yükleri için, profilde otomatik NUMA dengelemeyi devre dışı bırakın ve işlemleri belirli düğümlere manuel olarak sabitleyin.

Profillerin yüklenmesi ve uygulanması

RHEL, Rocky, AlmaLinux veya Fedora'da Install tuned:

dnf install tuned
systemctl enable --now tuned

Debian ve Ubuntu'da paket aynı zamanda tuned olarak adlandırılır ve aptyoluyla yüklenir. power-profiles-daemon zaten çalışıyorsa, çakışmaları önlemek için onu gizleyin:

systemctl mask --now power-profiles-daemon

Kullanılabilir profilleri listeleyin, tuned'a donanım için ne önerdiğini sorun, bir profil uygulayın ve doğrulayın:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Etkin profil /etc/tuned/active_profile dosyasında saklanır ve yeniden başlatmalarda kalıcıdır. Ayarlamayı tamamen kaldırmak ve temel değeri ölçmek için şunu çalıştırın tuned-adm off.

AI, ML ve yüksek bant genişliği iş yükleri için özel bir profil oluşturma

Stok profillerle işin %90'ını hallettiğinizde, en yakın eşleşmeden miras alan ve kalan parametreleri geçersiz kılan özel bir profil oluşturun. Bir dizin ve bir conf dosyasıyla başlayın:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Buradaki önemli seçimler:

• numa_balancing=0 eğitim çalışmaları sırasında çekirdeğin soketler arasında bellek aktarımını durdurur; bu, çift soketli GPU kutularında sıkça görülen bir durma nedenidir.
• The rmem_max ve tcp_rmem değerleri, soket tampon sınırını 256 MB'a yükseltir. Eğitim düğümleri arasındaki 25G, 40G veya 100G ara bağlantılarda, varsayılan tampon boyutları verimi hat hızının oldukça altında tutar.
• transparent_hugepages=never THP'nin büyük tensörler ayıran PyTorch ve TensorFlow gibi çerçeveler için neden olduğu gecikme dalgalanmasını ortadan kaldırır.
• iommu=pt IOMMU'yu, GPU ve NIC geçişi için gerekli olan geçiş moduna geçirir ve bare-metal DMA üzerindeki ek yükü azaltır.

[bootloader] yeniden başlatma gerektirir. Profili etkinleştirdikten sonra, tuned-adm verify komutunu çalıştırarak uygulanan çalışma zamanı parametrelerini onaylayın ve journalctl -u tuned hataları kontrol edin. iostat -xz, numastatile ve ilgili iş yükü aracıyla (iperf3, fioveya gerçek eğitim çalıştırması) ile karşılaştırın.

Açıkça belirtilmesi gereken bir ödün: CPU güvenlik önlemlerini devre dışı bırakmak, GPU iş yüklerinde yaklaşık %3-8 kazanç sağlar, ancak yoğun sistem çağrısı kalıplarına sahip iş yüklerinde %15-30'luk bir maliyet getirir. Cihazın tehdit modeline göre karar verin. Güvenlik duvarının arkasındaki özel bir eğitim kümesinde, matematiksel olarak genellikle bunları devre dışı bırakmak daha avantajlıdır. Çok kiracılı bir ana bilgisayarda ise bu önlemleri açık bırakın.

Sunucu filosu genelinde profilleri yönetme

Tuned'ı manuel olarak uygulamak, birkaç sunucudan sonra uygulanabilir olmaktan çıkar. Ansible bunu sorunsuz bir şekilde halleder. Tek bir playbook, tuned'ı yükler ve /etc/tuned/ modülü aracılığıyla template modülü aracılığıyla yerleştirir ve envanter grubu başına doğru profili uygular.

Profilleri envanterdeki rollere eşleme:

• GPU ve AI düğümleri: accelerator-performanceveya ondan miras alan özel bir profil
• Veritabanı sunucuları: throughput-performance veya motora özgü profil
• Yüksek bant genişliği trafiği ileten CDN ve uç düğümleri: network-throughput
• Yük dengeleyicinin arkasındaki API ve web sunucuları: network-latency
• VPS ve KVM konukları: virtual-guest
• Hipervizör ana bilgisayarları: virtual-host

Sapma, asıl operasyonel sorundur. Manuel sysctl değişiklikler, yeni varsayılan ayarları içeren paket yükseltmeleri veya ayarlanan yapılandırma yönetim araçlarının devreye girmesi, ayarların profilde belirtilenden sapmasına neden olur. Ansible işini tuned-adm active ve tuned-adm verify ve hatalarda uyarı verin. /var/log/tuned/tuned.log "Doğrulama başarısız" satırlarına dikkat edin.

Sonuç

tuned, çekirdek ve sysctl ayarlamalarındaki tahmin işini büyük ölçüde ortadan kaldırır. Varsayılan ayarlar genel kullanım için yeterlidir ve accelerator-performance, throughput-performanceve network-throughput gibi iş yüküne özgü profiller, tek bir yapılandırma dosyası yazmanıza gerek kalmadan optimizasyonun büyük bir kısmını halleder.

• En yakın stok profili seçin, tuned-adm verify'yi çalıştırın, ardından
• Stok profilden miras alarak ve yalnızca ihtiyacınız olanları geçersiz kılıp özel profiller oluşturun
• GPU ve yüksek bant genişliğine sahip kutularda NUMA dengeleme, hugepages ve ağ tampon boyutları konusunda dikkatli olun
• Ansible ile dağıtın ve sapmaları yakalamak için düzenli aralıklarla denetim yapın

Bu ayarları gerçekten kullanmak için bant genişliği yedeğine sahip bare metal kapasiteye mi ihtiyacınız var? Yüksek verim ve GPU iş yükleri için tasarlanmış özel sunucular hakkında FDC ile görüşün.