Linux Sunucu İş Yükü Optimizasyonu için Ayarlanmış Profiller

sunucu iş yükü optimizasyonu için ayarlanmış profiller

Linux'un varsayılan ayarları, performans değil uyumluluk için ayarlanmıştır. Tuned arka plan programı, belirli bir iş yüküne uyacak şekilde CPU düzenleyicilerini, I/O zamanlayıcılarını, çekirdek parametrelerini ve ağ tamponlarını ayarlayan önceden tanımlanmış profiller sunar. Bu yazıda, profillerin nasıl çalıştığı, yaygın sunucu rolleri için hangisinin seçilmesi gerektiği ve bir sunucu grubu genelinde özel profillerin nasıl oluşturulup devreye alınacağı ele alınmaktadır.

Ayarlanmış profiller nasıl çalışır?

Profil, /usr/lib/tuned/profiles/ (sistem) veya /etc/tuned/profiles/ (özel) altında bulunan ve bir tuned.conf dosya içeren bir dizindir. conf dosyası, parametreleri eklentiye göre gruplandırır: [cpu], [disk], [sysctl], [vm], [bootloader], vb. Bir profili etkinleştirdiğinizde, tuned arka plan programı düzinelerce sysctl ve sysfs komutları manuel olarak çalıştırmak yerine her parametreyi tek seferde uygular.

Profiller, include yönergesi ile birbirlerinden özellik devralabilirler. Örneğin, throughput-performance Örneğin, profil, yalnızca vm.swappiness ayarı geçersiz kılan özel bir veritabanı profilinin temelini oluşturabilir.

tuned iki modda çalışır. Statik ayarlama, profili etkinleştirme sırasında bir kez uygular ve sistemi kendi haline bırakır; bu, güç tasarrufundan çok tutarlılığın önemli olduğu üretim sunucularında arzu edilen durumdur. Dinamik ayarlama ise disk, ağ ve yük kullanımını gerçek zamanlı olarak izler ve ayarları anında düzenler. Performans profilleri, izleme yükünü önlemek için varsayılan olarak dinamik ayarlamayı devre dışı bırakır.

İş yükünüz için doğru profili seçme

tuned, en yaygın iş yüklerini kapsayan bir düzine profil sunar. Varsayılan balanced profilini olduğu gibi bırakmayın.

Belirli veritabanı motorları için, tuned ayrıca şunlarla birlikte gelir postgresql, mssqlve oracle bu motorlar için paylaşımlı bellek ve çekirdek zamanlayıcı parametrelerini ayarlayarak throughput-performance bu motorlar için paylaşımlı bellek ve çekirdek zamanlayıcı parametrelerini ayarlayarak daha da ileri gider.

Çok soketli sunucularda NUMA topolojisi önemlidir. Uzak düğüm bellek erişimi, yerel erişime göre iki ila üç kat daha yavaş olabilir. Çift soketli sistemlerdeki gecikme süresinin kritik olduğu iş yükleri için, profilde otomatik NUMA dengelemeyi devre dışı bırakın ve işlemleri belirli düğümlere manuel olarak sabitleyin.

Profillerin kurulması ve uygulanması

RHEL, Rocky, AlmaLinux veya Fedora'da Install tuned'ı kurun:

dnf install tuned
systemctl enable --now tuned

Debian ve Ubuntu'da paket aynı zamanda tuned olarak adlandırılır ve aptyoluyla kurulur. Eğer power-profiles-daemon zaten çalışıyorsa, çakışmaları önlemek için onu maskelemek gerekir:

systemctl mask --now power-profiles-daemon

Kullanılabilir profilleri listeleyin, tuned'a donanım için ne önerdiğini sorun, bir profili uygulayın ve doğrulayın:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Etkin profil /etc/tuned/active_profile dosyasında saklanır ve yeniden başlatmalarda da korunur. Ayarlamaları tamamen kaldırıp başlangıç değerini ölçmek için şunu çalıştırın: tuned-adm off.

AI, ML ve yüksek bant genişliği gerektiren iş yükleri için özel bir profil oluşturma

Hazır profiller işin %90'ını hallediyorsa, en uygun profilden miras alan ve kalan parametreleri geçersiz kılan özel bir profil oluşturun. Bir dizin ve bir conf dosyasıyla başlayın:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Buradaki önemli seçimler:

• numa_balancing=0 Eğitim işlemleri sırasında çekirdeğin soketler arasında bellek aktarımını durdurur; bu, çift soketli GPU sistemlerinde sıkça görülen bir durma nedenidir.
• The rmem_max ve tcp_rmem değerleri, soket tampon sınırını 256 MB'a yükseltir. Eğitim düğümleri arasındaki 25G, 40G veya 100G bağlantılarında, varsayılan tampon boyutları verimi hat hızının oldukça altında tutar.
• transparent_hugepages=never THP'nin, büyük tensörler ayıran PyTorch ve TensorFlow gibi çerçeveler için neden olduğu gecikme dalgalanmasını ortadan kaldırır.
• iommu=pt IOMMU’yu, GPU ve NIC passthrough için gerekli olan passthrough moduna geçirir ve bare-metal DMA üzerindeki ek yükü azaltır.

Aşağıdaki değerlerin altındaki değerler [bootloader] değerleri için yeniden başlatma gerekir. Profili etkinleştirdikten sonra, tuned-adm verify komutunu çalıştırarak çalışma zamanı parametrelerinin uygulandığını doğrulayın ve journalctl -u tuned hataları kontrol edin. Öncesi ve sonrasını iostat -xz, numastatile ve ilgili iş yükü aracıyla (iperf3, fioveya gerçek eğitim çalıştırması) ile karşılaştırın.

Açıkça belirtilmesi gereken bir ödün: CPU güvenlik önlemlerini devre dışı bırakmak, GPU iş yüklerinde yaklaşık %3-8 performans artışı sağlarken, yoğun sistem çağrısı desenlerine sahip iş yüklerinde %15-30 performans kaybına neden olur. Kararınızı, sistemin tehdit modeline göre verin. Güvenlik duvarının arkasında bulunan özel bir eğitim kümesinde, matematiksel hesaplamalar genellikle bu önlemlerin devre dışı bırakılmasını destekler. Çok kiracılı bir ana bilgisayarda ise bu önlemleri etkin bırakın.

Sunucu filosu genelinde profilleri yönetme

Birkaç sunucuyu aştığınızda, tuned'ı manuel olarak uygulamak artık uygulanabilir olmaktan çıkar. Ansible bu işi sorunsuz bir şekilde halleder. Tek bir playbook, tuned'ı yükler ve /etc/tuned/ modülü aracılığıyla template modülü aracılığıyla yerleştirir ve envanter grubuna göre doğru profili uygular.

Profilleri envanterdeki rollere eşleştirin:

• GPU ve AI düğümleri: accelerator-performanceveya bu profilden miras alan özel bir profil
• Veritabanı sunucuları: throughput-performance veya motora özgü profil
• Yüksek bant genişliği trafiği ileten CDN ve uç düğümleri: network-throughput
• Yük dengeleyicinin arkasındaki API ve web sunucuları: network-latency
• VPS ve KVM konukları: virtual-guest
• Hipervizör ana bilgisayarları: virtual-host

Sapma, asıl operasyonel sorundur. Manuel sysctl değişiklikler, yeni varsayılan ayarları içeren paket güncellemeleri veya ayarlanmış yapılandırmaya müdahale eden başka bir yapılandırma yönetim aracı, ayarların profilde belirtilenden sapmasına neden olur. Ansible işini tuned-adm active ve tuned-adm verify ve hatalarda uyarı verin. /var/log/tuned/tuned.log "Doğrulama başarısız" satırlarına dikkat edin.

Sonuç

tuned, çekirdek ve sysctl ayarlamalarındaki tahminlere dayalı yaklaşımların çoğunu ortadan kaldırır. Varsayılan ayarlar genel kullanım için yeterlidir ve accelerator-performance, throughput-performanceve network-throughput gibi iş yüküne özel profiller, tek bir yapılandırma dosyası yazmanıza gerek kalmadan optimizasyonun büyük bir kısmını halleder.

• En uygun hazır profili seçin, tuned-adm verifykomutunu çalıştırın, ardından performans testi yapın
• Hazır bir profilden miras alarak ve yalnızca ihtiyacınız olanları geçersiz kılıp özel profiller oluşturun
• GPU ve yüksek bant genişliğine sahip sistemlerde NUMA dengeleme, hugepages ve ağ tampon boyutları konusunda dikkatli olun
• Ansible ile dağıtın ve sapmaları yakalamak için düzenli aralıklarla denetim yapın

Bu ayarları gerçekten kullanabilmek için bant genişliği yedeği olan bare-metal kapasiteye mi ihtiyacınız var? Yüksek verim ve GPU iş yükleri için tasarlanmış özel sunucular hakkında FDC ile görüşün.