Настроенные профили для оптимизации рабочей нагрузки серверов Linux

Настроенные профили для оптимизации рабочей нагрузки серверов

Настройки Linux по умолчанию ориентированы на совместимость, а не на производительность. Демон tuned поставляется с предустановленными профилями, которые настраивают регуляторы ЦП, планировщики ввода-вывода, параметры ядра и сетевые буферы в соответствии с конкретной нагрузкой. В этой статье рассказывается о том, как работают эти профили, какой из них выбрать для типичных серверных ролей, а также о том, как создавать и развертывать пользовательские профили в парке серверов.

Как работают настроенные профили

Профиль — это каталог в /usr/lib/tuned/profiles/ (system) или /etc/tuned/profiles/ (custom), содержащий tuned.conf файл. Файл конфигурации группирует параметры по плагинам: [cpu], [disk], [sysctl], [vm], [bootloader]и так далее. Активируйте профиль, и демон tuned применит все параметры за один раз, вместо того чтобы запускать десятки sysctl и sysfs команд вручную.

Профили могут наследовать настройки друг от друга с помощью include . Например, throughput-performance профиль, например, может служить основой для пользовательского профиля базы данных, который переопределяет только vm.swappiness параметр «Transparent Huge Pages».

tuned работает в двух режимах. Статическая настройка применяет профиль один раз при активации и больше не вмешивается в работу системы, что подходит для производственных серверов, где стабильность работы важнее экономии энергии. Динамическая настройка отслеживает использование диска, сети и нагрузку в режиме реального времени и корректирует настройки на лету. Профили производительности по умолчанию отключают динамическую настройку, чтобы избежать накладных расходов на мониторинг.

Выбор подходящего профиля для вашей рабочей нагрузки

Tuned поставляется с дюжиной профилей, охватывающих наиболее распространённые рабочие нагрузки. Выбирайте тот профиль, который соответствует фактической задаче сервера, а не оставляйте balanced профиль по умолчанию.

Для определённых движков баз данных в составе Tuned также поставляются postgresql, mssql, а также oracle профили, которые позволяют добиться большего, чем throughput-performance за счёт настройки параметров общей памяти и планировщика ядра для этих движков.

На серверах с несколькими сокетами важна топология NUMA. Доступ к памяти удалённого узла может быть в два-три раза медленнее, чем локальный доступ. Для рабочих нагрузок, критичных к задержкам, на системах с двумя сокетами отключите автоматическую балансировку NUMA в профиле и вручную привяжите процессы к конкретным узлам.

Установка и применение профилей

Установите tuned на RHEL, Rocky, AlmaLinux или Fedora:

dnf install tuned
systemctl enable --now tuned

В Debian и Ubuntu пакет также называется tuned и устанавливается с помощью apt. Если power-profiles-daemon уже запущен, замаскируйте его, чтобы избежать конфликтов:

systemctl mask --now power-profiles-daemon

Выведите список доступных профилей, узнайте у tuned, что он рекомендует для данного оборудования, примените профиль и проверьте его работу:

tuned-adm list
tuned-adm recommend
tuned-adm profile throughput-performance
tuned-adm verify

Активный профиль сохраняется в /etc/tuned/active_profile и сохраняется после перезагрузки. Чтобы полностью отключить настройку и измерить базовые показатели, запустите tuned-adm off.

Создание пользовательского профиля для задач искусственного интеллекта, машинного обучения и рабочих нагрузок, требующих высокой пропускной способности

Если стандартные профили позволяют решить 90 % задачи, создайте пользовательский профиль, который унаследует настройки наиболее подходящего профиля и переопределит оставшиеся параметры. Начните с каталога и файла конфигурации:

mkdir -p /etc/tuned/ai-gpu
cat > /etc/tuned/ai-gpu/tuned.conf <<'EOF'
[main]
summary=Custom profile for GPU training with high-bandwidth networking
include=accelerator-performance
 
[cpu]
governor=performance
 
[sysctl]
kernel.numa_balancing=0
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
 
[vm]
transparent_hugepages=never
 
[bootloader]
cmdline=hugepagesz=2M hugepages=16384 <a target="_blank" rel="noopener noreferrer" href="https://en.wikipedia.org/wiki/Input%E2%80%93output_memory_management_unit">iommu</a>=pt
EOF
 
tuned-adm profile ai-gpu

Ключевые настройки здесь:

• numa_balancing=0 предотвращает перемещение ядром памяти между сокетами во время обучения — частая причина задержек на системах с двумя сокетами и графическими процессорами.
• Параметр rmem_max и tcp_rmem значения увеличивают максимальный размер буфера сокета до 256 МБ. При использовании межузловых соединений 25G, 40G или 100G между узлами обучения размеры буферов по умолчанию ограничивают пропускную способность значительно ниже скорости линии.
• transparent_hugepages=never удаляет колебания задержки, вызываемые THP в таких фреймворках, как PyTorch и TensorFlow, которые выделяют тензоры большого размера.
• iommu=pt переводит IOMMU в режим пропуска (passthrough), необходимый для пропуска GPU и сетевых карт (NIC), а также снижает накладные расходы при DMA на «голом железе».

Все, что указано ниже [bootloader] требует перезагрузки. После активации профиля запустите tuned-adm verify , чтобы убедиться, что параметры выполнения применены, и проверьте journalctl -u tuned на наличие ошибок. Проведите тестирование производительности до и после с помощью iostat -xz, numastatи соответствующим инструментом для нагрузочных тестов (iperf3, fioили фактический цикл обучения).

Стоит четко обозначить один компромисс: отключение средств защиты ЦП дает прирост производительности примерно на 3–8 % при нагрузках на графический процессор, но приводит к снижению производительности на 15–30 % при нагрузках с интенсивным использованием системных вызовов. Принимайте решение, исходя из модели угроз для данной системы. Внутри выделенного кластера для обучения, расположенного за брандмауэром, с математической точки зрения обычно выгоднее отключить эти средства защиты. На хосте с несколькими арендаторами оставьте их включенными.

Управление профилями в парке серверов

Применение `tuned` вручную перестаёт быть целесообразным, если количество серверов превышает несколько штук. Ansible решает эту задачу аккуратно. Один плейбук устанавливает `tuned` и создаёт каталоги с пользовательскими профилями в папке /etc/tuned/ с помощью template модуля, а также применяет нужный профиль для каждой группы инвентаризации.

Сопоставление профилей с ролями в инвентаре:

• Узлы с GPU и ИИ: accelerator-performanceили пользовательский профиль, наследующийся от него
• Серверы баз данных: throughput-performance или профиль, специфичный для движка
• Узлы CDN и пограничные узлы, передающие трафик с высокой пропускной способностью: network-throughput
• API-серверы и веб-серверы за балансировщиком нагрузки: network-latency
• VPS и гостевые системы KVM: virtual-guest
• Хосты гипервизора: virtual-host

Дрифт — это реальная эксплуатационная проблема. Ручные sysctl изменения, обновления пакетов, в которых используются новые значения по умолчанию, или вмешательство другого инструмента управления конфигурацией в работу tuned — всё это приведёт к расхождению настроек с тем, что указано в профиле. Запланируйте запуск задания Ansible tuned-adm active и tuned-adm verify запускаться по cron и настраивайте оповещения о сбоях. Следите /var/log/tuned/tuned.log строки «Verification failed».

Заключение

tuned устраняет большую часть догадок при настройке ядра и sysctl. Настройки по умолчанию вполне подходят для общего использования, а профили, ориентированные на конкретные рабочие нагрузки, такие как accelerator-performance, throughput-performance, и network-throughput позволяют добиться почти полной оптимизации без написания ни одного конфигурационного файла.

• Выберите наиболее подходящий стандартный профиль, запустите tuned-adm verify, а затем проведите тестирование производительности
• Создавайте собственные профили, наследуя их от стандартного профиля и переопределяя только то, что вам нужно
• Внимательно подходите к балансировке NUMA, использованию hugepages и размерам сетевых буферов на серверах с GPU и с высокой пропускной способностью
• Развертывайте с помощью Ansible и проводите аудит по расписанию, чтобы выявлять отклонения

Вам нужны ресурсы «bare-metal» с запасом пропускной способности, чтобы реально использовать эти настройки? Обратитесь в FDC по поводу выделенных серверов, созданных для высокопроизводительных и GPU-нагрузок.