Как настроить Jumbo Frames в Linux

Jumbo-кадры - это кадры Ethernet с полезной нагрузкой, превышающей стандартное MTU в 1 500 байт. Установка MTU на 9 000 байт уменьшает накладные расходы на каждый пакет и прерывания процессора, что означает, что большая часть вашей полосы пропускания идет на фактические данные. Это особенно важно для высокопроизводительных каналов, таких как частные интерконнекты, каналы репликации данных между объектами и выделенные сети хранения. В этом руководстве описаны проверка оборудования, настройка основных дистрибутивов и тестирование.

Почему важны Jumbo Frames

Каждый кадр Ethernet содержит 18-байтовый заголовок, независимо от размера полезной нагрузки. При MTU в 1 500 байт эти накладные расходы составляют около 1,2% вашего трафика. Если увеличить MTU до 9 000, то накладные расходы снизятся примерно до 0,2 %. Меньшее количество пакетов также означает меньшее количество прерываний процессора, освобождая циклы для реальной работы приложений.

На практике в высокопроизводительных локальных сетях пропускная способность увеличивается на 5-10 %. В выделенных сетях хранения данных (iSCSI, NFS) часто наблюдается от 10 до 30 %. Кластеры GPU, выполняющие рабочие нагрузки AI/ML, также выигрывают, поскольку большие наборы данных перемещаются между узлами с меньшей сегментацией. Для сред с GPU-ускорением обычно рекомендуется MTU 8 896.

Загвоздка в том, что джамбо-кадры работают только на путях, которые вы полностью контролируете. Каждое устройство между источником и пунктом назначения, включая сетевые карты, коммутаторы и маршрутизаторы, должно поддерживать больший MTU. Один неверно настроенный прыжок - и вы получите фрагментацию или молчаливое падение пакетов. Для интерфейсов, выходящих в Интернет, придерживайтесь значения 1 500.

Проверка совместимости оборудования

Прежде чем что-то менять, убедитесь, что все устройства на вашем сетевом пути поддерживают jumbo-кадры.

Проверьте текущие настройки MTU:

ip link show | grep mtu

Проверьте, принимает ли ваша сетевая карта большее MTU:

sudo ip link set eth0 mtu 9001

Если вы получаете сообщение SIOCSIFMTU: Invalid argument, сетевая карта не поддерживает jumbo frames. Вы также можете проверить возможности разгрузки с помощью:

ethtool -k eth0 | grep -i large

Конфигурация коммутатора имеет не меньшее значение. Разные производители требуют немного разных значений MTU для учета заголовков второго уровня. Коммутаторам Cisco обычно требуется 9 216. Коммутаторы Arista используют 9 214. Проверьте документацию к коммутатору и настройте его соответствующим образом.

Если вы используете виртуальные локальные сети, тегирование виртуальных локальных сетей добавляет 4 байта накладных расходов. Родительский интерфейс, настроенный на MTU 9 000, поддерживает MTU VLAN 8 996. Если для интерфейса VLAN требуется полный MTU 9 000, установите для родительского интерфейса значение 9 004.

Настройка MTU в Linux

Установите MTU временно, чтобы проверить, что все работает:

sudo ip link set eth0 mtu 9000
ip link show eth0 | grep mtu

Это вступает в силу немедленно и не требует перезагрузки. Для связанных интерфейсов установите MTU на самом связанном интерфейсе. Он автоматически распространяется на сетевые карты участников.

Сделать его постоянным

Метод зависит от вашего дистрибутива и сетевого менеджера.

Для Netplan используйте sudo netplan try после редактирования. Она применит конфигурацию и автоматически вернется, если вы не подтвердите ее в течение двух минут, что является полезной мерой безопасности на удаленных серверах. Для NetworkManager выполните команду:

nmcli connection modify "Eth0" 802-3-ethernet.mtu 9000
nmcli connection up "Eth0"

После сохранения изменений перезагрузитесь и проверьте с помощью ip link show, чтобы убедиться, что MTU сохранился.

Тестирование и устранение неполадок

Сервер, настроенный на MTU 9 000, все равно может потерпеть неудачу при передаче больших пакетов, если какое-либо устройство на пути не соответствует. Маленькие пакеты могут работать нормально, в то время как большие отбрасываются без звука. Всегда проверяйте сквозное тестирование.

Проверка поддержки Jumbo Frame

Отправьте полноразмерный пакет с отключенной фрагментацией:

ping -M do -s 8972 <destination_ip>

Размер полезной нагрузки 8 972 учитывает 28-байтовые заголовки IP и ICMP. Если пинг прошел успешно, то полный путь поддерживает MTU 9 000. Если вы видите сообщение "Пакет должен быть фрагментирован, но установлен DF" или "Сообщение слишком длинное", значит, что-то в пути имеет меньшее MTU.

Чтобы найти, где именно обрывается путь:

tracepath -n <destination_ip>

Здесь сообщается максимальное MTU в каждом хопе, так что вы можете определить, какое устройство нуждается в перенастройке.

Измерение пропускной способности

Используйте iperf3 для сравнения производительности до и после:

iperf3 -c <destination_ip> -t 30 -M 8960

Сначала проведите тот же тест с MTU по умолчанию, а затем снова после включения джамбо-кадров. Вы должны заметить ощутимое улучшение пропускной способности и снижение нагрузки на процессор при работе с большими объемами памяти.

Чтобы убедиться в целостности пакетов во время реальной передачи, проверьте счетчики пересборки на принимающей стороне:

nstat -az IpReasm*

Если счетчики остаются на нуле, значит, фрагментации не происходит.

Распространенные проблемы

• Несоответствие MTU: Самая распространенная проблема. Каждому устройству на пути нужен одинаковый (или более высокий) MTU. Один порт коммутатора, настроенный на 1500, сломает все.
• Забытые накладные расходы VLAN: Тегирование VLAN добавляет 4 байта. Если интерфейсу VLAN требуется MTU 9 000, установите родительское значение 9 004.
• MTU бонда установлено на членах: Всегда устанавливайте MTU на интерфейсе связи, а не на отдельных сетевых картах.
• Аппаратное ограничение сетевой карты: Некоторые старые сетевые карты имеют ограничение ниже 9 000. Для проверки выполните ethtool -k <интерфейс> | grep -i large.

Заключение

Jumbo-кадры - это простой способ повысить пропускную способность и снизить нагрузку на процессор во внутренних сетях. Сама конфигурация проста. Самое сложное - убедиться, что все устройства на пути поддерживают увеличенное MTU, поэтому тестирование имеет большее значение, чем этап настройки.

Используйте джамбо-кадры для сетей хранения, миграции виртуальных машин, резервного копирования и любого внутреннего трафика с высокой пропускной способностью, где вы контролируете весь путь. Для интерфейсов, выходящих в Интернет, оставьте стандартный MTU 1 500 байт.

Инфраструктура VPS и выделенных серверов FDC поддерживает jumbo-кадры в частных виртуальных локальных сетях, что делает ее подходящей для этих рабочих нагрузок.