Пояснення щодо використання 100 Гбіт/с: Реальні робочі навантаження, які виправдовують екстремальну пропускну здатність

Резюме та основні висновки

100 Гбіт/с - це не просто швидше, це усуває цілий клас вузьких місць. Якщо ви використовуєте доставку медіа, конвеєри штучного інтелекту або міжсайтовий аналіз, висхідна лінія зв'язку зі швидкістю 100 Гбіт/с перетворить крихкі, чутливі до затримок робочі процеси на передбачувані, повторювані операції.

• Впорається зі сплесками трафіку без дроселювання або буферизації
• Подача даних на кластери графічних процесорів на лінійній швидкості, що скорочує час навчання та завантаження
• Робить практичною міжконтинентальну реплікацію та аналітику в реальному часі

Де 100 Гбіт/с підходить найкраще

Доставка мультимедійного контенту та CDN

Події в прямому ефірі та вірусний контент можуть збільшити трафік від тисяч до сотень тисяч глядачів за лічені хвилини. Джерело зі швидкістю 100 Гбіт/с поглинає ці сплески, зберігаючи при цьому низький час запуску та високий бітрейт. Приватні з'єднання з вашою мережею CDN або окомірною мережею роблять витрати на вихід передбачуваними, а продуктивність - стабільною.

• Плавне відтворення HD і 4K у великих масштабах
• Достатньо простору для перекодування та обслуговування на тій самій площі, коли це необхідно

Штучний інтелект і конвеєри даних

Сучасні моделі вимагають багато даних. Переміщення багатотерабайтних шардів зі сховищ функцій до вузлів GPU може призвести до виснаження прискорювачів на повільних каналах зв'язку. Завдяки 100 Гбіт/с вхідні конвеєри не відстають від навчання, а розподілені завдання витрачають менше часу на блокування при обміні параметрами.

• Швидший час епохи та коротші цикли навчання від початку до кінця
• Менший час простою на дорогих прискорювачах

Реплікація та резервне копіювання даних

Точки відновлення зменшуються, коли ви можете швидко проштовхувати дельти. Регіональні копії, аналітичні озера та холодні архіви отримують вигоду від вікон високої пропускної здатності, особливо на вищих каналах RTT.

• Реплікація петабайтів у практичні вікна обслуговування
• Скоротіть кількість точок відновлення та час відновлення

Взаємозв'язок між підприємством і хмарою

Гібридні архітектури покладаються на стабільні потоки великих обсягів даних. Швидкість 100 Гбіт/с з наростаючою швидкістю згладжує масові міграції, телеметрію в реальному часі та трафік для спільної роботи, забезпечуючи стабільну продуктивність для обміну даними між мікросервісами та кешами.

• Передбачувана передача великих обсягів даних у хмару та з хмари
• Зменшення хвостової затримки для розподілених систем, що працюють в чаті

Швидкі математичні розрахунки для планування пропускної здатності

Дані на зворотному боці конверта допомагають визначити очікування. Враховуйте кодек, протокол і накладні витрати.

• 4K зі швидкістю 20 Мбіт/с на 100000 Мбіт/с дає близько 5000 одночасних глядачів
• 4K зі швидкістю 25 Мбіт/с - близько 4000 глядачів
• 8K зі швидкістю 80 Мбіт/с - близько 1250 глядачів
• Ідеальна швидкість для масового копіювання становить близько 12,5 ГБ в секунду, набір даних об'ємом 3 ТБ може переміщатися приблизно за 4-6 хвилин після накладних витрат

Вибір рівня каналу зв'язку

• 10 Гбіт/с, близько 1,25 ГБ на секунду, підходить для невеликих VOD, нічного резервного копіювання, лабораторних кластерів
• 40 Гбіт/с, близько 5 ГБ на секунду, підходить для регіональних вузлів CDN, середніх ферм графічних процесорів, швидшого аварійного відновлення
• 100 Гбіт/с, близько 12,5 ГБ на секунду, підходить для глобальних подій, великого навчання та висновків ШІ, реплікації в петабайтному масштабі

Підготовка виробництва

Надійна продуктивність 100 Гбіт/с досягається завдяки комплексному налаштуванню, а не окремим портам.

Мережевий стек і мережеві карти

Налаштуйте tcprmemі tcpwmemналежним чином, протестуйте BBR і CUBIC, а також врахуйте jumbo-кадри на всьому шляху. Увімкніть RSS, RPS, RFS, GRO та GSO, якщо це допоможе. Налаштуйте об'єднання переривань, закріпіть IRQ і переконайтеся, що ваша мережева карта має достатню кількість смуг PCIe, щоб підтримувати лінійну швидкість.

Шлях даних і процеси

Розділіть томи NVMe, виберіть файлові системи, які добре обробляють паралельний ввід/вивід, і розділіть великі передачі між кількома працівниками, а не в один потік. Для спеціалізованих випадків використовуйте io_uring або DPDK, щоб зменшити накладні витрати.

Спостережуваність і розміщення

Побудуйте графік залежності продуктивності від швидкості лінії, ретрансляцій, глибини черги та часу softirq процесора. Тестуйте на реалістичних RTT. Розміщуйте робочі навантаження в приміщеннях з відповідними одноранговими пристроями та IXP, уникайте "шпилькових" маршрутів і надавайте перевагу прямим з'єднанням з хмарами та партнерами для забезпечення стабільної продуктивності.

Відео: Мережевий комутатор за $15 000 - мережа 100GbE

Дивіться тут: https://www.youtube.com/watch?v=18xtogjz5Ow

Висновок

100 Гбіт/с перетворює раніше непрактичні завдання на рутинні операції. Це дозволяє безперебійно обслуговувати великі аудиторії, швидко завантажувати графічні процесори та реплікувати дані по всьому світу в реалістичні терміни.

• Масштабність і надійність для непередбачуваного навантаження
• Скорочення циклів штучного інтелекту та ETL завдяки вищій швидкості поглинання
• Краща економічність, коли пропускна здатність не вимірюється і є передбачуваною

Зверніться довідділу продажів, щоб узгодити робоче навантаження зі швидкістю порту, місцезнаходженням і пірингом.