100 Gbpsユースケースの説明：極端な帯域幅を正当化する実際のワークロード

要約と主な要点

100Gbpsは単に速いだけでなく、さまざまなボトルネックを解消します。メディア配信、AIパイプライン、クロスサイトアナリティクスを実行する場合、100Gbpsのアップリンクは、壊れやすく遅延に敏感なワークフローを、予測可能で再現性のあるオペレーションに変えます。

• スロットリングやバッファリングなしでトラフィックの急増に対応
• GPUクラスタにラインレートでフィードし、トレーニングとインジェストを短縮
• クロスコンティネントレプリケーションとリアルタイムアナリティクスを実用化

100Gbpsが最適な場所

メディア配信とCDNの起点

ライブイベントやバイラルコンテンツは、数分で数千から数十万の視聴者にトラフィックをプッシュします。100 Gbpsオリジンは、起動時間を短縮し、ビットレートを高く保ちながら、このようなサージを吸収します。CDNまたはアイボールネットワークへのプライベートインターコネクトにより、イグレスのコストを予測し、パフォーマンスを安定させます。

• HDおよび4Kのスムーズな再生が大規模に可能
• 必要なときに同じフットプリントでトランスコードと配信ができる十分なヘッドルーム

AIとデータパイプライン

最新のモデルはデータを大量に消費します。数テラバイトのシャードをフィーチャーストアからGPUノードに移動させると、低速リンクのアクセラレータが飢餓状態に陥る可能性があります。100Gbpsなら、入力パイプラインはトレーニングに追いつき、分散ジョブはパラメータ交換のためにブロックされる時間を減らすことができます。

• より高速なエポックタイムとエンド・ツー・エンドのトレーニングサイクルの短縮
• 高価なアクセラレーターのアイドル時間の短縮

データのレプリケーションとバックアップ

デルタを迅速にプッシュすることで、リカバリポイントが縮小します。リージョナルコピー、アナリティクスレイク、コールドアーカイブはすべて、特にRTTの高いリンクで高いスループットウィンドウの恩恵を受けます。

• 実用的なメンテナンスウィンドウでペタバイトをレプリケート
• リカバリポイントとリカバリ時間の目標を削減

エンタープライズとクラウドの相互接続

ハイブリッド・アーキテクチャは、安定した大容量フローに依存しています。100Gbpsのオンランプは、マイクロサービスのチャッターとキャッシュのための一貫したパフォーマンスで、バルクの移行、リアルタイムの遠隔測定、およびコラボレーションのトラフィックをスムーズにします。

• クラウドとの予測可能な大規模転送
• チャッティーな分散システムのテールレイテンシーを低減

キャパシティプランニング

予想されるキャパシティを設定するのに役立ちます。コーデック、プロトコル、オーバーヘッドを調整します。

• 100000 Mbpsで20 Mbpsの4Kは、約5000人の同時視聴者をもたらす。
• 25Mbpsの4Kの場合、視聴者数は約4000人
• 80Mbpsで8Kの場合、視聴者数は約1250人
• バルクコピーの理想的なレートは毎秒約12.5GBで、3TBのデータセットはオーバーヘッドを考慮するとおよそ4～6分で移動できます。

リンク層の選択

• 10 Gbps、毎秒約1.25 GB、小規模VODオリジン、毎晩のバックアップ、ラボクラスタに最適
• 40 Gbps、毎秒約5 GB、地域CDNノード、中規模GPUファーム、高速ディザスタリカバリに最適
• 100 Gbps、毎秒約12.5 GB、グローバルイベント、大規模AIのトレーニングと推論、ペタバイトスケールのレプリケーションに最適

本番環境への準備

堅牢な100Gbpsのパフォーマンスは、ポート単体ではなく、エンド・ツー・エンドのチューニングによってもたらされる。

ネットワークスタックとNIC

tcprmemとtcpwmemを適切に設定し、BBRとCUBICをテストし、フルパスでジャンボフレームを考慮する。RSS、RPS、RFS、GRO、GSO を有効にしてください。割り込みの合体、ピンのIRQを調整し、NICがラインレートを維持するのに十分なPCIeレーンを持っていることを確認する。

データパスとプロセス

NVMeボリュームをストライピングし、パラレルI/Oをうまく処理するファイルシステムを選択し、大きな転送を単一のストリームではなく複数のワーカーに分割します。特殊なケースでは、io_uringやDPDKを評価してオーバーヘッドを削減する。

観測可能性と配置

回線レート、再送、キューの深さ、CPUのsoftirq時間に対するgoodputをグラフ化する。現実的なRTTでテスト。ワークロードを適切なピアやIXPのある施設に配置し、ヘアピン・ルートを避け、クラウドやパートナーへのダイレクト・インターコネクトで安定したパフォーマンスを実現する。

ビデオ15,000ドルのネットワークスイッチ - 100GbEネットワーキング

こちらをご覧ください: https://www.youtube.com/watch?v=18xtogjz5Ow

結論

100Gbpsは、以前は非現実的だったタスクを日常業務に変えます。大観衆にスムーズにサービスを提供し、GPUに高速でフィードし、現実的なウィンドウ内でグローバルにデータを複製することができます。

• 予測不可能な負荷に対する拡張性と信頼性
• 高いインジェストレートによるAIとETLサイクルの短縮
• 帯域幅が無制限で予測可能なため、経済性が向上

お客様のワークロードをポート速度、ロケーション、ピアリングに対応させるには、営業担当までお問い合わせください。