輻輳認識型 ECMP · フローレット · RoCEv2

ダイナミックロードバランシング：AI Fabric向けの輻輳認識型の経路選択

AI ファブリックでは、静的ハッシュのECMPではなくDynamic Load Balancingを使用します。 DLBは、ライブなASIC出力キュー深度およびポート利用率のテレメトリを用いて、パケット間ギャップで区切られたサブフローのまとまりであるフローレットごとに経路を再評価するため、GPUのコレクティブが単一のアップリンク上で衝突しなくなります。Broadcom Tomahawk 4および5のスイッチASIC内で動作し、NICやコレクティブライブラリの変更は不要です。

技術デモをリクエスト AI ファブリック設計スイートを開く

フローレット単位輻輳認識型の経路選択

TH4 + TH5Broadcom Tomahawk 25.6T／51.2T

NIC変更ゼロスイッチASIC内で動作

PLUSOcNOS-DC ライセンスティア

leaf-spine ファブリック上の動的ロードバランシング

GPUのAllReduceトラフィックを運ぶ、4 spine・2 leafのスライス。DLBはローカルな出力キュー深度をリアルタイムで測定します。Spine-3が飽和すると、leafは次のフローレットをより負荷の低いspineへ再割り当てし、4本すべてのアップリンクのバランスを保ちます。

静的ECMPとDLBを、軸ごとに比較

標準的なECMPはフロー開始時に5タプルをハッシュし、そのフローを寿命の間ピン留めします。north-southのWebトラフィックでは、数百万の短命なフローが経路間の利用率を平準化します。AI ファブリックでは、それぞれが400Gまたは800Gのアップリンク全体を数秒間占有する少数のGPUエレファントフローがハッシュ衝突を引き起こします。一部のアップリンクが飽和する一方で、並列経路が遊休状態になるのです。DLBはライブなASICテレメトリを用いてフローレットごとに経路を再評価します。

観点	静的 ECMPハッシュしてピン留め	DLB輻輳認識型、フローレット単位
経路の決定	フロー開始時に5タプルを一度だけハッシュし、そのフローを寿命全体にわたってピン留めします。	フローレットの境界ごとに経路を再評価し、トラフィックをより輻輳の少ないアップリンクへ移動します。
粒度	フロー全体。単一のハッシュ選択が数秒間のエレファントフロートラフィックを支配します。	フローレット。小さなパケット間ギャップで区切られたサブフローのまとまりで、並べ替えなしに再割り当てしても安全です。
輻輳シグナル	なし。ハッシュはリアルタイムのリンク状態を認識しません。	ライブな ASIC 出力キュー深度およびポート利用率のテレメトリ。
GPUエレファントフロー下では	ハッシュ衝突。2つのエレファントが1本のアップリンクに集中し、別のアップリンクが遊休状態になり得ます。	飽和したメンバーは候補セットから外れるため、アップリンクはバランスを保ちます。
並べ替えのリスク	なし。フローはピン留めされますが、ホットスポットとテールレイテンシの外れ値という代償を伴います。	実際上なし。パケット間ギャップにより、RoCEv2とTCPは正しい順序どおりの配送を受け取ります。
NIC／コレクティブライブラリ	変更なし。標準的な動作。	変更なし。スイッチASIC内で動作するため、RoCEv2 NICとxCCLスタックはそのまま。
ハードウェア	ECMP対応の任意のスイッチ。	64x400Gおよび64x800G構成のBroadcom Tomahawk 4（25.6T）およびTomahawk 5（51.2T）。

OcNOS の DLB 実装

DLB はコントロールプレーンへの後付けではありません。Broadcom のフォワーディングパイプライン内で動作し、ライブな輻輳シグナルからすべての ECMP ネクストホップをスコアリングし、ハードウェアでフローレットを再割り当てします。

フローレット検出

フローレットギャップタイマー

ASIC ネイティブのフローレット無活動タイマーが、長いエレファントフローを、TCP や RoCEv2 の並べ替えなしに経路間へスプレーしても安全なまとまりに分割します。

経路品質

キュー深度のリアルタイムフィードバック

DLBはTomahawkパイプラインから出力ポート単位のキュー占有率とリンク使用率のシグナルを取得し、すべてのECMPネクストホップをリアルタイムでスコアリング。

再割り当て

輻輳認識型ネクストホップ選択

各フローレットの境界で最も品質の高いメンバーが選択されるため、飽和したスパインは候補セットから外れます。

ハードウェア

TH4 / TH5 ネイティブ

Broadcom Tomahawk 4（25.6T）および Tomahawk 5（51.2T）の spine プラットフォーム上、64x400G および 64x800G のポート構成で認定済み。

DLBがファブリック内で位置する場所

DLB は、より大きなオープン Ethernet トランスポートにおける、シングルホップかつ輻輳を認識するレイヤーです。ロスレス RoCEv2 の上で動作し、OcNOS 7.1 で提供予定のファブリック全体の GLB がこれをエンドツーエンドのスコアリングへと拡張します。

その下の無損失トランスポート

DLBは次の上でフローレットを再割り当てします RoCEv2ロスレスファブリック（PFC、ECN、DCQCN）。

RoCEv2ロスレスファブリック

次はファブリック全体のスコアリング

DLBがローカルなネクストホップをスコアリングするのに対し、 GLB（OcNOS 7.1）は、その決定をleaf-spine ファブリック全体にわたるエンドツーエンドの経路品質へと拡張します。

GLB によるファブリック全体のロードバランシング

NIC における同じ発想

Ultra Ethernet は、パスの分散を NIC に持ち込みます。パケットスプレーとマルチパス RDMA により、UEC 対応 NIC から 1 つのフローを多数のパスに分散します。

Ultra Ethernet（UEC）

本番 AI ファブリックにおける DLB の提供価値

静的 ECMP が過負荷にする輻輳したアップリンクからフローレットを引き離すことで、DLB は対称型 leaf-spine ファブリックを、GPU コレクティブトラフィック下でも均衡を保つファブリックへと変えます。

より高い使用率。 フローレットの再バランスにより、静的 ECMP が過負荷にする輻輳したアップリンクからトラフィックを引き離すため、適切に運用されたファブリックは同じハードウェア上で、追加のアップリンクを購入することなく 90 percent を超える利用率を目標にできます。
より低いテール遅延。 他のリンクがアイドル状態のまま単一リンクが飽和することがないため、コレクティブ完了時間が短縮されます。
NICの変更不要。 DLB はスイッチ ASIC 内で動作します。既存の RoCEv2 NIC と xCCL（NCCL、RCCL、oneCCL）コレクティブスタックは、コード変更なしに正しい順序どおりの配送を受け取ります。
PLUSティア。 DLBはOcNOS-DC PLUSのSKUに含まれ、OcNOS-DCのほかの機能と同じサポート契約で提供されます。

動的ロードバランシングは Ethernet AI ファブリックの必須要件

静的 ECMP は南北方向の Web トラフィック向けに作られました。ファブリックが GPU コレクティブを運ぶようになると、動的ロードバランシングは均衡したアップリンクと停止したトレーニングジョブとを分ける決め手となり、OcNOS は本日オープンハードウェア上でそれを提供します。

ECMP だけでは不十分

ごく少数のエレファントフローが静的ハッシングを破綻させます。ハッシュ衝突により、一部のアップリンクが飽和する一方で並行するパスは遊休状態のままとなります。

DLB がルーティングのギャップを埋める

フローレット単位で輻輳を認識したパス選択により、Ethernet ファブリックはコレクティブトラフィック下でも均衡を保ちます。これは InfiniBand が優位性を持っていた軸のひとつです。

OcNOS がイネーブラー

現在は DLB、OcNOS 7.1 では GLB。Edgecore や UfiSpace といったベンダーの認定済みオープンハードウェア上のひとつの NOS で、NIC や集合通信ライブラリの変更は不要です。

ダイナミックロードバランシングにお答えします

flowlet とは何であり、DLB はなぜそれを使用するのですか。

flowlet とは、パケット間のわずかな間隙によって区切られたサブフロー単位のかたまりです。DLB はフロー全体を固定するのではなく、各 flowlet の境界で経路を再評価します。これにより、RoCEv2 や TCP の並べ替えを引き起こすことなく、トラフィックをより輻輳の少ないアップリンクへ移すことができます。

DLB は静的な ECMP とどのように異なりますか。

静的 ECMP はフロー開始時に 5-tuple をハッシュ化し、そのフローを存続期間中固定するため、2 つの GPU エレファントフローが 1 つのアップリンク上で衝突する一方、別のアップリンクは遊休状態のままとなり得ます。DLB はライブのキュー深度とポート利用率を用いてすべてのネクストホップをリアルタイムでスコアリングし、フローレットを最適なパスへと再バインドします。

DLBには、新しいNICや集合演算ライブラリの変更が必要ですか。

いいえ。DLB はスイッチの ASIC 内で動作するため、既存の RoCEv2 NIC および xCCL（NCCL、RCCL、oneCCL）の集合演算スタックは、コード変更なしで正しい順序どおりの配信を得られます。

どのハードウェアが OcNOS DLB をサポートしていますか。

DLB は、64x400G および 64x800G 構成の Broadcom Tomahawk 4（25.6T）および Tomahawk 5（51.2T）プラットフォーム、ならびに Trident 3（X4、X5、X7）および Trident 4 プラットフォームでサポートされています。DLB は OcNOS-DC PLUS の SKU に含まれ、IPBASE には含まれません。