GPU クラスター向けロスレス 800G Ethernet ファブリック

OcNOS AI Fabric は、IP Infusion が提供する完全な AI ファブリックです。Edgecore または UfiSpace の認定済み 800G および 400G Broadcom Tomahawk スイッチに OcNOS-DC をプリロードし、ロスレス RoCEv2、ダイナミックロードバランシング、PFC デッドロックの検出と回復を、1 つのサポート契約で提供します。NIC と GPU は引き続きお客様が選べます。

900+OcNOS を運用する事業者
60+か国
18認定済み OcNOS-DC スイッチ
レール最適化 AI ファブリックのライブビュー2 台の Tomahawk 5 スパインが 4 台のレールリーフに接続します。各 GPU サーバーは、各レールリーフに NIC を 1 つずつ接続します。同一レールのトラフィックはリーフ内で完結し、レールをまたぐトラフィックはスパインを経由します。スパインレールリーフGPU サーバーTomahawk 5 · 800G
各 GPU NIC は専用のレールを使用します。同一レールのトラフィックはリーフ内で完結し、レールをまたぐトラフィックはスパインを経由します。
最適な用途
NICとGPUを自由に選択し、ロスレスな800Gまたは400G EthernetでGPUクラスターを構築するチーム。
認定済み機種
Edgecore AIS800-64DUfiSpace S9321-64EEdgecore AS9736-64D

GPU ファブリックに求められる要件

AI ファブリックとは、GPU サーバーを接続する Ethernet ネットワークです。RoCEv2 トラフィックを損失なく転送し、すべてのリンクを有効に使い続ける必要があります。パケットが 1 つ失われると NIC が再送する間コレクティブが停止し、リンクが 1 本輻輳するとトレーニングジョブ全体が遅れるためです。

トレーニングジョブを停滞させるトラフィックパターンは 3 つあります。OcNOS-DC はそれぞれに対策を備えています。

トラフィックも 4 本のアップリンクも同じです。異なるのはフローの配置方法です。

アップリンク 1
アップリンク 2
アップリンク 3
アップリンク 4

静的 ECMP はハッシュによって大きなフローを 1 本のアップリンクに固定するため、2 本のアップリンクが混雑し、残りの 2 本はほとんど使われません。

説明用の図です。

すべての GPU が同時に通信する
静的 ECMP は大きなフローを 1 本のアップリンクに固定するため、一部のリンクが混雑し、他のリンクは使われないままになります。
→ DLB は、輻輳したアップリンクから負荷の低い経路へフローレットを移します。
DLB の仕組み →
バーストが 1 つのポートに集中する
多数の送信元が数マイクロ秒以内に 1 つのポートへ到達します。
→ ECN マーキング は、バッファが埋まる前に DCQCN 対応 NIC へ送信レートを下げるよう通知します。
→ PFCデッドロックの検出と回復 は、停止したキューを自動的に解消します。
DCQCN の仕組み →
1 回のドロップでジョブが停滞する
失われたデータは NIC が再送する必要があるため、1 回のドロップでコレクティブが停滞します。
→ PFC と ECN により、RoCEv2 トラフィックをロスレスに保ちます。
RoCEv2 の仕組み →

OcNOS 7.1 で提供予定の GLB は、ファブリック全体で負荷を分散します。 GLB について →

各 GPU NIC を専用のレールに

各 GPU サーバーは、8 台のレールリーフそれぞれに NIC を 1 つずつ接続します。同一レールの AllReduce はリーフ内で完結し、レールをまたぐトラフィックのみが 800G Tomahawk 5 スパインに到達します。ポッドは同じスイッチで拡張できます。

レール最適化 AI ファブリックトポロジー：8 台のレールリーフの上位に 4 台の 800G Tomahawk 5 スパインを配置し、4 台の GPU サーバーがそれぞれ 8 つの NIC を別々のレールリーフに 1 つずつ対応させるため、レール内の AllReduce は 1 台のリーフ内にとどまります。
レール最適化シングルポッド：各 GPU サーバーの 8 つの NIC がレールごとに 1 つずつ 8 台の専用リーフに対応するため、同一レールの AllReduce はリーフ内にとどまり、レールをまたぐトラフィックだけがスパインに到達します。

1,024 GPU の rail-optimized ファブリックを、スイッチ単位で詳しく解説します。ポート計算、構成部品数、4,096 GPU 以上へのスケーリング、プラットフォームと OcNOS-DC エディション、そして RoCEv2 ロスレスの開始プロファイルを扱います。

AIファブリックリファレンスデザインを入手 リファレンストポロジを見る →

技術概要

ファブリックで OcNOS-DC が実行する機能です。詳細はリンク先をご覧ください。

OcNOS-DC 7.0 時点。出典（2026 年 10 月に確認）：OcNOS 機能マトリクス（データセンタープラットフォーム）、ハードウェア互換性リスト、AI Fabric リファレンスデザイン。

OcNOS-DC AI ファブリック技術概要
領域 OcNOS-DC 詳細解説
シリコン OcNOS AI Fabric は現在、AI のリーフとスパインに Broadcom Tomahawk 5 と Tomahawk 4 をサポートしています。Tomahawk 6 のサポートは OcNOS 7.2 で予定されています。出典：ハードウェア互換性リスト、Tomahawk 6 ページ シリコン →
ロスレストランスポート 優先度ごとの PFC、ECN マーキング、ETS による RoCEv2。ルーティング境界をまたぐ PFC over L3。出典：機能マトリクス（PFC with QoS、PFC over L3、ECN、ETS） RoCEv2 →
輻輳制御 DCQCN 対応 NIC 向けの ECN マーキング、Tomahawk 5 での Dynamic ECN。スイッチのパケットバッファ調整。出典：機能マトリクス（ECN、Dynamic ECN、スイッチパケットバッファチューニング） DCQCN →
ロードバランシング Tomahawk 4 および 5 での動的ロードバランシング（DLB）、RoCEv2 の宛先 QP ハッシュ、Tomahawk 5 での Reactive Path Rebalance。OcNOS 7.1 で提供予定の GLB により、ファブリック全体に拡張されます。出典：機能マトリクス（DLB、DLB Reactive Path Rebalance）、OcNOS-DC システム管理ガイド、GLB ページ DLB →
デッドロック保護 PFC デッドロックの検出と回復。出典：機能マトリクス（PFC デッドロックの検出と回復） PFC デッドロック →
サーバー設定 DCBX は、LLDP を介してリンク相手と PFC および ETS の設定を交換します。出典：機能マトリクス（DCBX、PFC over L3 用 DCBX）
テレメトリ OpenConfig モデルによる gNMI ストリーミング：on-change、dial-in、dial-out。出典：機能マトリクス（gNMI のダイヤルイン、ダイヤルアウト、on-change、OpenConfig モデル） テレメトリ →
自動化 IPv4 および IPv6 での ZTP。Day 0 から Day 2 までの Ansible プレイブック。NETCONF 経由の IP Maestro。出典：機能マトリクス（IPv4 と IPv6 での ZTP、Ansible、NETCONF） 自動化 →
AIエージェント gNMIテレメトリ、YANGモデル対応のNETCONF、自動切り戻し付きのcommit confirmedにより、AIエージェントとAIOpsツールがファブリックを読み取り、変更し、ロールバック可能。出典：機能マトリクス（NETCONF confirmed commit、CLI commit confirmed） AIエージェント →
トポロジー レールのみ、レール最適化 2 階層、レール最適化 3 階層。出典：AI Fabric リファレンスデザイン（2026 年 10 月） トポロジ →
規模 Tomahawk 5 では、2 階層で 4,096 GPU まで（GPU あたり 800G）。3 階層で 16,384 GPU まで。 Reference-design ceilings from Clos radix math, not measured figures.出典：AI Fabric リファレンスデザイン（2026 年 10 月） 規模設計 →
Ultra Ethernet IP Infusion は Ultra Ethernet Consortium のメンバーです。出典：Ultra Ethernet ページ UEC →

スケールアクロス：複数の建物にまたがる1つのGPUクラスター

大規模GPUクラスターは1棟の建物で供給できる以上の電力を必要とするため、事業者は複数の建物やサイトのファブリックを1つのクラスターに統合しています。各サイトのスパインはOcNOS-DCが、リージョン間のディープバッファルーターはOcNOS-SPが担います。

スパインポートに挿すコヒーレント光モジュール

認定済みのTomahawk 4およびTrident 4スイッチでは、OcNOS-DCが400G ZR/ZR+に対応します。Tomahawk 5のEdgecore AIS800-64DおよびUfiSpace S9321-64Eでは、800G ZR/ZR+に対応します。スパインはトランスポンダーシェルフもマックスポンダーシェルフもなしでOLS / ROADMに直接接続します。

コヒーレントDCIの仕組み

ルーテッドリンク上の輻輳シグナル

ECNマーキングは認定済みの全18機種のOcNOS-DCスイッチのルーテッドインターフェースで動作するため、DCQCN対応NICは建物間のルーテッドリンクでも輻輳を検知できます。BGPセッション上のBFDが経路障害を検知します。

DCQCNの仕組み

リージョン間のディープバッファルーター

リージョン間では、OcNOS-SPがSR-MPLS、EVPN、BGPを備えたディープバッファのJericho 2C+およびQumran 2Cルーター上で動作します。7機種のOcNOS-SPルーターが400G ZR/ZR+に対応します。

プラットフォーム別のZR対応を見る

OcNOS AI Fabric が対象外とすること

これらの範囲を把握しておくと、クラスターのほかの部分を計画しやすくなります。

InfiniBand
Ethernet ファブリックです。InfiniBand のスイッチングは行いません。
コレクティブ通信
担当するのはスイッチ側です。コレクティブライブラリ（xCCL：NCCL、RCCL、oneCCL）と RDMA エンドポイントは NIC とホストで動作し、ジョブの配置はクラスタースケジューラーが行います。
スケールアップ
サーバー間を接続します。サーバーやラック内部の GPU 間リンク（スケールアップリンク）はファブリックの範囲外です。
Ultra Ethernet
現在は RoCEv2 で動作します。Ultra Ethernet トランスポートは UEC 対応 NIC 上で動作します。IP Infusion は Ultra Ethernet Consortium のメンバーです。
Tomahawk 6 と GLB
Tomahawk 6 はまだサポートされていません。OcNOS-DC でのサポートは OcNOS 7.2 で予定されています。GLB は OcNOS 7.1 で提供予定です。
Tomahawk 5 のみ
Dynamic ECN と Reactive Path Rebalance は Tomahawk 5 スイッチでのみ動作します。
GPU 数
このページの GPU 数は、Clos のラディックス計算に基づくリファレンスデザイン上の上限であり、実測値ではありません。GPU 側の光モジュールとケーブルは数に含みません。

GPU 数に合わせた規模設計

クラスタ規模を選ぶと、それに必要なファブリックを確認できます。その後 Design Suite で、リンク、トランシーバ、ケーブルの数を含めて自社の構成を設計できます。

スパインレールリーフGPU サーバー123456781234567812345678123456781-3233-6465-9697-128
Broadcom Tomahawk 5 による 1,024 GPU の rail-optimized ポッドは、リーフスイッチ 32 台とスパインスイッチ 16 台、合計 48 台を使う 1:1 ノンブロッキング構成です。各リーフは 32 台のサーバーからそれぞれ 1 つの NIC を収容するため、同じレールのトラフィックはリーフ内にとどまります。これらは Clos のラディックス計算に基づくリファレンスデザイン上の数値であり、実測値ではありません。
  • スパイン 16 台、各 64 × 800G。
  • リーフ 32 台、各 32 × 800G のダウンリンク（GPU ごとに 2 × 400G に分割）と 32 × 800G のアップリンク。
  • サーバー 128 台、各 GPU 8 基と NIC 8 枚。

1,024 GPU

32
リーフ
16
スパイン
48
スイッチ

2 階層

Tomahawk 5 による rail-optimized リファレンスデザインです。GPU 数は Clos のラディックス計算に基づくリファレンスデザイン上の上限であり、実測値ではありません。

AI Fabric Design Suite を開く アーキテクチャレビューをご予約ください

認定済みの 800G および 400G スイッチ

Edgecore と UfiSpace の Tomahawk 5 leaf / spine、および Tomahawk 4 leaf。

Edgecore AIS800-64D 800G スパインスイッチ

Edgecore AIS800-64D

64 x 800G · 51.2 Tbps

QSFP-DD800 · 2x400G／4x200G／8x100Gへのブレイクアウト

leaf または spine · Tomahawk 5
データシート →
UfiSpace S9321-64E 800G スパインスイッチ

UfiSpace S9321-64E

64 x 800G · 51.2 Tbps

QSFP-DD800 · 2x400G／4x200G／8x100Gへのブレイクアウト

leaf または spine · Tomahawk 5
データシート →
Edgecore AS9736-64D 400G リーフスイッチ

Edgecore AS9736-64D

64 x 400G · 25.6 Tbps

QSFP56-DD 400G · 4x100G へのブレークアウト

リーフ · Tomahawk 4
データシート →

認定済み OcNOS-DC スイッチ 18 機種をすべて見る →

1 つのシステム、1 つの契約

一本化されたサポート窓口

OcNOS-DC はスイッチモデルと ASIC ステッピングごとにプリロードされ、認定済みです。PO も、サポート契約も、RMA 窓口も 1 つです。P1 の応答時間は 8 時間（Standard）から 30 分（Enterprise）です。

サポート詳細を見る

フリート全体を 1 つのコンソールで

IP Maestro は、お客様の OSS の下位で、NETCONF を通じてトポロジ、障害、設定、ソフトウェアイメージを管理します。

IP Maestro を見る

マルチベンダーで相互運用性が実証された光モジュール

複数ベンダーの光モジュールで相互運用性が実証されています。お客様の構成に対応するトランシーバーリストをお問い合わせください。

トランシーバーリストを依頼する

設計をチームと共有する

短い PDF 資料です。簡単なフォームの入力後、ダウンロードが始まります。

800G ロスレス AI ファブリック

OcNOS-DC のエディション、認定済みプラットフォーム、導入アーキテクチャ。

概要資料を入手

OcNOS-DC データシート

機能セット、ソフトウェア SKU、対応ハードウェア。

データシートを入手

よくあるご質問

AIエージェントやAIOpsツールでOcNOSのAIファブリックを運用できますか？
はい。認定済みのすべてのOcNOS-DCスイッチが、YANGモデル対応のNETCONFと、自動切り戻し付きのcommit confirmedを提供します。gNMIストリーミングテレメトリはPLUSエディションで利用可能です。エージェントはファブリックの状態を読み取り、変更を試行的に適用し、変更が確認されない場合はOcNOSにその変更を元に戻させることが可能です。各エディションとスイッチの対応は機能マトリクスに記載されています。
OcNOS-DC スイッチでは、どの AI ファブリック機能が動作しますか。
OcNOS-DC は、AI ワークロードが必要とするスイッチ側の機能を実装しています。PFC と ECN によるロスレス RoCEv2、Tomahawk 5 での Dynamic ECN、動的ロードバランシング (DLB)、スイッチのパケットバッファ調整、PFC デッドロックの検出と復旧です。コレクティブロジック (xCCL)、DCQCN などの輻輳制御の NIC 側、およびジョブスケジューリングは、スイッチの外にある NIC とクラスタスケジューラで動作します。
OcNOS-DC の責務はどこまでで、NIC とクラスタスケジューラはどこから引き継ぐのですか。
OcNOS-DC はスイッチ側を担います。ロスレス RoCEv2 のための PFC と ECN、動的ロードバランシング、PFC デッドロックの検出と復旧、gNMI ストリーミングテレメトリです。NIC はコレクティブライブラリ (xCCL) と RDMA エンドポイントを担います。クラスタスケジューラはジョブを配置し、スイッチのテレメトリを利用できます。この役割分担により、NIC、GPU、オーケストレーションを自由に選べます。
IP Infusion は AI ファブリックに何を提供しますか。
完結したシステムです。OcNOS-DC をプリロードした認定済みのオープンスイッチを、OcNOS Systems として 1 つのサポート契約のもとで提供します。通信事業者のネットワークで稼働する OcNOS ファミリーと同じものです。OcNOS-DC は Broadcom シリコン上で動作し、ロスレス RoCEv2 (PFC と ECN)、Tomahawk 5 での Reactive Path Rebalance による動的ロードバランシング、PFC デッドロックの検出と復旧を備えています。各スイッチは役割に合ったエディションで動作します。AI ファブリックの全機能には DC-PLUS、ロスレスの基本機能には DC-IPBASE、アウトオブバンド管理には DC-MGMT を使用します。NIC、GPU、スイッチベンダーは引き続きお客様がお選びいただけます。
Ultra Ethernet (UEC) 1.0 は OcNOS AI ファブリックにとって何を意味するのか。
OcNOS-DC は、PFC と ECN によるロスレス RoCEv2 と動的ロードバランシングを現在提供しており、IP Infusion は Ultra Ethernet Consortium（UEC）のメンバーです。UEC 1.0 は、1 つのフローを単一の ECMP ハッシュに固定するのではなく複数の経路に分散するマルチパス Ethernet トランスポートを定義しており、このエンドポイント動作は UEC 対応 NIC 上で実行されます。特定の構成に UEC をどう組み込むかについては、IP Infusion のエンジニアにご相談ください。 Ultra Ethernet の詳細解説を読む。
OcNOS-DC はどのようにファブリックをロスレスに保ち、何が PFC デッドロックを防ぐのですか？
3 つの仕組みがあります。PFC はバッファがあふれる前に優先度ごとのトラフィックを一時停止し、ECN はパケットに早期にマークを付けて送信側を減速させ、ETS は RDMA クラスにリンク帯域を割り当てます。さらに PFC デッドロックの検出と復旧が、ポーズの循環に陥ったキューを検出して復旧させるため、停止したポートも手動でのリセットなしに復旧します。PFC over L3 は、ルーティング境界をまたいでサポートされます。
DLB とは何か、OcNOS 7.1 の GLB で何が変わるのか。
AllReduce の間、標準的な ECMP は大きなフローをそれぞれ 1 本のアップリンクに存続期間中固定するため、最大のフロー同士が衝突し、同期は輻輳したリンクを待つことになります。DLB は現在、ローカルホップで、フローレットを輻輳したアップリンクから負荷の低い経路へ移します。Tomahawk 5 では Reactive Path Rebalance が加わります。OcNOS 7.1 で提供予定の GLB は、ロードバランシングをファブリック全体へ広げます。
OcNOS AI ファブリックが対応するスイッチハードウェアと 800G 光モジュールは何ですか。
このファブリックは、Edgecore と UfiSpace の認定済み Broadcom Tomahawk 5 および Tomahawk 4 スイッチで動作します。800G スイッチ (Edgecore AIS800-64D と UfiSpace S9321-64E、Tomahawk 5、64 x 800G QSFP-DD800、51.2 Tbps) は leaf と spine として使用され、400G、200G、100G にブレークアウトできます。400G leaf (Edgecore AS9736-64D、Tomahawk 4、64 x 400G QSFP56-DD、25.6 Tbps) は 4 x 100G にブレークアウトでき、GPU あたり 400G NIC が 1 つのファブリックに適しています。複数ベンダーの光モジュールで相互運用性が確認されています。ご利用の構成に合わせたトランシーバのリストについては、お問い合わせください。認定済みスイッチは HCL に掲載しています。
OcNOS AIファブリックは複数の建物やサイトにまたがって構成できますか？
はい。ZR/ZR+のコヒーレント光モジュールをスパインに挿し、建物間のルーテッドリンクではECNマーキングが動作し、リージョン間ではOcNOS-SPがディープバッファルーター上で動作します。 コヒーレントDCIの詳細解説を読む
AI ファブリックのサポートは誰が提供し、ハードウェアも対象に含まれますか。
ファブリックを OcNOS Systems として購入した場合、IP Infusion の 1 つの契約で OcNOS-DC ソフトウェアと認定済みスイッチハードウェアの両方が対象となり、TAC も SLA も 1 つになります。サポートは階層化されています。Standard には、メール TAC、営業時間内の電話サポート、ハードウェア RMA の調整が含まれ、P1 の応答時間は 8 時間です。Premium では 24/7 のカスタマーサポートポータルが加わり、P1 の応答時間は 2 時間です。Enterprise では P1 の応答時間が 30 分となり、Customer Success Manager が付きます。24/7 のポータルは Premium と Enterprise でご利用いただけます。

OcNOS で AI ファブリック全体を設計

ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。

現在地 オープン AI ファブリック 完全な 800G AI ファブリック。オープンスイッチ、OcNOS-DC、そしてサポートを 1 つの契約で。
リファレンスデザイン AIファブリックトポロジー レール最適化された 2 階層および 3 階層のファブリックと coherent DCI を、実際のポート数でサイジング。 サイジングと構築 AI ファブリック設計スイート GPU ファブリックをサイジング。leaf、spine、super-spine の数を、コンポーネントおよび電力のサマリーとともに算出。
AIファブリックは初めてですか？ここから AIファブリックとは？ GPUファブリックとは？ ロスレスイーサネットとは？ RDMAとは？ AIネットワーキングスイッチ
内部の技術 ロスレス RoCEv2 レール最適化ネットワーク DLB GLB (7.1) Ultra Ethernet Tomahawk 5 Tomahawk 6（1.6T） Broadcom シリコン DCQCN PFC デッドロック InfiniBand対イーサネット RoCE と InfiniBand の比較 AI ファブリックアーキテクチャ コヒーレント DCI
ファブリックを評価 AI ネットワーキングファブリックの選び方 AI ファブリックの実証ポイント ネオクラウドネットワーキング

エンジニアと一緒に GPU ファブリックを計画

設計に関するご質問を IP Infusion のエンジニアにお寄せいただくか、リファレンスデザインをチームでご活用ください。

アーキテクチャレビューをご予約ください AIファブリックリファレンスデザインを入手