AI データセンターファブリックアーキテクチャ
AI データセンターは、1 つのフラットなネットワークではなく、4 つのネットワークプレーンを運用します。GPU 間の集合通信のための AI バックエンドファブリック、ストレージファブリック、front-end ファブリック、そして分離されたアウトオブバンド管理プレーンです。 Coherent DCI はトレーニングを複数拠点にわたって拡張し、OcNOS-DC は認定済みの Broadcom Tomahawk ハードウェア上で、すべてのプレーンを単一の NOS で運用します。
スイッチだけでなく、プレーンを設計する
AI ファブリックの失敗の大半はスコープの失敗です。チームは GPU プレーンをサイジングし、その後にストレージ・テナントアクセス・管理を後付けで継ぎ足します。
各プレーンには 1 つの役割
各プレーンをそれ自身の役割に合わせてサイジングし、そのトラフィックをそれ自身の配線上に保てば、ファブリックはフルトレーニング実行下でも予測可能なままです。
AI バックエンドファブリック
集合通信を運ぶ GPU 間プレーン。次のように構築されます。 1:1 ノンブロッキング レール最適化リーフスパインポッドとして、またはスーパースパインを備えた 3 階層として、次の上で： 純粋な Layer 3 eBGP アンダーレイ、そして RDMA が必要とする RoCEv2 ファブリックによって無損失に保たれます。PFC（DCBX/LLDP を用いた L3 越えを含む）と ECN です。DLB はフローを分散させ、AllReduce の際にどのリンクもホットスポットにならないようにします。
ストレージファブリック
GPU ラックと NVMe-oF または NFS ストレージの間でチェックポイントとデータセットを移動させる leaf-spine Clos。通常は次の付近でサイジングされます。 3:1。ストレージのバーストは集合通信よりも高いオーバーサブスクリプションを許容するためであり、負荷時に RDMA ストレージトラフィックがドロップしないよう無損失に保たれます。
フロントエンドファブリック
テナントアクセス・推論サービング、そしてデータセンターの他の部分やインターネットへの出口経路を担う north-south プレーン。400G または 800G のアクセスで動作し、バックエンドプレーンのコレクティブパターンではなく、実際に運ぶサービストラフィックに合わせてサイジングされます。
アウトオブバンド管理
独立した配線上に構築される別個の Clos または MLAG プレーン。これにより、立ち上げと監視がデータプレーンと運命を共にすることはありません。ZTP・SNMP・syslog、および gNMI／OpenConfig ストリーミングテレメトリを伝送し、データプレーンファブリックの再構成中も動作し続けます。
4 つのファブリックに DCI を加え、1 つの NOS 上で
1 つのデータセンターに 4 つのプレーンを備え、コヒーレント光により第 2 サイトへ拡張します。AI バックエンドプレーンは 1:1 のノンブロッキング。ストレージ・フロントエンド・管理は、それぞれのトラフィックが必要とする比率で動作します。すべてのプレーンが OcNOS-DC を実行し、ZR+ DCI リンクはトランスポンダやマックスポンダのシェルフなしでサイト間のトレーニングをスケールさせます。
OcNOS構成要素： プレーンごとのルーテッド eBGP-unnumbered アンダーレイ（AI バックエンドは純粋な Layer 3 eBGP で、EVPN-VXLAN は AI アンダーレイではなくテナントオーバーレイとして維持）、バックエンドおよびストレージプレーンでの RoCEv2 ロスレス（PFC + ECN、DCBX/LLDP を用いた PFC over L3）と DLB、ZTP および gNMI テレメトリ用の分離された管理プレーン、そして AIS800-64D、S9321-64E、AS9736-64D 上の DCI 用 400G ZR/ZR+ または 800G ZR コヒーレント光。バックエンドプレーンは HCL 掲載の Tomahawk 5（Edgecore AIS800-64D、UfiSpace S9321-64E / 64EO）および Tomahawk 4（Edgecore AS9736-64D）ハードウェア上に構築され、管理プレーンは Trident 3 スイッチ上で OcNOS-DC MGMT イメージを実行します。
コヒーレント DCI、トランスポンダ、マックスポンダのシェルフ不要
単一のトレーニング実行が 1 つのデータホールを超えて拡大した場合、ファブリックはボーダーポートから直接、400G ZR+ または 800G ZR コヒーレントプラガブル光により WAN 全体へ拡張されます。
OcNOS-DC では、800G ZR 光は Tomahawk 5 の Edgecore AIS800-64D と UfiSpace S9321-64E で、400G ZR/ZR+ 光は Tomahawk 4 の Edgecore AS9736-64D で動作します。400ZR はおよそ 120 km までのメトロ距離をカバーし、oFEC を用いた OpenZR+ はさらに遠くまで到達します。その間も各サイトは自身の leaf-spine ファブリックを変更せずに維持します。次を参照してください。 コヒーレント DCI 光と到達距離の詳細に関する詳説。
各プレーンで動作するハードウェア
AI バックエンド、ストレージ、フロントエンドの各プレーンは Broadcom Tomahawk シリコン上で OcNOS-DC を実行します。800G プレーンと DCI は Tomahawk 5 を、エントリおよび 400G プレーンは Tomahawk 4 を採用します。いずれもオンチップ共有バッファスイッチです。アウトオブバンド管理プレーンは Trident 3 1G/10G スイッチ上で OcNOS-DC MGMT イメージを実行し、すべてのプラットフォームが OcNOS Hardware Compatibility List に掲載されています。
| シリコンレイヤー | Tomahawk 5800G プレーン + DCI | Tomahawk 4エントリ + 400G プレーン |
|---|---|---|
| Broadcom 品番 | BCM78900 | BCM56990 |
| スイッチ容量 | 51.2 Tbps | 25.6 Tbps |
| ポート構成 | 64×800G | 64×400G |
| バッファ | オンチップ共有バッファ。HCL 掲載。 | オンチップ共有バッファ。HCL 掲載。 |
| プラットフォーム | Edgecore AIS800-64D、UfiSpace S9321-64E、UfiSpace S9321-64EO。AIS800-64D と S9321-64E で 800G ZR 光に対応。 | Edgecore AS9736-64D。 |
| 設計における役割 | 800G の AI バックエンドおよびストレージプレーンに加え、サイト間のコヒーレント DCI。 | エントリ構成、および 400G のフロントエンドまたは管理プレーン。 |
1 つの NOS がもたらす力
4 つのプレーンと DCI リンクは、4 つの製品ではありません。1 つのオペレーティングシステムが 4 つの役割を担うものです。OcNOS-DC は AI バックエンド・ストレージ・フロントエンド・アウトオブバンド管理の各ファブリックに加えコヒーレント DCI を、1 つの構成モデルで実行します。チームが習得するのは、すべてのプレーンに対して 1 つの CLI、1 つの自動化面、1 組のカウンターです。
1 つの運用モデル
ポートが GPU 向けバックエンド leaf であれ、ストレージ leaf、フロントエンドボーダー、あるいは管理スイッチであれ、同一のルーティング・QoS・テレメトリモデルが適用されます。
単一のサポート契約
スイッチをOcNOS Systemsとしてご購入いただくと、1つのIP Infusion契約がソフトウェアとハードウェアをカバーし、すべてのプレーンにわたってTACとSLAはそれぞれ1つです。お客様ご自身で購入したハードウェアの場合、IP Infusionがソフトウェアを、メーカーがハードウェアをサポートします。
1 つのハードウェアリスト
すべてのプレーンが同一の OcNOS Hardware Compatibility List から構築されるため、サポート・光・ファームウェアが設計全体で一貫して維持されます。
成長を見据えた 1 つのロードマップ
ファブリック全体の GLB は OcNOS 7.1 で提供予定です。今後登場する Tomahawk 6 シリコン（BCM78910／BCM78914、102.4 Tbps、TSMC 3nm）は OcNOS 7.2 トレインに乗り、より高い radix で同じ設計を拡張します。
AI ファブリックアーキテクチャ FAQ
AI データセンターを構成するファブリックとは何か。
各ファブリックはどのオーバーサブスクリプションを用いるべきか。
2 つの AI データセンターをどう接続するか。
1 つの NOS ですべてのファブリックを運用できるか。
各プレーンで動作するハードウェアは何か。
さらに詳しく。資料をお持ち帰りください。
製品データシートと、このページよりもさらに踏み込んだ簡潔で技術的なダウンロード資料です。
OcNOS-DC データシート
OcNOS-DC の完全な仕様。EVPN-VXLAN と Ethernet for AI の機能セット、ソフトウェア SKU、サポート対象ハードウェアプラットフォーム、ソリューション発注ガイドを収録しています。
データシートを入手
OcNOS 800G ロスレス AI Fabric
Tomahawk 5 スパイン上のロスレス RoCEv2 ファブリック：SKU 階層、認定済みプラットフォーム、導入アーキテクチャ。
概要資料を入手
EVPN-VXLAN データセンターファブリック
EVPN-VXLAN によるリーフスパイン型データセンターファブリック：テナントごとの VRF と VNI、EVPN マルチホーミング、BGP unnumbered、ルートターゲットフィルタリング。
概要資料を入手OcNOS-DC データシート
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS 800G ロスレス AI Fabric
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
EVPN-VXLAN データセンターファブリック
簡単なフォームです。送信後すぐに PDF が新しいタブで開きます。
✓ PDF を新しいタブで開いています…
開かない場合は、下記のリンクをご利用ください。
OcNOS で AI ファブリック全体を設計
ビジネスケースからポート数の計算まで、構築のどの段階からでも着手できます。
AI データセンター全体を設計しますか。すべてのプレーンを一緒に計画します。
GPU 規模とワークロードをお知らせいただければ、IP Infusion のエンジニアがバックエンド・ストレージ・フロントエンド・管理・DCI の各プレーンを一緒にサイジングします。あるいは、AI Fabric Design Suite で初回レイアウトから始めることも可能です。