AI 네트워킹 패브릭 선택 방법
GPU는 그 아래의 패브릭이 따라올 때에만 정격 처리량으로 동작합니다. 이것은 계약 전에 AI 패브릭을 결정짓는 여섯 가지 기준으로 평가하기 위한 벤더 중립 프레임워크입니다.
패브릭을 여섯 가지 요소로 이루어진 하나의 결정으로 보십시오
AI 네트워킹 패브릭은 한 번 구매하면 수년간 함께하게 되므로, 하나의 대표 수치가 아니라 여섯 가지 특성이 클러스터 운영 방식에 얼마나 맞는지로 평가하십시오. 검토 대상이 되는 패브릭은 세 가지입니다:
- 폐쇄형 단일 벤더 스택 은 NIC, 스위치, 스케줄러를 하나의 SKU로 묶고 트레이드오프를 대신 정해 버립니다.
- 커뮤니티 및 오픈소스 NOS 옵션은 코드를 제공하지만 통합과 지원은 구매자의 몫으로 남깁니다.
- 개방형 상용 NOS 옵션은 지원 계약을 제공하면서도 하드웨어 선택권을 유지합니다.
아래 기준으로 이들 모두를 같은 조건에서 평가할 수 있습니다.
성능과 무손실성
AI collective는 RDMA를 사용하며, RDMA에는 무손실 기반이 필요합니다. RoCEv2는 이더넷에서 이를 제공하지만, 체크박스 하나가 아니라 완전한 혼잡 제어 도구 세트가 있어야만 가능합니다. 부하 시 일시 정지를 잘못 처리하거나 패킷을 드롭하는 패브릭은 학습 처리량 정체의 가장 흔한 원인이므로, 이 기준을 가장 먼저 확정하십시오.
확인할 질문
- DCBX 및 LLDP를 포함한 L3 기반 PFC 등 RoCEv2가 요구하는 무손실 이더넷 패브릭을 제공합니까?
- ECN 마킹이 있습니까? 부하에 따라 임계값을 조정하는 동적 방식도 있습니까?
- PFC 교착 상태 감지 및 복구, 그리고 WRED와 버퍼 튜닝이 있습니까?
- collective 중에 링크에 혼잡이 몰리면 테일 레이턴시를 어떻게 억제합니까?
평가 방법
정확한 혼잡 관리 기능을 요청하고, 구매할 실리콘에서 동작하는지 확인하십시오. 신뢰할 수 있는 답변은 PFC(L3 기반, DCBX 및 LLDP 포함), ECN과 Dynamic ECN, ETS, WRED, PFC 교착 상태 감지 및 복구, 그리고 혼잡한 링크에서 플로우를 재분산하는 동적 로드 밸런싱을 명시합니다. 정적 해시는 대형 플로우가 일부 링크에서 충돌하도록 방치할 수 있는 반면, Tomahawk 4 및 Tomahawk 5의 동적 로드 밸런싱은 90%대의 패브릭 활용률을 목표로 하므로, 부가 기능이 아니라 처리량 기능으로 다루십시오. RoCE 대 InfiniBand 비교에서 무손실 모델이 InfiniBand 크레딧 흐름 제어와 어떻게 다른지 확인하십시오.
규모와 토폴로지 적합성
올바른 토폴로지는 collective 동안 모든 GPU의 링크를 포화 상태로 유지하는 가장 작은 논블로킹 설계이며, 다음 규모로 깔끔하게 확장할 경로를 갖춘 것입니다. 확장할 수 없는 토폴로지는 나중에 전면 교체를 강요하므로, 시작 규모가 아니라 클러스터가 향하는 규모에 맞춰 사이징하십시오.
확인할 질문
- GPU 플레인은 1:1 논블로킹입니까? 오버서브스크립션은 어디서부터 시작됩니까?
- 계층을 추가해야 하기 전까지 이 설계가 도달할 수 있는 최대 클러스터 규모는 얼마입니까?
- Rail-optimized 배선과 멀티 파드 규모를 위한 super-spine 계층을 지원합니까?
평가 방법
후보를 구체적인 GPU 수에 대응시켜 보십시오. Tomahawk 5 스위치에서 2계층 leaf-spine은 GPU당 800G, 1:1 논블로킹으로 4,096개 GPU에 도달합니다. 각 스위치는 128×400G로 동작하고 각 GPU는 두 개의 400G leaf 포트에 연결됩니다. 그 이상은 동일한 rail-optimized 파드 위의 super-spine 계층으로 16,000+ GPU까지 확장됩니다. 다음을 사용하십시오: rail-optimized 배선으로 단일 파드 지역성을, Clos로 멀티 파드 규모를 확보합니다. 레퍼런스 토폴로지 에서 포트 계산을 보여 주며, AI 패브릭 설계 스위트 로 첫 규모 산정을 할 수 있습니다.
개방성과 락인
폐쇄형 AI 패브릭은 NIC, 스위치, 스케줄러를 하나의 공급업체에 묶어, 가격과 로드맵을 그 공급업체가 정하게 합니다. 개방형 접근 방식은 둘 이상의 하드웨어 벤더의 표준 이더넷 실리콘에서 상용 NOS를 실행하므로, 하드웨어 선택권을 유지하고 세컨드 소스를 확보할 수 있습니다. 다년간의 비용과 협상력은 여기서 결정됩니다.
확인할 질문
- 스위치, NOS, 광모듈을 각각 독립적으로 조달할 수 있습니까?
- 패브릭은 공개된 표준 기반 이더넷 위에 구축됩니까, 아니면 독점 전송 방식입니까?
- 동일한 소프트웨어에 대해 인증된 하드웨어 플랫폼이 둘 이상 있습니까?
평가 방법
둘 이상의 벤더가 뒷받침하는 인증된 하드웨어 목록을 확인하십시오. 개방형 상용 NOS 옵션은 서로 다른 제조사의 Broadcom Tomahawk 5 플랫폼(예: Edgecore AIS800-64D 및 UfiSpace S9321-64E)에서 동일한 소프트웨어를 실행하여, 세컨드 소스를 이론이 아닌 현실로 만듭니다. 이와 대조적으로 폐쇄형 단일 벤더 NIC, 스위치, 스케줄러 SKU에서는 부품들이 서로 함께일 때만 동작합니다. 유용한 질문은 한 제품과 다른 제품의 비교가 아니라, 동일한 패브릭에 대해 몇 곳의 공급업체에 책임을 물을 수 있는가입니다.
운영, 자동화, 텔레메트리
구축이 어렵거나 프로덕션에서 상태를 볼 수 없는 패브릭은 가격표 이상의 비용이 듭니다. 프로비저닝, 관찰, 튜닝 방법과 같은 운영 모델은 하드웨어가 도착한 뒤에 생각할 문제가 아니라 최우선 구매 기준입니다.
확인할 질문
- OpenConfig 모델을 사용하는 gNMI 기반 스트리밍 텔레메트리가 있습니까?
- 대규모 패브릭 구축을 위한 제로 터치 프로비저닝(ZTP)을 지원합니까?
- Ansible 같은 표준 도구로 자동화하고 DCBX로 QoS를 시그널링할 수 있습니까?
평가 방법
텔레메트리와 자동화를 슬라이드가 아닌 후보 벤더의 자체 문서에서 확인하십시오. 좋은 답변은 관측성 스택으로의 gNMI 및 OpenConfig 스트리밍 텔레메트리, 프로비저닝을 위한 ZTP, 무손실 시그널링을 위한 DCBX 및 LLDP, 그리고 Ansible 기반 구성을 다룹니다. 핵심은 구축 중의 폐루프 튜닝입니다. 한 번 설정하고 잘되기를 바라는 블랙박스가 아니라, PFC와 ECN 임계값을 조정하는 동안 지켜볼 수 있는 큐별 카운터와 버퍼 상태가 필요합니다.
지원과 책임
새벽 3시에 학습 작업이 멈추면, 문제는 누가 수정을 책임지느냐입니다. 단일 책임 계약이 없는 멀티 벤더 구성은 NIC, 스위치, 광모듈, 소프트웨어 벤더 간의 책임 떠넘기기로 이어집니다. 해결책은 하나의 폐쇄형 스택이 아니라 하나의 계약입니다.
확인할 질문
- 소프트웨어와 인증된 하드웨어를 포괄하는 단일 지원 계약이 있습니까?
- TAC과 SLA가 하나씩입니까, 아니면 여러 개를 조율해야 합니까?
- 구매하려는 특정 하드웨어와 소프트웨어 조합을 누가 검증했습니까?
평가 방법
책임과 락인을 분리하십시오. 원하는 것은 단일 벤더 하드웨어가 아니라 단일 벤더 책임입니다. 바람직한 패턴은 개방형 하드웨어 선택권과 하나의 지원 계약을 결합하는 것입니다. 소프트웨어와 인증된 하드웨어를 포괄하는 하나의 계약, 하나의 TAC, 하나의 SLA로, 부품을 개방적으로 조달했더라도 장애는 종단 간으로 책임지고 처리됩니다.
표준과 로드맵
AI 패브릭 전송은 빠르게 발전하고 있습니다. Ultra Ethernet Consortium(UEC)은 AI 및 HPC를 위한 개방형 멀티패스 이더넷 전송을 발표하며, 그 엔드포인트 동작은 UEC 지원 NIC에서 실행됩니다. 따라서 각 벤더가 현재 프로덕션에서 실행하는 것과 계획 중인 것을 구분하십시오.
확인할 질문
- 벤더가 Ultra Ethernet Consortium 회원사입니까?
- 패브릭은 현재 프로덕션에서 무엇을 실행하며, 어떤 실리콘에서 동작합니까?
- 부하 분산과 혼잡 제어에 대한 단기 로드맵에는 무엇이 있습니까?
평가 방법
출하된 것과 계획된 것을 구분하십시오. IP Infusion은 Ultra Ethernet Consortium 회원사이며, OcNOS-DC는 Broadcom Tomahawk 4 및 Tomahawk 5 스위치에서 PFC, ECN 마킹, DLB를 갖춘 무손실 RoCEv2를 현재 프로덕션으로 운영하고 있습니다. DCQCN은 NIC에서 실행되며 이 ECN 마크에 반응합니다. Global Load Balancing(GLB)은 OcNOS 7.1에서 제공될 예정입니다. 로드맵에 대해서는 구체적인 항목을 요청하십시오: 지연 기반 ECN(7.1.0), 링크 수준 재시도, 크레딧 기반 흐름 제어, 패킷 트리밍. 자세한 내용은 InfiniBand 대 Ethernet 에서 개방형 경로와의 비교를 확인하십시오.
구매자 체크리스트
폐쇄형 단일 벤더 스택, 커뮤니티 NOS, 개방형 상용 NOS 등 모든 후보 패브릭을 같은 목록으로 점검하십시오. 체크할 수 없는 항목이 있다면, 중요하지 않다고 판단하기 전에 그 이유를 물어보십시오.
- 무손실 기반. PFC(L3 기반, DCBX, LLDP 포함), ECN과 Dynamic ECN, ETS, WRED, PFC 교착 상태 감지 및 복구를 갖춘 RoCEv2.
- 동적 로드 밸런싱. 정적 ECMP 해싱만이 아니라, 혼잡한 링크에서 플로우를 재분산합니다.
- 1:1 논블로킹 GPU 플레인. GPU 패브릭에 오버서브스크립션이 없고, 목표 GPU 수에 맞춰 사이징되며, 다음 계층으로의 여유를 갖출 것.
- 토폴로지 적합성. 구매하시는 실리콘 기반의 rail-optimized 단일 파드 설계와 3계층 멀티 파드 설계.
- 하드웨어 선택. 동일한 NOS에 대해 인증된 하드웨어 벤더가 둘 이상 있어 세컨드 소스가 현실적일 것.
- 개방형 전송. 독점 NIC, 스위치, 스케줄러 번들이 아닌 표준 기반 이더넷.
- 텔레메트리와 자동화. gNMI 및 OpenConfig 스트리밍 텔레메트리, ZTP, DCBX, Ansible.
- 책임지는 하나의 계약. 하나의 시스템으로 구매한 소프트웨어와 하드웨어를 아우르는 단일 지원 계약, 하나의 TAC, 하나의 SLA.
- 표준 로드맵. 벤더가 Ultra Ethernet Consortium 회원사이며 부하 분산 및 혼잡 제어 로드맵 항목을 명시합니다.
OcNOS-DC 기반 개방형 이더넷의 위치
위의 기준을 읽고 귀사의 클러스터에 가장 높은 점수를 받는 것을 선택하십시오. 단일 책임 계약과 함께 개방형 하드웨어 선택권을 원하는 구매자를 위해, 같은 체크리스트에 대한 IP Infusion의 대응을 대안과 비교할 수 있도록 있는 그대로 제시합니다.
프로덕션 RoCEv2 패브릭
OcNOS-DC는 Broadcom Tomahawk 5에서 RoCEv2가 요구하는 무손실 이더넷 패브릭을 제공합니다: DCBX 및 LLDP를 사용하는 L3 기반 PFC, ECN과 Dynamic ECN, ETS, WRED, PFC 교착 상태 감지 및 복구, 그리고 반응형 경로 재분산을 갖춘 DLB.
4,096개에서 16,000+ GPU
2계층 TH5 파드는 GPU당 800G, 1:1 논블로킹으로 4,096개 GPU에 도달하며, 그 이상은 super-spine 계층으로 16,000+ GPU까지 확장됩니다.
멀티 벤더 하드웨어
둘 이상 제조사의 Tomahawk 5 플랫폼에 걸친 하나의 NOS. Edgecore AIS800-64D, UfiSpace S9321-64E, 400G ZR+를 지원하는 S9321-64EO를 포함하여 세컨드 소스를 현실적으로 유지합니다.
개방형 텔레메트리와 자동화
gNMI 및 OpenConfig 스트리밍 텔레메트리, ZTP, DCBX, Ansible, 그리고 폐루프 구축을 위한 RTAG7 해싱과 버퍼 튜닝.
OcNOS Systems: 계약 하나, TAC 하나, SLA 하나
OcNOS Systems를 사용하면 IP Infusion과의 단일 계약으로 OcNOS 소프트웨어와 인증된 하드웨어를 모두 지원하므로, 단일 벤더 종속 없이 단일 벤더 책임 체계를 얻을 수 있습니다.
UEC 회원사, 구체적인 로드맵
IP Infusion은 Ultra Ethernet Consortium 회원사입니다. GLB는 OcNOS 7.1에서 제공될 예정이며, 지연 기반 ECN은 OcNOS-DC용 OcNOS 7.1 릴리스 트레인에 포함되어 있습니다.
AI 패브릭 구매 가이드 FAQ
AI 패브릭을 선택할 때 가장 먼저 무엇을 평가해야 합니까?
AI에는 이더넷과 InfiniBand 중 무엇이 더 적합합니까?
몇 개의 GPU를 기준으로 계획해야 합니까?
벤더 락인을 피하려면 어떻게 해야 합니까?
UEC는 구매에 어떤 의미가 있습니까?
하드웨어와 소프트웨어를 하나의 벤더로 통일해야 합니까?
OcNOS로 전체 AI 패브릭을 설계하십시오
비즈니스 사례부터 포트 수 계산까지, 구축 과정의 어느 단계에서든 이어서 진행하십시오.
더 깊이 살펴보십시오. 자료를 소장하십시오.
이 페이지보다 더 깊이 들어가는 두 개의 짧은 기술 다운로드: 전체 OcNOS-DC 데이터시트와 무손실 800G AI 패브릭 아키텍처.
OcNOS-DC 데이터시트
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.
OcNOS 800G 무손실 AI Fabric
간단한 양식입니다. 제출하면 PDF가 즉시 새 탭에서 열립니다.
✓ 새 탭에서 PDF를 여는 중입니다…
열리지 않았다면 아래 링크를 이용해 주십시오.