Cos'è RDMA?

RDMA sta per Remote Direct Memory Access. Consente a una macchina di leggere o scrivere direttamente nella memoria di un'altra macchina attraverso la rete, senza coinvolgere la CPU di nessuna delle due e senza copiare i dati attraverso il kernel del sistema operativo. L'adattatore di rete sposta i byte direttamente tra le memorie applicative delle due estremità. Il risultato è una latenza molto bassa e un throughput molto elevato con un carico sulla CPU quasi nullo, ed è per questo che RDMA è il metodo standard con cui le GPU si scambiano dati durante l'addestramento AI.

RoCEv2 (RDMA over Converged Ethernet, versione 2) incapsula RDMA in UDP e IP, usando la porta UDP di destinazione 4791, così RDMA può essere instradato attraverso un data center Ethernet Layer 3 standard anziché richiedere una rete separata. L'operazione RDMA gira comunque da adattatore ad adattatore con lo stesso comportamento zero-copy e di bypass della CPU; RoCEv2 gli fornisce semplicemente un percorso Ethernet instradabile. È questo a rendere un fabric Ethernet multi-vendor una valida alternativa a InfiniBand per i cluster GPU.

AI training runs collective operations such as AllReduce, where the gradients from every GPU are combined across all GPUs after each step, moving enormous amounts of data on a tight schedule. If the CPU had to copy every message through the kernel, it would become the bottleneck and burn power doing it. RDMA removes the CPU and the copies from the data path, so a GPU's data lands in the peer GPU's memory with minimal latency, which shortens the exchange every GPU is waiting on.

RDMA è stato progettato presupponendo che la rete non scarti pacchetti. Quando un pacchetto viene perso, il recupero è costoso e fa impennare la tail latency, il che può bloccare un intero collettivo GPU. Perciò RDMA su Ethernet gira su un fabric lossless: il Priority Flow Control ed ECN mantengono la rete no-drop. OcNOS-DC fornisce quel fabric con PFC, ECN e bilanciamento dinamico del carico su hardware Broadcom Tomahawk 5. Consulta le pagine su Ethernet lossless e RoCEv2 per i dettagli.