notizie sull'azienda Panmnesia e Meta adottano una visione dei data center AI basata su un singolo chip e CXL

Meta e il fornitore di tecnologia CXL Panmnesia affermano che i data center AI devono essere visti come un'unica risorsa di elaborazione coordinata, non come un insieme di server indipendenti co-locati.

Il data center AI dovrebbe essere una risorsa strettamente accoppiata, con un singolo dominio di coerenza, come un chip CPU. Questo è diverso dagli attuali data center aziendali, scarsamente accoppiati e guidati da richieste, che hanno molti domini di coerenza. I data center AI possono eseguire un singolo lavoro su centinaia, persino migliaia, di GPU, all'incirca simili a un carico di lavoro di High-Performance Computing che coinvolge core di processore, memoria e collegamenti di rete coordinati.

Panmnesia e Meta hanno proposto congiuntamente un'architettura di data center AI di prossima generazione come questa, in cui il data center opera come un singolo chip. Il lavoro appare su NREE, una rivista del Nature Portfolio.

Myoungsoo Jung
Myoungsoo Jung, CEO di Panmnesia, ha dichiarato: "Man mano che i sistemi AI continuano a scalare, la capacità di connettere rapidamente ed efficientemente un gran numero di acceleratori e dispositivi di memoria sta diventando importante quanto le prestazioni dei singoli acceleratori. Questa ricerca delinea una direzione per l'infrastruttura AI di prossima generazione, in cui CXL consente all'intero data center di operare come un unico sistema di calcolo."

I componenti su un singolo chip di elaborazione, core, ecc., sono progettati e posizionati in modo da avere percorsi di collegamento uniformi in un singolo dominio di coerenza e svolgere il loro lavoro in modo temporizzato, coordinato e controllato. Al contrario, i data center esistenti hanno processori server e storage su scaffali rack con collegamenti di rete e switch all'interno e tra i rack. Non esiste una struttura di controllo che coordini l'elaborazione del server.

Data center simile a un chip
Panmnesia afferma: "Nei data center attuali, gli acceleratori all'interno di un rack sono collegati da interconnessioni scale-up veloci, mentre le connessioni che escono dal rack - e le connessioni a dispositivi diversi dagli acceleratori - dipendono da reti scale-out più lente. Le misurazioni di tali ambienti mostrano distribuzioni di latenza a coda pesante, con una latenza round-trip del 99° percentile circa cinque volte la mediana. Questo è ciò che rallenta il lavoro complessivo, e più dispositivi partecipano, più spesso e più gravemente si verifica."

Affinché un data center AI operi in modo efficiente e veloce, è necessario un controllo e un coordinamento sia all'interno che tra i rack di GPU, la loro memoria e lo storage. Nelle infrastrutture AI su larga scala, afferma, ridurre la variazione di latenza tra i dispositivi in modo che il data center nel suo complesso si comporti in modo prevedibile è importante quanto migliorare le prestazioni dei singoli dispositivi o la velocità dei collegamenti.

Panmnesia LAU
Meta e Panmnesia propongono l'uso di CXL come base per questo, con nuovi concetti che gli consentono di operare a livello di più rack di GPU. CXL esteso fornisce coerenza della cache tra rack di acceleratori nel loro schema, supportando un numero maggiore di dispositivi rispetto a GB200 NVL72 e UALink basati su NVLink su scala rack di Nvidia.

Questo definisce le regole di base per unire i dispositivi, ma non il routing dei dati e la latenza. Propongono tre elementi hardware dedicati per ridurre e limitare la variazione di latenza:
Switch non bloccante ad alto fan-out: collega molti dispositivi contemporaneamente, riducendo il numero di hop e mantenendo lunghezze di percorso simili indipendentemente dalla sorgente.
Unità di accelerazione del collegamento (LAU): sposta l'elaborazione ripetitiva del protocollo in ogni punto di connessione su una pipeline hardware dedicata, rendendo il comportamento a livello di hop più regolare e limitando la variazione di latenza.
Controller del fabric: applica la stessa politica di ordinamento per la gestione delle richieste sull'intero sistema, in modo che le transazioni vengano elaborate in modo coerente indipendentemente dal dispositivo attraverso cui passano.

Switch non bloccante ad alto fan-out Panmnesia
Il controller del fabric (un controller CXL/PCIe combinato) e l'LAU hanno completato la validazione del silicio, e lo switch del fabric è stato fabbricato come chip di silicio fisico, con silicio pre-rilascio ora in fase di fornitura. Questo dimostra che l'architettura proposta regge a livello di silicio producibile.

La loro architettura raggruppa CPU, acceleratori, memoria e switch per funzione in vassoi, raggruppa i vassoi in pod e collega i pod tramite un fabric - una gerarchia regolare vassoio-pod-fabric progettata per preservare percorsi di comunicazione e temporizzazione a hop fissi e più coerenti.

Controller del fabric Panmnesia
Rispetto al design di Nvidia, in cui una CPU è accoppiata a due acceleratori tramite NVLink-C2C, l'interno del rack è collegato da NVLink, e server e rack sono collegati da una rete scale-out come Ethernet o InfiniBand, il loro schema:
Fornisce un aumento di 8 volte degli acceleratori direttamente coordinati da una singola CPU; da 2 a 16,
Consente a un massimo di 960 acceleratori di operare insieme in un singolo dominio di coerenza,
Riduce la latenza di accesso ai dati dal livello dei microsecondi a diverse centinaia di nanosecondi; circa un ordine di grandezza inferiore,
L'unità di sostituzione guasti diventa un singolo dispositivo malfunzionante invece di un server. La separazione delle risorse per tipo consente al sistema di sostituire solo i dispositivi malfunzionanti anziché un intero server, evitando sprechi di risorse e prolungate interruzioni operative.

Panmnesia ha già implementato i componenti principali dell'architettura in silicio, completato la validazione e li sta ora preparando per la fornitura commerciale. Gli sviluppi futuri stanno guardando alle interconnessioni ottiche per aumentare velocità e scalabilità.

Nota a piè di pagina
Il riferimento all'articolo NREE è disponibile.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Focus aziendale:
Distribuzione prodotti ICT/Integrazione di sistemi e servizi/Soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
"Usare la tecnologia per costruire un mondo intelligente" Il tuo fornitore di servizi di prodotti ICT di fiducia!