CoreWeave ha implementato un cluster NVIDIA Vera Rubin NVL72 multi-rack su CoreWeave Cloud, collegando centinaia di GPU Rubin in un ambiente di scalabilità unificato ottimizzato per i carichi di lavoro di IA agentica.Ogni rack prodotto da Dell contiene 72 GPU Rubin e 36 CPU Vera, che adotta NVLink 6 come tessuto di interconnessione scalabile, abbinato a due ConnectX-9 SuperNIC per GPU. I rack sono collegati tramite NVIDIA Spectrum-X Ethernet all'interno di un tessuto non bloccante a due livelli,che CoreWeave può scalare a circa 128CoreWeave è il primo fornitore di servizi cloud a convalidare e attivare con successo un sistema NVL72 di Vera Rubin e il primo a pubblicare le sue prestazioni misurate.I risultati iniziali del benchmark sono stati pubblicati la scorsa settimana.Oltre all'aggiornamento del calcolo, CoreWeave AI Object Storage aggiunge l'accelerazione di scrittura interregionale e un nuovo livello di archivio.

Architettura multi-rack NVIDIA Vera Rubin NVL72

Questa distribuzione multi-rack si rivolge ai flussi di lavoro di esecuzione agentica, in cui i cicli di ragionamento sequenziali e le chiamate degli strumenti esterni amplificano la latenza di accesso ai dati in tutta l'infrastruttura distribuita.I doppi ConnectX-9 SuperNIC montati su ciascuna GPU Rubin offrono fino a 1.6 Tb/s di larghezza di banda di rete backend per GPU su collegamenti multi-rail, multi-piano.I rack funzionano con raffreddamento liquido a 45°C.

CoreWeave unifica questi rack utilizzando la sua suite di software Mission Control.compresa la rilevazione dell'hardware tramite flashing del firmwareIl modulo di gestione rack Racky controlla l'alimentazione e le infrastrutture,mentre il regolatore di raffreddamento Valvey programmabile offre visibilità e gestione definite dal software per i circuiti di raffreddamento liquido e i sensori ambientali.

I rack entrano in produzione solo dopo i test di convalida in fasi. a livello di nodo, questo include ore di diagnosi ripetute della GPU, verifica del trasferimento CPU-GPU, test di interconnessione e carico termico,più carichi di lavoro di formazione realistici. A livello di rack, i lavori sincronizzati su tutte le 72 GPU convalidano il throughput NVLink GPU-to-GPU; qualsiasi hardware che scende al di sotto delle soglie di prestazione va per la risoluzione dei problemi.CoreWeave esegue carichi di lavoro distribuiti, disabilitando deliberatamente NVLink per forzare il traffico attraverso la rete di back-end, e monitora il tessuto fisico per collegamenti instabili, tassi di errore in aumento, componenti surriscaldati e traffico squilibrato.I carichi di prova imitano le applicazioni agentiche, caratterizzato da improvvisi picchi di domanda, concomitanze variabili e schemi di comunicazione intermittenti.

Aggiornamenti dell'archiviazione di oggetti di intelligenza artificiale: scritture e archivi transregionali

Il miglioramento dello storage si basa sul Local Object Transport Accelerator (LOTA), un proxy di caching distribuito su ogni nodo GPU e CPU all'interno del CoreWeave Kubernetes Service,memorizzare i dati degli oggetti su NVMe node-local. CoreWeave riporta letture in cache fino a 7 GB/s per GPU, con latenza di lettura p99 oltre 8 volte inferiore all'accesso diretto a bucket.000 GPU e cache da 20 PB, raggiungendo un tasso di successo del 99,7%, con LOTA offerto senza costi aggiuntivi.

L'accelerazione di scrittura interregionale consente alle applicazioni di scrivere a un bucket in una regione remota con latenza locale, senza modificare API o SDK.Le applicazioni inviano le scritture standard S3 all'endpoint LOTAL'oggetto diventa immediatamente leggibile, anche per il compito di scrittura.e i dati migrano verso la regione remota sullo sfondo. Le applicazioni vedono un unico namespace di bucket che copre tutte le regioni con politiche IAM coerenti, regole di ciclo di vita e controlli di accesso,eliminare i bucket regionali separati e le condotte di replicazione normalmente richieste per la distribuzione tra punti di controllo.

"I nostri set di dati coprono più regioni e non possiamo permetterci che il nostro calendario di formazione sia dettato da ritardi nel recupero tra regioni", ha affermato Cécile Robert-Michon.Direttore delle infrastrutture interne di Cohere. ¢CoreWeave AI Object Storage ci dà un set di dati unificato in tutte le regioni con letture memorizzate in cache localmente, quindi nulla aspetta sulla rete.

Il livello Archivio è la quarta classe di archiviazione accanto a Caldo, Caldo e Freddo, progettato per la scrittura di dati una volta, raramente letti come i checkpoint di formazione storici e i set di dati grezzi.Esso prevede prezzi di capacità di base più bassi e rinuncia al recuperoCoreWeave raccomanda di mantenere i checkpoint recenti sui livelli più veloci per riavviare rapidamente,con tiering automatico per archiviare dopo 60 giorni senza lettureLe scritture interregionali e il livello Archivio sono ora generalmente disponibili.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Utilizzare la tecnologia per costruire un mondo intelligente”Il vostro fornitore di servizi di prodotti ICT di fiducia!