Il rack Groq 3 LPX che Nvidia ha presentato al GTC sarà distribuito insieme ai rack NVL72, fornendo capacità dedicata per l'inferenza dell'IA e i carichi di lavoro dell'AI agentica.il supporto Groq 3 LPX può contenere fino a 256 acceleratori LPU, dotato di 128 GB di SRAM e di una sorprendente larghezza di banda di 40 petabyte al secondo di memoria SRAM.e Nvidia nota che potrebbe alla fine scalare per ospitare più di 1100.000 LPU.
Abbinando un rack Groq 3 LPX con un sistema Rubin NVL72 consente ai clienti di generare un milione di token per soli 45 dollari su un modello GPT da 1 trilione di parametri con una finestra di contesto di 400k token,secondo NvidiaQuesta cifra rappresenta 35 volte più token di quanto il sistema Rubin NVL72 possa generare da solo.
Le LPU Groq 3 non sono gli unici nuovi chip che Nvidia sta sfruttando per aumentare la capacità di inferenza dell'IA.L'azienda ha anche annunciato un rack dedicato per le sue CPU Vera, i processori basati su ARM accoppiati con due GPU Rubin per costruire i superchip al centro dei sistemi NVL72 e NVL8 di Nvidia..
Poiché le CPU sono emerse come un collo di bottiglia chiave per l'inferenza dell'IA e i carichi di lavoro dell'AI agentica, le aziende chiedono sempre più risorse di CPU.Nvidia ha lanciato un rack standalone solo CPU, denominato Vera CPU Rack, che dispone di 256 CPU Vera collegate a 400TB di memoria LPDDR5x che funzionano a 300TBps.
Il Vera CPU Rack è inoltre dotato di una spina dorsale Ethernet Spectrum-X e 64 unità di elaborazione dati BlueField-4 (DPU).Queste DPU si coordinano con le GPU nei sistemi NVL72 tramite l'interconnessione NVLink-C2C di Nvidia, fornendo 1,8 TBps di larghezza di banda coerente ¢ sette volte la larghezza di banda di PCIe Gen 6, per azienda.
Nvidia afferma che il rack Vera può supportare 22.500 ambienti CPU simultanei, soddisfacendo la massiccia domanda di CPU necessaria per eseguire senza intoppi l'inferenza dell'IA e i carichi di lavoro agentici.Il rack utilizza raffreddamento a liquido ed è basato sull'architettura di riferimento MGX di Nvidia, che la società sottolinea è supportato da 80 partner ecosistemici, e sarà distribuito attraverso la rete globale di partner di Nvidia.
Nvidia ha anche annunciato un nuovo rack pieno di DPU BlueField-4, uno dei sette nuovi chip che Nvidia ha pubblicizzato come il nuovo supercomputer AI.Il BlueField-4 STX è la prima implementazione su scala rack della nuova piattaforma CMX (context memory storage) di Nvidia, che espande la memoria GPU da HBM in storage NVMe primario.che ha presentato sulla sua offerta di stoccaggio CMX alla sua conferenza di qualche settimana fa, stanno iniziando ad adottarlo tramite l'architettura di riferimento Nvidia STX.
"L'STX è un livello condiviso ad alta larghezza di banda ottimizzato per memorizzare e recuperare i massicci dati di cache a valore chiave generati dai flussi di lavoro agentici", ha detto Buck.Mentre Nvidia non lo fornirà direttamente, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, raddoppiando le pagine al secondo per i dati aziendali e fornendo 5 volte i token al secondo di memoria di contesto necessari per le fabbriche di IA che eseguono flussi di lavoro agentici.
Cloudian, DDN, Dell Technologies, Everpure (precedentemente Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix,e WEKA stanno tutti costruendo nuovi storage sulla BlueField-4 STX architettura di riferimento, ha detto Nvidia, mentre aziende come CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) e Vultr lo stanno adottando.
Nel complesso, Nvidia sta presentando sette nuovi chip al GTC che hanno ciascuno un ruolo per alimentare l'IA nella piattaforma Vera Rubin.BlueField-4 DPU, Groq 3 LPU, e SpectrumX CPO, il nuovo switch Ethernet ottico co-confezionato che offre una connettività di 200 Gbps su fotonica al silicio.E' ora in produzione., ha detto il CEO Jensen Huang nel suo discorso.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
