Italian
AMD ha annunciato i risultati del benchmark MLPerf Inference v6.0, posizionando la GPU Instinct MI355X come una piattaforma di inferenza altamente scalabile in grado di supportare singolo nodo, multinodo,e diffusioni eterogeneeOltre a incrementare le prestazioni, la presentazione introduce nuovi carichi di lavoro, dimostra un throughput su scala di cluster superiore a 1 milione di token al secondo,e convalida la riproducibilità coerente delle prestazioni in un ecosistema di partner in espansione.
CDNA 4 Architettura obiettivi di alta capacità di inferenza
L'Instinct MI355X è basato sull'architettura CDNA 4 di AMD, sfruttando un design di chiplet a doppio processo TSMC: le matrici di calcolo (XCD) utilizzano un nodo a 3 nm, mentre le matrici di I / O utilizzano la tecnologia FinFET a 6 nm.Il pacchetto multichiplet integra 185 miliardi di transistor e supporta i formati di dati FP4 e FP6Ogni GPU è dotata di una memoria HBM3E fino a 288 GB (con 8 TB/sec di larghezza di banda di memoria), consentendo il supporto di modelli fino a 520 miliardi di parametri su un singolo dispositivo.AMD sottolinea che questa combinazione di densità di calcolo e capacità di memoria elimina la necessità di una partizione eccessiva del modello, un vantaggio fondamentale per carichi di lavoro di inferenza su larga scala.
Disponibile nelle configurazioni UBB8, la piattaforma offre opzioni sia raffreddate ad aria che direttamente raffreddate a liquido, allineandosi ai diversi requisiti di distribuzione dei data center.il MI355X dispone di una TBP (Thermal Design Power) da 1400W con raffreddamento a liquido, offrendo prestazioni superiori rispetto alla sua controparte raffreddata ad aria, il MI350X.
Il throughput multinode supera il milione di token al secondo
Un risultato straordinario del round MLPerf v6.0 è il throughput su scala di cluster di AMD che supera 1 milione di token al secondo.AMD ha raggiunto questo traguardo con Llama 2 70B in entrambi gli scenari Server e Offline, così come con GPT-OSS-120B in modalità offline.
AMD MLPerf 1M token al secondo grafico
Questi risultati riflettono un crescente spostamento del settore verso la valutazione delle prestazioni di inferenza a livello di cluster, piuttosto che per ogni singolo acceleratore.La produttività aggregata e il tempo di servizio sono diventati metriche primarie per determinare la prontezza di produzione nelle distribuzioni di IA su larga scala.
AMD ha anche dimostrato un'eccezionale efficienza di scalabilità. per Llama 2 70B, una configurazione di 11 nodi e 87 GPU ha raggiunto oltre 1 milione di token al secondo in scenari offline, server e interattivi,con un'efficienza di scalabilità compresa tra il 93% e il 98%Per GPT-OSS-120B, un cluster di 12 nodi e 94 GPU ha fornito un throughput simile con un'efficienza di scalabilità superiore al 90% dimostrando prestazioni che si traducono efficacemente man mano che le distribuzioni si espandono oltre un singolo sistema.
Guadagni generativi e prestazioni competitive del singolo nodo
AMD ha riportato significativi miglioramenti generazionali, con l'Instinct MI355X che offre prestazioni 3,1 volte migliori sul Llama 2 70B Server rispetto all'Instinct MI325X di generazione precedente, raggiungendo il 100,282 token al secondoQuesto miglioramento deriva sia dai miglioramenti architettonici di CDNA 4 che dalle ottimizzazioni del software ROCm.guidato principalmente dalla quantizzazione FP4 una caratteristica chiave del MI355X che sblocca un maggiore throughput per i carichi di lavoro dell'IA.
I risultati di AMD Inference rispetto al grafico della generazione precedente
In confronto con le piattaforme NVIDIA, il MI355X ha dimostrato una forte competitività.raggiunto quasi parità nelle prestazioni del serverRispetto a NVIDIA B300, il MI355X ha fornito il 92% delle prestazioni Offline, il 93% delle prestazioni Server e lo ha superato del 4% in modalità Interattiva.L' MI355X offre anche una migliore efficienza economica., fornendo il 40% in più di token per dollaro rispetto all'NVIDIA B200.
L'abilitazione del modello per la prima volta amplia la copertura
MLPerf Inference v6.0 ha introdotto diversi nuovi carichi di lavoro, e AMD ha utilizzato questo round per mostrare l'attivazione del modello rapido.conseguimento di risultati competitivi rispetto ai sistemi NVIDIA in scenari sia Offline che Server.
AMD ha anche presentato risultati per la generazione di testo-video Wan-2.2, segnando il suo ingresso nell'inferenza video multimodale e generativa.i risultati sono stati alla pari delle piattaforme esistentiLa messa a punto post-invio ha ulteriormente migliorato le prestazioni, evidenziando la possibilità di ottimizzazione man mano che lo stack di software matura.
Queste aggiunte sottolineano l'impegno di AMD di espandersi oltre i benchmark tradizionali LLM per supportare i carichi di lavoro emergenti di IA in diversi casi di utilizzo.
Il software ROCm consente la scalabilità e l'inferenza eterogenea
AMD attribuisce gran parte delle prestazioni e della scalabilità del MI355X al suo software ROCm.e supporto per la distribuzione dinamica del carico di lavoro in ambienti eterogenei.
AMD MLPerf risultati di inferenza istinto mI355x grafico
Un'importante presentazione eterogenea sviluppata da Dell e MangoBoost ha utilizzato tre modelli di GPU AMD Instinct: MI300X, MI325X e MI355X.521 token al secondo su Llama 2 70B Server e 151In particolare, la piattaforma MI355X si trovava nel laboratorio statunitense di Dell.mentre i sistemi MI300X e MI325X erano in Corea, dimostrando la capacità di coordinare i sistemi distribuiti in diverse posizioni geografiche..
Crescita e riproducibilità degli ecosistemi
L'ecosistema dei partner di AMD si è notevolmente ampliato in questo round MLPerf, con nove aziende che hanno presentato risultati su più generazioni di GPU Instinct.Giga Computing, HPE, MangoBoost, MiTAC, Oracle, Supermicro, e Red Hat, riflettendo l'ampia adozione del settore delle soluzioni di inferenza di AMD.
Le comunicazioni dei partner sono strettamente in linea con i risultati interni dell'AMD, in genere entro il 4% e in alcuni casi entro l'1%.Questa coerenza conferma che le prestazioni del MI355X sono riproducibili su piattaforme OEM e cloud., riducendo il rischio di implementazione e aumentando la fiducia nei risultati delle prestazioni reali.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!