MLPerf Storage v3.0 aggiunge un livello di dati S3 al framework POSIX esistente, insieme a nuovi carichi di lavoro KV Cache e database vettoriali,strettamente allineare i criteri di riferimento ai requisiti dei moderni sistemi di dati di IA.
Sviluppato da MLCommons, il benchmark MLPerf Storage ha originariamente valutato le prestazioni di archiviazione per carichi di lavoro di formazione di apprendimento automatico tra cui Unet3D, Cosmoflow e Resnet50,utilizzando l'hardware NVIDIA A100 e H100 GPULa versione 3.0 presenta una completa ristrutturazione dei test, incentrata su quattro scenari di carico di lavoro fondamentali.
Il framework di test aggiornato include la formazione dell'IA basata su Unet3D e RetinaNet, che misura la massima scalabilità dell'acceleratore mantenendo oltre il 90% di utilizzo,simulato su GPU NVIDIA B200 o AMD MI355. Esso copre anche il checkpointing per i modelli in stile Llama 3 che vanno dai parametri 8B a 1.25T, dando priorità a bassa latenza per 10 round di scritture e letture iterative.Il pacchetto incorpora test di database vettoriali su un milione di, set di dati Milvus di dimensione 1536 per massimizzare la capacità di esecuzione delle query monitorando la latenza e i tassi di richiamo, oltre a test di cache KV per misurare la capacità massima di supporto alle conversazioni simultanee.
Brian Belgodere, co-presidente del gruppo di lavoro MLPerf Storage, ha dichiarato che il nuovo portafoglio di test arricchisce la copertura del benchmark per le principali richieste di storage di inferenza dell'IA.La suite aggiornata bilancia la formazione focalizzata sulla formazione e i test di checkpointing con le valutazioni della cache KV e del database vettoriale orientate all'inferenza. Scomponendo i sistemi di intelligenza artificiale integrati in valutazioni mirate del carico di lavoro di archiviazione, inclusi il checkpointing, la cache KV e l'elaborazione delle query vettoriali,il benchmark consente agli operatori del settore di ottimizzare meglio le configurazioni dell'infrastruttura di IA ed eliminare gli ostacoli alle prestazioni dello storage.
Il nuovo livello di archiviazione degli oggetti S3 supporta la formazione, il checkpointing e i test di database vettoriali parziali, con circa un sesto di tutte le presentazioni v3.0 che adottano l'accesso allo storage basato su S3.
Curtis Anderson, un altro co-presidente del gruppo di lavoro, ha osservato che, man mano che il contesto dell'intelligenza artificiale si espande a trilioni di token, lo storage di oggetti sta emergendo come una soluzione praticabile,anche un'alternativa preferibile al tradizionale archiviazione di file-systemIl supporto nativo di S3 nella versione 3.0 fornisce dati di prestazione trasparenti per guidare le decisioni di distribuzione dello storage aziendale.
Un totale di 19 fornitori hanno presentato i risultati per questo ciclo di riferimento.VAST Data e WEKA erano assenti dall'elenco di presentazioneI funzionari della MLPerf hanno commentato che i venditori tradizionali di NAS hanno una partecipazione limitata, con la maggior parte degli operatori affermati che si sono ritirati dall'ultimo round.
Data la diversità del panorama di archiviazione dell'IA, la versione 3.0 non pubblica una singola classifica globale, ma fornisce risultati indipendenti per le quattro categorie di carico di lavoro con metriche multidimensionali.L'insieme completo di dati dei risultati comprende circa 145 righe e 55 colonne, per un totale di quasi 8.000 celle di dati, con 12 colonne dedicate esclusivamente alle metriche di prestazione della cache KV.larghezza di banda di lettura/scrittura e latenza P95 per le architetture storage-only e storage+memory per i carichi di lavoro dei modelli Llama 8B e 70B.
MLCommons raccomanda inoltre una valutazione standardizzata delle prestazioni basata sulla densità di rack e sull'efficienza energetica per watt per misurare l'efficacia operativa complessiva dell'infrastruttura.
La suite di benchmark aggiornata presenta una logica di valutazione molto complessa, che consente ai fornitori di presentare in modo selettivo i risultati per carichi di lavoro mirati.Suzhou Zishan e TTA hanno presentato i risultati dei test nella banca dati dei vettori.
Everpure ha riportato prestazioni di alto livello per il suo FlashBlade//EXA attraverso i test di checkpointing e KV cache per i modelli di parametri 405B e 1.25T.024 acceleratori simulati, la piattaforma ha raggiunto 877.52 GiB/s di larghezza di banda di scrittura (17.74s completamento) e 588.28 GiB/s di larghezza di banda di lettura (28.99s completamento) per il checkpointing del modello 1.25T. Le sue prestazioni sono aumentate linearmente da 327.65 GiB/s di capacità di scrittura su 10 nodi fino al risultato massimo di 30 nodi.
I dati supplementari mostrano che le comunicazioni scritte al punto di controllo in loco hanno fornito un'efficienza energetica media di 14 GB/s per watt, con un picco di 201 GB/s per watt.I test di lettura UNet3D hanno registrato un'efficienza mediana di 34 GB/s per watt e un massimo di 277 GB/s per watt.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
