Specifiche del DapuStor J5060

Prestazioni del DapuStor J5060

Checkpointing

Per valutare le prestazioni reali dell'SSD DapuStor J5060 in ambienti di addestramento AI, abbiamo utilizzato lo strumento di benchmark Data and Learning Input/Output (DLIO). Sviluppato dall'Argonne National Laboratory, DLIO è specificamente progettato per testare i pattern di I/O nei carichi di lavoro di deep learning. Fornisce informazioni su come i sistemi di storage gestiscono sfide come il checkpointing, l'ingestione dei dati e l'addestramento dei modelli. Il grafico sottostante illustra come entrambe le unità gestiscono il processo attraverso 99 checkpoint. Durante l'addestramento di modelli di machine learning, i checkpoint sono essenziali per salvare periodicamente lo stato del modello, prevenendo la perdita di progressi durante interruzioni o interruzioni di corrente. Questa esigenza di storage richiede prestazioni robuste, specialmente sotto carichi di lavoro sostenuti o intensivi.

La piattaforma scelta per questo lavoro è stata la nostra Dell PowerEdge R760 con Ubuntu 22.04.02 LTS. Abbiamo utilizzato la versione 2.0 del benchmark DLIO dalla release del 13 agosto 2024. La configurazione del nostro sistema è delineata di seguito:

• 2 x Intel Xeon Gold 6430 (32 core, 2,1 GHz)
• 16 x 64 GB DDR5-4400
• 480 GB Dell BOSS SSD
• Cavi seriali Gen5 JBOF
  • 61,44 TB Dapustor J5060
  • 61,44 TB Solidigm D5-P5336

Per garantire che il nostro benchmarking riflettesse scenari reali, abbiamo basato i nostri test sull'architettura del modello LLAMA 3.1 405B. Abbiamo implementato il checkpointing utilizzando torch.save() per acquisire i parametri del modello, gli stati dell'ottimizzatore e gli stati dei layer. La nostra configurazione simulava un sistema a 8 GPU, implementando una strategia di parallelismo ibrido con parallelismo tensoriale a 4 vie e parallelismo pipeline a 2 vie distribuiti sulle otto GPU. Questa configurazione ha prodotto dimensioni di checkpoint di 1.636 GB, rappresentative dei requisiti di addestramento dei moderni modelli linguistici di grandi dimensioni.

Nel complesso, il Dapustor J5060 ha dimostrato una solida coerenza durante la fase iniziale dei test, con tempi intorno ai 575,66 secondi per i primi 33 checkpoint. Il 5060J è stato in grado di mantenere prestazioni più elevate prima che l'unità venisse riempita per la prima volta. D'altra parte, il Solidigm P5336, sebbene inizialmente più lento del J5060, ha dimostrato prestazioni costanti durante il proseguimento dei test.

Considerando le medie complessive, il Dapustor J5060 ha registrato un tempo di 769,44 secondi, mentre il Solidigm P5336 ha terminato in640,17 secondi . Questo pone il Solidigm P5336 in vantaggio in termini di salvataggio più rapido dei checkpoint.Nel complesso, il Dapustor J5060 gestisce bene le operazioni brevi ma fatica con scritture sostenute oltre i 30 minuti. Nel frattempo, il Solidigm P5336 è l'unità migliore per prestazioni costanti durante compiti prolungati. Queste prestazioni di scrittura inferiori del Dapustor J5060 sono evidenti quando la sua velocità di checkpointing si deteriora con il proseguire del test.

GPU Direct Storage

GPU Direct Storage è una tecnologia che consente il trasferimento diretto di dati tra dispositivi di storage e GPU, bypassando la CPU e la memoria di sistema. Nel trasferimento dati tradizionale, i dati vengono letti dallo storage nella memoria della CPU e quindi copiati nella memoria della GPU. Questo processo comporta molteplici copie di dati, con conseguente aumento della latenza e riduzione delle prestazioni. La CPU agisce da collo di bottiglia, poiché deve gestire il trasferimento dati tra lo storage e la GPU. GDS elimina questo collo di bottiglia consentendo ai dispositivi di storage di trasferire dati direttamente da e verso la memoria della GPU.

Abbiamo testato sistematicamente ogni combinazione dei seguenti parametri nei carichi di lavoro di lettura e scrittura:

Dimensioni dei blocchi: 1M, 128K, 16K

• Profondità I/O: 128, 64, 32, 16, 8, 4, 1
• Analizzando i nostri risultati GDSIO, esaminiamo le prestazioni di lettura e scrittura del Dapustor J5060 da 61,44 TB e del Solidigm P5336.

Prestazioni di lettura sequenziale GDSIO

Il Dapustor J5060 raggiunge un throughput di lettura di picco di 4,2 GiB/s con una dimensione di blocco di 1M e profondità I/O di 64 e 128. Alla dimensione di blocco più piccola (16K), le prestazioni variano da 0,1 GiB/s a 0,8 GiB/s all'aumentare della profondità I/O. Ciò dimostra una chiara preferenza per dimensioni di blocco maggiori con elevate profondità I/O per un throughput ottimale. Le prestazioni di picco vengono raggiunte con dimensioni di blocco elevate, indicando l'efficienza dell'unità nella gestione di trasferimenti di dati di massa.

A confronto, il Solidigm P5336 ha raggiunto un throughput massimo simile di 4,3 GiB/s con la stessa dimensione di blocco (1M) ma ha ottenuto tali prestazioni prima a una profondità I/O di 32 e le ha mantenute costantemente a profondità I/O più elevate. Ciò suggerisce una leggera maggiore efficienza nella gestione di blocchi di grandi dimensioni in un intervallo più ampio di profondità I/O per il Solidigm P5336.

Per fornire una migliore visione comparativa, abbiamo un grafico differenziale che confronta entrambe le unità. Un blocco di tonalità più verde mostra un vantaggio dell'SSD Dapustor, mentre un blocco che si sposta verso il lato rosso dello spettro mostra una debolezza. Qui, il J5060 supera il P5336 nella dimensione del blocco da 128K, ad eccezione delle profondità I/O da 4 a 8. Tuttavia, si notano cali di throughput a profondità I/O più elevate con dimensioni di blocco 16K e 1M, indicando una minore efficienza in tali scenari.

Nel confronto della latenza di lettura sequenziale, il Solidigm P5336 mantiene costantemente una latenza inferiore rispetto al Dapustor J5060 su quasi tutte le dimensioni dei blocchi e le profondità I/O. Alla dimensione del blocco di 16K, il divario diventa più pronunciato all'aumentare della profondità della coda: il J5060 raggiunge un picco di 2.329 µs a una profondità di 128, mentre il P5336 rimane più basso a 1.365 µs. A 128K, Solidigm guida nuovamente nella maggior parte delle profondità, con l'eccezione a carichi elevati (4.080 µs sul J5060 contro 5539 µs sul P5336) alla profondità 128. Alla dimensione del blocco di 1M, entrambe le unità sperimentano aumenti di latenza come previsto, ma il P5336 rimane leggermente meglio controllato, con 29.138 µs contro 29.512 µs alla massima profondità di coda.

Prestazioni di scrittura sequenziale GDSIO

Il Dapustor J5060 mostra un throughput di scrittura costante da 2,7 a 2,8 GiB/s per dimensioni di blocco 128K e 1M su tutte le profondità I/O (eccetto 128K, 1 profondità I/O, che ha registrato 2,2 GiB/s. Per dimensioni di blocco 16K, le prestazioni variano da 0,5 GiB/s a 1,4 GiB/s, a seconda della profondità I/O, raggiungendo un picco di 1,4 GiB/s a profondità I/O più elevate.

In confronto, il Solidigm P5336 offre prestazioni migliori durante le dimensioni di blocco 128K e 1M, raggiungendo un picco di 3,2 GiB/s. Per dimensioni di blocco più piccole (16K), il Solidigm P5336 mostra anche prestazioni più elevate, raggiungendo un picco di 1,4 GiB/s a profondità I/O da 16 a 64. Ciò indica che il Solidigm P5336 è leggermente più efficiente con dimensioni di blocco più piccole durante le operazioni di scrittura.

Passando a una vista differenziale, vediamo un divario maggiore aprirsi tra il Dapustor J5060 e le prestazioni di scrittura del Solidigm P5336. Il nostro confronto del throughput mostra che il J5060 è inferiore al P5336 nella maggior parte delle aree, in particolare con dimensioni di blocco grandi (1M) su tutte le profondità I/O. I cali di throughput raggiungono -0,5 GiB/s alle profondità I/O 4. Sebbene ci siano guadagni di prestazioni a profondità I/O più elevate con dimensioni di blocco 128K, non sono sufficientemente significativi da compensare la sottoperformance generale.

Confrontando la latenza di scrittura sequenziale tra il Dapustor J5060 e il Solidigm P5336, entrambe le unità mostrano un comportamento simile a dimensioni di blocco piccole come 16K, con Solidigm che ha un leggero vantaggio a basse profondità I/O, mentre Dapustor chiude il divario a profondità più elevate (64 e 128). A dimensioni di blocco 128K, Solidigm guida nuovamente a basse profondità di coda, ma Dapustor offre costantemente una latenza inferiore all'aumentare della profondità I/O, indicando una migliore scalabilità sotto carico. Tuttavia, con dimensioni di blocco 1M, Solidigm mantiene un chiaro vantaggio di latenza su tutte le profondità I/O, mostrando tempi di risposta significativamente più rapidi sotto carichi di lavoro di scrittura sequenziale intensi. Nel complesso, Solidigm offre prestazioni più costanti, mentre la forza di Dapustor è più visibile a blocchi di medie dimensioni e code più profonde.

Riepilogo del carico di lavoro FIO

Flexible I/O Tester (FIO) è uno strumento di benchmark standard del settore utilizzato per misurare le prestazioni dei dispositivi di storage in un'ampia varietà di scenari di carico di lavoro. Affidabile per la sua versatilità e affidabilità, FIO simula condizioni reali, fornendo informazioni sulle capacità e sui limiti prestazionali di un SSD. StorageReview sfrutta FIO per offrire analisi complete, misurando throughput, latenza e IOPS attraverso pattern di carico di lavoro, dimensioni dei blocchi e profondità delle code.

Carichi di lavoro applicati:

Lettura e scrittura sequenziale 128K

• Letture e scritture casuali 64K
• Letture e scritture casuali 16K
• Letture e scritture casuali 4K
• Questi carichi di lavoro rappresentano un ampio spettro di casi d'uso enterprise, inclusi trasferimenti sequenziali di grandi dimensioni, I/O casuali intensivi tipici dei database e accessi casuali a blocchi piccoli comunemente visti negli ambienti virtualizzati.

Questa sezione sulle prestazioni riassume le prestazioni del Dapustor J5060 attraverso i principali carichi di lavoro sintetici, incluse operazioni di lettura/scrittura sequenziali e casuali a diverse dimensioni di blocchi e profondità di coda. Le metriche sono estratte direttamente dall'output FIO analizzato e includono larghezza di banda (MB/s), IOPS e percentili di latenza fino al 99,9999%, offrendo informazioni sia sul throughput che sul comportamento delle code sotto carico.

Prestazioni di lettura sequenziale 128K e scrittura

Unità

A scritture sequenziali 128K (QD16), il J5060 raggiunge prestazioni solide di 3.023 MB/s con latenza molto bassa. Tuttavia, il Solidigm P5336 lo supera di un margine moderato, raggiungendo 3.364 MB/s, sebbene con una latenza notevolmente più elevata, specialmente al percentile del 99,99% (4,42 ms vs 0,70 ms notevolmente bassi di Dapustor). Ciò indica che il J5060 è un candidato più forte per scenari di scrittura sequenziale sensibili alla latenza.

Prestazioni di lettura e scrittura casuale 64K

Unità

Le prestazioni di scrittura a 64K casuali sono dove il J5060 fatica notevolmente, con un throughput che scende drasticamente a 534 MB/s e una latenza che aumenta significativamente (742,39 ms al 99,99%). In confronto, il Solidigm P5336 supera notevolmente il J5060, offrendo 857 MB/s e una latenza drasticamente inferiore (221,24 ms allo stesso percentile), rendendolo molto più adatto per applicazioni sensibili alla latenza e al throughput di scrittura sostenuto.

Prestazioni di lettura e scrittura casuale 16K

Unità

Le prestazioni di scrittura casuale 16K dell'SSD Dapustor scendono significativamente a 32K IOPS e la latenza aumenta a 181,4 ms (99,99%). Anche qui, Solidigm supera significativamente l'unità Dapustor, offrendo 51,7K IOPS e un profilo di latenza drasticamente migliorato (71,8 ms al 99,99%), sottolineando il vantaggio di Solidigm per carichi di lavoro di scrittura casuale sensibili alla latenza.

Beijing Qianxing Jietong Technology Co., Ltd.

Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Focus aziendale:

Distribuzione prodotti ICT/Integrazione di sistemi e servizi/Soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Usare la tecnologia per costruire un mondo intelligente” Il tuo fornitore di servizi di prodotti ICT di fiducia!