Dell PowerEdge NVMe Backplane Opzioni

Dell offre vari backplanes di archiviazione nei propri server 16G PowerEdge.ad esempio)Il punto è che la decisione del telaio è grande. questo non tiene nemmeno conto del prossimo supporto E3.S NVMe SSD, che è l'unico modo per ottenere SSD Gen5 nei server PowerEdge.E3.S nel Dell PowerEdge R660se desiderate saperne di più sui benefici dei fattori di forma Gen5 ed EDSFF.

Per questa recensione, vogliamo capire le implicazioni della selezione dell'opzione Direct Drives di Dell rispetto all'opzione della scheda PERC 12 HWRAID.L'attenzione esplicita qui è solo sulla Gen4 U.2/U.3 NVMe SSD. Per ora, stiamo ignorando le opzioni di telaio per SATA/SAS e HDD da 3,5′′. Queste configurazioni sono molto più semplici.

Nell'R760, Dell offre un paio di opzioni di telaio per ottenere unità NVMe Gen4 a bordo.Dell offre la carta PERC 12 HWRAID allo stesso modo, con una scheda RAID per ogni lotto di 8 SSD. Questa decisione è importante in quanto è fondamentale per consentire a un R760 completamente popolato con 16 SSD NVMe di ottenere le migliori prestazioni possibili.

Dell PERC 12 Visualizzazione

Il Dell PowerEdge RAID Controller (PERC) 12 è basato sul silicio Broadcom SAS4116W.Lo stesso controller RAID viene utilizzato nella linea Broadcom MegaRAIDRecentemente abbiamo esaminato laMegaRAID 9670WTuttavia, con il Dell PERC 12, entrano in gioco differenze di progettazione essenziali a seconda della famiglia di server e di storage Dell di cui si è interessati.

Per quanto riguarda PowerEdge, la maggior parte delle configurazioni sfrutterà la scheda PERC 12 Front H965i.uno per ogni serie di SSD 8x Solidigm P5520Va ricordato che queste schede sono significativamente più piccole rispetto alla scheda add-in.Queste schede sono montate direttamente sul backplane NVMe a 8 unità e collegate alla scheda madre con due cavi PCIe x8Questo libera gli slot PCIe sul lato di lettura del server per altri dispositivi.

Parlando di schede aggiuntive, la PERC 12 H965i standard è una scheda di mezza altezza e mezza lunghezza che include un ventilatore di bordo.Questa versione di PERC 12 apparirà in alcune configurazioni di PowerEdge e può anche essere trovata in alcune delle nuoveDell PowerVault MD JBODInfine, c'è un H965i MX, che è un PCB lungo e stretto progettato per qualcosa di simile al telaio modulare MX7000.

Dell PERC 11 contro PERC 12

La scheda Dell PERC 11 supportava gli SSD NVMe, ma sfortunatamente, i vantaggi dell'hardware RAID venivano a un costo di prestazioni elevato.Questo successo e' proprio il motivo per cui l'industria e' cosi' entusiasta del nuovo Broadcom silicon e della versione Dell di quella scheda., il PERC.Dell ha pubblicato alcuni numerisulla differenza tra PERC 11 e PERC 12, che sono sorprendenti.

I vantaggi della latenza di PERC 12 sono chiaramente evidenti, ma guardate le prestazioni nelle peggiori condizioni, le prestazioni durante una ricostruzione.e anche il tempo di ricostruzione RAID vede benefici significativi.

Osservando la larghezza di banda e i numeri IOPS citati da Dell, possiamo ancora vedere il passo in avanti massiccio che il PERC 12 fa rispetto al PERC 11.tutti questi carichi di lavoro vedono un miglioramento minimo di 2X nella scheda PERC 12Naturalmente, abbiamo fatto i nostri test per verificare le prestazioni del PERC 12, e ci arriveremo.

Dell Direct Drives contro Dell PERC 12 Performance

Per confrontare le prestazioni di archiviazione in Direct Drives vs PERC 12, abbiamo configurato il nostro server R760 conDischi solidi di 7,68 TB. La Dell R760 con unità dirette ha 8x NVMe bays. La R760 con PERC 12 ha 16x NVMe bays con doppie schede H965i Front RAID.

A prima vista, potrebbe non essere ovvio che ci siano alcuni limiti di prestazioni su entrambi i lati.Il che significa che otto SSD hanno 32 corsie di PCIe dedicate a loro..

Questo consente una banda incredibile, generalmente superiore a 52 GB/s se ogni unità Gen4 può saturare la sua connessione da 6,5 GB/s.ogni gruppo di otto SSD interfaccia direttamente con la scheda RAID, che si ricollega alla scheda madre con una connessione x16 PCIe. Questo taglia a metà la larghezza di banda supportata dalla configurazione Direct Drives. Quindi ovviamente, le connessioni NVMe native vincono?Non proprio..

Quando si ha a che fare con più dispositivi NVMe in un sistema multi-CPU, entra in gioco la mappatura NUMA tra unità e CPU, nonché le interruzioni di sistema.Questo può essere ottimizzato intorno ma richiede un importante sintonizzazioneNon tutte le domande tengono conto di questo.

La virtualizzazione è quella in cui è difficile gestire la mappatura NUMA poiché le risorse condivise sono bilanciate in tempo reale,a volte a una CPU che potrebbe non avere accesso diretto alle risorse PCIe assegnate. Le schede RAID hardware mitigano molti di questi problemi e ottimizzano per le interruzioni del sistema e la commutazione di contesto, che libera le risorse della CPU.come invece di avere 16 singoli SSD suddivisi in due CPU, hai solo una scheda di archiviazione per CPU da gestire.

Il nostro piano di test si concentra su due aree. Il primo è Vdbench carichi di lavoro che misurano le prestazioni JBOD con otto SSD passati attraverso a entrambi R760.mentre sul HWRAID R760, il PERC 12 passa attraverso otto dispositivi di archiviazione raw.La seconda fase di test mostra le prestazioni scalate della soluzione PERC 12 da una singola a una configurazione di doppia scheda ottimizzata.

La nostra unità di revisione PowerEdge R760 ha la seguente configurazione:

• Dual Intel Xeon Gold 6430 (32 core/64 thread, base a 1,9 GHz)
• 1 TB di RAM DDR5
• 8 SSD Solidigm P5520 da 7,68TB Gen4
• RHEL 9

L'unità di revisione HWRAID NVMe PowerEdge R760 ha la seguente configurazione:

• Dual Intel Xeon Gold 6430 (32 core/64 thread, base a 1,9 GHz)
• 1 TB di RAM DDR5
• 16 Solidigm P5520 7.68TB Gen4 SSD
• Doppia PERC 12 H965i
• RHEL 9

Vdbench Analisi del carico di lavoro

Quando si effettuano i benchmarking dei dispositivi di archiviazione, è meglio testare le applicazioni, seguite da test sintetici.le prove sintetiche aiutano i dispositivi di stoccaggio di base con un fattore di ripetibilità che rende facile il confronto tra soluzioni concorrentiQuesti carichi di lavoro offrono una serie di profili di test che vanno dai test "quattro angoli" ai test comuni di dimensioni di trasferimento di database per tracciare le catture da diversi ambienti VDI.

Questi test sfruttano il tipico generatore di carico di lavoro Vdbench con un motore di scripting per automatizzare e catturare i risultati su un grande cluster di test di calcolo.Questo ci permette di ripetere gli stessi carichi di lavoro su vari dispositivi di archiviazione, compresi i flash array e i dispositivi di memorizzazione individuali. Our testing process for these benchmarks fills the entire drive surface with data and then partitions a drive section equal to 25 percent of the drive capacity to simulate how the drive might respond to application workloadsQuesto è diverso dai test di entropia completi, che utilizzano il 100 per cento del disco e lo portano in uno stato stazionario.

Profili:

• 4K Random Read and Write: 100 per cento Read or Write, 128 thread, 0-120 per cento iorate
• 64K Sequential Read: 100% Read, 32 thread, 0-120% iorate
• 64K Sequential Write: 100% Write, 16 thread, 0-120% iorate
• 4K 70R/30W e 90R/10W Mix casuale, 64 fili, 0-120 per cento di iorato

Osservando il nostro primo test incentrato sulla larghezza di banda di trasferimento di lettura, possiamo vedere il vantaggio del canale PCIe che l'approccio Direct Drives ha con 32 corsie PCIe rispetto al singolo PERC 12 con 16 corsie.Questo fa 41..6GB/s da Direct Drives contro 28GB/s dal PERC 12 in modalità JBOD.

Passando dalla larghezza di banda di lettura a quella di scrittura, il vantaggio delle corsie PCIe aggiuntive si riduce poiché la velocità di scrittura del Solidigm P5520 è inferiore alla sua velocità di lettura.Qui la configurazione Direct Drives misurato 180,3 GB/s rispetto ai 20,3 GB/s del PERC 12.

Nel nostro carico di lavoro di lettura 4K casuale, gli 8 SSD Solidigm P5520 nel Direct Drive PowerEdge R760 hanno misurato il picco di 5,55M IOPS, rispetto ai 4,34M IOPS sulla configurazione PERC 12.

Nella scrittura casuale in 4K, questa differenza si restringe di nuovo, con Direct Drive che misurano 3,96M IOPS contro 4,15M IOPS su PERC 12.

Nella nostra prima di due carichi di lavoro misti, guardiamo a un trasferimento casuale 4K con un 70/30 Read/Write spread.rispetto al PERC 12 con 3.66M IOPS.

Aumentando la percentuale di lettura al 90% nello stesso test di trasferimento 4K, abbiamo misurato 5,04 milioni di IOPS dal server Direct Drives contro 3,62 milioni di IOPS dal sistema PERC 12.

FIO Analisi del carico di lavoro

Per misurare le prestazioni degli azionamenti delle offerte Dell Direct Drive e PERC 12 HWRAID, i parametri di riferimento sono stati suddivisi nelle seguenti configurazioni.Il primo includeva una configurazione JBOD che misurava ogni unità al di fuori del RAID, RAID10, e poi RAID5 configurazioni.

Per l'approccio Direct Drives, gli SSD vengono visualizzati al sistema operativo come normale; per il PERC 12, vengono passati attraverso l'HBA come dispositivi di archiviazione grezzi.Queste configurazioni sono state percorse attraverso un processo di scripting per precondizionare il flash, eseguire i test per i quali sono stati condizionati e passare al prossimo mix di precondizionamento/carico di lavoro.

• Precondizionamento sequenziale
• Test sequenziali su JBOD, 8DR10, 8DR5 (singolo e doppio PERC)
• Precondizionamento casuale
• Test ottimali casuali su JBOD, 8DR10, 8DR5 (singolo e doppio PERC)
• Test di ricostruzione casuale su 8DR10, 8DR5 (singolo e doppio PERC)
• Ritardo di scrittura casuale per ottimale e ricostruzione per 8DR5 (Single PERC)

Con il PERC 12 H965i dotato di slot x16 PCIe Gen4, le sue prestazioni massime saranno di circa 28 GB/s in una direzione, ed è qui che lo slot Gen4 si distingue.Dell ha adottato un approccio unico a questo limite di larghezza di banda offrendo una doppia configurazione PERC 12 nel loro PowerEdge R760Invece di 16 bacini SSD tutti collegati a una singola scheda, il carico è diviso, con ciascun PERC 12 che controlla il proprio set di 8 SSD.Questo approccio elimina la limitazione della larghezza di banda aumentando drasticamente il picco di throughput disponibile sotto carichi di lavoro impegnativi.

Osservando le prestazioni di trasferimento sequenziale, possiamo vedere il vantaggio di larghezza di banda che ha la configurazione Direct Drives, con velocità di lettura pari a 54.4 GB/s rispetto al singolo PERC 12 di misura 28.1GB/s. La velocità di scrittura nativa ha anche un vantaggio, misurando 33,4GB/s contro 28,3GB/s dal singolo PERC 12 con otto unità dietro di esso.Non vedrai una grande differenza qui come, generalmente parlando, questa classe di SSD ha una velocità di lettura molto superiore alla velocità di scrittura.

Spostando la nostra attenzione alle prestazioni di trasferimento casuale, iniziamo a vedere un cambiamento in cui i vantaggi della scheda RAID possono entrare in relazione al bilanciamento NUMA.Dischi SSD P5520 da 68TB misurati 7.96M IOPS nel nostro test di lettura 4K, con la configurazione PERC 12 JBOD che misura 7M IOPS. La velocità di scrittura attraverso la configurazione Direct Drives è scesa a 3.4M IOPS mentre il PERC 12 ha mantenuto 5.97M IOPS.Con il carico di lavoro OLTP 4K, questo diventa ancora più pronunciato con le unità dirette che misurano 3,6 M IOPS rispetto a 10,2 M IOPS dal PERC 12.

Mentre il pensiero tradizionale è stato che l'hardware RAID non ha valore con i moderni SSD, possiamo vedere che non è più il caso.ma è un bersaglio mobile su più SSD bilanciati su due CPU.

Questo è in diretto contrasto con la scheda PERC 12 HWRAID, che gestisce tutta quella complessità e si connette a una sola CPU.la 2a scheda PERC nella Dell PowerEdge R760 si connette all'altra CPU, offrendo un bilanciamento per carichi di lavoro più grandi suddivisi in questi due gruppi di dischi.per questo non abbiamo visto una scala lineare in alcune aree con la carta PERC 12 aggiuntiva.

Anche se non abbiamo esaminato le opzioni di software RAID con la configurazione Direct Drives PowerEdge R760, abbiamo avuto la possibilità di vedere quanto bene la configurazione RAID funziona su PERC 12 in uno stato degradato.Mentre il rendimento ha visto un calo significativo rispetto al suo rendimento ottimale, sia RAID10 che RAID5 hanno offerto forti prestazioni durante la ricostruzione dei loro gruppi RAID.

Mentre le prestazioni ottimali di RAID sono un aspetto importante della scelta di una soluzione di storage, vedere come funziona in condizioni subottimali può essere altrettanto importante.Abbiamo misurato la latenza di scrittura 4K in RAID5 in condizioni ottimaliSe le prestazioni o la latenza dovessero subire un colpo massiccio, la risposta delle applicazioni potrebbe diventare un problema.Mentre le prestazioni di ricostruzione diminuiscono rispetto al massimo, la latenza delle prestazioni non aumenta rispetto alla linea di base.

Pensieri conclusivi

La nuova scheda RAID NVMe PERC12 di Dell cambia il gioco per le opzioni di storage NVMe nei server PowerEdge.alcuni clienti hanno esitato a passare da SSD SAS o hanno optato per unità NVMe connesse a vari SDS o ipervisoriTuttavia, l'introduzione della scheda PERC 12 ha modificato l'equazione per PowerEdge, rendendola un'opzione più praticabile.

Il motivo per cui PERC 12 funziona così bene è anche attribuibile al layout del server PowerEdge.Questo ci permette di utilizzare gli 8 SSD Solidigm con ogni schedaLa connessione di tutti e 16 gli SSD a una singola scheda RAID comporterebbe una perdita della metà delle prestazioni potenziali.

Potreste chiedervi, perché non 24 SSD con HWRAID? Ricordate che ogni sistema ha un collo di bottiglia da qualche parte.Quindi l' x86 all' interno del server diventa il fattore di gatingSe stiamo parlando di una soluzione clusterizzata, allora colleghiamo anche la rete. Una manciata di SSD può facilmente riempire 200GbE o anche 400GbE.c'è meno bisogno di avere un server pieno di unità per problemi di capacità del sistema.

Se leggete il nostroRevisione della scheda RAID della serie 9600 di Broadcom,Abbiamo iniziato piuttosto scettici sul fatto che il nuovo silicio avrebbe realisticamente fornito tutta la resilienza dei dati e ricostruito i vantaggi di HWRAID senza abbattere il profilo di performance NVMe SSD.Siamo stati piacevolmente sorpresi dai risultati di quella revisione e ancor di più qui, con PERC 12 in grado di raddoppiare nel R760 per ottenere il doppio delle prestazioni di linea superiore.l'opzione PERC 12 dovrebbe essere estremamente popolare per la maggior parte dei casi di utilizzo aziendale.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com

Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Utilizzare la tecnologia per costruire un mondo intelligente”Il vostro fornitore di servizi di prodotti ICT di fiducia!