Server Dell PowerEdge R760 "personalizzato"

Come dice il proverbio, la terza volta è quella buona. Non è la prima volta che battiamo record con Pi; abbiamo imparato dalle nostre prime due iterazioni per costruire la migliore piattaforma Pi. La nostra prima build ha sfruttato un server 2U con 16 bay NVMe e tre slitte SSD interne. Con SSD Solidigm P5316 da 30,72 TB, abbiamo contenuto lo storage di swap per y-cruncher, ma abbiamo dovuto sfruttare un server di storage basato su HDD per il file di output. Era meno che ottimale, soprattutto durante la fase finale di scrittura. La nostra seconda piattaforma ha utilizzato lo stesso server, con un JBOF NVMe esterno collegato, che ci ha fornito un bay NVMe aggiuntivo, ma a scapito di cablaggi sensibili e prestazioni sbilanciate. Lo svantaggio di entrambe le piattaforme era la necessità di fare affidamento su hardware esterno durante l'intera esecuzione di y-cruncher, a scapito di alimentazione aggiuntiva e ulteriori punti di guasto.

Per questa esecuzione, volevamo sfruttare un singolo server con NVMe diretto e avere spazio sufficiente per il nostro storage di swap y-cruncher e lo storage di output sotto lo stesso tetto metallico. Entra in gioco il Dell PowerEdge R760 con il backplane a 24 bay NVMe Direct Drives. Questa piattaforma sfrutta uno switch PCIe interno per far comunicare tutte le unità NVMe con il server contemporaneamente, bypassando qualsiasi necessità di hardware aggiuntivo o dispositivi RAID. Abbiamo quindi assemblato una configurazione di riser PCIe da più R760 nel nostro ambiente di laboratorio, dandoci quattro slot PCIe posteriori per ulteriori SSD NVMe montati su U.2. Un vantaggio è stato prendere dissipatori più grandi da un altro R760, dandoci il massimo margine di turbo-boost possibile. Il raffreddamento a liquido diretto è arrivato nel nostro laboratorio un mese troppo tardi per essere implementato in questa esecuzione.

"Il calcolo di pi greco a oltre 202 trilioni di cifre da parte del team di StorageReview Lab, ottenuto utilizzando processori Intel Xeon di 5ª generazione, sottolinea la potenza e l'efficienza di queste CPU. Sfruttando il conteggio dei core aumentato e le funzionalità di prestazioni avanzate del processore Xeon di 5ª generazione, questo traguardo stabilisce un nuovo punto di riferimento nella matematica computazionale e continua a spianare la strada a innovazioni in vari carichi di lavoro scientifici e ingegneristici", ha affermato Suzi Jewett, direttore generale di Intel per i prodotti processore Xeon di 5ª generazione.^{Hardware utilizzato}Anche la dimensione dell'alimentatore è stata fondamentale per questa esecuzione. Mentre la maggior parte penserebbe immediatamente che le CPU consumino la maggior parte dell'energia, avere 28 SSD NVMe sotto lo stesso tetto ha un impatto energetico considerevole. La nostra configurazione ha sfruttato gli alimentatori da 2400 W, che, a quanto pare, hanno funzionato a malapena. Abbiamo avuto alcuni momenti di assorbimento di potenza quasi critici in cui saremmo stati sottodimensionati se il sistema avesse perso una connessione all'alimentatore. Questo è successo all'inizio; il consumo energetico è salito alle stelle mentre i carichi della CPU raggiungevano il picco e il sistema aumentava l'attività I/O su tutti gli SSD. Se dovessimo rifarlo, i modelli da 2800 W sarebbero stati preferibili.^{Hardware utilizzato}Punti salienti tecniciCifre totali calcolate: 202.112.290.000.000^{Hardware utilizzato}: Dell PowerEdge R760 con 2 CPU Intel Xeon 8592+, 1 TB di DRAM DDR5, 28 SSD Solidigm P5336 da 61,44 TB

Software e algoritmi

: y-cruncher v0.8.3.9532-d2, Chudnovsky

Archiviazione dati

: 3,76 PB scritti per unità, 82,7 PB sui 22 dischi per l'array di swap

• Durata del calcolo: 100,673 giorni
• Telemetria y-cruncherCheckpoint logico più grande: 305.175.690.291.376 (278 TiB)
• Utilizzo massimo logico del disco: 1.053.227.481.637.440 (958 TiB)Byte letti dal disco logico: 102.614.191.450.271.272 (91,1 PiB)
• Byte scritti sul disco logico: 88.784.496.475.376.328 (78,9 PiB)Data di inizio: martedì 6 febbraio 16:09:07 2024
• Data di fine: lunedì 20 maggio 05:43:16 2024Pi: 7.272.017,696 secondi, 84,167 giorni

Tempo totale di calcolo: 8.698.188,428 secondi, 100,673 giorni

• Tempo effettivo dall'inizio alla fine: 8.944.449,095 secondi, 103,524 giorni
• La cifra più grande conosciuta di Pi è 2, alla posizione 202.112.290.000.000 (duecento due trilioni, centododici miliardi, duecentonovanta milioni).
• Implicazioni più ampie
• Sebbene il calcolo di pi greco fino a un numero così vasto di cifre possa apparire come una sfida astratta, le applicazioni pratiche e le tecniche sviluppate durante questo progetto hanno implicazioni di vasta portata. Questi progressi possono migliorare vari compiti computazionali, dalla crittografia alle simulazioni complesse in fisica e ingegneria.
• Il recente calcolo di pi greco a 202 trilioni di cifre evidenzia significativi progressi nella densità di storage e nel costo totale di proprietà (TCO). La nostra configurazione ha raggiunto uno sbalorditivo 1,720 petabyte di storage SSD NVMe all'interno di un singolo chassis 2U. Questa densità rappresenta un balzo in avanti nelle capacità di archiviazione dati, soprattutto considerando che il consumo energetico totale ha raggiunto un picco di soli 2,4 kW sotto pieno carico di CPU e unità.
• Questa efficienza energetica contrasta con le tradizionali esecuzioni da record HPC che consumano molta più energia e generano calore eccessivo. Il consumo energetico aumenta esponenzialmente quando si considerano nodi aggiuntivi per sistemi di storage scalabili se è necessario espandere lo storage condiviso a bassa capacità rispetto allo storage locale ad alta densità. La gestione del calore è fondamentale, soprattutto per i data center più piccoli e gli armadi server. Il raffreddamento dei sistemi tradizionali da record HPC non è un'impresa da poco, richiede refrigeratori per data center che possono consumare più energia dell'apparecchiatura in funzione da sola. Riducendo al minimo il consumo energetico e l'emissione di calore, la nostra configurazione offre una soluzione più sostenibile e gestibile per le piccole imprese. Come bonus, la maggior parte della nostra esecuzione è stata eseguita con raffreddamento ad aria fresca.
• Per mettere questo in prospettiva, immagina le sfide che affrontano coloro che operano con storage condiviso in rete e piattaforme non ottimizzate. Tali configurazioni richiederebbero uno o più refrigeratori per data center per mantenere le temperature sotto controllo. In questi ambienti, ogni watt risparmiato si traduce in meno raffreddamento richiesto e costi operativi inferiori, rendendo il nostro approccio ad alta densità e a basso consumo una scelta ideale. Un altro beneficio critico dell'esecuzione di una piattaforma snella ed efficiente per un'esecuzione da record è la protezione dell'intera configurazione con hardware di backup a batteria. Come accennato in precedenza, sarebbero necessari backup a batteria per server di calcolo, switch, server di storage, refrigeratori e pompe dell'acqua per mantenerla in funzione per una buona parte dell'anno.
• Nel complesso, questo risultato da record dimostra il potenziale delle attuali tecnologie HPC e sottolinea l'importanza dell'efficienza energetica e della gestione termica negli ambienti di calcolo moderni.
• Garantire l'accuratezza: la formula di Bailey-Borwein-Plouffe

Calcolare pi greco fino a 202 trilioni di cifre è un compito monumentale, ma garantire l'accuratezza di tali cifre è altrettanto cruciale. È qui che entra in gioco la formula di Bailey-Borwein-Plouffe (BBP).

La formula BBP ci consente di verificare le cifre binarie di pi greco in formato esadecimale (base 16) senza dover calcolare tutte le cifre precedenti. Questo è particolarmente utile per il controllo incrociato di sezioni del nostro enorme calcolo.

Ecco una spiegazione semplificata:

Output esadecimale

: Generiamo prima le cifre di pi greco in esadecimale durante il calcolo principale. La formula BBP può calcolare direttamente qualsiasi singola cifra arbitraria di pi greco in base 16. Puoi farlo con altri programmi come GPUPI, ma y-cruncher ha anche una funzione integrata. Se preferisci un approccio open-source, le formule sono ben note.

Verifica incrociata

: Possiamo confrontare questi risultati con il nostro calcolo principale calcolando posizioni specifiche delle cifre esadecimali di pi greco in modo indipendente con la formula BBP. Se corrispondono, ciò indica fortemente che la nostra intera sequenza è corretta. Abbiamo eseguito questo controllo incrociato più di sei volte; eccone due.

Ad esempio, se il nostro calcolo primario produce le stesse cifre esadecimali di quelle ottenute dalla formula BBP in vari punti, possiamo affermare con sicurezza l'accuratezza delle nostre cifre. Questo metodo non è solo teorico; è stato applicato praticamente in tutti i calcoli significativi di pi greco, garantendo robustezza e affidabilità nei risultati.

R= Risultato ufficiale dell'esecuzione, V= Risultato della verifica

R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*

V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

1. I lettori attenti noteranno che le verifiche dagli screenshot e dal confronto sopra sono leggermente spostate (*). Sebbene non necessario, poiché l'esadecimale sarebbe influenzato alla fine, abbiamo anche controllato alcune altre posizioni (come 100 trilioni e 105 trilioni di cifre) per garantire che l'esecuzione corrispondesse. Sebbene sia teoricamente possibile calcolare qualsiasi cifra decimale di pi greco utilizzando un metodo simile, non è chiaro se ciò avrebbe una precisione superiore a soli 100 milioni di cifre o se sarebbe computazionalmente efficiente farlo, piuttosto che eseguire la matematica di Chudnovsky e ottenerle tutte. (Se Eric Weisstein vede questo, contattami; vorrei provarci.)Integrando questo processo di controllo incrociato matematico, possiamo garantire l'integrità del nostro calcolo di pi greco da 202 trilioni di cifre da record, dimostrando la nostra precisione computazionale e il nostro impegno per l'accuratezza scientifica.
2. La strada da percorrereIl raggiungimento da parte del team di StorageReview Lab del calcolo di pi greco a oltre 202 trilioni di cifre testimonia la notevole progressione nel calcolo ad alte prestazioni e nelle tecnologie di storage. Questo risultato da record, alimentato dalle CPU Intel Xeon 8592+ nel nostro Dell PowerEdge R760 e dagli SSD NVMe QLC Solidigm da 61,44 TB, evidenzia come l'hardware moderno possa affrontare in modo efficiente compiti complessi e ad alto consumo di risorse con un'efficacia impareggiabile. Oltre a dimostrare l'esperienza del team di StorageReview, il successo del progetto sottolinea il potenziale dell'infrastruttura HPC odierna per spingere i limiti della matematica computazionale e di altri campi scientifici.

"Questo nuovo record mondiale di Pi è un risultato entusiasmante perché questo carico di lavoro computazionale è intenso quanto molti dei carichi di lavoro AI che vediamo oggi. Gli SSD Solidigm D5-P5336 da 61,44 TB hanno dimostrato, ancora una volta, che la potente combinazione di capacità ultra-elevata, prestazioni di lettura che saturano PCIe 4 e elevati Petabyte scritti, può resistere e scatenare alcune delle applicazioni più esigenti di oggi", ha affermato Greg Matson, VP, Solidigm's Data Center Storage Group. "Siamo entusiasti di aver avuto l'opportunità di abilitare un altro tentativo da record per calcolare Pi con i nostri partner di Dell Technologies e gli esperti di StorageReview."

Questa iniziativa fornisce anche preziose informazioni sull'ottimizzazione della densità di storage e dell'efficienza energetica, spianando la strada a soluzioni di calcolo più sostenibili e gestibili. Mentre continuiamo a esplorare il potenziale dell'HPC, le lezioni apprese da questo progetto guideranno sicuramente le future innovazioni, a beneficio di diversi campi che vanno dalla crittografia all'ingegneria. Il risultato del team di StorageReview Lab rappresenta una pietra miliare nella storia computazionale, dimostrando che possiamo raggiungere nuove vette di scoperta scientifica e progresso tecnologico con il giusto mix di hardware e competenza.

• Ringraziamenti
• Il team di StorageReview Lab ringrazia Solidigm, Dell Technologies, Intel e y-cruncher Alex Yee per il loro incrollabile supporto e contributo a questo progetto.

Beijing Qianxing Jietong Technology Co., Ltd.

Sandy Yang/Global Strategy Director

WhatsApp / WeChat: +86 13426366826