notizie sull'azienda Lo storage di cache KV di OceanStor di Huawei per i data center AI a iper-scala

Huawei ha annunciato l'OceanStor M900, un cluster di archiviazione flash scalabile che fornisce fino a un livello base di cache da 64 PB KV per i suoi SuperPoD Atlas 960.acceleratori AI su scala rack comparabili ai SuperPOD di Nvidia.

Nvidia ha definito un design di riferimento che integra le sue GPU, BlueField NIC, switch Spectrum-X e software AI con sistemi di archiviazione, supportando GPUDirect, RDMA,e KV cache estensione tramite il suo software Dynamo e CMX schemaQuesta architettura multi-livello utilizza la memoria ad alta larghezza di banda (HBM) della GPU come livello superiore più veloce, seguita dai server X86 associati (DRAM come livello 2) e dagli SSD locali del server (L3).e SSD NVMe intelligenti connessi a BlueField-4 NIC all'interno di un server di archiviazione flash che funge da L3.5Questi possono raggiungere un HBM della GPU in un singolo salto di rete con latenza di classe microsecondo.

Huawei sta ora sfidando il design SuperPOD di Nvidia con i propri SuperPoD costruiti per i centri dati AI a iper-scala.il che significa che una singola memoria ad alta larghezza di banda dell'acceleratore non può contenere tutti i token di valore chiave richiesti, che richiede un meccanismo di caching.

La società afferma che un Atlas 960E SuperPoD può scalare fino a 4.096 NPU (Neural Processing Units), fornendo 8 EFLOPS di prestazioni di calcolo FP8,fino a 1 petabyte di capacità HBM e un pool di memoria unificata da 256 TBLa distribuzione di 5.500 unità Hi-ONE dotate di UnifiedBus (NPO) riduce il consumo di energia di oltre 550 kW rispetto ai 48.000 moduli ottici 800G tradizionalmente richiesti per interconnettere tutte le NPU.Inoltre, raddoppia il tempo di funzionamento del sistema senza errori e raggiunge i 99 minuti.Disponibilità del sistema dello 0,8%.

Huawei OceanStor M900
Il SuperPoD adotta un framework di cache KV a più livelli, in cui il M900 fornisce cache KV a scala petabyte per il livello L3.5.Capacità di cache di 5 KV e larghezza di banda aggregata di 40 TB/sec su reti ottiche per questo livello, fornendo più terabyte di capacità di cache KV per NPU.questa architettura raddoppia il throughput del token del cluster di inferenza e riduce di metà il tempo per il primo token.

L'azienda osserva che la larghezza di banda di 40 TB/sec è 1,5 volte superiore rispetto alle soluzioni concorrenti, senza nominare esplicitamente i fornitori.Sistemi di dati MinIO e VAST la cui larghezza di banda di cluster varia tra 10 ‰ e 25 TB/sec.

L'M900 presenta un design integrato che combina CPU, controller di rete e controller NAND in un'unica unità, consentendo alle NPU SuperPoD di stabilire un collegamento diretto a un solo salto con gli SSD.Questo riduce la latenza di accesso da millisecondi a circa 60 microsecondi.

David Wang, vicepresidente del consiglio di amministrazione e presidente rotante di Huawei, ha dichiarato: "L'OceanStor M900 utilizza anche media ibridi e un algoritmo di conservazione ottimizzato, estendendo la durata di lettura / scrittura degli SSD di 16 volte.Questo garantisce un tasso di successo della cache KV più elevato insieme alla stabilità e all'affidabilità a lungo termine..

Per ulteriori dettagli, Huawei afferma che l'M900 dispone di tecnologia di archiviazione adattativa KV-aware che prevede la durata e il valore attesi di ogni segmento di dati di cache KV. Sulla base di queste previsioni,programma e distribuisce i dati su diversi livelli di supportoHuawei afferma che questa strategia ottimizzata di posizionamento e conservazione consente agli SSD di sostenere fino a 24 scritture di unità al giorno (DWPD), una cifra notevolmente elevata.e aumenta la resistenza del SSD di 16 volte, consentendo un funzionamento stabile per tre anni con un minor numero di sostituzioni di propulsori.

E' ancora troppo presto per Huawei per rilasciare fogli di dati M900 e briefing tecnici, quindi dettagli come le dimensioni dell'unità del rack di nodo, i controller, la quantità di unità e la capacità,numero di nodi di cluster e altre specifiche non sono ancora disponibili.

NPU Nota in calce
Le NPU sono Huawei Ascend Neural Processing Units che, secondo Huawei, sono costruite in modo nativo per l'IA (a differenza delle GPU che hanno avuto origine come chip grafici).Adottano l'architettura Da Vinci di Huawei con i core Cube (matrice) e i core Vector, e supporta formati a bassa precisione tra cui FP8 e FP4 per accelerare l'inferenza e la formazione per grandi modelli.possono scalare a migliaia o addirittura centinaia di migliaia di NPU che funzionano come una macchina logicaLe offerte recenti come l'Atlas 350 (usando Ascend 950PR) e i prossimi Atlas 960 SuperPoD sono posizionati come alternative alle GPU Nvidia nel mercato cinese.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Utilizzare la tecnologia per costruire un mondo intelligente”Il vostro fornitore di servizi di prodotti ICT di fiducia!