MinIO ha sviluppato un sistema di caching MemKV su scala petabyte su misura per le GPU Nvidia, implementato sulla sua piattaforma di storage di oggetti AIStor.
I cluster GPU che eseguono l'inferenza richiedono memoria a larghezza di banda elevata (HBM) per archiviare contesto, token vettorizzati e coppie chiave-valore (KV) intermedie. Una volta saturata la GPU HBM, i dati vengono trasferiti alla DRAM della CPU e agli SSD NVMe, gestiti dalle DPU Nvidia BlueField-4 (BF4). Quando questi livelli raggiungono la capacità, MinIO AIStor funge da backup di archiviazione finale. L'architettura STX di Nvidia governa questa gerarchia di cache multistrato e MemKV è conforme allo standard per fornire un contesto persistente e condiviso tra i cluster GPU su scala superiore.
AB Periasamy, co-fondatore e co-CEO di MinIO, ha commentato: "Per anni l'industria ha nascosto la perdita di contesto perché, su piccola scala, si potrebbe assorbire la tassa di ricalcolo. Con l'elevata densità di GPU di oggi per hyperscaler e neocloud, questo non è più fattibile.
Il ricalcolo del contesto generato spreca energia; per i cluster con migliaia di GPU, crea un’inefficienza strutturale fondamentale. L’inferenza su larga scala richiede un’infrastruttura appositamente costruita e MemKV è progettato specificamente per questo percorso dati”.
Per la prima volta, MinIO abilita pool di contesti condivisi per interi cluster GPU con flussi di lavoro di inferenza corrispondenti alla latenza di livello microsecondo, evitando ritardi di millisecondi rispetto allo storage esterno convenzionale. Senza livelli di cache sufficienti, le GPU sprecano risorse in ripetuti ricalcoli del contesto.
In un'implementazione da 128 GPU con una lunghezza del contesto di 128.000 token, MemKV ha migliorato il time-to-first-token sotto carichi di produzione e ha aumentato l'utilizzo della GPU dal 50% a oltre il 90%, generando un risparmio sui costi di elaborazione stimato di 2 milioni di dollari all'anno.
Realizzato appositamente per l'architettura Nvidia STX, MemKV supporta gli strumenti di caching Nvidia Dynamo e NIXL. Fornisce petabyte di memoria di contesto condivisa a costi a livello di SSD, disaccoppiando il ridimensionamento della cache dalle risorse di elaborazione della GPU. Le sue caratteristiche principali sono elencate di seguito:
-
Supporto nativo BF4 STX: viene eseguito come binario ARM64 all'interno dell'infrastruttura STX, incorporato nello storage anziché in server di storage x86 separati.
-
Trasporto RDMA end-to-end: trasferisce la cache KV tra la memoria GPU e NVMe tramite RDMA, ignorando i protocolli convenzionali di archiviazione di file e oggetti.
-
Dimensioni del blocco ottimizzate per GPU: utilizza blocchi da 2 a 16 MB per le richieste di throughput della GPU, invece dei blocchi di archiviazione legacy da 4 KB.
-
Prestazioni wire-speed: ottimizzato per Nvidia Spectrum-X Ethernet e PCIe Gen6 per massimizzare il throughput del tessuto fisico.
MemKV trasferisce direttamente i dati dagli SSD NVMe alle pipeline AI su RDMA, eliminando il sovraccarico HTTP, la traduzione del file system e i server di archiviazione intermedi.
MinIO classifica le soluzioni di memoria di contesto rivali in due tipi: NVMe locale non condivisibile (G3) e archiviazione condivisa per uso generale (G4). Posiziona MemKV come livello G3.5 appositamente creato, distinguendosi dai prodotti di storage generici.
L'azienda sottolinea che le offerte G3.5 dei fornitori legacy mantengono ancora nodi di protocollo, servizi di metadati e livelli di traduzione di file ridondanti. Questi livelli garantiscono durabilità e coerenza per l'addestramento dei dati e dei pesi del modello, ma non sono necessari per la cache KV effimera e ricalcolabile ottimizzata per blocchi di dati da 2-16 MB.
Il fornitore di hardware RAID GRAID e l'azienda di archiviazione WEKA forniscono anche soluzioni di cache KV compatibili con STX. Un'ampia gamma di fornitori di storage supporta Nvidia STX, tra cui Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops e VAST Data.
Pechino Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direttore della strategia globale
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Sito Web: www.qianxingdata.com/www.storagesserver.com
Focus aziendale:
Distribuzione prodotti ICT/Integrazione di sistemi e servizi/Soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con marchi leader a livello mondiale per fornire prodotti affidabili e servizi professionali.
"Utilizzare la tecnologia per costruire un mondo intelligente" Il tuo fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
