notizie sull'azienda Inferra è il distruttore del muro di memoria per l'inferenza di Lightbits

Ho compresso il testo completo8% di parole, ha mantenuto tutti i fatti fondamentali, i parametri di riferimento, le quotazioni e la logica tecnica e ha rimosso tutti i collegamenti:

Il software Lightbits Inferra accelera le operazioni di cache KV, rompe il muro di memoria di inferenza AI e migliora drasticamente l'utilizzo della GPU.L'azienda di storage a blocchi ad alte prestazioni ha costruito Inferra per virtualizzare la memoria a banda larga GPU (HBM)Una cache KV memorizza chiavi e valori di attenzione pre-computati durante l'inferenza LLM, evitando il ricomputamento ridondante dei dati di sequenza e aumentando le prestazioni di IA generativa.

La cache KV standard limita i dati memorizzati in cache alla GPU HBM. Una volta che la HBM è satura, le coppie KV esistenti vengono espulse per nuovi dati, richiedendo un ricalcolo che richiede molto tempo al riutilizzo.La moderna cache KV a livelli estende lo storage alla DRAM del serverMentre i livelli più alti comportano una latenza di accesso più lunga, questo ritardo è spesso più breve rispetto al ricomputamento di vettori di token estesi.

Inferra affronta i colli di bottiglia critici della memoria derivanti dall'espansione delle impronte di cache KV a lungo contesto.inferenza AI più scalabile senza costosi aggiornamenti hardware GPU e HBM per espandere la capacità della cache.

Il co-fondatore e presidente di Lightbits Labs Avigdor Willenz ha osservato che il mercato dell'inferenza dell'IA da 117 miliardi di dollari nel 2026 costringe i venditori legati alla formazione a ri-architettare.Ha sottolineato che i vecchi sistemi di stoccaggio e di formazione non possono essere aggiornati per i colli di bottiglia della cache KV.Progettato appositamente per l'efficienza di inferenza della GPU, Inferra ha validato il suo valore nei programmi beta dei clienti,estendere l'innovazione NVMe dei fornitori su TCP per risolvere i problemi di inferenza moderni.

Abilitato da algoritmi di prefetching ottimizzati per la cache KV, Inferra carica in modo proattivo i prossimi dati della cache KV prima della domanda della GPU.fino a 16 volte più sessioni di inferenza simultanee sull'hardware GPU esistente con rigorosa conformità SLA (senza aggiornamenti hardware necessari); fino a 100 volte miglioramento della latenza e supporto per finestre di contesto da 10 milioni di token, tagliando TTFT e TPOT tramite prefetching di stato di attenzione predittivo anziché ricalcolo;e l'isolamento sicuro dei tenant con gestione intelligente della cache KV unificata per cluster di inferenza condivisi.

Inferra ridefinisce l'economia dell'inferenza virtualizzando la memoria GPU attraverso la memoria e lo storage multilivello, trasformando la cache KV frammentata in uno strato di dati persistenti e intelligenti.Impiegato su sottosistemi server x86, monitora l'attività dei blocchi di cache KV e sfrutta un motore SLSAP (Sub-Linear Sparse Attention Prefetch).si classifica e dà la priorità ai blocchi KV spesso riutilizzati, compresi i token recenti, contenuti semanticamente simili e schemi strutturali nei flussi di lavoro di chat e RAG multi-turn.Il sistema recupera i blocchi mirati dalla DRAM del server o dagli SSD esterni e li preload sul GPU HBM tramite RDMA.

Il Chief Product & Technology Officer di OVH Yaniv Fdida ha confermato che Inferra offre notevoli guadagni di utilizzo della GPU, consentendo un'infrastruttura di carico di lavoro AI e RAG scalabile ed economicamente efficiente.

I risultati dei benchmark pubblici confermano drastici miglioramenti delle prestazioni: Qwen 2.5-7B (410K contesto) accelera 102× (72.6s → 711ms); DeepSeek-R1-70B (141K contesto) migliora 152× (70.8s → 465ms);Llama-4-Scout (10M contesto) raggiunge un salto di 380x (1.5 ore → 13 secondi).

Inferra supporta i plug-in Dynamo, vLLM e LMCache.fornisce una scalabilità TTFT sublineare rispetto alla lunghezza del contesto, mentre i concorrenti tra cui DDN, VAST Data e WEKA offrono solo scalabilità lineare o streaming reattivo.un parametro di riferimento senza rivali da parte di fornitori rivali.

Il Senior Vice President Product and Business di Lightbits Labs AI, Ramesh Chettuvetty, ha dichiarato che Inferra offre risparmi TCO immediati.eliminare gli stallo di inferenza a lungo contesto e consentire alle imprese di eseguire modelli più grandi e carichi di lavoro di dialogo più lunghi a costi di infrastruttura inferioriGli utenti possono valutare i benefici dell'ottimizzazione dei costi di inferenza di Inferra tramite la piattaforma di valutazione dell'efficienza pubblica del fornitore.Inferra ha raggiunto un'accelerazione della cache da 100× a 280× KV su carichi di lavoro SSD di storage computazionale.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Utilizzare la tecnologia per costruire un mondo intelligente”Il vostro fornitore di servizi di prodotti ICT di fiducia!