Il settore globale del flash e della memoria ha visto un'intensa attività durante il fine settimana, con una disputa tra Micron e Apple, i colloqui di acquisto di chip di Anthropic con SK Hynix, una nuova partnership Nvidia-SK Hynix,Progresso della DRAM 3D di SK Hynix, e l'innovazione di pooling della memoria CXL di Samsung.
L'analista di Citrini Jukan ha confermato che la società sta sviluppando DRAM 3D,supportato dall'assunzione strategica di ingegneri di progettazione DRAM-on-logic 3D attraverso la sua San Jose UIl reclutamento si rivolge a talenti capaci di progettare in 3D matrici logiche DRAM con diversi clienti statunitensi.
La nuova architettura colloca gli impianti DRAM 3D sopra i processori semiconduttori di sistema.L'integrazione della DRAM e della logica su un singolo chip offre una connettività inter-chip più veloce e un consumo energetico inferiore rispetto al tradizionale collegamento di pacchetti separati di memoria e pacchetti logici.
Jukan osserva che la tecnologia si rivolge ai dispositivi di carico di lavoro di IA che richiedono un'elevata larghezza di banda di memoria e un basso consumo di energia,in particolare i processori di applicazioni per smartphone e dispositivi mobili che posizionano Apple come cliente potenziale chiave di SK Hynix.
SK Group ha ampliato la sua partnership strategica con Nvidia tramite lettere di intenti formali, formando una collaborazione valutata in oltre 500 miliardi di dollari.SK Telecom costruirà una Nvidia Vera Rubin DSX AI Factory da 2 gigawatt come nuovo fornitore di cloud per soddisfare la domanda di calcolo globaleI chip Vera Rubin adotteranno la memoria HBM4 di SK Hynix, con il lancio della prima AI Factory previsto per il 2027.
Il partenariato mira ad accelerare lo sviluppo di infrastrutture di intelligenza artificiale su larga scala, che coprano servizi di intelligenza artificiale sovrani, fisici, agentici e aziendali,e affrontare la crescente domanda di IA in tutta la Corea del Sud e nella più ampia regione Asia-PacificoSK Hynix lancerà anche una partnership di memoria AI a lungo termine con Nvidia, assicurando una fornitura stabile di memoria AI di prossima generazione per Nvidia, aumentando al contempo la capacità di produzione di SK Hynix.Entrambe le parti svilupperanno e ottimizzeranno HBM e altre soluzioni di memoria AI per la formazione LLM, agentici e fisici di IA.
Chey Tae-won, presidente di SK Group, ha dichiarato che la collaborazione sfrutterà la memoria AI di SK Hynix e i punti di forza dell'infrastruttura di SK Telecom per costruire una fabbrica di IA di livello mondiale.trasformare la Corea del Sud da un paese che adotta l'IA in un hub globale di innovazione nell'IA.
L'ex CEO di Intel, Pat Gelsinger, ha apertamente criticato HBM durante una chiacchierata sul fuoco dell'industria coreana, definendola una soluzione di memoria imperfetta.limiti di connettività limitati dalle shoreline di bordo della GPUGelsinger ha tuttavia riconosciuto che HBM è la soluzione migliore attualmente disponibile.
Hoshik Kim, SVP di SK Hynix, ha parzialmente approvato l'opinione di Gelsinger, affermando che HBM non può risolvere fondamentalmente il collo di bottiglia della parete di memoria inerente all'IA.Ha chiarito che l'HBM serve solo come misura di mitigazione temporanea., mentre SK Hynix sviluppa attivamente soluzioni alternative per affrontare la sfida del core memory wall.
Secondo Bloomberg, la principale azienda statunitense di IA Anthropic sta negoziando con SK Hynix per la fornitura di chip di memoria dedicati per supportare i suoi processori di IA personalizzati.Chey Tae-won, presidente di SK Group, ha rivelato la notizia al vertice sull'IA di San Francisco del luglio 2024, dove anche il CEO di Anthropic Dario Amodei ha parlato, elogiando gli ambiziosi obiettivi di sviluppo hardware di Anthropic in mezzo a ampi sforzi dell'industria per rompere il dominio della GPU di Nvidia.Amodei non ha risposto pubblicamente ai commenti.
Samsung ha raggiunto prestazioni DRAM quasi native per i carichi di lavoro di inferenza dell'IA utilizzando una memoria esterna CXL per lo scarico della cache KV, secondo il suo blog tecnico ufficiale.I LLM si basano sulla cache KV per memorizzare chiavi e valori di attenzione calcolati per ridurre la latenza di inferenza e il calcolo ridondante, ma i modelli più grandi richiedono centinaia di gigabytes di cache, superando facilmente la memoria del processore AI di bordo.L'uso di SSD convenzionali o di offloading basato su rete riduce i limiti di capacità, ma introduce ulteriore latenza e costi di banda.
La tecnologia CXL rompe i tradizionali vincoli fisici della DRAM tramite interconnessioni PCIe coerenti ad alta larghezza di banda, consentendo la raccolta di memoria scalabile su più dispositivi tramite switch CXL.Samsung's CMM-D (CXL Memory Module-DRAM) è appositamente progettato per questa architettura di memoria espansa.
Samsung ha testato i suoi moduli CMM-D con GPU Nvidia RTX PRO 6000 Blackwell su PCIe Gen5, costruendo un pool di memoria CXL da 1 TB con ottimizzazioni software vLLM e LMCache.I test hanno verificato che il pool supporta lo scarico di cache KV su larga scala con prestazioni quasi DRAMIn configurazioni a singola GPU, il pooling ottimizzato CXL corrispondeva alle prestazioni DRAM come backend LMCache.ha conservato il 92% del throughput DRAM nativo con una capacità di memoria molto maggiore.
Ulteriori test hanno confrontato un setup DRAM locale da 512 GB e un pool CXL da 1 TB sotto carichi di cache KV in aumento.La DRAM locale ha subito gravi diminuzioni delle prestazioni a causa di ripetuti ricalcoli della cache una volta superata la capacità, mentre il pool CXL ha mantenuto prestazioni stabili e supportava cache molto più grandi.
Samsung osserva che le attuali distribuzioni di switch CXL richiedono aggiustamenti del kernel a livello host e del software per LMCache e altri componenti.Il pooling della memoria basato su 0 mostra un forte potenziale di applicazione, con la maturazione in corso dell'ecosistema tramite Intel DMR, AMD Venice e nuove piattaforme di switch CXL 3.0 per eliminare i limiti tecnici esistenti.
Infine, è emersa una crescente divisione tra Micron e Apple.Jukan di Citrini rivela che Apple sta facendo pressioni sulla Casa Bianca per ottenere l'approvazione per implementare la CXMT DRAM della Cina nei suoi dispositivi, mentre Micron sta depositando ricorsi per bloccare l'adozione del chip CXMT.risalente al suo mandato a Sandisk quando Apple ha costretto a prezzi bassi della memoria flash durante un mercato di acquirentiCon l'attuale mercato della memoria che favorisce i fornitori, Mehrotra non è disposto ad alleggerire i prezzi e i vincoli di fornitura per Apple.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
