Naturalmente, con il prezzo del L4 vicino ai 2500 dollari, l'A2 arriva a circa la metà del prezzo, e il vecchio (ma ancora abbastanza capace) T4 disponibile per meno di 1000 dollari usato,la domanda ovvia è qual è la differenza tra queste tre GPU di inferenza.

Una cosa da capire quando si guardano queste tre carte è che non sono esattamente sostituzioni generazionali uno-a-uno, il che spiega perché il T4 rimane ancora, molti anni dopo,una scelta popolare per alcuni casi d'usoL'A2 è uscito come sostituto per il T4 come opzione a bassa potenza e più compatibile (x8 vs x16 meccanica).con l'A2 a cavallo un in-tra che può o non può ottenere aggiornato ad un certo punto in futuro.

MLPerf Inferenza 3.1 Performance

MLPerf è un consorzio di leader dell'IA provenienti dal mondo accademico, dalla ricerca e dall'industria istituito per fornire benchmark di hardware e software IA equi e pertinenti.Questi benchmark sono progettati per misurare le prestazioni dell'hardware di apprendimento automatico, software e servizi su vari compiti e scenari.

I nostri test si concentrano su due specifici parametri MLPerf: Resnet50 e BERT.

• Resnet50: si tratta di una rete neurale convoluzionale utilizzata principalmente per la classificazione delle immagini.
• BERT (Bidirectional Encoder Representations from Transformers): questo benchmark si concentra sui compiti di elaborazione del linguaggio naturale,offrendo informazioni su come funziona un sistema nella comprensione e nell'elaborazione del linguaggio umano.

Entrambi questi test sono cruciali per valutare le capacità dell'hardware AI in scenari del mondo reale che coinvolgono l'elaborazione di immagini e linguaggio.

Valutare la NVIDIA L4 con questi parametri di riferimento è fondamentale per aiutare a comprendere le capacità della GPU L4 in specifiche attività di IA.Esso offre anche informazioni su come le diverse configurazioni (singolaQuesta informazione è vitale per i professionisti e le organizzazioni che desiderano ottimizzare la loro infrastruttura di IA.

I modelli funzionano in due modalità chiave: server e offline.

• Modalità offline: misura le prestazioni di un sistema quando tutti i dati sono disponibili per l'elaborazione contemporaneamente.quando il sistema elabora un grande set di dati in un singolo lottoLa modalità offline è cruciale per scenari in cui la latenza non è una preoccupazione primaria, ma la capacità di produzione e l'efficienza lo sono.
• Modalità server: Al contrario, la modalità server valuta le prestazioni del sistema in uno scenario che imita un ambiente server reale, dove le richieste arrivano una alla volta.misurare la rapidità con cui il sistema può rispondere a ciascuna richiestaÈ essenziale per le applicazioni in tempo reale, quali server web o applicazioni interattive, dove è necessaria una risposta immediata.

1 x NVIDIA L4 Dell PowerEdge XR7620

Come parte della nostra recente recensione del Dell PowerEdge XR7620, dotato di un singolo NVIDIA L4, l'abbiamo portato al bordo per eseguire diverse attività, tra cui MLPerf.

La configurazione del nostro sistema di prova comprendeva i seguenti componenti:

• 2 x Xeon Gold 6426Y ¢ 16-core 2.5GHz
• 1 x NVIDIA L4
• 8 x 16 GB DDR5
• 480 GB BOSS RAID1
• Ubuntu Server 22.04
• NVIDIA driver 535

Le prestazioni in scenari server e offline per Resnet50 e BERT K99 sono quasi identiche, indicando che l'L4 mantiene prestazioni coerenti tra diversi modelli di server.

1, 2 e 4 NVIDIA L4 ¢ ¢ Dell PowerEdge T560

La nostra configurazione dell'unità di revisione comprendeva i seguenti componenti:

• 2 x Intel Xeon Gold 6448Y (32 core/64 thread ciascuno, TDP di 225 watt, 2,1-4,1 GHz)
• 8 x 1,6TB Solidigm P5520 SSD con scheda RAID PERC 12
• 1-4x GPU NVIDIA L4
• 8 x 64 GB RDIMM
• Ubuntu Server 22.04
• NVIDIA driver 535

Nei nostri test con due L4 nel Dell T560, abbiamo osservato questa scalazione quasi lineare delle prestazioni sia per i benchmark Resnet50 che BERT K99.Questa scalabilità è una testimonianza dell'efficienza delle GPU L4 e della loro capacità di lavorare in tandem senza perdite significative dovute a spese generali o inefficienza.

La scala lineare costante che abbiamo assistito con due GPU NVIDIA L4 si estende in modo impressionante a configurazioni con quattro unità L4. This scaling is particularly noteworthy as maintaining linear performance gains becomes increasingly challenging with each added GPU due to the complexities of parallel processing and resource management.

Per un elenco completo dei risultati ufficiali, visitare la pagina dei risultati MLPerf.

Oltre a convalidare la scalabilità lineare delle GPU NVIDIA L4, i nostri test in laboratorio gettano luce sulle implicazioni pratiche della distribuzione di queste unità in diversi scenari operativi.Per esempio..., la coerenza nelle prestazioni tra modalità server e offline in tutte le configurazioni con le GPU L4 rivela la loro affidabilità e versatilità.

Questo aspetto è particolarmente rilevante per le imprese e gli istituti di ricerca in cui i contesti operativi variano notevolmente. our observations on the minimal impact of interconnect bottlenecks and the efficiency of GPU synchronization in multi-GPU setups provide valuable insights for those looking to scale their AI infrastructureQueste intuizioni vanno oltre i semplici numeri di riferimento, offrendo una comprensione più profonda di come tale hardware può essere utilizzato in modo ottimale in scenari del mondo reale.Guidare migliori decisioni architettoniche e strategie di investimento nelle infrastrutture IA e HPC.

NVIDIA L4 Performance delle applicazioni

Abbiamo confrontato le prestazioni del nuovo NVIDIA L4 con quelle del NVIDIA A2 e NVIDIA T4 che lo hanno preceduto.Abbiamo distribuito tutti e tre i modelli all'interno di un server nel nostro laboratorio, con Windows Server 2022 e gli ultimi driver NVIDIA, sfruttando l'intera nostra suite di test GPU.

Queste schede sono state testate su una Dell Poweredge R760 con la seguente configurazione:

• 2 x Intel Xeon Gold 6430 (32 Core, 2.1GHz)
• Windows Server 2022
• Driver NVIDIA 538.15
• ECC disattivato su tutte le carte per il campionamento 1x

Mentre iniziamo i test di prestazioni tra questo gruppo di tre GPU aziendali, è importante notare le differenze di prestazioni uniche tra i precedenti modelli A2 e T4.Quando l'A2 è stato rilasciato, ha offerto alcuni notevoli miglioramenti come un minore consumo energetico e il funzionamento su uno slot PCIe Gen4 x8 più piccolo, invece dello slot PCIe Gen3 x16 più grande richiesto dal vecchio T4.All' inizio gli ha permesso di inserirsi in altri sistemi., soprattutto con l'impronta minore necessaria.

Blender OptiX 4.0

Blender OptiX è un'applicazione di modellazione 3D open-source. Questo test può essere eseguito sia per CPU che per GPU, ma abbiamo fatto solo GPU come la maggior parte degli altri test qui.Questo benchmark è stato eseguito utilizzando l'utilità CLI di Blender BenchmarkIl punteggio è campioni al minuto, con maggiore è meglio.

Blackmagic RAW Speed Test

Testiamo le CPU e le GPU con Blackmagic's RAW Speed Test che testa le velocità di riproduzione video.Questi vengono visualizzati come risultati separati ma ci stiamo concentrando solo sulle GPU qui, quindi i risultati della CPU sono omessi.

Cinebench 2024 GPU

Maxon's Cinebench 2024 è un benchmark di rendering per CPU e GPU che utilizza tutti i core e thread della CPU.Punteggi più alti sono migliori.

GPU PI

GPUPI 3.3.3 è una versione dell'utility di benchmarking leggero progettato per calcolare π (pi) a miliardi di decimali utilizzando l'accelerazione hardware attraverso GPU e CPU.Sfrutta la potenza di calcolo di OpenCL e CUDA che include sia unità di elaborazione centrali e graficaAbbiamo eseguito CUDA solo su tutte e 3 le GPU e i numeri qui sono il tempo di calcolo senza tempo di riduzione aggiunto.

Mentre i risultati precedenti hanno esaminato solo una singola iterazione di ciascuna scheda, abbiamo anche avuto la possibilità di guardare una distribuzione 5x NVIDIA L4 all'interno del Dell PowerEdge T560.

Octanebench

OctaneBench è un'utilità di benchmarking per OctaneRender, un altro renderer 3D con supporto RTX simile a V-Ray.

Geekbench 6 GPU

Geekbench 6 è un benchmark multipiattaforma che misura le prestazioni complessive del sistema.Abbiamo solo esaminato i risultati della GPU..

Puoi trovare i confronti con qualsiasi sistema tu voglia nel browser Geekbench.

Luxmark

LuxMark è uno strumento di benchmarking cross-platform OpenCL di coloro che mantengono il motore di rendering 3D open-source LuxRender.Per la presente revisione, abbiamo usato la versione più recente, v4alpha0. in LuxMark, più alto è meglio quando si tratta di punteggio.

GROMACS CUDA

Abbiamo anche compilato GROMACS, un software di dinamica molecolare, specificamente per CUDA.essenziale per accelerare le simulazioni computazionali.

Il processo ha coinvolto l'utilizzo di nvcc, il compilatore CUDA di NVIDIA,insieme a molte iterazioni delle appropriate bandiere di ottimizzazione per garantire che i binari fossero adeguatamente sintonizzati all'architettura del serverL'inclusione del supporto CUDA nella compilazione GROMACS consente al software di interfacciarsi direttamente con l'hardware GPU, il che può migliorare drasticamente i tempi di calcolo per simulazioni complesse.

Il test: interazione delle proteine personalizzate nei Gromacs

Sfruttando un file di input fornito dalla comunità dal nostro diverso Discord, che conteneva parametri e strutture su misura per uno studio specifico sulle interazioni proteiche,Abbiamo avviato una simulazione di dinamica molecolare.I risultati sono stati notevoli: il sistema ha raggiunto una velocità di simulazione di 170,268 nanosecondi al giorno.

Piu' che IA

Nell'implacabile ondata di innovazione nel panorama dell'IA di oggi, misurare e comprendere le capacità delle varie piattaforme hardware è fondamentale.Non tutte le applicazioni di IA richiedono massicce fattorie di addestramento della GPU. C'è un segmento vitale di inferenza dell'IA che spesso richiede meno potenza della GPU.In questa recensione, esaminiamo diverse GPU NVIDIA L4 su tre diversi server Dell e una serie di carichi di lavoro, tra cui MLperf, per valutare le prestazioni del L4.

 

NVIDIA L4

GPU NVIDIA L4

Il L4 offre un'impressionante prestazione di FP32 di 30,3 teraFLOP, rendendolo ideale per compiti di calcolo ad alta precisione.,FP16, e BFLOAT16 Tensor Cores: caratteristiche critiche per migliorare l'efficienza dell'apprendimento profondo.

 

L'L4 eccelle nei compiti a bassa precisione, vantando 242,5 teraFLOP con i suoi FP8 e INT8 Tensor Cores, che aumentano significativamente le prestazioni di inferenza della rete neurale.Equipaggiato con 24 GB di memoria GDDR6 e una larghezza di banda di 300 GB/sL'efficienza energetica del L4 è tuttavia la più notevole: con un TDP di 72 W, il L4 è in grado di gestire con facilità grandi set di dati e modelli complessi.è adatto a una vasta gamma di ambienti di elaborazioneQuesta combinazione di alte prestazioni, efficienza della memoria e basso consumo energetico rende l'NVIDIA L4 un'opzione convincente per affrontare le sfide del edge computing.

 

Con il clamore intorno all'IA che raggiunge il picco febbrile, è facile fissarsi esclusivamente sulle prestazioni dell'L4 con i modelli di IA, ma ha altri trucchi in manica,Sbloccare un mondo di possibilità per le applicazioni videoL'L4 può ospitare fino a 1.040 flussi video AV1 simultanei a 720p30, una capacità che può trasformare il modo in cui i contenuti vengono trasmessi in diretta agli utenti edge, elevando la narrazione creativa,e consentire casi d'uso interessanti per esperienze AR/VR immersive.

 

L'NVIDIA L4 brilla anche quando si tratta di ottimizzare le prestazioni grafiche, come dimostra la sua abilità nel rendering in tempo reale e nel ray tracing.L' L4 è in grado di fornire robuste, un'accelerazione di calcolo grafica ad alta potenza per il VDI, rivolta agli utenti finali che si affidano a un rendering grafico in tempo reale di alta qualità per il loro lavoro.

 

Pensieri conclusivi

La GPU NVIDIA L4 fornisce una solida base per l'intelligenza artificiale ed il calcolo ad alte prestazioni, offrendo un'efficienza e una versatilità senza pari in una vasta gamma di applicazioni.La sua capacità di gestire carichi di lavoro intensivi di IA, compiti di accelerazione, o video pipeline, insieme alle sue prestazioni grafiche ottimizzate, lo rende una scelta ideale per l'inferenza di bordo o l'accelerazione del desktop virtuale.L'unica combinazione di potenza di calcolo dell'L4, capacità di memoria avanzate ed efficienza energetica lo posizionano come attore chiave nel guidare l'accelerazione dei carichi di lavoro edge, in particolare nelle industrie ad alta intensità di IA e grafica.

 

 

NVIDIA L4 twist stack

Non si può negare che l'intelligenza artificiale sia al centro dell'attuale tempesta IT, e la domanda di GPU H100/H200 di fascia alta rimane al top.L'obiettivo è quello di sviluppare un'infrastruttura informatica più robusta all'orizzonte edge, dove i dati vengono generati e analizzati.In questi scenari, è necessaria una GPU di dimensioni più adeguate, e la NVIDIA L4 eccelle qui.se utilizzati come un'unica unità o in scala insieme, come abbiamo testato nel T560.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com

Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Utilizzare la tecnologia per costruire un mondo intelligente”Il vostro fornitore di servizi di prodotti ICT di fiducia!