La società di gestione dei dati non strutturati Komprise ha sviluppato una tecnologia brevettata in grado di dividere dinamicamente enormi set di dati non strutturati.Questa soluzione distribuisce i carichi di lavoro su più motori di calcolo durante la trasmissione dei dati alle GPU di elaborazione dell'IA, accelerando significativamente la velocità complessiva di elaborazione.
Registrata ufficialmente come brevetto US-12566637-B2, la tecnologia Komprise Elastic Shares (KES) è stata presentata da Komprise CTO Michael Peercy e dal suo team di ricerca.Il suo titolo formale è "Sistema e metodi per la suddivisione di un albero sconosciuto per l'esecuzione di operazioni da parte di motori di calcolo multipli"..
Peercy ha dichiarato: "Elastic Shares consente ai nostri clienti di sfruttare appieno le preziose risorse di calcolo, memoria e rete.aiutare le imprese a ottenere importanti vantaggi competitivi.
Per i set di dati a scala petabyte trasmessi ai server AI per analisi, inferenza LLM o calcolo degli agenti AI,un singolo motore di calcolo richiede ore per attraversare gli alberi di directory o i prefissi di archiviazione degli oggettiUn motore di calcolo può essere definito come un server indipendente, un singolo thread, un gruppo di thread, un processo o un cluster di processi, con principi operativi coerenti in tutti gli scenari.Anche se gli utenti possono distribuire più motori per il calcolo parallelo in anticipoLe dimensioni irregolari dei rami comportano che alcuni nodi di calcolo terminino presto e rimangano inattivi in attesa che i nodi più lenti completino le attività assegnate.
Comprise brevetto US-12566637-B2.
Il team di Peercy ha inventato un programma di lavoro intelligente incorporato in uno dei motori di calcolo per monitorare lo stato del nodo in tempo reale.i carichi di lavoro sono inizialmente assegnati tra i motori di calcolo disponibili. Una volta che un nodo termina la partizione assegnata, ritorna al pool di risorse per ricevere le attività in sospeso. Questo meccanismo elimina il tempo di inattività,assegna continuamente nuovi carichi di lavoro ai nodi di calcolo liberi, e riduce la durata complessiva della lavorazione.
Secondo un post ufficiale sul blog di Komprise, KES redistribuisce dinamicamente i carichi di lavoro di dati non strutturati tra i cluster di server in modo streaming.La tecnologia consente un'accelerazione quasi lineare per l'elaborazione di dati su larga scala senza richiedere informazioni pre-acquisite sulla capacità del set di dati, struttura interna o latenza di elaborazione.
Per dirla semplicemente: ogni nodo di calcolo riceve automaticamente nuovi compiti immediatamente dopo aver completato gli incarichi correnti, mantenendo il pieno utilizzo delle risorse fino a quando l'intero lavoro dei dati non è completato.
Michael Peercy.
La documentazione sul brevetto indica che le operazioni di migrazione di dati su larga scala tra server di file o volumi di archiviazione sono spesso soggette a vincoli di tempo.processo o server autonomo, non ha una capacità sufficiente per completare rapidamente carichi di lavoro pesanti, rendendo l'elaborazione parallela multi-motore una soluzione essenziale.
Il documento spiega inoltre che le strutture degli alberi di directory possono essere identificate solo durante il percorso ricorrente da nodi di radice a foglie.come dare la priorità alle directory genitori prima delle sottocartelle e dei fileCiò richiede una segmentazione dinamica del carico di lavoro in tempo reale anziché una partizione statica rigida, che deve adattarsi a architetture di dati diverse e sconosciute.
Questa tecnologia brevettata si applica a file, cartelle, oggetti di storage e prefissi di oggetti.è compatibile con tutti i tipi di motori di calcolo, inclusi thread, processi e cluster di servizi back-end.
Komprise sottolinea tre vantaggi fondamentali offerti dalla tecnologia KES:
-
Partizionamento dinamico delle attività: Le risorse di calcolo ad alto valore vengono immediatamente riassegnate con nuove attività una volta che diventano inattive.
-
Trattamento cieco dei dati: Il sistema supporta il calcolo dei set di dati senza conoscenza preliminare delle dimensioni dei dati, della struttura interna e della latenza di elaborazione variabile, adattandosi perfettamente a scenari di trasmissione di dati in streaming di IA.
-
Riequilibrio intelligente delle risorse: Ottimizza automaticamente le strategie di allocazione per adattarsi a gerarchie di dati non strutturate con densità di rami imprevedibili.
Questa innovativa tecnologia brevettata offre un'ottimizzazione pratica ed efficiente per il calcolo dei dati non strutturati su larga scala.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, direttore della strategia globale
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Affari:
Distribuzione di prodotti TIC/integrazione di sistemi e servizi/soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
Utilizzare la tecnologia per costruire un mondo intelligenteIl vostro fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
