Zilliz ha lanciato Milvus v3.0, il suo database vettoriale open source, aggiungendo l'accesso ai dati nativi del lago e un motore di recupero aggiornato per gli sviluppatori di intelligenza artificiale di produzione.
L'architettura Lake-native mantiene i dati grezzi in formati aperti sullo storage di oggetti cloud invece di duplicarli in database autonomi. Zilliz ha presentato il suo concetto Vector Lakebase nell'anteprima pubblica di giugno; Il CEO Charles Xie lo ha descritto come una base dati unificata che consente query in tempo reale, esplorazione dei dati e pipeline di formazione AI multi-petabyte senza copie di dati, migrazione o stack di archiviazione paralleli. Il livello di archiviazione di oggetti unificato supporta sia la ricerca vettoriale online a bassa latenza che l'analisi su larga scala su file di origine identici.
Il co-fondatore e CTO di Zilliz, James Luan, ha commentato: "Milvus 3.0 esegue il recupero della produzione direttamente sugli archivi dati esistenti e offre un motore più potente per i moderni carichi di lavoro IA. Questo stesso core alimenta Zilliz Vector Lakebase, migliorato con scalabilità elastica, operazioni semplificate e strumenti di livello aziendale per la gestione dei dati IA su larga scala."
I database vettoriali memorizzano incorporamenti numerici di vettori per testo, immagini e altri contenuti per potenziare la ricerca per somiglianza. Zilliz afferma che Milvus è il database vettoriale open source più utilizzato al mondo, adottato da oltre 10.000 aziende per RAG, motori di raccomandazione e agenti AI, con oltre 100 milioni di pull Docker registrati.
Le tradizionali pipeline di intelligenza artificiale mantengono copie dei dati separate per il recupero in tempo reale e l'analisi offline, comportando costi di archiviazione aggiuntivi, lunghe esportazioni di dati, pipeline di sincronizzazione e pesanti spese generali operative.
Funzionalità principali di Milvus 3.0
1.Collezioni esterne: Crea collezioni Milvus su file Lake in Lance, Iceberg, Parquet o Vortex. Il sistema crea indici vettoriali, full-text, JSON e scalari sui dati di origine senza duplicazioni, esponendoli tramite API native standard. La sincronizzazione incrementale aggiorna automaticamente gli indici man mano che i dati del lago cambiano.
2.Loon Storage Engine: un nuovo motore basato su manifest elimina l'amplificazione della lettura per le ricerche di archiviazione di oggetti a bassa latenza, utilizzando Vortex aperto compatibile con Arrow come formato colonnare predefinito.
3. Istantanee puntuali: gli snapshot leggeri di raccolte di sola lettura consentono l'esecuzione di processi di deduplicazione, valutazione e convalida offline su set di dati stabili senza interrompere le scritture di produzione.
4.Spark Connector e operatori batch: Un connettore Spark DataSource V2 integra Milvus con flussi di lavoro batch Spark, Databricks ed EMR, insieme a funzioni batch vettoriali native per la deduplicazione e il clustering.
La ricerca vettoriale standard Top-K recupera solo i vettori più simili tramite il calcolo della distanza, soffrendo di un ridimensionamento inadeguato con conteggi e dimensioni di vettori elevati. Milvus 3.0 espande il recupero ben oltre la semplice ricerca del vicino più vicino:
1.L'ordinamento, l'aggregazione e la ricerca sfaccettata lato server combinano la somiglianza semantica con i filtri dei metadati (timestamp, prezzo, categoria, locatario ecc.), eliminando la post-elaborazione lato client.
2. Il recupero multi-vettore di StructList supporta entità con più incorporamenti (pezzi di documenti, patch di immagini, dati di prodotto multimodali) e funziona con modelli di interazione tardiva come ColBERT e ColPali.
3. L'indice sparse ottimizzato riduce l'ingombro di archiviazione di circa il 70% rispettando le prestazioni di richiamo originali, abbinato a vettori sparsi appresi SINDI, MinHash integrato, campi vettoriali nullable, dizionari full-text personalizzati e una più ampia compatibilità dell'indice Faiss.
Luan ha aggiunto che i carichi di lavoro di intelligenza artificiale di produzione richiedono classificazione, raggruppamento e ricerca multi-vettore in modo nativo all'interno del database e uno storage rielaborato v3.0 per fornire un rapido accesso allo storage degli oggetti insieme a un'elaborazione interna più ricca.
Questo nucleo unificato alimenta sia Milvus open source self-hosted che Zilliz Cloud completamente gestito. Zilliz Cloud estende il motore di base in un Vector Lakebase completo con elaborazione elastica, strumenti di rilevamento, analisi batch, indicizzazione unificata, governance aziendale e automazione su un'unica fonte di dati AI.
Contesto competitivo del settore
L’aggiornamento aumenta la pressione sui rivali Pinecone, Qdrant e Weaviate, tutti in corsa per ridurre la latenza di ricerca: Qdrant ha lanciato indicizzazione più rapida, cluster ad alta disponibilità e registri di controllo della conformità ad aprile; Pinecone ha lanciato a maggio set vettoriali precalcolati e retriever componibili per accelerare i flussi di lavoro degli agenti.
I fornitori di database vettoriali puri competono con piattaforme multi-modello tra cui Regatta, SingleStore e SurrealDB. Sebbene si integrino con case sul lago come Databricks e Snowflake, le partnership più profonde tra database devono affrontare barriere architettoniche e motori di storage. Il mercato potrebbe vedere gli operatori vettoriali aggiungere nel tempo supporto nativo strutturato, grafico, di documenti o di serie temporali.
Disponibilità
Milvus 3.0 rimane un progetto LF AI & Data graduate con licenza Apache 2.0, distribuibile tramite Docker o Kubernetes inclusi ambienti air-gapped, con compatibilità per S3, GCS e archiviazione di oggetti BLOB di Azure. La copertura iniziale dell'SDK include Python, Go e Node.js, con il supporto Java in arrivo. Il codice sorgente, le note di rilascio e le guide rapide sono ospitate su GitHub, insieme agli orari di ufficio della community per il supporto degli sviluppatori.
Managed Zilliz Cloud incorpora Milvus 3.0 come livello di indicizzazione principale, aggiungendo elasticità aziendale, sicurezza e operazioni unificate in un'unica copia di dati condivisa.
Nota
Le raccolte esterne implementano l'indicizzazione del lago a copia zero senza migrazione dei dati; Loon risolve il collo di bottiglia dell'amplificazione della lettura che in precedenza limitava l'archiviazione di oggetti per le query vettoriali a bassa latenza.
Pechino Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Direttore della strategia globale
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Sito Web: www.qianxingdata.com/www.storagesserver.com
Obiettivo aziendale:
Distribuzione prodotti ICT/Integrazione di sistemi e servizi/Soluzioni infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con marchi leader a livello mondiale per fornire prodotti affidabili e servizi professionali.
"Utilizzare la tecnologia per costruire un mondo intelligente" Il tuo fornitore di servizi di prodotti ICT di fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
