Il fornitore di database a grafo Neo4j afferma che la tecnologia a grafo può impedire ai modelli e agli agenti di intelligenza artificiale di generare allucinazioni, fabbricazioni e risposte false alle query degli utenti.
L'azienda ha fatto riferimento a un recente articolo accademico pubblicato su arXiv a giugno, intitolato “Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation”, che convalida la sua affermazione.
L'abstract del paper rileva che lo studio esplora l'adozione di una struttura a grafo leggera con uno schema di grafo semplice per supportare il sottosistema RAG (Retrieval-Augmented Generation) tramite un set di strumenti dedicato. Il team di ricerca ha costruito un sistema agentico dotato di diversi strumenti di ricerca vettoriale e query a grafo, operante su dati strutturati provenienti da articoli curati di Wikipedia in inglese. Ha valutato le prestazioni del sistema su domande complesse da MoNaCo, un impegnativo benchmark Wikipedia QA per attività di risposta a query complesse.
I ricercatori hanno posto una domanda complessa agli LLM: “Puoi nominare tutte le battaglie tra olandesi e inglesi nella Prima, Seconda e Terza Guerra Anglo-Olandese, e elencare il vincitore di ogni battaglia?”
Rispondere a questa domanda richiede sofisticate capacità di recupero e ragionamento, tra cui ragionamento multi-entità, multi-hop simultaneo e accesso cross-document. Lo studio sottolinea che tali query complesse pongono sfide importanti per gli attuali sistemi basati su LLM all'avanguardia.
Il team ha testato la domanda su tre configurazioni di LLM e ha analizzato i risultati:
1. Vector+graph RAG: adotta un database vettoriale e a grafo unificato con strumenti predefiniti per ottimizzare il recupero della knowledge base esterna.
2. Simple vector RAG
3. LLM Zero-shot senza miglioramento RAG
I risultati del paper confermano che l'integrazione di una knowledge base di base basata su grafo e di strumenti corrispondenti nello standard vector RAG può ridurre sostanzialmente le allucinazioni dell'IA, sebbene non possa eliminarle del tutto. Il punteggio di veridicità grezza è migliorato da circa -127 per gli LLM zero-shot a -49 per il vector+graph RAG.
Inoltre, l'approccio ibrido supera significativamente il vector RAG standalone. Quando le risposte parzialmente corrette sono incluse nella valutazione, il vector+graph RAG ottiene il punteggio più alto tra i tre scenari di test. Il suo punteggio di veridicità fine è superiore dell'80% rispetto a quello del puro vector RAG, con precisione e richiamo fattuale più del doppio rispetto al sistema RAG basato solo su vettori.
Nel complesso, la soluzione proposta aumenta sia la precisione che il richiamo, frenando al contempo le allucinazioni, offrendo un percorso praticabile per migliorare l'affidabilità e la credibilità dei sistemi QA basati su LLM.
Leggi il paper originale per dettagli tecnici completi della ricerca.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Sito web: www.qianxingdata.com/www.storagesserver.com
Focus Aziendale:
Distribuzione Prodotti ICT/Integrazione di Sistemi e Servizi/Soluzioni Infrastrutturali
Con oltre 20 anni di esperienza nella distribuzione IT, collaboriamo con i principali marchi globali per fornire prodotti affidabili e servizi professionali.
“Usare la Tecnologia per Costruire un Mondo Intelligente” Il Tuo Fornitore di Servizi di Prodotti ICT di Fiducia!
Il tuo messaggio deve contenere da 20 a 3000 caratteri!
Italian
