Construcció d'un sistema RAG eficient: de principiant a millors pràctiques

La generació augmentada per recuperació (Retrieval-Augmented Generation, RAG) s'ha convertit en una tecnologia clau per construir aplicacions basades en models de llenguatge grans (LLM). Millora la capacitat dels LLM recuperant informació rellevant de fonts de coneixement externes, resolent les limitacions dels LLM en termes de cobertura de coneixement i puntualitat. Aquest article explorarà en profunditat les diferents etapes de RAG i proporcionarà consells pràctics i bones pràctiques per construir sistemes RAG eficients.

Què és RAG?

RAG és una arquitectura que primer recupera informació rellevant de bases de coneixement externes abans de generar respostes. Aquest mètode combina eficaçment la capacitat de generació dels LLM amb la precisió i la puntualitat de les dades externes. En termes senzills, RAG inclou els següents passos clau:

1. Recuperació (Retrieval): Recuperar documents o fragments d'informació rellevants de bases de coneixement externes en funció de la consulta de l'usuari.
2. Augmentació (Augmentation): Afegir la informació recuperada a la consulta de l'usuari, formant una indicació (Prompt) augmentada.
3. Generació (Generation): Introduir la indicació augmentada a l'LLM per generar la resposta o el text final.

Avantatges de RAG

• Millora del coneixement: RAG permet als LLM accedir a informació més àmplia i actualitzada, superant així les limitacions de coneixement inherents als LLM.
• Explicabilitat: RAG proporciona els documents recuperats com a base per a les respostes, millorant l'explicabilitat i la credibilitat de les respostes.
• Reducció de les al·lucinacions: En basar les respostes en coneixement extern, RAG pot reduir significativament el risc que els LLM produeixin "al·lucinacions" (és a dir, inventar fets).
• Puntualitat: RAG es pot integrar amb fonts de dades en temps real, assegurant que els LLM puguin proporcionar la informació més recent.
• Rendibilitat: En comparació amb el reentrenament dels LLM, RAG és una forma més econòmica i eficaç d'actualitzar el coneixement.

Passos per construir un sistema RAG

Aquests són els passos detallats per construir un sistema RAG:

1. Preparació de dades

• Selecció de la font de dades: Seleccionar la base de coneixement adequada, com ara biblioteques de documents, contingut de llocs web, bases de dades, API, etc.
• Neteja i pre-processament de dades: Netejar, desduplicar, formatar i processar les dades per garantir la qualitat i la coherència de les dades.
• Divisió de documents (Chunking): Dividir documents grans en blocs de text més petits (chunks) per facilitar la recuperació. L'estratègia de Chunking té un gran impacte en el rendiment de RAG. Les estratègies comunes inclouen la divisió de mida fixa, la divisió basada en la semàntica, etc.
  • Divisió de mida fixa: Dividir el document segons un nombre fix de caràcters o tokens.
  • Divisió basada en la semàntica: Intentar dividir el document segons unitats semàntiques, com ara frases, paràgrafs o capítols. Algunes eines com Langchain proporcionen divisors de documents basats en la divisió semàntica del text.

2. Construcció d'índexs

• Incrustació (Embedding): Utilitzar models d'incrustació (per exemple, text-embedding-ada-002 d'OpenAI o sentence transformers de Hugging Face) per convertir blocs de text en representacions vectorials. Els models d'incrustació poden codificar la informació semàntica del text en vectors, de manera que el text semànticament similar estigui més a prop en l'espai vectorial.
• Base de dades vectorial: Emmagatzemar els vectors d'incrustació en una base de dades vectorial, com ara Pinecone, Weaviate, Milvus, Chroma, etc. Les bases de dades vectorials poden realitzar cerques de similitud de manera eficient, trobant els blocs de text més rellevants en funció de la consulta de l'usuari.
• Gestió de metadades: A més del contingut del text, també podeu emmagatzemar metadades per a cada bloc de text, com ara la font del document, l'hora de creació, etc. Les metadades es poden utilitzar per filtrar i ordenar els resultats de la recuperació.

3. Recuperació

• Consulta d'incrustació: Utilitza el mateix model d'incrustació que la construcció d'índexs per transformar la consulta de l'usuari en una representació vectorial.
• Cerca de similitud: Realitza una cerca de similitud a la base de dades vectorial per trobar els blocs de text més similars al vector de consulta. Les mètriques de similitud comunes inclouen la similitud cosinus, la distància euclidiana, etc.
• Ordenació i filtratge dels resultats de la recuperació: Ordena i filtra els resultats de la recuperació segons la puntuació de similitud i les metadades per seleccionar els blocs de text més rellevants.
• Estratègia de recuperació: Cal tenir en compte la taxa de recuperació de la recuperació, és a dir, si es poden trobar tots els documents rellevants. Pots provar diferents estratègies de recuperació, com ara augmentar el nombre de resultats de la recuperació, utilitzar diferents mètriques de similitud, etc.

4. Generació

• Enginyeria de prompts (Prompt Engineering): Dissenyar plantilles de prompts adequades que combinin els blocs de text recuperats i la consulta de l'usuari. Una bona plantilla de prompt pot guiar el LLM per generar respostes més precises i rellevants.
  • Aprenentatge en context (In-Context Learning): Incloure alguns exemples al prompt que demostrin com generar respostes basades en el context.
  • Instruccions clares: Indicar clarament al prompt la tasca que ha de completar el LLM, com ara "Respon a la pregunta basant-te en la informació següent", "Resumeix el contingut següent", etc.
• Selecció de LLM: Seleccionar el LLM adequat per generar respostes. Els LLM comuns inclouen GPT-3.5 i GPT-4 d'OpenAI, Claude d'Anthropic, Gemini de Google, etc.
• Ajust d'paràmetres de generació: Ajustar els paràmetres de generació del LLM, com ara la temperatura (temperature), la longitud màxima (max length), etc., per controlar l'estil i la qualitat del text generat.
• Postprocessament: Realitzar un postprocessament de les respostes generades pel LLM, com ara eliminar informació redundant, corregir errors gramaticals, etc.

Trucs pràctics i bones pràctiques

• Seleccionar la base de dades vectorial adequada: Les diferents bases de dades vectorials varien en rendiment, escalabilitat, preu, etc., i cal seleccionar-les segons les necessitats reals.
• Optimitzar l'estratègia de Chunking: L'estratègia de Chunking té un gran impacte en el rendiment de RAG. Cal ajustar-la segons les característiques del document i les capacitats del LLM.
• Utilitzar tècniques de recuperació avançades: A més de la cerca de similitud bàsica, també es poden utilitzar algunes tècniques de recuperació avançades, com ara:
  • Recuperació multi-vectorial: Generar múltiples vectors d'incrustació per a cada bloc de document, per exemple, vectors d'incrustació basats en diferents perspectives o diferents granularitats.
  • Recuperació híbrida (Hybrid Retrieval): Combinar la recuperació basada en paraules clau i la recuperació basada en semàntica per millorar la precisió de la recuperació.
• Utilitzar tècniques d'enginyeria de prompts: L'enginyeria de prompts és un factor clau que afecta el rendiment de RAG. Pots provar diferents plantilles de prompts i realitzar una validació experimental.
• Avaluar el rendiment del sistema RAG: Utilitzar mètriques d'avaluació adequades per avaluar el rendiment del sistema RAG, com ara la precisió, la taxa de recuperació, la fluïdesa, etc.
• Optimització contínua: El rendiment del sistema RAG necessita una optimització contínua. Cal avaluar i ajustar regularment cada enllaç, com ara la font de dades, el model d'incrustació, la base de dades vectorial, la plantilla de prompt, etc.
• Considerar les variants de RAG: Amb el desenvolupament continu de la tecnologia RAG, han sorgit moltes variants de RAG, com ara:
  • Agentic RAG: Combinar la tecnologia AI Agent per permetre que el sistema RAG realitzi de forma autònoma la recuperació de coneixement i la generació de respostes.
  • bRAG (Boosting RAG): Millorar el rendiment del sistema RAG optimitzant els enllaços de recuperació i generació.

Eines recomanades

• Langchain: Un marc de desenvolupament d'aplicacions LLM popular que proporciona components i eines relacionades amb RAG rics.
• LlamaIndex: Un marc de codi obert centrat en RAG que proporciona funcions de connexió de dades, construcció d'índexs i motor de consulta.
• Haystack: Un marc de desenvolupament d'aplicacions LLM modular que proporciona potents funcions RAG.
• Pinecone, Weaviate, Milvus, Chroma: Bases de dades vectorials d'ús comú que proporcionen funcions de cerca de similitud eficients.
• Hugging Face Transformers: Una biblioteca NLP popular que proporciona diversos models pre-entrenats, inclosos els models d'incrustació.## Resum

RAG és una tecnologia potent que pot millorar eficaçment les capacitats dels LLM, permetent-los accedir a un coneixement més ampli i actualitzat. Mitjançant els passos, les tècniques i les eines introduïdes en aquest article, podeu construir sistemes RAG eficients i aplicar-los a diversos escenaris pràctics, com ara el servei d'atenció al client intel·ligent, les preguntes i respostes sobre coneixement, la generació de contingut, etc. Recordeu que el sistema RAG s'ha d'optimitzar contínuament per assolir el millor rendiment. Apreneu i practiqueu contínuament, exploreu més possibilitats de RAG!