Com utilitzar Azure AI Search i Purview: Guia completa per construir un sistema RAG segur amb consciència de les etiquetes de sensibilitat

Introducció

En el camp de la gestió de dades i la cerca moderna, construir un sistema RAG (Retrieval-Augmented Generation) segur amb consciència de les etiquetes de sensibilitat és especialment important. RAG pot combinar els avantatges de la recuperació i la generació, proporcionant respostes i informació més precises als usuaris. En aquest article, us guiarem pas a pas sobre com construir un sistema RAG segur amb funcionalitat de consciència de les etiquetes de sensibilitat mitjançant Azure AI Search i Purview.

Requisits previs

Abans de començar, assegureu-vos que teniu els següents requisits:

Compte d'Azure: Necessiteu un compte d'Azure vàlid per accedir a Azure AI Search i Azure Purview.

Coneixement bàsic dels serveis d'Azure: Coneixements bàsics sobre Azure, incloent com crear grups de recursos i serveis.

Coneixements de programació: Alguns exemples d'aquest article poden requerir coneixements bàsics de programació en Python o PowerShell.

Passos detallats

Pas 1: Crear el servei Azure AI Search

Inicieu sessió al Portal d'Azure.

Feu clic a "Crear recurs" al menú de l'esquerra.

Introduïu "Cerca d'Azure" a la caixa de cerca, seleccioneu "Cerca Cognitiva d'Azure" i feu clic a "Crear".

Ompliu la informació necessària, com ara nom, subscripció, grup de recursos i ubicació, i feu clic a "Revisar + Crear".

Un cop confirmada la informació, feu clic a "Crear".

Després de crear el servei de cerca d'Azure AI, podeu trobar la informació del servei rellevant al portal.

Pas 2: Crear un compte de Azure Purview

Inicieu sessió al Portal d'Azure.

Feu clic a "Crear recurs".

Introduïu "Purview" a la caixa de cerca i seleccioneu "Azure Purview".

Ompliu la informació necessària, com ara nom del compte, subscripció, grup de recursos i regió, i feu clic a "Revisar + Crear".

Espereu que la implementació del recurs es completi.

El servei Purview pot ajudar-vos a gestionar la classificació de dades i les etiquetes de sensibilitat.

Pas 3: Configurar fonts de dades i etiquetes de sensibilitat

Al portal de Azure Purview, feu clic a "Fonts de dades".

Seleccioneu "Afegir font de dades", introduïu la informació rellevant i connecteu-vos a la vostra font de dades.

Configureu l'escanneig de dades. Podeu triar entre escaneig automàtic o manual.

A la classificació de dades, personalitzeu les etiquetes de sensibilitat, com ara: dades personals, informació financera, dades confidencials, etc.

Mitjançant Purview, podeu gestionar fàcilment les etiquetes de sensibilitat de les dades.

Pas 4: Integrar Azure AI Search

Creeu un nou índex, configureu l'índex mitjançant REST API o SDK al servei de cerca d'Azure.

Creeu un índex al Portal d'Azure, configurant l'índex mitjançant la definició de camps, tipus de dades, etc.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Utilitzeu el SDK per carregar dades a l'índex de cerca.

Pas 5: Construir la lògica de processament de sol·licituds RAG

Creeu una interfície API mitjançant Azure Functions o serveis d'aplicació per rebre les sol·licituds de consulta dels usuaris.

A la interfície, implementeu la lògica de comprovació d'etiquetes de sensibilitat.

import requests
def querysearch(query): # Implementeu aquí la comprovació d'etiquetes de sensibilitat i accediu a l'API de cerca segons el resultat de la comprovació. response = requests.get(f"?q={query}") return response.json() 

Pas 6: Retornar la resposta processada

Després de processar la consulta, obtingueu informació de l'índex de cerca i torneu-la a l'usuari, assegurant-vos que el contingut de sortida no reveli cap informació sensible.

def processresponse(response):
results = response.get('value', []) # Processar els resultats de cerca, filtrant la informació sensible. return results 

Preguntes freqüents

Com puc assegurar la seguretat de les dades?

- Utilitzeu la funcionalitat de gestió d'etiquetes de sensibilitat de Azure Purview per assegurar un control estricte sobre la informació sensible.

Com es poden gestionar les dades sensibles en les consultes dels usuaris?

- Implementeu un mecanisme de comprovació d'etiquetes de sensibilitat a la lògica de consulta, tractant les dades segons les etiquetes, com ara ocultar certes dades.

Quins tipus de fonts de dades es poden utilitzar?

- Azure Purview admet diverses fonts de dades, incloent Azure Blob Storage, bases de dades SQL, etc.

Resum

Construir un sistema RAG segur amb consciència de les etiquetes de sensibilitat pot requerir una certa base tècnica, però si seguiu els passos anteriors, podreu crear un sistema de recuperació d'informació eficient i segur mitjançant Azure AI Search i Purview. Mitjançant una gestió eficaç de les dades i un control de les etiquetes de sensibilitat, assegureu-vos que la informació que gestioneu es mantingui sempre segura i compliant. Esperem que aquesta guia us sigui útil!