Cum să utilizați Azure AI Search și Purview: Ghid complet pentru construirea unui sistem RAG sigur, conștient de etichetele de sensibilitate

Introducere

În domeniul modern al gestionării datelor și căutării, construirea unui sistem RAG (Retrieval-Augmented Generation) sigur, conștient de etichetele de sensibilitate, devine din ce în ce mai importantă. RAG poate combina avantajele căutării și generării, oferind utilizatorilor răspunsuri și informații mai precise. În acest articol, vă vom ghida pas cu pas, prin Azure AI Search și Purview, cum să construiți un sistem RAG sigur, cu funcționalitate conștientă de etichetele de sensibilitate.

Cerințe preliminare

Înainte de a începe, asigurați-vă că aveți următoarele:

Cont Azure: Aveți nevoie de un cont Azure valid pentru a accesa Azure AI Search și Azure Purview.

Cunoștințe de bază despre serviciile Azure: O înțelegere de bază a Azure, inclusiv cum să creați grupuri de resurse și servicii.

Cunoștințe de programare: Unele exemple din acest articol pot necesita cunoștințe de bază în Python sau PowerShell.

Pași detaliați

Pasul 1: Crearea serviciului Azure AI Search

Conectați-vă la Portalul Azure.

Faceți clic pe „Creare resursă” în meniul din stânga.

Introduceți „Azure Search” în caseta de căutare, selectați „Azure Cognitive Search” și apoi faceți clic pe „Creare”.

Completați informațiile necesare, cum ar fi numele, abonamentul, grupul de resurse și locația, apoi faceți clic pe „Revizuire + Creare”.

După ce ați confirmat că informațiile sunt corecte, faceți clic pe „Creare”.

După crearea serviciului Azure AI Search, puteți găsi informațiile relevante despre serviciu în portal.

Pasul 2: Crearea contului Azure Purview

Conectați-vă la Portalul Azure.

Faceți clic pe „Creare resursă”.

Introduceți „Purview” în caseta de căutare, apoi selectați „Azure Purview”.

Completați informațiile necesare, cum ar fi numele contului, abonamentul, grupul de resurse și regiunea, apoi faceți clic pe „Revizuire + Creare”.

Așteptați finalizarea desfășurării resurselor.

Serviciul Purview vă poate ajuta să gestionați clasificarea și etichetele de sensibilitate ale datelor.

Pasul 3: Configurarea surselor de date și a etichetelor de sensibilitate

În portalul Azure Purview, faceți clic pe „Surse de date”.

Selectați „Adăugați sursă de date”, completați informațiile relevante și conectați-vă la sursa dvs. de date.

Configurați scanarea datelor. Puteți alege scanare automată sau manuală.

În clasificarea datelor, personalizați etichetele de sensibilitate, de exemplu: date personale, informații financiare, date confidențiale etc.

Prin Purview, puteți gestiona cu ușurință etichetele de sensibilitate ale datelor.

Pasul 4: Integrarea Azure AI Search

Creați un nou index, configurând indexul în serviciul Azure Search prin REST API sau SDK.

În portalul Azure, creați indexul, configurând indexul prin definirea câmpurilor, tipurilor de date etc.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Utilizați SDK pentru a încărca datele în indexul de căutare.

Pasul 5: Construirea logicii de procesare a cererilor RAG

Utilizați Azure Functions sau servicii de aplicație pentru a crea o interfață API care să primească cererile de interogare ale utilizatorilor.

În această interfață, implementați logica de verificare a etichetelor de sensibilitate.

import requests
def querysearch(query): # Implementați aici logica de verificare a etichetelor de sensibilitate și accesați API-ul de căutare în funcție de rezultatul verificării response = requests.get(f"?q={query}") return response.json() 

Pasul 6: Returnarea răspunsului procesat

După ce ați procesat interogarea, obțineți informațiile din indexul de căutare și returnați-le utilizatorului, asigurându-vă că conținutul de ieșire nu dezvăluie informații sensibile.

def processresponse(response):
results = response.get('value', []) # Procesați rezultatele căutării, filtrând informațiile sensibile return results 

Întrebări frecvente

Cum să asigurați securitatea datelor?

- Utilizați funcția de gestionare a etichetelor de sensibilitate din Azure Purview pentru a asigura un control strict asupra informațiilor sensibile.

Cum să gestionați informațiile sensibile din cererile utilizatorilor?

- Implementați un mecanism de verificare a etichetelor de sensibilitate în logica de interogare, acționând în funcție de etichete, de exemplu, ascunzând anumite date.

Ce tipuri de surse de date pot fi utilizate?

- Azure Purview suportă diverse surse de date, inclusiv Azure Blob Storage, baze de date SQL etc.

Concluzie

Construirea unui sistem RAG sigur, conștient de etichetele de sensibilitate, necesită o anumită bază tehnică, dar dacă urmați pașii de mai sus, puteți utiliza Azure AI Search și Purview pentru a crea un sistem de căutare eficient și sigur. Prin gestionarea eficientă a datelor și controlul etichetelor de sensibilitate, asigurați-vă că informațiile pe care le gestionați rămân întotdeauna sigure și conforme. Sperăm că acest ghid vă va ajuta!