Kako koristiti Azure AI Search i Purview: Sveobuhvatan vodič za izgradnju sigurnog RAG-a s osvrtom na osjetljive oznake

Uvod

U modernom upravljanju podacima i području pretraživanja, izgradnja sigurnog RAG-a (Retrieval-Augmented Generation) s osvrtom na osjetljive oznake postaje posebno važna. RAG može kombinirati prednosti pretraživanja i generiranja, pružajući korisnicima preciznije odgovore i informacije. U ovom članku ćemo vas korak po korak voditi kroz izgradnju sigurnog RAG sustava s funkcionalnošću prepoznavanja osjetljivih oznaka koristeći Azure AI Search i Purview.

Preduvjeti

Prije nego što započnete, osigurajte da imate sljedeće:

Azure račun: Trebat će vam valjan Azure račun za pristup Azure AI Search i Azure Purview.

Osnovno razumijevanje Azure usluga: Osnovno razumijevanje Azure-a, uključujući kako stvoriti grupe resursa i usluge.

Osnovno znanje programiranja: Neki primjeri u ovom članku mogu zahtijevati osnovno znanje programiranja u Pythonu ili PowerShellu.

Detaljni koraci

Prvi korak: Stvaranje Azure AI Search usluge

Prijavite se na Azure portal.

Kliknite na "Stvori resurs" u lijevom izborniku.

U pretraživaču upišite "Azure Search", odaberite "Azure Cognitive Search", a zatim kliknite "Stvori".

Ispunite potrebne informacije, kao što su naziv, pretplata, grupa resursa i lokacija, a zatim kliknite "Pregledaj + Stvori".

Nakon što potvrdite da su informacije točne, kliknite "Stvori".

Nakon stvaranja Azure AI Search usluge, možete pronaći relevantne informacije o usluzi u portalu.

Drugi korak: Stvaranje Azure Purview računa

Prijavite se na Azure portal.

Kliknite na "Stvori resurs".

U pretraživaču upišite "Purview", a zatim odaberite "Azure Purview".

Ispunite potrebne informacije, kao što su naziv računa, pretplata, grupa resursa i regija, a zatim kliknite "Pregledaj + Stvori".

Pričekajte da se resursi implementiraju.

Purview usluga može vam pomoći u upravljanju klasifikacijom podataka i osjetljivim oznakama.

Treći korak: Konfiguracija izvora podataka i osjetljivih oznaka

U Azure Purview portalu, kliknite na "Izvori podataka".

Odaberite "Dodaj izvor podataka", unesite relevantne informacije i povežite se s vašim izvorom podataka.

Konfigurirajte skeniranje podataka. Možete odabrati automatsko skeniranje ili ručno skeniranje.

U klasifikaciji podataka, prilagodite osjetljive oznake, na primjer: osobni podaci, financijske informacije, povjerljivi podaci itd.

Kroz Purview, možete lako upravljati osjetljivim oznakama podataka.

Četvrti korak: Integracija Azure AI Search

Stvorite novi indeks, konfigurirajte indeks putem REST API-ja ili SDK-a u Azure Search usluzi.

U Azure portalu stvorite indeks, definirajući polja, tipove podataka i druge parametre za konfiguraciju indeksa.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Koristite SDK za učitavanje podataka u pretraživački indeks.

Peti korak: Izgradnja logike obrade RAG zahtjeva

Koristite Azure Functions ili usluge aplikacija za stvaranje API sučelja koje prima korisničke upite.

U tom sučelju implementirajte logiku provjere osjetljivih oznaka.

import requests
def querysearch(query): # Ovdje implementirajte provjeru osjetljivih oznaka i na temelju rezultata provjere pristupite pretraživačkom API-ju response = requests.get(f"?q={query}") return response.json() 

Šesti korak: Vraćanje obrađenog odgovora

Nakon obrade upita, dobijte informacije iz pretraživačkog indeksa i vratite ih korisniku, osiguravajući da sadržaj ne otkriva nikakve osjetljive informacije.

def processresponse(response):
results = response.get('value', []) # Obradite rezultate pretraživanja, filtrirajte osjetljive informacije return results 

Česta pitanja

Kako osigurati sigurnost podataka?

- Koristite funkcionalnost upravljanja osjetljivim oznakama u Azure Purview kako biste osigurali strogu kontrolu nad osjetljivim informacijama.

Kako obraditi osjetljive informacije u korisničkim upitima?

- Implementirajte mehanizam provjere osjetljivih oznaka u logici upita, a na temelju oznaka poduzmite odgovarajuće mjere, kao što je blokiranje određenih podataka.

Koje vrste izvora podataka mogu se koristiti?

- Azure Purview podržava razne izvore podataka, uključujući Azure Blob Storage, SQL baze podataka itd.

Zaključak

Izgradnja sigurnog RAG sustava s osvrtom na osjetljive oznake, iako zahtijeva određeno tehničko znanje, može se postići slijedeći navedene korake. Možete koristiti Azure AI Search i Purview za stvaranje učinkovitog i sigurnog sustava za pretraživanje informacija. Kroz učinkovito upravljanje podacima i kontrolu osjetljivih oznaka, osigurajte da informacije kojima se bavite ostanu sigurne i usklađene. Nadamo se da će vam ovaj vodič pomoći!