Kako koristiti Azure AI Search i Purview: Sveobuhvatan vodič za izgradnju sigurnog RAG-a sa svesti o oznakama osetljivosti

Uvod

U modernom upravljanju podacima i pretraživanju, izgradnja sigurnog RAG (Retrieval-Augmented Generation) sistema sa svesti o oznakama osetljivosti postaje posebno važna. RAG može kombinovati prednosti pretrage i generisanja, pružajući korisnicima preciznije odgovore i informacije. U ovom članku, korak po korak ćemo vas voditi kroz proces izgradnje sigurnog RAG sistema sa svesti o oznakama osetljivosti koristeći Azure AI Search i Purview.

Preduslovi

Pre nego što počnete, molimo vas da osigurate da imate sledeće:

Azure nalog: Potreban vam je važeći Azure nalog za pristup Azure AI Search i Azure Purview.

Razumevanje osnovnih Azure usluga: Osnovno razumevanje Azure-a, uključujući kako kreirati resursne grupe i usluge.

Osnovno programiranje: Neki primeri u ovom članku mogu zahtevati osnovno znanje programiranja u Python-u ili PowerShell-u.

Detaljni koraci

Prvi korak: Kreiranje Azure AI Search usluge

Prijavite se na Azure portal.

Kliknite na "Kreiraj resurs" u levom meniju.

U pretraživaču unesite "Azure pretraga", izaberite "Azure Cognitive Search", a zatim kliknite na "Kreiraj".

Popunite potrebne informacije, kao što su naziv, pretplata, resursna grupa i lokacija, a zatim kliknite na "Proveri + Kreiraj".

Kada potvrdite da su informacije tačne, kliknite na "Kreiraj".

Nakon kreiranja Azure AI pretrage, možete pronaći relevantne informacije o usluzi u portalu

Drugi korak: Kreiranje Azure Purview naloga

Prijavite se na Azure portal.

Kliknite na "Kreiraj resurs".

U pretraživaču unesite "Purview", a zatim izaberite "Azure Purview".

Popunite potrebne informacije, kao što su naziv naloga, pretplata, resursna grupa i region, a zatim kliknite na "Proveri + Kreiraj".

Sačekajte da se resursi postave.

Purview usluga može vam pomoći da upravljate klasifikacijom podataka i oznakama osetljivosti

Treći korak: Konfiguracija izvora podataka i oznaka osetljivosti

U Azure Purview portalu, kliknite na "Izvori podataka".

Izaberite "Dodaj izvor podataka", unesite relevantne informacije i povežite se sa svojim izvorom podataka.

Konfigurišite skeniranje podataka. Možete izabrati automatsko skeniranje ili ručno skeniranje.

U klasifikaciji podataka, prilagodite oznake osetljivosti, kao što su: lični podaci, finansijske informacije, poverljivi podaci itd.

Kroz Purview, možete lako upravljati oznakama osetljivosti podataka

Četvrti korak: Integracija Azure AI Search

Kreirajte novi indeks, konfigurišite indeks u Azure pretrazi putem REST API-ja ili SDK-a.

U Azure portalu kreirajte indeks, definišući polja, tipove podataka i druge parametre za konfiguraciju indeksa.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Koristite SDK za učitavanje podataka u pretraživački indeks.

Peti korak: Izgradnja logike obrade RAG zahteva

Koristite Azure Functions ili aplikacione usluge za kreiranje API interfejsa koji prima korisničke upite.

U ovom interfejsu implementirajte logiku provere oznaka osetljivosti.

import requests
def querysearch(query): # Implementirajte provere oznaka osetljivosti ovde i pristupite pretraživačkom API-ju na osnovu rezultata provere response = requests.get(f"?q={query}") return response.json() 

Šesti korak: Vraćanje obrađenog odgovora

Nakon obrade upita, dobijte informacije iz pretraživačkog indeksa i vratite ih korisniku, osiguravajući da izlazni sadržaj ne otkriva nikakve osetljive informacije.

def processresponse(response):
results = response.get('value', []) # Obradite rezultate pretrage, filtrirajte osetljive informacije return results 

Česta pitanja

Kako osigurati bezbednost podataka?

- Koristite funkcionalnost upravljanja oznakama osetljivosti Azure Purview-a da biste osigurali strogu kontrolu nad osetljivim informacijama.

Kako obraditi osetljive informacije u korisničkim upitima?

- Implementirajte mehanizam provere oznaka osetljivosti u logici upita, a zatim postupite u skladu sa oznakama, na primer, blokirajući određene podatke.

Koje vrste izvora podataka mogu se koristiti?

- Azure Purview podržava različite izvore podataka, uključujući Azure Blob Storage, SQL baze podataka itd.

Zaključak

Iako izgradnja sigurnog RAG sistema sa svesti o oznakama osetljivosti zahteva određeno tehničko znanje, ako pratite navedene korake, možete koristiti Azure AI Search i Purview za kreiranje efikasnog i sigurnog sistema za pretragu informacija. Kroz efikasno upravljanje podacima i kontrolu oznaka osetljivosti, osigurajte da informacije kojima upravljate ostanu sigurne i usklađene. Nadamo se da će vam ovaj vodič pomoći!