Kako koristiti Azure AI Search i Purview: Sveobuhvatan vodič za izgradnju sigurnog RAG-a sa sviješću o osjetljivosti oznaka

Uvod

U modernom upravljanju podacima i pretraživanju, izgradnja sigurnog RAG (Retrieval-Augmented Generation) sistema sa sviješću o osjetljivosti oznaka postaje posebno važna. RAG može kombinovati prednosti pretraživanja i generisanja, pružajući korisnicima preciznije odgovore i informacije. U ovom članku, korak po korak ćemo vas voditi kroz Azure AI Search i Purview, kako biste izgradili sigurni RAG sistem sa funkcionalnošću svjesnosti o osjetljivosti oznaka.

Preduslovi

Prije nego što počnete, molimo vas da osigurate da imate sljedeće:

Azure račun: Potreban vam je važeći Azure račun za pristup Azure AI Search i Azure Purview.

Razumijevanje osnovnih Azure usluga: Osnovno razumijevanje Azure-a, uključujući kako kreirati grupe resursa i usluge.

Osnovno programiranje: Neki od primjera u ovom članku mogu zahtijevati osnovno znanje programiranja u Pythonu ili PowerShell-u.

Detaljni koraci

Prvi korak: Kreiranje Azure AI Search usluge

Prijavite se na Azure portal.

Kliknite na "Kreiraj resurs" u lijevom meniju.

U pretraživaču unesite "Azure Search", odaberite "Azure Cognitive Search", a zatim kliknite na "Kreiraj".

Ispunite potrebne informacije, kao što su naziv, pretplata, grupa resursa i lokacija, a zatim kliknite na "Pregled + Kreiraj".

Nakon što potvrdite da su informacije tačne, kliknite na "Kreiraj".

Nakon kreiranja Azure AI Search usluge, možete pronaći relevantne informacije o usluzi u portalu.

Drugi korak: Kreiranje Azure Purview računa

Prijavite se na Azure portal.

Kliknite na "Kreiraj resurs".

U pretraživaču unesite "Purview", a zatim odaberite "Azure Purview".

Ispunite potrebne informacije, kao što su naziv računa, pretplata, grupa resursa i regija, a zatim kliknite na "Pregled + Kreiraj".

Sačekajte da se resurs implementira.

Purview usluga može vam pomoći u upravljanju klasifikacijom podataka i osjetljivim oznakama.

Treći korak: Konfiguracija izvora podataka i osjetljivih oznaka

U Azure Purview portalu, kliknite na "Izvori podataka".

Odaberite "Dodaj izvor podataka", unesite relevantne informacije i povežite se sa svojim izvorom podataka.

Konfigurišite skeniranje podataka. Možete odabrati automatsko skeniranje ili ručno skeniranje.

U klasifikaciji podataka, prilagodite osjetljive oznake, kao što su: lični podaci, finansijske informacije, povjerljivi podaci itd.

Kroz Purview, možete lako upravljati osjetljivim oznakama podataka.

Četvrti korak: Integracija Azure AI Search

Kreirajte novi indeks, konfigurirajte indeks putem REST API-ja ili SDK-a u Azure Search usluzi.

U Azure portalu kreirajte indeks, definišući polja, tipove podataka i druge parametre za konfiguraciju indeksa.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Koristite SDK za učitavanje podataka u pretraživački indeks.

Peti korak: Izgradnja logike obrade RAG zahtjeva

Koristite Azure Functions ili aplikacijske usluge za kreiranje API interfejsa koji prima korisničke upite.

U tom interfejsu implementirajte logiku provjere osjetljivih oznaka.

import requests
def querysearch(query): # Ovdje implementirajte provjeru osjetljivih oznaka i na osnovu rezultata provjere pristupite pretraživačkom API-ju response = requests.get(f"?q={query}") return response.json() 

Šesti korak: Vraćanje obrađenog odgovora

Nakon obrade upita, dobijte informacije iz pretraživačkog indeksa i vratite ih korisniku, osiguravajući da sadržaj ne otkriva nikakve osjetljive informacije.

def processresponse(response):
results = response.get('value', []) # Obradite rezultate pretraživanja, filtrirajte osjetljive informacije return results 

Česta pitanja

Kako osigurati sigurnost podataka?

- Koristite funkcionalnost upravljanja osjetljivim oznakama Azure Purview-a kako biste osigurali strogu kontrolu nad osjetljivim informacijama.

Kako obraditi osjetljive informacije u korisničkim upitima?

- Implementirajte mehanizam provjere osjetljivih oznaka u logici upita, a na osnovu oznaka preduzmite odgovarajuće mjere, kao što je blokiranje određenih podataka.

Koje vrste izvora podataka mogu koristiti?

- Azure Purview podržava razne izvore podataka, uključujući Azure Blob Storage, SQL baze podataka itd.

Zaključak

Izgradnja sigurnog RAG sistema sa sviješću o osjetljivosti oznaka, iako zahtijeva određeno tehničko znanje, može se postići slijedeći navedene korake. Možete iskoristiti Azure AI Search i Purview za kreiranje efikasnog i sigurnog sistema za pretraživanje informacija. Kroz efikasno upravljanje podacima i kontrolu osjetljivih oznaka, osigurajte da informacije kojima upravljate ostanu sigurne i usklađene. Nadamo se da će vam ovaj vodič pomoći!