Kaip naudoti Azure AI Search ir Purview: išsamus vadovas, kaip sukurti saugų RAG, atsižvelgiant į jautrumo žymes

Įvadas

Šiuolaikinėje duomenų valdymo ir paieškos srityje ypač svarbu sukurti saugų RAG (Retrieval-Augmented Generation) sistemą, atsižvelgiant į jautrumo žymes. RAG sugeba sujungti paieškos ir generavimo privalumus, kad vartotojams suteiktų tikslesnius atsakymus ir informaciją. Šiame straipsnyje mes žingsnis po žingsnio parodysime, kaip sukurti saugų RAG sistemą, turinčią jautrumo žymių atpažinimo funkciją, naudojant Azure AI Search ir Purview.

Prieš sąlygos

Prieš pradėdami, įsitikinkite, kad turite šias sąlygas:

Azure paskyra: jums reikia galiojančios Azure paskyros, kad galėtumėte pasiekti Azure AI Search ir Azure Purview.

Pagrindinės Azure paslaugų žinios: turite turėti pagrindinių žinių apie Azure, įskaitant tai, kaip sukurti išteklių grupes ir paslaugas.

Programavimo pagrindai: kai kurie šio straipsnio pavyzdžiai gali reikalauti pagrindinių Python arba PowerShell programavimo žinių.

Išsamūs žingsniai

Pirmas žingsnis: sukurti Azure AI Search paslaugą

Prisijunkite prie Azure portalo.

Paspauskite kairėje meniu „Sukurti išteklius“.

Paieškos laukelyje įveskite „Azure paieška“, pasirinkite „Azure Cognitive Search“, tada paspauskite „Sukurti“.

Užpildykite reikiamą informaciją, pvz., pavadinimą, prenumeratą, išteklių grupę ir vietą, tada paspauskite „Peržiūrėti + sukurti“.

Patikrinkite, ar informacija teisinga, tada paspauskite „Sukurti“.

Sukūrus Azure AI paieškos paslaugą, galite rasti susijusią paslaugos informaciją portale.

Antras žingsnis: sukurti Azure Purview paskyrą

Prisijunkite prie Azure portalo.

Paspauskite „Sukurti išteklius“.

Paieškos laukelyje įveskite „Purview“, tada pasirinkite „Azure Purview“.

Užpildykite reikiamą informaciją, pvz., paskyros pavadinimą, prenumeratą, išteklių grupę ir regioną, patvirtinkite ir paspauskite „Peržiūrėti + sukurti“.

Palaukite, kol išteklių diegimas bus baigtas.

Purview paslauga gali padėti jums valdyti duomenų klasifikaciją ir jautrumo žymes.

Trečias žingsnis: sukonfigūruoti duomenų šaltinį ir jautrumo žymes

Azure Purview portale paspauskite „Duomenų šaltiniai“.

Pasirinkite „Pridėti duomenų šaltinį“, įveskite reikiamą informaciją, prijunkite prie savo duomenų šaltinio.

Sukonfigūruokite duomenų nuskaitymą. Galite pasirinkti automatinį arba rankinį nuskaitymą.

Duomenų klasifikacijoje pritaikykite jautrumo žymes, pvz.: asmeniniai duomenys, finansinė informacija, konfidencialūs duomenys ir kt.

Per Purview galite lengvai valdyti duomenų jautrumo žymes.

Ketvirtas žingsnis: integruoti Azure AI Search

Sukurkite naują indeksą, Azure paieškos paslaugose konfigūruokite indeksą per REST API arba SDK.

Azure portale sukurkite indeksą, apibrėždami laukus, duomenų tipus ir kitus parametrus.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Naudokite SDK, kad įkeltumėte duomenis į paieškos indeksą.

Penktas žingsnis: sukurti RAG užklausų apdorojimo logiką

Naudokite Azure Functions arba programų paslaugas, kad sukurtumėte API sąsają, priimančią vartotojų užklausas.

Šioje sąsajoje įgyvendinkite jautrumo žymių tikrinimo logiką.

import requests
def querysearch(query): # Čia įgyvendinkite jautrumo žymių tikrinimą ir pagal tikrinimo rezultatus pasiekite paieškos API response = requests.get(f"?q={query}") return response.json() 

Šeštas žingsnis: grąžinti apdorotą atsakymą

Apdoroję užklausą, gauti informaciją iš paieškos indekso ir grąžinkite vartotojui, užtikrindami, kad išvesties turinys neskelbtų jokios jautrios informacijos.

def processresponse(response):
results = response.get('value', []) # Apdorokite paieškos rezultatus, filtruokite jautrią informaciją return results 

Dažnai užduodami klausimai

Kaip užtikrinti duomenų saugumą?

- Naudokite Azure Purview jautrumo žymių valdymo funkciją, kad užtikrintumėte griežtą jautrios informacijos kontrolę.

Kaip apdoroti jautrią informaciją vartotojų užklausose?

- Užklausų logikoje įgyvendinkite jautrumo žymių tikrinimo mechanizmą, atsižvelgdami į žymes, kad atliktumėte atitinkamus veiksmus, pvz., užmaskuokite tam tikrus duomenis.

Kokius duomenų šaltinius galima naudoti?

- Azure Purview palaiko įvairius duomenų šaltinius, įskaitant Azure Blob Storage, SQL duomenų bazes ir kt.

Santrauka

Sukurti saugų RAG sistemą, atsižvelgiant į jautrumo žymes, nors ir reikalauja tam tikrų techninių žinių, tačiau jei laikysitės aukščiau pateiktų žingsnių, galėsite pasinaudoti Azure AI Search ir Purview, kad sukurtumėte efektyvią, saugią informacijos paieškos sistemą. Efektyviai valdydami duomenis ir kontroliuodami jautrumo žymes, užtikrinsite, kad tvarkoma informacija visada būtų saugi ir atitiktų reikalavimus. Tikimės, kad šis vadovas jums padės!