Ako používať Azure AI Search a Purview: Kompletný sprievodca na vytvorenie bezpečného RAG s citlivosťou na štítky

Úvod

V oblasti moderného správy dát a vyhľadávania je vytvorenie bezpečného RAG (Retrieval-Augmented Generation) systému s citlivosťou na štítky obzvlášť dôležité. RAG dokáže kombinovať výhody vyhľadávania a generovania, aby používateľom poskytlo presnejšie odpovede a informácie. V tomto článku vás krok za krokom prevedieme, ako vytvoriť bezpečný RAG systém s funkciou citlivosti na štítky pomocou Azure AI Search a Purview.

Predpoklady

Pred začatím sa uistite, že máte nasledujúce predpoklady:

Účet Azure: Potrebujete platný účet Azure na prístup k Azure AI Search a Azure Purview.

Základné znalosti o službách Azure: Základné porozumenie Azure, vrátane toho, ako vytvoriť skupiny zdrojov a služby.

Základy programovania: Niektoré príklady v tomto článku môžu vyžadovať základné znalosti programovania v Pythone alebo PowerShell.

Podrobné kroky

Krok 1: Vytvorenie služby Azure AI Search

Prihláste sa do Azure portálu.

Kliknite na "Vytvoriť zdroj" v ľavom menu.

Do vyhľadávacieho poľa zadajte "Azure Search", vyberte "Azure Cognitive Search" a potom kliknite na "Vytvoriť".

Vyplňte potrebné informácie, ako názov, predplatné, skupinu zdrojov a umiestnenie, a potom kliknite na "Skontrolovať + vytvoriť".

Po potvrdení správnosti informácií kliknite na "Vytvoriť".

Po vytvorení služby Azure AI Search nájdete relevantné informácie o službe v portáli.

Krok 2: Vytvorenie účtu Azure Purview

Prihláste sa do Azure portálu.

Kliknite na "Vytvoriť zdroj".

Do vyhľadávacieho poľa zadajte "Purview", a potom vyberte "Azure Purview".

Vyplňte potrebné informácie, ako názov účtu, predplatné, skupinu zdrojov a región, a po potvrdení kliknite na "Skontrolovať + vytvoriť".

Počkajte, kým sa nasadenie zdrojov dokončí.

Služba Purview vám môže pomôcť spravovať klasifikáciu a citlivosť štítkov dát.

Krok 3: Konfigurácia zdrojov dát a citlivosti štítkov

V portáli Azure Purview kliknite na "Zdroje dát".

Vyberte "Pridať zdroj dát", zadajte relevantné informácie a pripojte sa k svojmu zdroju dát.

Nakonfigurujte skenovanie dát. Môžete si vybrať automatické alebo manuálne skenovanie.

V klasifikácii dát prispôsobte citlivé štítky, ako sú: osobné údaje, finančné informácie, dôverné údaje a pod.

Pomocou Purview môžete ľahko spravovať citlivé štítky dát.

Krok 4: Integrácia Azure AI Search

Vytvorte nový index, nakonfigurujte index v službe Azure Search pomocou REST API alebo SDK.

V Azure portáli vytvorte index definovaním polí, typov dát a ďalších parametrov.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Pomocou SDK načítajte dáta do vyhľadávacieho indexu.

Krok 5: Vytvorenie logiky spracovania požiadaviek RAG

Vytvorte API rozhranie pomocou Azure Functions alebo aplikačných služieb, ktoré prijíma požiadavky používateľov.

V tomto rozhraní implementujte logiku kontroly citlivosti štítkov.

import requests
def querysearch(query): # Implementujte kontrolu citlivosti štítkov a na základe výsledku kontroly pristupujte k vyhľadávaciemu API response = requests.get(f"?q={query}") return response.json() 

Krok 6: Vrátenie spracovanej odpovede

Po spracovaní požiadavky získajte informácie z vyhľadávacieho indexu a vráťte ich používateľovi, pričom zabezpečte, aby výstupný obsah neodhalil žiadne citlivé informácie.

def processresponse(response):
results = response.get('value', []) # Spracovanie výsledkov vyhľadávania, filtrovanie citlivých informácií return results 

Časté otázky

Ako zabezpečiť bezpečnosť dát?

- Použite funkciu správy citlivosti štítkov v Azure Purview, aby ste zabezpečili prísnu kontrolu nad citlivými informáciami.

Ako spracovať citlivé informácie v požiadavkách používateľov?

- Implementujte mechanizmus kontroly citlivosti štítkov v logike požiadaviek a na základe štítkov vykonajte príslušné spracovanie, napríklad blokovanie určitých dát.

Aké typy zdrojov dát môžem použiť?

- Azure Purview podporuje rôzne zdroje dát, vrátane Azure Blob Storage, SQL databáz a ďalších.

Zhrnutie

Vytvorenie bezpečného RAG systému s citlivosťou na štítky si síce vyžaduje určité technické základy, ale ak budete postupovať podľa uvedených krokov, môžete využiť Azure AI Search a Purview na vytvorenie efektívneho a bezpečného systému vyhľadávania informácií. Efektívnym spravovaním dát a kontrolou citlivosti štítkov zabezpečíte, že informácie, ktoré spracovávate, zostanú vždy bezpečné a v súlade s predpismi. Dúfame, že vám tento sprievodca pomôže!