Jak používat Azure AI Search a Purview: Kompletní průvodce pro vytváření bezpečného RAG s povědomím o citlivosti štítků

Úvod

V oblasti moderního správy dat a vyhledávání se stává stále důležitějším vybudovat bezpečný RAG (Retrieval-Augmented Generation) systém s povědomím o citlivosti štítků. RAG dokáže kombinovat výhody vyhledávání a generování, aby uživatelům poskytl přesnější odpovědi a informace. V tomto článku vás provedeme krok za krokem, jak pomocí Azure AI Search a Purview vytvořit bezpečný RAG systém s funkcí povědomí o citlivosti štítků.

Předpoklady

Před zahájením se ujistěte, že máte následující:

Účet Azure: Potřebujete platný účet Azure pro přístup k Azure AI Search a Azure Purview.

Základní znalosti o službách Azure: Základní znalosti o Azure, včetně toho, jak vytvářet skupiny prostředků a služby.

Základy programování: Některé příklady v tomto článku mohou vyžadovat základní znalosti programování v Pythonu nebo PowerShellu.

Podrobné kroky

Krok 1: Vytvoření služby Azure AI Search

Přihlaste se do portálu Azure.

Klikněte na "Vytvořit prostředek" v levém menu.

Do vyhledávacího pole zadejte "Azure Search", vyberte "Azure Cognitive Search" a poté klikněte na "Vytvořit".

Vyplňte potřebné informace, jako je název, předplatné, skupina prostředků a umístění, a poté klikněte na "Zkontrolovat + vytvořit".

Po potvrzení správnosti informací klikněte na "Vytvořit".

Po vytvoření služby Azure AI Search můžete najít související informace o službě v portálu.

Krok 2: Vytvoření účtu Azure Purview

Přihlaste se do portálu Azure.

Klikněte na "Vytvořit prostředek".

Do vyhledávacího pole zadejte "Purview" a poté vyberte "Azure Purview".

Vyplňte potřebné informace, jako je název účtu, předplatné, skupina prostředků a oblast, a po potvrzení klikněte na "Zkontrolovat + vytvořit".

Počkejte, až bude nasazení prostředku dokončeno.

Služba Purview vám může pomoci spravovat klasifikaci dat a citlivost štítků.

Krok 3: Konfigurace datového zdroje a citlivost štítků

V portálu Azure Purview klikněte na "Datové zdroje".

Vyberte "Přidat datový zdroj", zadejte související informace a připojte se k vašemu datovému zdroji.

Nakonfigurujte skenování dat. Můžete zvolit automatické nebo ruční skenování.

V klasifikaci dat přizpůsobte citlivost štítků, například: osobní údaje, finanční informace, důvěrná data atd.

Pomocí Purview můžete snadno spravovat citlivost štítků dat.

Krok 4: Integrace Azure AI Search

Vytvořte nový index, nakonfigurujte index v Azure Search službě pomocí REST API nebo SDK.

Vytvořte index v Azure Portalu definováním polí, datových typů a dalších parametrů pro konfiguraci indexu.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Pomocí SDK načtěte data do vyhledávacího indexu.

Krok 5: Vytvoření logiky zpracování požadavků RAG

Vytvořte API rozhraní pomocí Azure Functions nebo aplikačních služeb, které přijímá uživatelské dotazy.

V tomto rozhraní implementujte logiku kontroly citlivosti štítků.

import requests
def querysearch(query): # Zde implementujte kontrolu citlivosti štítků a podle výsledku kontroly přistupte k vyhledávacímu API response = requests.get(f"?q={query}") return response.json() 

Krok 6: Vrátit zpracovanou odpověď

Po zpracování dotazu získejte informace z vyhledávacího indexu a vraťte je uživateli, přičemž zajistěte, aby výstupní obsah neodhalil žádné citlivé informace.

def processresponse(response):
results = response.get('value', []) # Zpracování výsledků vyhledávání, filtrování citlivých informací return results 

Časté dotazy

Jak zajistit bezpečnost dat?

- Použijte funkce správy citlivosti štítků Azure Purview, abyste zajistili přísnou kontrolu citlivých informací.

Jak zacházet s citlivými informacemi v uživatelských dotazech?

- Implementujte mechanismus kontroly citlivosti štítků v logice dotazu a podle štítků proveďte odpovídající zpracování, například skrytí určitých dat.

Jaké typy datových zdrojů lze použít?

- Azure Purview podporuje různé datové zdroje, včetně Azure Blob Storage, SQL databází atd.

Shrnutí

Vytvoření bezpečného RAG systému s povědomím o citlivosti štítků vyžaduje určité technické znalosti, ale pokud budete postupovat podle výše uvedených kroků, můžete využít Azure AI Search a Purview k vytvoření efektivního a bezpečného systému pro vyhledávání informací. Efektivní správa dat a kontrola citlivosti štítků zajistí, že informace, které zpracováváte, zůstanou vždy bezpečné a v souladu s předpisy. Doufáme, že vám tento průvodce pomůže!