Jak korzystać z Azure AI Search i Purview: Kompletny przewodnik po budowie systemu RAG z uwzględnieniem etykiet wrażliwości

Wprowadzenie

W nowoczesnym zarządzaniu danymi i wyszukiwaniu, budowa systemu RAG (Retrieval-Augmented Generation) z uwzględnieniem etykiet wrażliwości staje się szczególnie ważna. RAG łączy zalety wyszukiwania i generowania, aby dostarczyć użytkownikom dokładniejsze odpowiedzi i informacje. W tym artykule krok po kroku pokażemy, jak zbudować bezpieczny system RAG z funkcją uwzględniania etykiet wrażliwości przy użyciu Azure AI Search i Purview.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że spełniasz następujące warunki:

Konto Azure: Potrzebujesz ważnego konta Azure, aby uzyskać dostęp do Azure AI Search i Azure Purview.

Podstawowa znajomość usług Azure: Podstawowa wiedza na temat Azure, w tym jak tworzyć grupy zasobów i usługi.

Podstawy programowania: Niektóre przykłady w tym artykule mogą wymagać podstawowej wiedzy z zakresu programowania w Pythonie lub PowerShell.

Szczegółowe kroki

Krok 1: Utworzenie usługi Azure AI Search

Zaloguj się do portalu Azure.

Kliknij „Utwórz zasób” w menu po lewej stronie.

Wpisz „Azure Search” w polu wyszukiwania, wybierz „Azure Cognitive Search”, a następnie kliknij „Utwórz”.

Wypełnij wymagane informacje, takie jak nazwa, subskrypcja, grupa zasobów i lokalizacja, a następnie kliknij „Sprawdź + utwórz”.

Po potwierdzeniu informacji kliknij „Utwórz”.

Po utworzeniu usługi Azure AI Search możesz znaleźć odpowiednie informacje o usłudze w portalu.

Krok 2: Utworzenie konta Azure Purview

Zaloguj się do portalu Azure.

Kliknij „Utwórz zasób”.

Wpisz „Purview” w polu wyszukiwania, a następnie wybierz „Azure Purview”.

Wypełnij wymagane informacje, takie jak nazwa konta, subskrypcja, grupa zasobów i region, a następnie kliknij „Sprawdź + utwórz”.

Poczekaj na zakończenie wdrażania zasobów.

Usługa Purview może pomóc w zarządzaniu klasyfikacją danych i etykietami wrażliwości.

Krok 3: Konfiguracja źródła danych i etykiet wrażliwości

W portalu Azure Purview kliknij „Źródła danych”.

Wybierz „Dodaj źródło danych”, wprowadź odpowiednie informacje i połącz się z Twoim źródłem danych.

Skonfiguruj skanowanie danych. Możesz wybrać skanowanie automatyczne lub ręczne.

W klasyfikacji danych dostosuj etykiety wrażliwości, na przykład: dane osobowe, informacje finansowe, dane poufne itp.

Dzięki Purview możesz łatwo zarządzać etykietami wrażliwości danych.

Krok 4: Integracja Azure AI Search

Utwórz nowy indeks, konfigurując indeks w usłudze Azure Search za pomocą REST API lub SDK.

W portalu Azure utwórz indeks, definiując pola, typy danych i inne parametry.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Użyj SDK, aby załadować dane do indeksu wyszukiwania.

Krok 5: Budowa logiki przetwarzania zapytań RAG

Utwórz interfejs API za pomocą Azure Functions lub usługi aplikacji, aby odbierać zapytania użytkowników.

W tym interfejsie zaimplementuj logikę sprawdzania etykiet wrażliwości.

import requests
def querysearch(query): # Zaimplementuj tutaj sprawdzanie etykiet wrażliwości i uzyskaj dostęp do API wyszukiwania na podstawie wyników sprawdzenia response = requests.get(f"?q={query}") return response.json() 

Krok 6: Zwracanie przetworzonej odpowiedzi

Po przetworzeniu zapytania uzyskaj informacje z indeksu wyszukiwania i zwróć je użytkownikowi, jednocześnie zapewniając, że wyjściowa treść nie ujawnia żadnych informacji wrażliwych.

def processresponse(response):
results = response.get('value', []) # Przetwarzanie wyników wyszukiwania, filtrowanie informacji wrażliwych return results 

Często zadawane pytania

Jak zapewnić bezpieczeństwo danych?

- Użyj funkcji zarządzania etykietami wrażliwości w Azure Purview, aby zapewnić ścisłą kontrolę nad informacjami wrażliwymi.

Jak radzić sobie z informacjami wrażliwymi w zapytaniach użytkowników?

- Zaimplementuj mechanizm sprawdzania etykiet wrażliwości w logice zapytań, aby odpowiednio reagować na etykiety, na przykład blokując niektóre dane.

Jakie typy źródeł danych można wykorzystać?

- Azure Purview obsługuje różne źródła danych, w tym Azure Blob Storage, bazy danych SQL itp.

Podsumowanie

Budowa systemu RAG z uwzględnieniem etykiet wrażliwości, choć wymaga pewnych podstaw technicznych, jest możliwa do zrealizowania, jeśli postępujesz zgodnie z powyższymi krokami. Możesz wykorzystać Azure AI Search i Purview do stworzenia wydajnego i bezpiecznego systemu wyszukiwania informacji. Dzięki skutecznemu zarządzaniu danymi i kontroli etykiet wrażliwości zapewnisz, że przetwarzane informacje zawsze pozostaną bezpieczne i zgodne z przepisami. Mamy nadzieję, że ten przewodnik będzie dla Ciebie pomocny!