Как да използвате Azure AI Search и Purview: Пълен наръчник за изграждане на безопасна RAG с осъзнаване на чувствителни етикети

Въведение

В съвременната област на управление на данни и търсене, изграждането на система за безопасна RAG (Retrieval-Augmented Generation), която е осъзната за чувствителни етикети, става особено важно. RAG може да комбинира предимствата на извличането и генерирането, за да предостави на потребителите по-точни отговори и информация. В тази статия ще ви водим стъпка по стъпка как да изградите безопасна RAG система с осъзнаване на чувствителни етикети чрез Azure AI Search и Purview.

Предварителни условия

Преди да започнете, уверете се, че разполагате с следните условия:

Azure акаунт: Нуждаете се от валиден Azure акаунт, за да получите достъп до Azure AI Search и Azure Purview.

Разбиране на основните Azure услуги: Основно разбиране на Azure, включително как да създавате ресурсни групи и услуги.

Основи на програмирането: Някои примери в тази статия може да изискват основни познания по Python или PowerShell програмиране.

Подробни стъпки

Стъпка 1: Създаване на Azure AI Search услуга

Влезте в Azure портала.

Кликнете върху "Създаване на ресурс" в лявото меню.

В полето за търсене въведете "Azure Search", изберете "Azure Cognitive Search" и след това кликнете "Създаване".

Попълнете необходимата информация, като име, абонамент, ресурсна група и местоположение, след което кликнете "Преглед + Създаване".

Потвърдете, че информацията е правилна, след което кликнете "Създаване".

След създаването на Azure AI Search услугата, можете да намерите свързаната информация за услугата в портала.

Стъпка 2: Създаване на Azure Purview акаунт

Влезте в Azure портала.

Кликнете "Създаване на ресурс".

В полето за търсене въведете "Purview", след което изберете "Azure Purview".

Попълнете необходимата информация, като име на акаунта, абонамент, ресурсна група и регион, след което кликнете "Преглед + Създаване".

Изчакайте завършването на разполагането на ресурса.

Услугата Purview може да ви помогне да управлявате класификацията на данните и чувствителните етикети.

Стъпка 3: Конфигуриране на източници на данни и чувствителни етикети

В портала на Azure Purview, кликнете "Източници на данни".

Изберете "Добавяне на източник на данни", въведете свързаната информация и се свържете с вашия източник на данни.

Конфигурирайте сканирането на данни. Можете да изберете автоматично или ръчно сканиране.

В класификацията на данните, персонализирайте чувствителните етикети, например: лични данни, финансова информация, конфиденциални данни и др.

С помощта на Purview можете лесно да управлявате чувствителните етикети на данните.

Стъпка 4: Интегриране на Azure AI Search

Създайте нов индекс, конфигурирайте индекса чрез REST API или SDK в Azure Search услугата.

Създайте индекс в Azure портала, конфигурирайте индекса чрез дефиниране на полета, типове данни и други параметри.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Използвайте SDK, за да заредите данните в индекса за търсене.

Стъпка 5: Изграждане на логика за обработка на RAG заявки

Създайте API интерфейс с Azure Functions или App Services, който да приема заявките на потребителите.

В този интерфейс реализирайте логиката за проверка на чувствителни етикети.

import requests
def querysearch(query): # Реализирайте проверка на чувствителни етикети тук и достъпете API за търсене в зависимост от резултатите от проверката. response = requests.get(f"?q={query}") return response.json() 

Стъпка 6: Връщане на обработен отговор

След обработка на заявката, извлечете информация от индекса за търсене и я върнете на потребителя, като същевременно се уверите, че изходното съдържание не разкрива никаква чувствителна информация.

def processresponse(response):
results = response.get('value', []) # Обработете резултатите от търсенето, филтрирайте чувствителната информация. return results 

Често задавани въпроси

Как да осигурим безопасността на данните?

- Използвайте функцията за управление на чувствителни етикети на Azure Purview, за да осигурите стриктен контрол върху чувствителната информация.

Как да обработваме чувствителната информация в потребителските заявки?

- Реализирайте механизъм за проверка на чувствителни етикети в логиката на заявките и предприемете съответни действия в зависимост от етикетите, например блокиране на определени данни.

Какви типове източници на данни могат да се използват?

- Azure Purview поддържа множество източници на данни, включително Azure Blob Storage, SQL бази данни и др.

Резюме

Изграждането на безопасна RAG система с осъзнаване на чувствителни етикети, макар и да изисква определени технически основи, е възможно, стига да следвате горепосочените стъпки. Можете да създадете ефективна и безопасна система за извличане на информация, използвайки Azure AI Search и Purview. Чрез ефективно управление на данни и контрол на чувствителни етикети, уверете се, че информацията, с която работите, остава безопасна и в съответствие с изискванията. Надяваме се, че указанията в тази статия ще ви бъдат полезни!