Як використовувати Azure AI Search та Purview: повний посібник зі створення безпечної системи RAG з урахуванням чутливих міток

Вступ

У сучасному управлінні даними та пошуку створення системи RAG (Retrieval-Augmented Generation) з урахуванням чутливих міток стає особливо важливим. RAG може поєднувати переваги пошуку та генерації, надаючи користувачам більш точні відповіді та інформацію. У цій статті ми поступово проведемо вас через Azure AI Search та Purview, щоб показати, як створити безпечну систему RAG з функцією чутливих міток.

Попередні вимоги

Перед початком переконайтеся, що у вас є такі умови:

Обліковий запис Azure: вам потрібен дійсний обліковий запис Azure для доступу до Azure AI Search та Azure Purview.

Розуміння основних сервісів Azure: базове розуміння Azure, включаючи те, як створювати групи ресурсів та сервіси.

Основи програмування: деякі приклади в цій статті можуть вимагати базових знань програмування на Python або PowerShell.

Детальні кроки

Крок 1: створення служби Azure AI Search

Увійдіть до порталу Azure.

Натисніть на "Створити ресурс" у лівому меню.

Введіть у полі пошуку "Azure Search", виберіть "Azure Cognitive Search", а потім натисніть "Створити".

Заповніть необхідну інформацію, таку як назва, підписка, група ресурсів та місцезнаходження, а потім натисніть "Переглянути + створити".

Після підтвердження інформації натисніть "Створити".

Після створення служби Azure AI Search ви зможете знайти відповідну інформацію про службу в порталі.

Крок 2: створення облікового запису Azure Purview

Увійдіть до порталу Azure.

Натисніть "Створити ресурс".

Введіть у полі пошуку "Purview", а потім виберіть "Azure Purview".

Заповніть необхідну інформацію, таку як назва облікового запису, підписка, група ресурсів та регіон, після чого натисніть "Переглянути + створити".

Дочекайтеся завершення розгортання ресурсу.

Служба Purview може допомогти вам керувати класифікацією даних та чутливими мітками.

Крок 3: налаштування джерел даних та чутливих міток

У порталі Azure Purview натисніть "Джерела даних".

Виберіть "Додати джерело даних", введіть відповідну інформацію та підключіться до вашого джерела даних.

Налаштуйте сканування даних. Ви можете вибрати автоматичне або ручне сканування.

У класифікації даних налаштуйте чутливі мітки, такі як: особисті дані, фінансова інформація, конфіденційні дані тощо.

За допомогою Purview ви можете легко керувати чутливими мітками даних.

Крок 4: інтеграція Azure AI Search

Створіть новий індекс, налаштувавши індекс у службі Azure Search за допомогою REST API або SDK.

У порталі Azure створіть індекс, налаштувавши його через визначення полів, типів даних та інших параметрів.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Використовуйте SDK для завантаження даних до пошукового індексу.

Крок 5: створення логіки обробки запитів RAG

Використовуйте Azure Functions або служби додатків для створення API інтерфейсу, який приймає запити користувачів.

У цьому інтерфейсі реалізуйте логіку перевірки чутливих міток.

import requests
def querysearch(query): # Реалізуйте перевірку чутливих міток тут і, залежно від результату перевірки, звертайтеся до пошукового API response = requests.get(f"?q={query}") return response.json() 

Крок 6: повернення обробленої відповіді

Після обробки запиту отримайте інформацію з пошукового індексу та поверніть її користувачу, при цьому забезпечуючи, щоб вихідний контент не розкривав жодної чутливої інформації.

def processresponse(response):
results = response.get('value', []) # Обробка результатів пошуку, фільтрація чутливої інформації return results 

Поширені запитання

Як забезпечити безпеку даних?

- Використовуйте функцію управління чутливими мітками Azure Purview, щоб забезпечити суворий контроль над чутливою інформацією.

Як обробляти чутливу інформацію в запитах користувачів?

- Реалізуйте механізм перевірки чутливих міток у логіці запиту, щоб відповідно обробляти дані, наприклад, приховувати певну інформацію.

Які типи джерел даних можна використовувати?

- Azure Purview підтримує різноманітні джерела даних, включаючи Azure Blob Storage, SQL бази даних тощо.

Висновок

Створення безпечної системи RAG з урахуванням чутливих міток, хоча й вимагає певних технічних знань, але за умови дотримання наведених вище кроків ви зможете використовувати Azure AI Search та Purview для створення ефективної та безпечної системи інформаційного пошуку. Завдяки ефективному управлінню даними та контролю чутливих міток ви можете бути впевнені, що інформація, яку ви обробляєте, завжди залишається безпечною та відповідною. Сподіваємося, що цей посібник буде вам корисним!