如何使用 Azure AI Search 和 Purview：构建敏感性标签感知的安全 RAG 完整指南

引言

在现代数据管理和搜索领域，构建一个敏感性标签感知的安全 RAG（Retrieval-Augmented Generation）系统变得尤为重要。RAG 能够结合检索和生成的优势，为用户提供更精确的答案和信息。在这篇文章中，我们将通过 Azure AI Search 和 Purview，逐步指导您如何构建一个具备敏感性标签感知功能的安全 RAG 系统。

前置条件

在开始之前，请确保您具备以下条件：

Azure 账户：您需要一个有效的 Azure 账户来访问 Azure AI Search 和 Azure Purview。

了解基本的 Azure 服务：有关 Azure 的基本了解，包括如何创建资源组和服务。

编程基础：本文中的部分示例可能需要基本的 Python 或 PowerShell 编程知识。

详细步骤

第一步：创建 Azure AI Search 服务

登录到 Azure 门户。

点击左侧菜单中的“创建资源”。

在搜索框中输入“Azure 搜索”，选择“Azure Cognitive Search”，然后点击“创建”。

填写必要信息，如名称、订阅、资源组和位置，然后点击“复查 + 创建”。

确认信息无误后，点击“创建”。

创建 Azure AI 搜索服务后，您可以在门户中找到相关的服务信息

第二步：创建 Azure Purview 账户

登录到 Azure 门户。

点击“创建资源”。

在搜索框中输入“Purview”，然后选择“Azure Purview”。

填写必要信息，如账户名称、订阅、资源组和区域，确认后点击“复查 + 创建”。

等待资源部署完成。

Purview 服务可以帮助您管理数据的分类和敏感性标签

第三步：配置数据源和敏感性标签

在 Azure Purview 门户中，点击“数据源”。

选择“添加数据源”，输入相关信息，连接到您的数据源。

配置数据扫描。您可以选择自动扫描或手动扫描。

在数据分类中，自定义敏感性标签，例如：个人数据、财务信息、机密数据等。

通过 Purview，您可以轻松管理数据的敏感性标签

第四步：集成 Azure AI Search

创建一个新的索引，在 Azure 搜索服务中通过 REST API 或 SDK 进行索引配置。

在 Azure Portal 中创建索引，通过定义字段、数据类型等参数来配置索引。

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

使用 SDK 将数据加载到搜索索引中。

第五步：构建 RAG 请求处理逻辑

使用 Azure Functions 或应用服务创建一个 API 接口，接收用户的查询请求。

在该接口中，实现敏感性标签检查的逻辑。

import requests
def querysearch(query): # 在这里实现敏感性标签检查，并根据检查结果访问搜索 API response = requests.get(f"?q={query}") return response.json() 

第六步：返回处理后的响应

在处理完查询后，从搜索索引中获取信息并返回给用户，同时确保输出内容不泄露任何敏感信息。

def processresponse(response):
results = response.get('value', []) # 处理搜索结果，过滤敏感信息 return results 

常见问题

如何确保数据的安全性？

- 使用 Azure Purview 的敏感性标签管理功能，确保对敏感信息的严格控制。

如何处理用户查询中的敏感信息？

- 在查询逻辑中实现敏感性标签检查机制，根据标签做出相应处理，例如屏蔽某些数据。

可以使用哪些类型的数据源？

- Azure Purview 支持多种数据源，包括 Azure Blob Storage、SQL 数据库等。

总结

构建一个敏感性标签感知的安全 RAG 系统虽然需要一定的技术基础，但只要按照上述步骤进行操作，您就可以利用 Azure AI Search 和 Purview 创建出高效、安全的信息检索系统。通过有效的数据管理和敏感性标签控制，确保您处理的信息始终保持安全和合规。希望本文的指导能够帮助到您！