Bagaimana Menggunakan Azure AI Search dan Purview: Panduan Lengkap untuk Membangun Sistem RAG yang Sensitif terhadap Label Keselamatan

Pengenalan

Dalam pengurusan data dan bidang pencarian moden, membina sistem RAG (Retrieval-Augmented Generation) yang sensitif terhadap label keselamatan menjadi sangat penting. RAG dapat menggabungkan kelebihan pencarian dan penghasilan untuk memberikan jawapan dan maklumat yang lebih tepat kepada pengguna. Dalam artikel ini, kami akan membimbing anda langkah demi langkah tentang cara membina sistem RAG yang mempunyai fungsi sensitif terhadap label keselamatan menggunakan Azure AI Search dan Purview.

Prasyarat

Sebelum memulakan, pastikan anda memenuhi syarat berikut:

Akaun Azure: Anda memerlukan akaun Azure yang sah untuk mengakses Azure AI Search dan Azure Purview.

Memahami perkhidmatan Azure asas: Pengetahuan asas tentang Azure, termasuk cara membuat kumpulan sumber dan perkhidmatan.

Asas pengaturcaraan: Beberapa contoh dalam artikel ini mungkin memerlukan pengetahuan asas tentang pengaturcaraan Python atau PowerShell.

Langkah Terperinci

Langkah Pertama: Membuat Perkhidmatan Azure AI Search

Log masuk ke Portal Azure.

Klik pada "Buat sumber" dalam menu sebelah kiri.

Masukkan "Azure Search" dalam kotak carian, pilih "Azure Cognitive Search", kemudian klik "Buat".

Isi maklumat yang diperlukan seperti nama, langganan, kumpulan sumber dan lokasi, kemudian klik "Semak + Buat".

Setelah mengesahkan maklumat adalah betul, klik "Buat".

Setelah membuat perkhidmatan Azure AI Search, anda boleh menemui maklumat perkhidmatan yang berkaitan di portal.

Langkah Kedua: Membuat Akaun Azure Purview

Log masuk ke Portal Azure.

Klik "Buat sumber".

Masukkan "Purview" dalam kotak carian, kemudian pilih "Azure Purview".

Isi maklumat yang diperlukan seperti nama akaun, langganan, kumpulan sumber dan kawasan, kemudian klik "Semak + Buat".

Tunggu sehingga penyebaran sumber selesai.

Perkhidmatan Purview dapat membantu anda menguruskan pengelasan data dan label keselamatan.

Langkah Ketiga: Mengkonfigurasi Sumber Data dan Label Keselamatan

Dalam portal Azure Purview, klik "Sumber Data".

Pilih "Tambah Sumber Data", masukkan maklumat yang berkaitan, sambungkan ke sumber data anda.

Konfigurasikan pengimbasan data. Anda boleh memilih pengimbasan automatik atau pengimbasan manual.

Dalam pengelasan data, sesuaikan label keselamatan seperti: data peribadi, maklumat kewangan, data sulit, dan lain-lain.

Melalui Purview, anda boleh dengan mudah menguruskan label keselamatan data.

Langkah Keempat: Mengintegrasikan Azure AI Search

Buat indeks baru, dalam perkhidmatan Azure Search melalui API REST atau SDK untuk konfigurasi indeks.

Dalam Portal Azure, buat indeks dengan mendefinisikan parameter seperti medan, jenis data, dan lain-lain untuk mengkonfigurasi indeks.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Gunakan SDK untuk memuatkan data ke dalam indeks pencarian.

Langkah Kelima: Membangun Logik Pemprosesan Permintaan RAG

Gunakan Azure Functions atau perkhidmatan aplikasi untuk membuat antaramuka API yang menerima permintaan carian pengguna.

Dalam antaramuka tersebut, laksanakan logik pemeriksaan label keselamatan.

import requests
def querysearch(query): # Laksanakan pemeriksaan label keselamatan di sini, dan akses API pencarian berdasarkan hasil pemeriksaan response = requests.get(f"?q={query}") return response.json() 

Langkah Keenam: Mengembalikan Respons yang Diproses

Setelah memproses permintaan, ambil maklumat dari indeks pencarian dan kembalikan kepada pengguna, sambil memastikan kandungan output tidak mendedahkan sebarang maklumat sensitif.

def processresponse(response):
results = response.get('value', []) # Proses hasil pencarian, tapis maklumat sensitif return results 

Soalan Lazim

Bagaimana untuk memastikan keselamatan data?

- Gunakan fungsi pengurusan label keselamatan Azure Purview untuk memastikan kawalan ketat terhadap maklumat sensitif.

Bagaimana untuk menangani maklumat sensitif dalam permintaan pengguna?

- Laksanakan mekanisme pemeriksaan label keselamatan dalam logik permintaan, dan buat pemprosesan yang sesuai berdasarkan label, seperti menyekat data tertentu.

Jenis sumber data apa yang boleh digunakan?

- Azure Purview menyokong pelbagai sumber data, termasuk Azure Blob Storage, pangkalan data SQL, dan lain-lain.

Kesimpulan

Membina sistem RAG yang sensitif terhadap label keselamatan memerlukan asas teknikal tertentu, tetapi dengan mengikuti langkah-langkah di atas, anda boleh menggunakan Azure AI Search dan Purview untuk mencipta sistem pengambilan maklumat yang berkesan dan selamat. Melalui pengurusan data yang berkesan dan kawalan label keselamatan, pastikan maklumat yang anda proses sentiasa selamat dan mematuhi peraturan. Kami berharap panduan dalam artikel ini dapat membantu anda!