Cara Menggunakan Azure AI Search dan Purview: Panduan Lengkap untuk Membangun Sistem RAG yang Sensitif terhadap Label Keamanan

Pendahuluan

Dalam bidang manajemen data dan pencarian modern, membangun sistem RAG (Retrieval-Augmented Generation) yang sensitif terhadap label keamanan menjadi sangat penting. RAG dapat menggabungkan keunggulan pencarian dan generasi, memberikan jawaban dan informasi yang lebih akurat kepada pengguna. Dalam artikel ini, kami akan memandu Anda langkah demi langkah tentang cara membangun sistem RAG yang aman dengan kemampuan sensitif terhadap label menggunakan Azure AI Search dan Purview.

Prasyarat

Sebelum memulai, pastikan Anda memenuhi syarat berikut:

Akun Azure: Anda memerlukan akun Azure yang valid untuk mengakses Azure AI Search dan Azure Purview.

Memahami layanan Azure dasar: Pengetahuan dasar tentang Azure, termasuk cara membuat grup sumber daya dan layanan.

Dasar pemrograman: Beberapa contoh dalam artikel ini mungkin memerlukan pengetahuan dasar tentang pemrograman Python atau PowerShell.

Langkah-langkah Detail

Langkah Pertama: Membuat Layanan Azure AI Search

Masuk ke Portal Azure.

Klik "Buat sumber daya" di menu sebelah kiri.

Masukkan "Azure Search" di kotak pencarian, pilih "Azure Cognitive Search", lalu klik "Buat".

Isi informasi yang diperlukan, seperti nama, langganan, grup sumber daya, dan lokasi, lalu klik "Tinjau + Buat".

Setelah memastikan informasi benar, klik "Buat".

Setelah membuat layanan Azure AI Search, Anda dapat menemukan informasi layanan terkait di portal

Langkah Kedua: Membuat Akun Azure Purview

Masuk ke Portal Azure.

Klik "Buat sumber daya".

Masukkan "Purview" di kotak pencarian, lalu pilih "Azure Purview".

Isi informasi yang diperlukan, seperti nama akun, langganan, grup sumber daya, dan wilayah, lalu klik "Tinjau + Buat".

Tunggu hingga penyebaran sumber daya selesai.

Layanan Purview dapat membantu Anda mengelola klasifikasi data dan label sensitif

Langkah Ketiga: Mengonfigurasi Sumber Data dan Label Sensitif

Di portal Azure Purview, klik "Sumber Data".

Pilih "Tambahkan Sumber Data", masukkan informasi terkait, dan sambungkan ke sumber data Anda.

Konfigurasikan pemindaian data. Anda dapat memilih pemindaian otomatis atau manual.

Dalam klasifikasi data, sesuaikan label sensitif, seperti: data pribadi, informasi keuangan, data rahasia, dll.

Dengan Purview, Anda dapat dengan mudah mengelola label sensitif data

Langkah Keempat: Mengintegrasikan Azure AI Search

Buat indeks baru, konfigurasikan indeks melalui REST API atau SDK di layanan pencarian Azure.

Di Portal Azure, buat indeks dengan mendefinisikan parameter seperti bidang, tipe data, dll.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Gunakan SDK untuk memuat data ke dalam indeks pencarian.

Langkah Kelima: Membangun Logika Penanganan Permintaan RAG

Gunakan Azure Functions atau layanan aplikasi untuk membuat antarmuka API yang menerima permintaan kueri pengguna.

Dalam antarmuka tersebut, implementasikan logika pemeriksaan label sensitif.

import requests
def querysearch(query): # Implementasikan pemeriksaan label sensitif di sini, dan akses API pencarian berdasarkan hasil pemeriksaan response = requests.get(f"?q={query}") return response.json() 

Langkah Keenam: Mengembalikan Respons yang Diproses

Setelah memproses kueri, ambil informasi dari indeks pencarian dan kembalikan kepada pengguna, sambil memastikan konten yang dikeluarkan tidak membocorkan informasi sensitif.

def processresponse(response):
results = response.get('value', []) # Proses hasil pencarian, saring informasi sensitif return results 

Pertanyaan Umum

Bagaimana cara memastikan keamanan data?

- Gunakan fitur manajemen label sensitif Azure Purview untuk memastikan kontrol ketat terhadap informasi sensitif.

Bagaimana cara menangani informasi sensitif dalam kueri pengguna?

- Implementasikan mekanisme pemeriksaan label sensitif dalam logika kueri, dan lakukan penanganan yang sesuai berdasarkan label, seperti menyembunyikan data tertentu.

Jenis sumber data apa yang dapat digunakan?

- Azure Purview mendukung berbagai sumber data, termasuk Azure Blob Storage, database SQL, dll.

Kesimpulan

Membangun sistem RAG yang sensitif terhadap label keamanan meskipun memerlukan dasar teknis tertentu, tetapi dengan mengikuti langkah-langkah di atas, Anda dapat memanfaatkan Azure AI Search dan Purview untuk menciptakan sistem pencarian informasi yang efisien dan aman. Melalui manajemen data yang efektif dan kontrol label sensitif, pastikan informasi yang Anda kelola selalu aman dan sesuai. Semoga panduan dalam artikel ini dapat membantu Anda!