วิธีการใช้ Azure AI Search และ Purview: คู่มือฉบับสมบูรณ์ในการสร้างระบบ RAG ที่มีความปลอดภัยและรับรู้ถึงป้ายกำกับความไว

บทนำ

ในด้านการจัดการข้อมูลและการค้นหาในปัจจุบัน การสร้างระบบ RAG (Retrieval-Augmented Generation) ที่มีความปลอดภัยและรับรู้ถึงป้ายกำกับความไวกลายเป็นสิ่งที่สำคัญอย่างยิ่ง RAG สามารถรวมข้อดีของการค้นหาและการสร้างเพื่อให้ผู้ใช้ได้รับคำตอบและข้อมูลที่แม่นยำยิ่งขึ้น ในบทความนี้ เราจะค่อยๆ แนะนำคุณเกี่ยวกับวิธีการสร้างระบบ RAG ที่มีฟังก์ชันการรับรู้ถึงป้ายกำกับความไวโดยใช้ Azure AI Search และ Purview

ข้อกำหนดเบื้องต้น

ก่อนเริ่มต้น โปรดตรวจสอบให้แน่ใจว่าคุณมีข้อกำหนดดังต่อไปนี้:

บัญชี Azure: คุณต้องมีบัญชี Azure ที่ใช้งานได้เพื่อเข้าถึง Azure AI Search และ Azure Purview

ความเข้าใจบริการ Azure เบื้องต้น: ความเข้าใจพื้นฐานเกี่ยวกับ Azure รวมถึงวิธีการสร้าง Resource Group และบริการต่างๆ

พื้นฐานการเขียนโปรแกรม: ตัวอย่างบางส่วนในบทความนี้อาจต้องการความรู้พื้นฐานเกี่ยวกับการเขียนโปรแกรม Python หรือ PowerShell

ขั้นตอนโดยละเอียด

ขั้นตอนที่หนึ่ง: สร้างบริการ Azure AI Search

ลงชื่อเข้าใช้ Azure Portal.

คลิกที่ "สร้างทรัพยากร" ในเมนูด้านซ้าย

ในช่องค้นหาให้พิมพ์ "Azure Search" และเลือก "Azure Cognitive Search" จากนั้นคลิก "สร้าง"

กรอกข้อมูลที่จำเป็น เช่น ชื่อ, การสมัครสมาชิก, Resource Group และตำแหน่ง จากนั้นคลิก "ตรวจสอบ + สร้าง"

ยืนยันข้อมูลให้ถูกต้องแล้วคลิก "สร้าง"

หลังจากสร้างบริการ Azure AI Search คุณสามารถค้นหาข้อมูลบริการที่เกี่ยวข้องในพอร์ทัล

ขั้นตอนที่สอง: สร้างบัญชี Azure Purview

ลงชื่อเข้าใช้ Azure Portal.

คลิก "สร้างทรัพยากร"

ในช่องค้นหาให้พิมพ์ "Purview" และเลือก "Azure Purview"

กรอกข้อมูลที่จำเป็น เช่น ชื่อบัญชี, การสมัครสมาชิก, Resource Group และภูมิภาค จากนั้นคลิก "ตรวจสอบ + สร้าง"

รอให้การปรับใช้ทรัพยากรเสร็จสมบูรณ์

บริการ Purview สามารถช่วยคุณจัดการการจัดประเภทข้อมูลและป้ายกำกับความไว

ขั้นตอนที่สาม: กำหนดค่าข้อมูลและป้ายกำกับความไว

ในพอร์ทัล Azure Purview ให้คลิก "แหล่งข้อมูล"

เลือก "เพิ่มแหล่งข้อมูล" กรอกข้อมูลที่เกี่ยวข้องและเชื่อมต่อกับแหล่งข้อมูลของคุณ

กำหนดค่าการสแกนข้อมูล คุณสามารถเลือกการสแกนอัตโนมัติหรือการสแกนด้วยตนเอง

ในการจัดประเภทข้อมูล ปรับแต่งป้ายกำกับความไว เช่น ข้อมูลส่วนบุคคล, ข้อมูลทางการเงิน, ข้อมูลลับ เป็นต้น

ผ่าน Purview คุณสามารถจัดการป้ายกำกับความไวของข้อมูลได้อย่างง่ายดาย

ขั้นตอนที่สี่: รวม Azure AI Search

สร้างดัชนีใหม่ โดยกำหนดค่าดัชนีในบริการ Azure Search ผ่าน REST API หรือ SDK

ใน Azure Portal สร้างดัชนี โดยกำหนดค่าผ่านการกำหนดฟิลด์, ประเภทข้อมูล และพารามิเตอร์อื่นๆ

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

ใช้ SDK โหลดข้อมูลไปยังดัชนีการค้นหา

ขั้นตอนที่ห้า: สร้างตรรกะการจัดการคำขอ RAG

ใช้ Azure Functions หรือบริการแอปพลิเคชันสร้าง API ที่รับคำขอการค้นหาจากผู้ใช้

ใน API นี้ ให้ดำเนินการตรรกะการตรวจสอบป้ายกำกับความไว

import requests
def querysearch(query): # ที่นี่ดำเนินการตรวจสอบป้ายกำกับความไว และเข้าถึง API การค้นหาตามผลการตรวจสอบ response = requests.get(f"?q={query}") return response.json() 

ขั้นตอนที่หก: ส่งคืนการตอบสนองที่ประมวลผลแล้ว

หลังจากประมวลผลคำค้นหาแล้ว ให้ดึงข้อมูลจากดัชนีการค้นหาและส่งคืนให้ผู้ใช้ โดยต้องมั่นใจว่าข้อมูลที่ส่งออกไม่เปิดเผยข้อมูลที่ละเอียดอ่อนใดๆ

def processresponse(response):
results = response.get('value', []) # ประมวลผลผลลัพธ์การค้นหา กรองข้อมูลที่ละเอียดอ่อน return results 

คำถามที่พบบ่อย

จะมั่นใจได้อย่างไรในความปลอดภัยของข้อมูล?

- ใช้ฟังก์ชันการจัดการป้ายกำกับความไวของ Azure Purview เพื่อให้แน่ใจว่ามีการควบคุมข้อมูลที่ละเอียดอ่อนอย่างเข้มงวด

จะจัดการข้อมูลที่ละเอียดอ่อนในคำค้นหาของผู้ใช้ได้อย่างไร?

- ดำเนินการตรวจสอบป้ายกำกับความไวในตรรกะการค้นหา และดำเนินการตามป้ายกำกับ เช่น การปิดบังข้อมูลบางส่วน

สามารถใช้แหล่งข้อมูลประเภทใดได้บ้าง?

- Azure Purview รองรับแหล่งข้อมูลหลายประเภท รวมถึง Azure Blob Storage, ฐานข้อมูล SQL เป็นต้น

สรุป

การสร้างระบบ RAG ที่มีความปลอดภัยและรับรู้ถึงป้ายกำกับความไวแม้จะต้องการพื้นฐานทางเทคนิค แต่หากทำตามขั้นตอนข้างต้น คุณก็สามารถใช้ Azure AI Search และ Purview สร้างระบบการค้นหาข้อมูลที่มีประสิทธิภาพและปลอดภัยได้ ด้วยการจัดการข้อมูลอย่างมีประสิทธิภาพและการควบคุมป้ายกำกับความไว เพื่อให้แน่ใจว่าข้อมูลที่คุณจัดการยังคงปลอดภัยและเป็นไปตามข้อกำหนด หวังว่าคำแนะนำในบทความนี้จะช่วยคุณได้!