Azure AI Search және Purview пайдалану: сезімталдық белгілерін ескере отырып қауіпсіз RAG құру жөніндегі толық нұсқаулық

Кіріспе

Заманауи деректерді басқару және іздеу саласында сезімталдық белгілерін ескере отырып қауіпсіз RAG (Retrieval-Augmented Generation) жүйесін құру ерекше маңызды. RAG пайдаланушыларға дәл жауаптар мен ақпараттар ұсыну үшін іздеу мен генерацияның артықшылықтарын біріктіреді. Осы мақалада біз Azure AI Search және Purview арқылы сезімталдық белгілерін ескере отырып қауіпсіз RAG жүйесін қалай құруға болатынын кезең-кезеңімен көрсетеміз.

Алдын ала талаптар

Бастамас бұрын, сізде келесі талаптар болуы керек:

Azure есептік жазбасы: Azure AI Search және Azure Purview-ге қол жеткізу үшін жарамды Azure есептік жазбасы қажет.

Azure қызметтерінің негіздерін түсіну: Ресурс топтары мен қызметтерді қалай құру керектігі туралы негізгі түсінік.

Бағдарламалау негіздері: Мақаладағы кейбір мысалдар үшін Python немесе PowerShell бағдарламалау негіздері қажет болуы мүмкін.

Толық қадамдар

Бірінші қадам: Azure AI Search қызметін құру

Azure порталына кіріңіз.

Сол жақ мәзірден "Ресурс жасау" түймесін басыңыз.

Іздеу жолағына "Azure Search" енгізіңіз, "Azure Cognitive Search" таңдаңыз, содан кейін "Жасау" түймесін басыңыз.

Атау, жазылым, ресурс тобы және орналасу сияқты қажетті ақпаратты толтырыңыз, содан кейін "Тексеру + Жасау" түймесін басыңыз.

Ақпараттың дұрыстығын растағаннан кейін, "Жасау" түймесін басыңыз.

Azure AI Search қызметін құрғаннан кейін, сіз порталдан тиісті қызмет ақпаратын таба аласыз

Екінші қадам: Azure Purview есептік жазбасын құру

Azure порталына кіріңіз.

"Ресурс жасау" түймесін басыңыз.

Іздеу жолағына "Purview" енгізіңіз, содан кейін "Azure Purview" таңдаңыз.

Есептік жазба атауы, жазылым, ресурс тобы және аймақ сияқты қажетті ақпаратты толтырыңыз, растағаннан кейін "Тексеру + Жасау" түймесін басыңыз.

Ресурсты орналастыру аяқталғанша күтіңіз.

Purview қызметі деректердің классификациясы мен сезімталдық белгілерін басқаруға көмектеседі

Үшінші қадам: Дереккөздер мен сезімталдық белгілерін конфигурациялау

Azure Purview порталында "Дереккөздер" түймесін басыңыз.

"Дереккөз қосу" таңдаңыз, қажетті ақпаратты енгізіңіз, дереккөзіңізге қосылыңыз.

Деректерді сканерлеуді конфигурациялаңыз. Автоматты немесе қолмен сканерлеуді таңдай аласыз.

Деректерді классификациялау кезінде сезімталдық белгілерін теңшеңіз, мысалы: жеке деректер, қаржылық ақпарат, құпия деректер және т.б.

Purview арқылы сіз деректердің сезімталдық белгілерін оңай басқара аласыз

Төртінші қадам: Azure AI Search интеграциялау

Azure Search қызметінде жаңа индекс жасаңыз, REST API немесе SDK арқылы индекс конфигурациясын жасаңыз.

Azure порталында индексті жасаңыз, индексті конфигурациялау үшін өрістер, деректер түрлері және т.б. параметрлерді анықтаңыз.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

SDK пайдаланып, деректерді іздеу индексіне жүктеңіз.

Бесінші қадам: RAG сұраныстарын өңдеу логикасын құру

Azure Functions немесе қолданба қызметтерін пайдаланып, пайдаланушының сұрау сұраныстарын қабылдайтын API интерфейсін жасаңыз.

Осы интерфейсте сезімталдық белгілерін тексеру логикасын жүзеге асырыңыз.

import requests
def querysearch(query): # Мұнда сезімталдық белгілерін тексеру жүзеге асырылады және тексеру нәтижесіне сәйкес іздеу API-не қол жеткізіледі response = requests.get(f"?q={query}") return response.json() 

Алтыншы қадам: Өңделген жауапты қайтару

Сұранысты өңдегеннен кейін, іздеу индексінен ақпаратты алып, пайдаланушыға қайтарасыз, сонымен қатар шығару мазмұны сезімтал ақпаратты жарияламауын қамтамасыз етіңіз.

def processresponse(response):
results = response.get('value', []) # Іздеу нәтижелерін өңдеу, сезімтал ақпаратты сүзу return results 

Жиі қойылатын сұрақтар

Деректердің қауіпсіздігін қалай қамтамасыз етуге болады?

- Azure Purview-тің сезімталдық белгілерін басқару функциясын пайдаланып, сезімтал ақпаратқа қатаң бақылауды қамтамасыз етіңіз.

Пайдаланушы сұрауындағы сезімтал ақпаратты қалай өңдеуге болады?

- Сұрау логикасында сезімталдық белгілерін тексеру механизмін жүзеге асырыңыз, белгілерге сәйкес әрекет жасаңыз, мысалы, кейбір деректерді жасыру.

Қандай дереккөздерді пайдалануға болады?

- Azure Purview әртүрлі дереккөздерді, соның ішінде Azure Blob Storage, SQL дерекқорлары және т.б. қолдайды.

Қорытынды

Сезімталдық белгілерін ескере отырып қауіпсіз RAG жүйесін құру белгілі бір техникалық негіздерді талап етеді, бірақ жоғарыда көрсетілген қадамдарды орындау арқылы сіз Azure AI Search және Purview пайдаланып тиімді, қауіпсіз ақпаратты іздеу жүйесін құра аласыз. Деректерді тиімді басқару және сезімталдық белгілерін бақылау арқылы өңдейтін ақпараттың әрқашан қауіпсіз және сәйкестендірілген болуын қамтамасыз етіңіз. Осы мақаланың нұсқаулығы сізге көмектеседі деп үміттенеміз!