Hvernig á að nota Azure AI Search og Purview: Fullkomin leiðarvísir um að byggja örugga RAG með viðkvæmum merkjum

Inngangur

Í nútíma gagnaumsýslu og leitarheimi er mikilvægt að byggja upp öruggt RAG (Retrieval-Augmented Generation) kerfi sem er með viðkvæmum merkjum. RAG getur sameinað kosti leitar og sköpunar til að veita notendum nákvæmari svör og upplýsingar. Í þessari grein munum við leiða þig í gegnum skrefin til að byggja upp öruggt RAG kerfi með viðkvæmum merkjum með Azure AI Search og Purview.

Forsendur

Fyrir en þú byrjar, vinsamlegast tryggðu að þú hafir eftirfarandi skilyrði:

Azure reikning: Þú þarft gilt Azure reikning til að fá aðgang að Azure AI Search og Azure Purview.

Skilningur á grunn Azure þjónustu: Grunnskilningur á Azure, þar á meðal hvernig á að búa til auðlindahópa og þjónustu.

Forritunarskilningur: Sum dæmi í þessari grein gætu krafist grunnþekkingar á Python eða PowerShell forritun.

Nákvæm skref

Skref 1: Búa til Azure AI Search þjónustu

Skráðu þig inn á Azure portalið.

Smelltu á "Búa til auðlind" í vinstri valmyndinni.

Sláðu inn "Azure Search" í leitarreitinn, veldu "Azure Cognitive Search" og smelltu á "Búa til".

Fylltu út nauðsynlegar upplýsingar eins og nafn, áskrift, auðlindahóp og staðsetningu, og smelltu á "Skoða + Búa til".

Staðfestu að upplýsingarnar séu réttar og smelltu á "Búa til".

Eftir að þú hefur búið til Azure AI Search þjónustuna geturðu fundið tengdar þjónustuupplýsingar í portalinu

Skref 2: Búa til Azure Purview reikning

Skráðu þig inn á Azure portalið.

Smelltu á "Búa til auðlind".

Sláðu inn "Purview" í leitarreitinn og veldu "Azure Purview".

Fylltu út nauðsynlegar upplýsingar eins og reikningsnafn, áskrift, auðlindahóp og svæði, staðfestu og smelltu á "Skoða + Búa til".

Bíðu eftir að auðlindin sé sett upp.

Purview þjónustan getur hjálpað þér að stjórna flokkun gagna og viðkvæmum merkjum

Skref 3: Stilltu gagnagjafa og viðkvæm merki

Í Azure Purview portalinu, smelltu á "Gagnagjafar".

Veldu "Bæta við gagnagjafa", fylltu út viðeigandi upplýsingar og tengdu við gagnagjafann þinn.

Stilltu gagnaskönnun. Þú getur valið sjálfvirka skönnun eða handvirka skönnun.

Í gagnaflokkun, sérsníddu viðkvæm merki, til dæmis: persónuupplýsingar, fjármálaupplýsingar, trúnaðargögn o.s.frv.

Með Purview geturðu auðveldlega stjórnað viðkvæmum merkjum gagna

Skref 4: Samþætting Azure AI Search

Búðu til nýjan vísir, stilltu vísinn í Azure Search þjónustunni með REST API eða SDK.

Búðu til vísir í Azure Portal, stilltu vísinn með því að skilgreina reiti, gagnategundir o.s.frv.

{
"name": "sample-index", "fields": [ {"name": "id", "type": "Edm.String", "key": true, "searchable": true}, {"name": "content", "type": "Edm.String", "searchable": true} ] } 

Notaðu SDK til að hlaða gögnum í leitarvísinn.

Skref 5: Byggðu RAG fyrirspurnarferli

Notaðu Azure Functions eða forrit þjónustu til að búa til API tengingu sem tekur við fyrirspurnum frá notendum.

Í þessari tengingu, framkvæmdu skynjun á viðkvæmum merkjum.

import requests
def querysearch(query): # Framkvæmdu skynjun á viðkvæmum merkjum hér, og aðgang að leitar API eftir niðurstöðum response = requests.get(f"?q={query}") return response.json() 

Skref 6: Skilaðu meðhöndluðum svörum

Eftir að hafa unnið úr fyrirspurninni, fáðu upplýsingar úr leitarvísinum og skilaðu þeim til notandans, á sama tíma tryggðu að útgáfan leki ekki neinum viðkvæmum upplýsingum.

def processresponse(response):
results = response.get('value', []) # Meðhöndlaðu leitarniðurstöður, síuðu viðkvæmar upplýsingar return results 

Algengar spurningar

Hvernig á að tryggja öryggi gagna?

- Notaðu viðkvæm merki stjórnunaraðgerðina í Azure Purview til að tryggja strangar takmarkanir á viðkvæmum upplýsingum.

Hvernig á að meðhöndla viðkvæmar upplýsingar í fyrirspurnum notenda?

- Framkvæmdu skynjun á viðkvæmum merkjum í fyrirspurnarferlinu, og taktu viðeigandi aðgerðir miðað við merkin, til dæmis að fela ákveðin gögn.

Hvaða tegundir gagnagjafa er hægt að nota?

- Azure Purview styður marga gagnagjafa, þar á meðal Azure Blob Storage, SQL gagnagáma o.s.frv.

Samantekt

Að byggja upp öruggt RAG kerfi með viðkvæmum merkjum krefst vissrar tæknilegrar þekkingar, en ef þú fylgir ofangreindum skrefum geturðu notað Azure AI Search og Purview til að búa til áhrifaríkt og öruggt upplýsingaleitar kerfi. Með árangursríkri gagnaumsýslu og stjórn á viðkvæmum merkjum, tryggir þú að upplýsingarnar sem þú vinnur með séu alltaf öruggar og í samræmi við reglur. Vonandi mun leiðarvísirinn í þessari grein hjálpa þér!