એજન્ટ બકેટ: ટ્રિલિયન-લેવલ એજન્ટ નેટીવ સ્ટોરેજ બકેટ

આજે, જ્યારે AI એજન્ટો ફૂગની જેમ ઉગી રહ્યા છે, ત્યારે વિકાસકર્તાઓ અભૂતપૂર્વ ઝડપે કલ્પનાશીલ સ્માર્ટ એપ્લિકેશન્સ બનાવી રહ્યા છે. કોડ લખવામાં મદદ કરતા પ્રોગ્રામિંગ સહાયકોથી લઈને, એક વાક્યમાં મૂવી જનરેટ કરતા સર્જનાત્મક સાધનો અને હંમેશાં તૈયાર રહેતા વ્યક્તિગત સ્માર્ટ સહાયકો સુધી, એજન્ટો ડિજિટલ વિશ્વ સાથેની આપણી ક્રિયાપ્રતિક્રિયાને ફરીથી આકાર આપી રહ્યા છે. આ મોજા પાછળ, એક સર્વસંમતિ વધુને વધુ સ્પષ્ટ થઈ રહી છે: સર્વરલેસ આર્કિટેક્ચર (જેમ કે Lambda), મોટા ભાષા મોડેલ્સ (LLM) અને ક્લાઉડ સ્ટોરેજ (જેમ કે S3, TOS) અને Vibe Coding ના સંયોજનથી, કોઈપણ વ્યક્તિ 30 મિનિટમાં પોતાનો AI એજન્ટ ઝડપથી બનાવી શકે છે.

"ઉપયોગી" થી "સારું" બનવા માટે, એજન્ટ ડેવલપર્સે હજી પણ "રમકડા" થી "ઉત્પાદન-સ્તરની એપ્લિકેશન" તરફના પડકારોને પાર કરવાની જરૂર છે. જેમ જેમ વ્યવસાય વિશાળ સંખ્યામાં વપરાશકર્તાઓ સુધી પહોંચે છે, તેમ તેમ વિકાસકર્તાઓએ એક અત્યંત જટિલ પડકારનો સામનો કરવો પડે છે: વિશાળ સંખ્યામાં અંતિમ વપરાશકર્તાઓ માટે ઑબ્જેક્ટ સ્ટોરેજ પર સંપૂર્ણ સ્ટોરેજ સોલ્યુશન કેવી રીતે બનાવવું? મોટાભાગના વિકાસકર્તાઓ માટે, આ માત્ર એક તકનીકી અવરોધ નથી, પરંતુ એજન્ટના મોટા પાયે વિતરણમાં પણ અવરોધ છે. એજન્ટ બકેટનો હેતુ AI નેટીવ સ્ટોરેજ ડિઝાઇન દ્વારા મલ્ટિ-ટેનન્ટ સિસ્ટમ્સના નિર્માણની પ્રક્રિયાને સંપૂર્ણપણે સરળ બનાવવાનો અને વધુ મૈત્રીપૂર્ણ એજન્ટ ક્ષમતાઓ પ્રદાન કરવાનો છે.

જ્યારે અબજો વપરાશકર્તાઓ આવે છે, ત્યારે પરંપરાગત ઑબ્જેક્ટ સ્ટોરેજ "પર્યાપ્ત નથી"

કલ્પના કરો કે તમે એક લોકપ્રિય AIGC એપ્લિકેશન વિકસાવી છે. દરેક વપરાશકર્તા મોટી સંખ્યામાં છબીઓ, વિડિઓઝ અને અસ્થાયી ફાઇલો જનરેટ અને સ્ટોર કરશે. એક વિકાસકર્તા તરીકે, તમે સ્વાભાવિક રીતે S3 અને TOS જેવી પરિપક્વ અને સ્કેલેબલ ઑબ્જેક્ટ સ્ટોરેજ સેવાઓ પસંદ કરશો. પરંતુ પ્રશ્ન એ છે: વિશાળ સંખ્યામાં વપરાશકર્તાઓ માટે ડેટાનું સંચાલન કેવી રીતે કરવું?

2022 માં S3 ના બ્લોગ "Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3" માં બે રીતો સમજાવવામાં આવી છે, "દરેક ભાડૂત માટે સ્વતંત્ર S3 બકેટનો ઉપયોગ કરવો" અને "ઉપસર્ગ આઇસોલેશન પર આધારિત શેર કરેલ S3 બકેટ":

• દરેક વપરાશકર્તા માટે એક અલગ "બકેટ" બનાવો: જ્યારે વપરાશકર્તાઓની સંખ્યા ઓછી હોય ત્યારે આ શક્ય છે, પરંતુ જ્યારે વપરાશકર્તાઓની સંખ્યા હજારો અથવા લાખો સુધી વધે છે, ત્યારે બકેટ્સની સંખ્યા ઝડપથી વધશે, અને સંચાલન ખર્ચ અને સંસાધન મર્યાદા અસહ્ય હશે. S3 સમગ્ર પ્રદેશમાં કુલ 10000 બકેટ ક્વોટા પ્રદાન કરે છે, પરંતુ લોકપ્રિય AI ક્ષમતાઓના સંદર્ભમાં, 10,000 પૂરતા નથી.

• સમાન બકેટમાં "ઉપસર્ગ" દ્વારા વપરાશકર્તાઓને અલગ પાડો: આ મુખ્ય પ્રવાહનો ઉકેલ બની ગયો છે. ઉદાહરણ તરીકે, વપરાશકર્તા A ની ફાઇલો user-a/ થી શરૂ થાય છે, અને વપરાશકર્તા B ની ફાઇલો user-b/ થી શરૂ થાય છે, જેમ કે કમ્પ્યુટર પર ફોલ્ડર્સ સાથે ફાઇલોનું સંચાલન કરવું. જો કે, ઑબ્જેક્ટ સ્ટોરેજમાં કોઈ નેટીવ ફોલ્ડર્સ નથી. આ સોલ્યુશન "K-V" સ્ટોરેજ સિસ્ટમમાં "સામાન્ય ઉપસર્ગ" (Prefix) દ્વારા બહુવિધ ભાડૂતોને અલગ પાડે છે.

"બકેટ" અથવા "ઉપસર્ગ" પર આધારિત આ સોલ્યુશનનો ઉપયોગ છેલ્લા દાયકામાં વ્યાપકપણે કરવામાં આવ્યો છે. પરંતુ નીચેની સમસ્યાઓ છે:

• બહુવિધ ભાડૂત આઇસોલેશન: બધા વપરાશકર્તાઓનો ડેટા સમાન બકેટમાં મિશ્રિત થાય છે. એક વપરાશકર્તાની અસામાન્ય રીતે ઊંચી આવર્તન ઍક્સેસ અન્ય તમામ વપરાશકર્તાઓને અસર કરી શકે છે અને "પડોશી અસર" પેદા કરી શકે છે. કામગીરી આઇસોલેશન અને ફોલ્ટ આઇસોલેશનનો કોઈ પ્રશ્ન જ નથી.

• પરવાનગી નિયંત્રણ: જટિલ પરવાનગી નીતિઓ (IAM Policy) જાળવવી મુશ્કેલ છે, અને ભૂલો થવાની સંભાવના છે, જેના કારણે વપરાશકર્તા ડેટા આકસ્મિક રીતે ઍક્સેસ થઈ શકે છે, ખાસ કરીને જ્યારે અન્ય ક્લાઉડ સેવાઓ સાથે ક્રિયાપ્રતિક્રિયા કરવાની જરૂર હોય ત્યારે, જોખમ વધારે છે.

• ખર્ચ સ્પષ્ટતા: દરેક વપરાશકર્તાએ કેટલી સ્ટોરેજ જગ્યા વાપરી અને કેટલો ટ્રાફિક ખર્ચ થયો તે જાણવું મુશ્કેલ છે. જ્યારે તમે વપરાશના આધારે ચૂકવણી કરનારા વપરાશકર્તાઓ પાસેથી શુલ્ક લેવા માંગતા હો, ત્યારે બિલિંગ અને મીટરિંગ એક ગૂંચવણભર્યું ખાતું બની જાય છે.શા માટે આ દેખીતી રીતે મૂળભૂત જરૂરિયાતો, એજન્ટ ડેવલપર્સ ઑબ્જેક્ટ સ્ટોરેજ પર અમલમાં મૂકવામાં થોડી "ભારે" છે? તેના કારણોની ઊંડી તપાસ કરતાં, ખબર પડે છે કે વર્તમાન ક્લાઉડ નેટિવ આર્કિટેક્ચરમાં, S3 જેવા "ઑબ્જેક્ટ સ્ટોરેજ" અને પરંપરાગત "ફાઇલ સિસ્ટમ" વચ્ચે એક વિશાળ ખાલી જગ્યા છે. ઑબ્જેક્ટ સ્ટોરેજ (S3/TOS) નો સાર "સપાટ" છે, અને તેની ડિઝાઇનનો મૂળ હેતુ વિશાળ માત્રામાં ડેટાને સરળતાથી સ્ટોર કરવાનો છે, જે એક વિશાળ વેરહાઉસ જેવું છે. જો કે તેની ક્ષમતા લગભગ અમર્યાદિત છે, પરંતુ લોજિકલ સ્ટ્રક્ચરમાં તે અત્યંત સરળ છે. તેમાં મૂળભૂત રીતે અદ્યતન ડિરેક્ટરી મેનેજમેન્ટ, ઝીણવટભરી મેટાડેટા કંટ્રોલ અને વાસ્તવિક ભાડૂતની સમજણનો અભાવ છે. જ્યારે ડેવલપર્સ "સપાટ" S3 પર, હાર્ડ-કોડેડ પ્રીફિક્સનો ઉપયોગ કરીને "ત્રિ-પરિમાણીય" મલ્ટી-ટેનન્ટ ફાઇલ સિસ્ટમનું અનુકરણ કરવાનો પ્રયાસ કરે છે, ત્યારે આપણે વાસ્તવમાં "સ્થિર KV સ્ટોરેજ" નો ઉપયોગ કરી રહ્યા છીએ, જે "ડિરેક્ટરી સિમેન્ટિક્સ, મજબૂત આઇસોલેશન" ધરાવતી એજન્ટ એપ્લિકેશનની ફાઇલ એક્સેસ પદ્ધતિને સપોર્ટ કરે છે. એટલે કે, એજન્ટને ફાઇલોનું સંચાલન કરવા અને મલ્ટી-ટેનન્ટ પરવાનગીઓ અને આઇસોલેશનને નિયંત્રિત કરવા માટે વધારાના ટોકન્સનો ઉપયોગ કરવાની જરૂર છે. આ વધારાના ટોકન્સ સૂચવે છે કે S3 દ્વારા વ્યાખ્યાયિત સરળ સ્ટોરેજ સેવા એજન્ટ માટે પૂરતી સરળ નથી.

2025 ના S3 બ્લોગ 《Design patterns for multi-tenant access control on Amazon S3》 માં S3 Access Point ને વધુ વિગતવાર સમજાવવામાં આવ્યું છે. આનો અર્થ એ થાય છે કે બહુવિધ વર્ચ્યુઅલ નેટવર્ક એક્સેસ પોઇન્ટ બનાવી શકાય છે, અને દરેક એક્સેસ પોઇન્ટ માટે કસ્ટમાઇઝ્ડ એક્સેસ પોઇન્ટ પોલિસી ગોઠવી શકાય છે, જે નેટવર્ક શેડ્યૂલિંગ સ્તરે મલ્ટી-ટેનન્ટ દૃશ્યો માટે કેટલાક ઉકેલો પૂરા પાડે છે.

એજન્ટ વન્ડરલેન્ડ

એક આદર્શ એજન્ટ ડેવલપર AI એજન્ટ વિકસાવતી વખતે, "Agent SDK + સ્ટોરેજ + MaaS સેવા" ના આધારે સંપૂર્ણપણે સર્વરલેસ એજન્ટ બનાવી શકે છે:

• એજન્ટ સંપૂર્ણપણે સર્વરલેસ રીતે ચાલી શકે છે

• Vibe Coding દ્વારા, હાલની પ્રોડક્ટ ક્ષમતાઓને જોડીને એજન્ટ બનાવી શકાય છે

• ફક્ત "ADK" ની python સ્ક્રિપ્ટ જાળવવાની જરૂર છે

• સ્ટોરેજ માટે ઑબ્જેક્ટ સ્ટોરેજનો ઉપયોગ કરો

• AI ક્ષમતા માટે ડોઉબાઉનો ઉપયોગ કરો

• સૈદ્ધાંતિક રીતે કોઈ ECS અથવા અન્ય ઇન્સ્ટન્સ-આધારિત પ્રોડક્ટ્સની જરૂર નથી

તે જ સમયે, સ્ટોરેજ નીચેની ક્ષમતાઓ પ્રદાન કરવાની જરૂર છે:

• એજન્ટ પાસે ઑબ્જેક્ટ સિમેન્ટિક્સ સ્ટોરેજ (ફાઇલો સાચવવા) હોવું જોઈએ, જે મલ્ટી-ટેનન્ટ એક્સેસ ક્ષમતા, લાખોથી શરૂ કરીને, અબજો સુધી વિસ્તૃત કરી શકાય

• એજન્ટ દરેક વપરાશકર્તા માટે સ્વતંત્ર જગ્યા પ્રદાન કરી શકે છે (બહુવિધ વ્યવસાયો વચ્ચે, વ્યવસાય અથવા uid નામોનું પુનરાવર્તન થઈ શકે છે)

• એજન્ટ દરેક વપરાશકર્તા માટે સીધી બેન્ડવિડ્થ ગોઠવી શકે છે, અને વપરાશકર્તા ઑબ્જેક્ટના કુલ કદની મર્યાદા ગોઠવી શકે છે

• એજન્ટ દરેક વપરાશકર્તા માટે બિલિંગ, મોનિટરિંગ અને નિરીક્ષણ કરી શકે છે

• એજન્ટ દરેક વપરાશકર્તાની ફાઇલો માટે એક્સેસ પોલિસી ગોઠવી શકે છે

એજન્ટ બકેટ: AI એજન્ટમાં "મલ્ટી-ટેનન્ટ નેટિવ" જનીનો ઉમેરો

આ સમસ્યાને મૂળથી ઉકેલવા માટે, અમે એક નવી ઑબ્જેક્ટ સ્ટોરેજ પેરાડાઈમ રજૂ કરીએ છીએ - એજન્ટ બકેટ. તેની મુખ્ય નવીનતા એ છે કે પરંપરાગત "બકેટ" અને "ઑબ્જેક્ટ" ની વચ્ચે, એક નવું મૂળભૂત સંસાધન સ્તર રજૂ કરવામાં આવ્યું છે: ઑબ્જેક્ટ કલેક્શન.

આ ડિઝાઇનનો મુખ્ય વિચાર અત્યંત સરળ છે: તમારા દરેક અંતિમ વપરાશકર્તા માટે, એક વિશિષ્ટ ObjectSet મેચ કરો. તમે ObjectSet ને દરેક વપરાશકર્તા માટે બનાવેલ "ડેટા સેફ" અથવા "ક્લાઉડ પર્સનલ સ્પેસ" તરીકે વિચારી શકો છો. તે તાર્કિક રીતે તમારા (ડેવલપર) બકેટનો ભાગ છે, પરંતુ ભૌતિક અને વ્યવસ્થાપન દૃષ્ટિએ, તેની પોતાની સ્વતંત્ર "વ્યક્તિત્વ" અને "જીવનચક્ર" છે.એજન્ટ બકેટ દરેક બકેટ 100 મિલિયન ObjectSet ને સપોર્ટ કરે છે, જેનો અર્થ છે કે તમે કરોડો અંતિમ વપરાશકર્તાઓને આરામથી સેવાઓ પ્રદાન કરી શકો છો, જાણે કે દરેક અંતિમ વપરાશકર્તા તેમની પોતાની સ્વતંત્ર સ્ટોરેજ જગ્યામાં "જીવે છે", અને તમારે હવે મલ્ટિ-ટેનન્ટ સ્ટોરેજ મેનેજમેન્ટ વિશે ચિંતા કરવાની જરૂર નથી.

ObjectSet ડિઝાઇન - એજન્ટ-ફ્રેન્ડલી ક્ષમતાઓ

એજન્ટ બકેટમાં ObjectSet માત્ર એક સ્તર ઉમેરવા કરતાં વધુ છે, પરંતુ મલ્ટિ-ટેનન્ટ દૃશ્યોમાં સૌથી મુશ્કેલ જરૂરિયાતોને પણ આઉટ-ઓફ-ધ-બોક્સ મૂળ ક્ષમતાઓમાં ફેરવે છે. જ્યારે ObjectSet ના સ્તરે ડેટાની માલિકી સ્પષ્ટ થાય છે, ત્યારે ભૂતકાળમાં હાંસલ કરવી મુશ્કેલ હતી તેવી ક્ષમતાઓની શ્રેણી આપોઆપ પ્રાપ્ત થાય છે.

• મૂળભૂત આઇસોલેશન: ObjectSet સ્તરે, તમે દરેક વપરાશકર્તા માટે સ્વતંત્ર QPS, બેન્ડવિડ્થ મર્યાદાઓ અને ક્ષમતા ક્વોટા સેટ કરી શકો છો. ચૂકવણી કરનારા વપરાશકર્તાઓનો અનુભવ સુનિશ્ચિત કરી શકાય છે, અને મફત વપરાશકર્તાઓની અસામાન્ય વર્તણૂક અન્યને અસર કરશે નહીં. આ વાસ્તવિક ફોલ્ટ ડોમેન આઇસોલેશન છે, જે "પડોશીઓ" ને એકબીજા સાથે દખલ કરતા અટકાવે છે.

• મૂળભૂત પરવાનગીઓ: દરેક ObjectSet નું પોતાનું સ્વતંત્ર ડોમેન નામ હોઈ શકે છે. આનો અર્થ એ થાય છે કે તમે વપરાશકર્તા A ને user-a.yourapp.com નું વિશિષ્ટ ઍક્સેસ સરનામું આપી શકો છો, અને હવે સમગ્ર સ્ટોરેજ બકેટનું ડોમેન નામ જાહેર કરવાની જરૂર નથી. વધુમાં, "બે તાળાઓ" ની ડિઝાઇન વધુ સ્માર્ટ છે: પ્રથમ તાળું એ ક્લાઉડ સેવા પ્રદાતા દ્વારા જારી કરાયેલ કામચલાઉ ઍક્સેસ ઓળખપત્ર (STS) છે, જે એપ્લિકેશન સ્તરે ઍક્સેસ પરવાનગીઓને નિયંત્રિત કરે છે; બીજું તાળું એ ObjectSet નું સ્વતંત્ર ડોમેન નામ છે, જે નેટવર્ક સ્તરેથી વપરાશકર્તાની પોતાની ડેટા જગ્યામાં ઍક્સેસ વિનંતીને લૉક કરે છે. આ ડેટા સુરક્ષામાં મોટા પ્રમાણમાં સુધારો કરે છે.

• મૂળભૂત મોનિટરિંગ: મોનિટરિંગ ડેશબોર્ડ પર, તમે હવે માત્ર સમગ્ર બકેટનો સારાંશ ડેટા જોઈ શકશો નહીં. તમે ObjectSet દ્વારા મોનિટરિંગ ચાર્ટ્સને તોડી શકો છો, અને કયા અંતિમ વપરાશકર્તા મોટી સંખ્યામાં ઍક્સેસ કરી રહ્યા છે તે સ્પષ્ટપણે જોઈ શકો છો, જેથી ચોક્કસ કામગીરી અને ઑપ્ટિમાઇઝેશન નિર્ણયો લઈ શકાય.

• મૂળભૂત ક્ષમતા અવેતરણ: ભૂતકાળમાં માત્ર બકેટ સ્તરે સેટ કરી શકાય તેવી નીતિઓ હવે દરેક વપરાશકર્તા સુધી લઈ જઈ શકાય છે. તમે વિવિધ સ્તરના વપરાશકર્તાઓ માટે વિવિધ ડેટા લાઇફસાયકલ સેટ કરી શકો છો, અથવા દરેક ObjectSet માટે વિવિધ એન્ક્રિપ્શન કીનો ઉપયોગ કરી શકો છો, જેથી વધુ ઝીણવટભર્યું અને સુરક્ષિત ડેટા મેનેજમેન્ટ પ્રાપ્ત કરી શકાય.

• મૂળભૂત મીટરિંગ: જાણવા માગો છો કે દરેક વપરાશકર્તા કેટલી સ્ટોરેજ જગ્યા વાપરે છે? દરેક વપરાશકર્તા પર સ્ટોરેજ ખર્ચને ચોક્કસ રીતે ફાળવવા માગો છો? હવે તે સરળ બની ગયું છે. એજન્ટ બકેટ આપમેળે દરેક ObjectSet ની ક્ષમતા અને વપરાશના આંકડા આપશે, જેથી તમારી બિલિંગ અને એકાઉન્ટિંગ સ્પષ્ટ અને સમજી શકાય તેવું બને.

• મૂળભૂત બિલિંગ: વિકાસકર્તાઓ સરળતાથી ખર્ચની ફાળવણી કરી શકે છે અને સ્ટોરેજ દ્વારા જનરેટ થતા ખર્ચને દરેક અંતિમ વપરાશકર્તા પર ચોક્કસ રીતે પાછા લાવી શકે છે. ઉદાહરણ તરીકે, A, B અને C જેવા વિવિધ વપરાશકર્તાઓ દ્વારા જનરેટ થતા વાસ્તવિક ખર્ચના પ્રમાણ અનુસાર અલગ-અલગ ચાર્જ વસૂલવામાં આવે છે, જે એજન્ટના વ્યાપારીકરણ માટે ડેટા સપોર્ટ પૂરો પાડે છે.

• મૂળભૂત ક્ષમતા મર્યાદા: એજન્ટના સંચાલન ખર્ચને નિયંત્રિત કરવા માટે, તમે દરેક ObjectSet માટે ક્વોટા (ક્ષમતા મર્યાદા) સેટ કરી શકો છો. એકવાર પ્રીસેટ મૂલ્ય પહોંચી જાય, પછી સિસ્ટમ તે વપરાશકર્તાને નવી ફાઇલો જનરેટ કરતા અટકાવશે, જે મૂળથી જ મલ્ટિ-ટેનન્ટ દૃશ્યોમાં સંસાધનોના દુરુપયોગને ટાળે છે.

• મૂળભૂત બુદ્ધિ: એજન્ટ બકેટ એજન્ટને પરંપરાગત ફાઇલોના સરળ "સ્ટોરેજ અને રિટ્રીવલ" ની મર્યાદામાંથી બહાર આવવા દે છે, અને Object ને મૂળ બુદ્ધિ આપે છે, જે એજન્ટના વન-સ્ટોપ ડેવલપમેન્ટને વધુ અસરકારક રીતે સપોર્ટ કરે છે. ObjectSet એક ક્લિકથી સ્માર્ટ ઇન્ડેક્સિંગ ખોલી શકે છે, જે એજન્ટને મૂળભૂત રીતે મૈત્રીપૂર્ણ મલ્ટિમોડલ પ્રશ્નો અને જવાબોની ક્ષમતા પ્રદાન કરે છે, જે પરંપરાગત Object CRUD ની યાંત્રિક કામગીરીને બદલે છે; તે એક ક્લિકથી Agentself મોડ ખોલવાનું પણ સમર્થન કરે છે, જે વેક્ટર, જ્ઞાન, મોડેલ અને પ્રોમ્પ્ટને જોડે છે, અને સીધા જ દૃશ્ય-આધારિત સબ-એજન્ટ કાર્યોને બહાર કાઢે છે, જેથી ઉપલા એજન્ટ વિકાસકર્તાઓ મુખ્ય વ્યવસાય વર્કફ્લો બનાવવા પર ધ્યાન કેન્દ્રિત કરી શકે અને બુદ્ધિશાળી મુદ્રીકરણ કાર્યક્ષમતાને સંપૂર્ણપણે મુક્ત કરી શકે.

એપ્લિકેશન સ્કેલ વિસ્ફોટ દ્વારા લાવવામાં આવેલી તકનીકી પડકારો

એજન્ટ બકેટ ObjectSet ની મૂળભૂત કલ્પના રજૂ કરીને, એપ્લિકેશન વિકાસકર્તાઓને કરોડો અંતિમ વપરાશકર્તા ડેટાને સંચાલિત કરવાની એક ભવ્ય અને કાર્યક્ષમ રીત પ્રદાન કરે છે. દરેક વપરાશકર્તાની ડિજિટલ સંપત્તિઓ તેમના વિશિષ્ટ ObjectSet માં સુરક્ષિત રીતે સંગ્રહિત થાય છે, જે કુદરતી રીતે આઇસોલેશન, બિલિંગ અને ક્વોટા મેનેજમેન્ટને સાકાર કરે છે.

એપ્લિકેશન સ્કેલના ઝડપી વિસ્તરણ સાથે, વિશાળ Set ની મેનેજમેન્ટ જટિલતા, આઇસોલેશન મુશ્કેલી અને ભૌતિક અવરોધો એક જ સમયે દેખાય છે:

• વિશાળ વપરાશકર્તાઓના સ્તરીય સંચાલનની સમસ્યા: જ્યારે એપ્લિકેશન મોટી સંખ્યામાં વિવિધ સ્તરના વપરાશકર્તાઓના સંસાધનો અને સુવિધાઓનું વિભેદક સંચાલન કરે છે, ત્યારે તેણે વપરાશકર્તાઓના સ્તરીય મેટાડેટાને ડિઝાઇન અને અમલમાં મૂકવાની જરૂર છે, અને ઑબ્જેક્ટ સ્ટોરેજ સુવિધા સ્વિચ સાથે સાંકળવાની જરૂર છે. Set ની મૂળભૂત કલ્પના પર વપરાશકર્તા સ્તરીકરણને ભવ્ય રીતે સંચાલિત કરવામાં વિકાસકર્તાઓને મદદ કરવી એ એપ્લિકેશનના અમલીકરણને ઝડપી બનાવવા માટે મહત્વપૂર્ણ છે.- સિંગલ ક્લસ્ટર ક્ષમતા અવરોધ: જોકે એજન્ટ બકેટ તાર્કિક રીતે અનંતપણે વિસ્તૃત થઈ શકે છે, તેની મેટાડેટા મૂળભૂત રીતે એક જ ભૌતિક ક્લસ્ટરમાં સંગ્રહિત થાય છે. જ્યારે બકેટમાં ઑબ્જેક્ટ્સની કુલ સંખ્યા અબજો અથવા તો ટ્રિલિયન સુધી પહોંચે છે, ત્યારે એક જ ક્લસ્ટરની ભૌતિક ક્ષમતા એક અણનમ મર્યાદા બની જાય છે.

• એક્સેસ પોઇન્ટ શેરિંગ સમસ્યા: એજન્ટની વ્યવસાયિક વિવિધતા અને વિશાળ સંખ્યામાં વપરાશકર્તાઓ એક્સેસ પોઇન્ટ માટે જ વધુ સુરક્ષા જોખમો અને વિસ્ફોટ ત્રિજ્યા લાવે છે. મોટી સંખ્યામાં વિવિધ વ્યવસાયો અને વપરાશકર્તાઓની વિશિષ્ટતા અનુસાર ગતિશીલ શેડ્યૂલિંગ કેવી રીતે કરવું, વિભેદક સુરક્ષા, આઇસોલેશન અને પ્રવેગક ક્ષમતાઓ પ્રાપ્ત કરવી એ એક મુશ્કેલ મુદ્દો છે.

સેટ ટેગિંગ: વપરાશકર્તા વર્ગીકરણનું ટેગ-આધારિત સંચાલન

ઑબ્જેક્ટસેટ મૂળ ટેગ-આધારિત સંચાલન પદ્ધતિ પ્રદાન કરે છે, જે એજન્ટ ડેવલપર્સને સેટ ટેગિંગ ક્ષમતાનો સરળતાથી ઉપયોગ કરીને વપરાશકર્તા વર્ગીકરણ સંચાલન પૂર્ણ કરવાની મંજૂરી આપે છે; ડેવલપર્સ દરેક વ્યાખ્યાયિત વપરાશકર્તા સ્તરને ટેગને અનુરૂપ બનાવી શકે છે, અને દરેક ટેગ માટે વિવિધ ક્વોટા અને સુવિધાઓ ચાલુ કરી શકે છે, અને આ ટેગ સાથે ચિહ્નિત થયેલ તમામ ઑબ્જેક્ટસેટ અનુરૂપ ક્વોટા અને સુવિધાઓ લાગુ કરશે. V1, V2 અને V3 સ્તરોના ઉદાહરણ સાથે સમજૂતી:

• V1: ડિફૉલ્ટ સ્તર, મફત વપરાશકર્તાઓ, બધા ઑબ્જેક્ટસેટ માટે ડિફૉલ્ટ ટેગ, મહત્તમ 1GiB ડેટા સ્ટોર કરવા માટે ગોઠવી શકાય છે, જાહેર નેટવર્ક વિતરણ 100mbps બેન્ડવિડ્થથી વધુ ન હોઈ શકે, અને સિંગલ-સ્ટ્રીમ ડાઉનલોડ ઝડપ 1mbps પર નિયંત્રિત છે;

• V2: એન્ટ્રી-લેવલ પેઇડ સભ્ય, મહત્તમ 10GiB ડેટા સ્ટોર કરવા માટે ગોઠવેલું છે, જાહેર નેટવર્ક વિતરણ 10gbps બેન્ડવિડ્થથી વધુ ન હોઈ શકે, અને સિંગલ-સ્ટ્રીમ ડાઉનલોડ ઝડપ 10mbps પર નિયંત્રિત છે;

• V3: ઉચ્ચ-સ્તરના પેઇડ સભ્ય, મોટી સ્ટોરેજ અને જાહેર નેટવર્ક વિતરણ ક્વોટા પ્રદાન કરવા ઉપરાંત, તે વધારાના જાહેર નેટવર્ક નબળા નેટવર્ક પ્રવેગક અને ઉચ્ચ-પ્રદર્શન માધ્યમ પ્રવેગક ક્ષમતાઓને ચાલુ કરવાનું પણ સમર્થન કરે છે;

એજન્ટ ડેવલપર્સ વિવિધ વપરાશકર્તાઓના વિવિધ વિકાસ ચક્ર માટે V1/V2/V3 ટેગિંગનો ઉપયોગ આ વપરાશકર્તાઓ દ્વારા ઉપયોગ કરી શકાય તેવા સંસાધનો અને મૂલ્યવર્ધિત સુવિધાઓનું સંચાલન કરવા માટે કરી શકે છે.

સેટ સ્લાઇસ: વિશાળ વપરાશકર્તા ડેટાનું મૂળ આઇસોલેશન

જ્યારે એજન્ટ બકેટમાં સેટ્સની સંખ્યા અબજો સુધી પહોંચે છે, અને ઑબ્જેક્ટ્સની સંખ્યા અબજો અથવા ટ્રિલિયન સુધી પહોંચે છે, ત્યારે "સિંગલ બકેટમાં તમામ મેટાડેટા એક KV ક્લસ્ટરમાં કેન્દ્રિત છે" હકીકત પોતે જ ક્ષમતા અને કામગીરી બંનેના જોખમો લાવશે.

સેટ સ્લાઇસ "તાર્કિક રીતે વિભાજિત ન કરો, ભૌતિક રીતે વિભાજિત કરો" નો વિચાર પ્રદાન કરે છે:

• તાર્કિક રીતે, તમે હજી પણ ફક્ત એક એજન્ટ બકેટનું સંચાલન કરો છો.

• ભૌતિક રીતે, સેટ અને સેટમાં ઑબ્જેક્ટ નામોની શ્રેણી અનુસાર, મેટાડેટાને બહુવિધ સ્લાઇસેસમાં વિભાજિત કરવામાં આવે છે, અને દરેક સ્લાઇસને વિવિધ ક્લસ્ટર્સ પર સંગ્રહિત કરી શકાય છે, બહુવિધ સેટ્સ કુદરતી રીતે અલગ પડે છે, અને સિંગલ સેટ આડી રીતે વિસ્તૃત થાય છે.

સેટ સ્લાઇસ એ ઑબ્જેક્ટસેટ ક્ષમતાનું વધુ વિસ્તરણ અને સુરક્ષા છે. તે અંતર્ગત ભૌતિક ક્ષમતાના અનંત વિસ્તરણની સમસ્યાને હલ કરે છે, અને તે જ સમયે ઉપલા ઑબ્જેક્ટસેટ સંચાલન મોડેલની સ્થિરતા અને સુસંગતતાને સુનિશ્ચિત કરે છે.

• સંચાલન સીમા સ્થિર છે: ભલે એજન્ટ બકેટનો ડેટા બહુવિધ ભૌતિક ક્લસ્ટર્સમાં ફેલાયેલો હોય, ઑબ્જેક્ટસેટ હજી પણ પરવાનગીઓ, ક્વોટા, બિલિંગ અને મોનિટરિંગનું એકમાત્ર મૂળભૂત એકમ છે. ડેવલપર્સ દ્વારા ઑબ્જેક્ટસેટ માટે ગોઠવેલી નીતિઓ (જેમ કે એક્સેસ કંટ્રોલ, ક્ષમતા મર્યાદા) આપમેળે તમામ સંબંધિત સ્લાઇસેસ પર અસર કરશે, અને અંતર્ગત ડેટાના વિતરણ વિશે ચિંતા કરવાની જરૂર નથી.

• સિંગલ સેટને રેખીય રીતે વિસ્તૃત કરી શકાય છે: જ્યારે કોઈ ચોક્કસ ઑબ્જેક્ટસેટ ડેટાનું પ્રમાણ ઝડપથી વધે છે, ત્યારે તેનો ડેટા કુદરતી રીતે બહુવિધ સ્લાઇસેસમાં વિતરિત થશે. સમગ્ર ક્લસ્ટરના વિસ્તરણ સાથે, આ ઑબ્જેક્ટસેટની ક્ષમતા પણ એકીકૃત અને રેખીય રીતે વધે છે, અને ડેવલપર્સને આ ઑબ્જેક્ટસેટને કોઈ વિભાજન અથવા સ્થળાંતર જેવી વિનાશક કામગીરી કરવાની જરૂર નથી.

• ક્રોસ-સેટ સંસાધન આઇસોલેશન: વિવિધ ભૌતિક ક્લસ્ટર્સ પર વિવિધ શ્રેણીના ઑબ્જેક્ટ્સનું વિતરણ કરીને, સેટસ્લાઇસ ઉચ્ચ-પરિમાણીય સંસાધન આઇસોલેશન પ્રાપ્ત કરે છે. ઑબ્જેક્ટસેટના ક્વોટા સંચાલન સાથે સંયોજનમાં, તે અસરકારક રીતે કોઈ ચોક્કસ "સુપર-લાર્જ" ઑબ્જેક્ટસેટના ડેટા વૃદ્ધિને એક જ ક્લસ્ટરના તમામ સંસાધનોને સ્ક્વિઝ કરતા અટકાવી શકે છે, જેનાથી અન્ય ઑબ્જેક્ટસેટની સ્થિરતાને અસર થાય છે, અને એકંદર ક્ષમતા જોખમને નિયંત્રણમાં રાખે છે.- તર્કસંગત એકતા અને સુસંગતતા: વ્યવસાયો અને વિકાસકર્તાઓ માટે, ભલે અન્ડરલાઇંગમાં કેટલા સ્લાઇસ હોય, તેઓ હંમેશા તાર્કિક રીતે એકીકૃત એજન્ટ બકેટનો સામનો કરે છે. બકેટ, ઑબ્જેક્ટસેટ અને ઑબ્જેક્ટ્સ માટેની તમામ કામગીરી યથાવત રહે છે, ભૌતિક વિસ્તરણને ઉપલા-સ્તરની એપ્લિકેશન્સ માટે સંપૂર્ણપણે પારદર્શક બનાવે છે.

સેટ એક્સેસપોઇન્ટ: દરેક વપરાશકર્તા માટે એક્સેસ પોઇન્ટને અલગ કરો

એજન્ટ બકેટ દરેક ઑબ્જેક્ટસેટ માટે સ્વતંત્ર એક્સેસ પોઇન્ટ્સ (સ્વતંત્ર ડોમેન્સ) ખોલવાનું સમર્થન કરે છે, અને એક્સેસ પોઇન્ટ્સ પર વિભેદક સુરક્ષા, આઇસોલેશન અને પ્રવેગક ક્ષમતાઓ વિસ્તૃત કરે છે. આ માટે સિસ્ટમને અબજો સ્વતંત્ર એક્સેસ પોઇન્ટ્સના શેડ્યૂલિંગ અને વિભેદક રૂપરેખાંકનને સમર્થન આપવાની જરૂર છે.

સ્વતંત્ર એક્સેસ ડોમેન {$apid}.tos-objectset-ap.volces.com: બે-સ્તરનું સુરક્ષા સંરક્ષણ

• પ્રથમ સ્તર અસ્પષ્ટતા (ગુપ્તતા): વપરાશકર્તા/ઑબ્જેક્ટસેટ દ્વારા સ્વતંત્ર સબડોમેન, apid ઉચ્ચ એન્ટ્રોપી હેશિંગ, અત્યંત ઓછી અથડામણની સંભાવના, એક્સેસ ડોમેનના પરિપ્રેક્ષ્યમાં ચોક્કસ વપરાશકર્તા પ્રવેશદ્વારનો અંદાજ લગાવી શકાતો નથી અને તેને સંપૂર્ણપણે ગણી શકાય નહીં;

• બીજું સ્તર કન્ટેઇનમેન્ટ (સંયમ): એજન્ટ ડેવલપર્સ sts નો ઉપયોગ કરીને ઑબ્જેક્ટસેટ-સ્તરની એક્સેસ પરવાનગીઓનું વિતરણ કરે છે. જો sts લીક થઈ જાય તો પણ, તે ચોક્કસ ઑબ્જેક્ટસેટની મર્યાદિત માન્યતા અવધિમાં તેની એક્સેસ શ્રેણીને નિયંત્રિત કરી શકે છે;

હેયુરિસ્ટિક શેડ્યૂલિંગ સિસ્ટમ: અબજો ડોમેન શેડ્યૂલિંગ વ્યૂહરચનાની ગણતરી

• વપરાશકર્તા/ઑબ્જેક્ટસેટ:ટેગ દ્વારા વિભેદક એક્સેસ વ્યૂહરચના

• બહુવિધ વપરાશકર્તાઓ/ઑબ્જેક્ટસેટ્સ આપમેળે વિવિધ જાહેર નેટવર્ક પ્રવેશદ્વારો પર વિખેરાયેલા છે, અને એક જ પ્રવેશદ્વારની નિષ્ફળતા વપરાશકર્તાઓની સંખ્યાને નિયંત્રિત કરે છે.

• સંપૂર્ણ પ્રદેશ સ્થિતિસ્થાપક શેડ્યૂલિંગ, કોઈપણ એક પ્રવેશદ્વારની નિષ્ફળતા/ઓવરલોડ આપમેળે ટ્રાફિક પેકિંગ અને ખસેડવાનું પૂર્ણ કરે છે.

• જાહેર નેટવર્ક પ્રવેગક વિતરણ વપરાશકર્તાઓ, જાહેર નેટવર્ક ટ્રાન્સમિશન પ્રવેગક ટેગને હિટ કરે છે અને આપમેળે પ્રવેગક પ્રવેશદ્વારનું શેડ્યૂલ કરે છે.

• જાહેર નેટવર્ક જોખમ વર્ગ વપરાશકર્તાઓ, જોખમ ટેગને હિટ કરે છે અને આપમેળે જાહેર નેટવર્ક આઇસોલેશન પ્રવેશદ્વારનું શેડ્યૂલ કરે છે અને જાહેર નેટવર્ક બેન્ડવિડ્થ ક્વોટા ઘટાડે છે.

• આંતરિક નેટવર્ક ક્રોસ-ડોમેન વપરાશકર્તાઓ, ક્રોસ-ડોમેન ટેગને હિટ કરે છે અને આપમેળે આંતરિક નેટવર્ક સમર્પિત લાઇન પ્રવેગક પાથનું શેડ્યૂલ કરે છે.

• સ્થાનિક પ્રવેગક વપરાશકર્તાઓ, પ્રવેગક ટેગને હિટ કરે છે અને આપમેળે સ્થાનિક પ્રવેગકને માઉન્ટ કરે છે.

પ્રોગ્રામિંગ સહાયકથી AI ક્લાઉડ ડિસ્ક સુધી, એજન્ટ બકેટની અનંત શક્યતાઓ

એજન્ટ બકેટ એજન્ટો માટે સંપૂર્ણ ઉકેલો પૂરો પાડે છે, અને ઑબ્જેક્ટસેટની ડિઝાઇન એપ્લિકેશનના દૃશ્યો આનાથી ઘણા વધારે છે. તે તમામ એપ્લિકેશન્સમાં સરળતાથી વિસ્તૃત થઈ શકે છે જેને વિશાળ સંખ્યામાં અંતિમ વપરાશકર્તાઓને સેવાઓ પ્રદાન કરવાની જરૂર છે:

• કોડ રિપોઝિટરી: ભૂતકાળમાં, જ્યારે સાહસો અથવા વ્યક્તિઓએ ક્લાઉડમાં કોડ હોસ્ટ કર્યો હતો, ત્યારે તેઓને એકાઉન્ટ આઇસોલેશન અને પરવાનગી નિયંત્રણ પ્રાપ્ત કરવા માટે ઑબ્જેક્ટ સ્ટોરેજની ટોચ પર "ભાડૂત સિસ્ટમ" બનાવવાની જરૂર હતી. હવે, દરેક વિકાસકર્તાને એક વિશિષ્ટ ઑબ્જેક્ટસેટ સોંપી શકાય છે, અને કોડ રિપોઝિટરી, બિલ્ડ આર્ટિફેક્ટ્સ અને અવલંબનને તેમાં એકીકૃત રીતે સંગ્રહિત કરી શકાય છે. એજન્ટ સ્કિલ્સ પણ સ્વાભાવિક રીતે ઑબ્જેક્ટસેટને અનુકૂળ છે. સ્કિલ્સ અપલોડ અને ડાઉનલોડ વિતરણ ઑબ્જેક્ટસેટ દ્વારા મજબૂત આઇસોલેશન પ્રદાન કરે છે, એજન્ટ રનટાઇમ દરમિયાન પડોશી દખલગીરીને ટાળે છે.

• એન્ટરપ્રાઇઝ આલ્બમ નેટવર્ક ડિસ્ક: પરંપરાગત આલ્બમ અથવા નેટવર્ક ડિસ્ક સેવાઓ ઘણીવાર બધા વપરાશકર્તાઓના ફોટાને સમાન બકેટમાં મિશ્રિત કરે છે, વપરાશકર્તાઓને અલગ પાડવા માટે ઉપસર્ગોનો ઉપયોગ કરે છે, જે માત્ર સંચાલનને જટિલ બનાવે છે એટલું જ નહીં, પરંતુ "પડોશી અસર" નું કારણ પણ બને છે. ઑબ્જેક્ટસેટ પર આધારિત, દરેક વપરાશકર્તાના ફોટા અને વિડિયો તેમના પોતાના સેટમાં આવે છે, એક્સેસ શિખરો એકબીજા સાથે દખલ કરતા નથી, અને વપરાશકર્તાઓ દ્વારા ક્ષમતા મર્યાદાઓ, બેકઅપ વ્યૂહરચના અને એન્ક્રિપ્શન પદ્ધતિઓ પણ સેટ કરી શકાય છે, ખરેખર "દરેક વ્યક્તિ પાસે સુરક્ષિત અને નિયંત્રણ કરી શકાય તેવું ક્લાઉડ આલ્બમ" છે.

• Hadoop ડેટા વેરહાઉસ: એન્ટરપ્રાઇઝ ડેટા વેરહાઉસમાં, વિવિધ વ્યવસાય લાઇન અને વિવિધ ડેટાબેસેસ ઘણીવાર સમાન અન્ડરલાઇંગ સ્ટોરેજ પર સંસાધનો શેર કરે છે. દરેક ડેટાબેઝને ઑબ્જેક્ટસેટમાં મેપ કરીને, સાહસો એકીકૃત સ્ટોરેજ પર ડેટાબેઝ દ્વારા આઇસોલેશન અને ક્વોટા નિયંત્રણ પ્રાપ્ત કરી શકે છે. ખાસ કરીને, ઑબ્જેક્ટસેટ TOS પર પરવાનગીઓનું વધારાનું સ્તર પ્રદાન કરે છે, અને TOS પર સંગ્રહિત ડેટાબેઝ અને ટેબલ્સ માટે હાલના Proton on TOS ને બદલ્યા વિના આઇસોલેશન અને પરવાનગી નિયંત્રણ પ્રદાન કરે છે. - મોડેલ હોસ્ટિંગ પ્લેટફોર્મ: મોટા મોડેલ હોસ્ટિંગના દૃશ્યમાં, દરેક મોડેલ માત્ર વિશાળ જ નથી હોતું, પરંતુ તેમાં વિવિધ સંસ્કરણો, વજન અને અનુમાન રૂપરેખાંકનો પણ હોઈ શકે છે. દરેક મોડેલ માટે ObjectSet બનાવીને, મોડેલ વજન, Tokenizer, રૂપરેખાંકન ફાઇલો અને સંબંધિત મૂલ્યાંકન ડેટાને સમાન જગ્યામાં પેકેજ અને હોસ્ટ કરી શકાય છે. સંચાલન બાજુ વિવિધ મોડેલો માટે વિભેદક એન્ક્રિપ્શન નીતિઓ, બેકઅપ નીતિઓ અને બેન્ડવિડ્થ નિયંત્રણ સેટ કરી શકે છે, અને મોડેલ પરિમાણો દ્વારા બિલિંગ અને સંસાધન શેડ્યૂલિંગ માટે આધાર પૂરો પાડવા માટે મૂળ મીટરિંગ ક્ષમતાઓ દ્વારા દરેક મોડેલની વાસ્તવિક વપરાશ કિંમતને આંકડાકીય રીતે માપી શકે છે. (આનો અર્થ એ છે કે દરેક મોડેલને અલગથી ટ્રેક કરી શકાય છે અને તેના વપરાશ પ્રમાણે ચાર્જ કરી શકાય છે.)

• ડેટા SaaS સેવા: વિશાળ સંખ્યામાં અંતિમ વપરાશકર્તાઓ માટે ડેટા વિતરણ પ્લેટફોર્મને ઘણીવાર એક સાથે ઘણા ડેટા પ્રદાતાઓ સાથે કનેક્ટ થવાની જરૂર પડે છે. દરેક પક્ષની ડેટા સીમાઓ સ્પષ્ટ થાય તેની ખાતરી કરવી જરૂરી છે, અને "એક મોટું બેરલ બધાને ખેંચે છે" તેવા પ્રદર્શન જોખમને ટાળવું પણ જરૂરી છે. Agent Bucket ની મદદથી, દરેક ડેટા પ્રદાતા પોતાનો ObjectSet ધરાવી શકે છે, કાચા ડેટા અને પ્રોસેસિંગ પરિણામોનું સંચાલન કરી શકે છે, અને પછી સ્વતંત્ર ડોમેન નામો અને બેન્ડવિડ્થ, QPS ક્વોટા દ્વારા વિવિધ પ્રદાતાઓ માટે વિભેદક સેવા ગેરંટી અને દર મર્યાદા લાગુ કરી શકે છે, "એક પ્લેટફોર્મ, બહુવિધ પ્રદાતાઓ, એકબીજાથી અલગ અને નિયંત્રિત સહયોગ" ડેટા વિતરણ માળખું પ્રાપ્ત કરી શકાય છે. (આનો અર્થ એ છે કે દરેક ડેટા પ્રદાતાને અલગથી સંચાલિત કરી શકાય છે અને તેમની કામગીરીને અસર કર્યા વિના નિયંત્રિત કરી શકાય છે.)

સંદર્ભ:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/