एजेंट बकेट: खरबों-स्तरीय एजेंट मूल स्टोरेज बकेट
एजेंट बकेट: खरबों-स्तरीय एजेंट मूल स्टोरेज बकेट
आज, जब AI एजेंट कुकुरमुत्ते की तरह उग रहे हैं, डेवलपर अभूतपूर्व गति से कल्पनाशील बुद्धिमान एप्लिकेशन बना रहे हैं। प्रोग्रामिंग सहायकों से जो आपको कोड लिखने में मदद कर सकते हैं, एक वाक्य में एक फिल्म बनाने वाले रचनात्मक उपकरणों से लेकर, हर समय तैयार रहने वाले व्यक्तिगत बुद्धिमान सहायकों तक, एजेंट हमारे डिजिटल दुनिया के साथ बातचीत करने के तरीके को फिर से आकार दे रहे हैं। इस लहर के पीछे, एक सहमति तेजी से स्पष्ट हो रही है: Serverless आर्किटेक्चर (जैसे Lambda), बड़े भाषा मॉडल (LLM) और क्लाउड स्टोरेज (जैसे S3, TOS) की मदद से, Vibe Coding के साथ मिलकर, कोई भी 30 मिनट में अपना AI एजेंट बना सकता है।
"उपयोगी" से "अच्छा" बनने तक, एजेंट डेवलपर्स को "खिलौनों" से "उत्पादन-ग्रेड एप्लिकेशन" तक पहुंचने के लिए अभी भी चुनौतियों को पार करने की आवश्यकता है। जैसे-जैसे व्यवसाय बड़ी संख्या में उपयोगकर्ताओं तक पहुंचते हैं, डेवलपर्स को एक बेहद जटिल चुनौती का सामना करना पड़ता है: बड़ी संख्या में अंतिम उपयोगकर्ताओं के लिए ऑब्जेक्ट स्टोरेज पर एक पूर्ण स्टोरेज समाधान कैसे बनाया जाए? अधिकांश डेवलपर्स के लिए, यह न केवल एक तकनीकी बाधा है, बल्कि एजेंट के बड़े पैमाने पर वितरण में भी बाधा है। एजेंट बकेट का उद्देश्य AI मूल स्टोरेज डिज़ाइन के माध्यम से मल्टी-टेनेंट सिस्टम के निर्माण की प्रक्रिया को पूरी तरह से सरल बनाना और अधिक अनुकूल एजेंट क्षमताएं प्रदान करना है।
जब अरबों उपयोगकर्ता आते हैं, तो पारंपरिक ऑब्जेक्ट स्टोरेज "पर्याप्त नहीं" होता है
कल्पना कीजिए कि आपने एक लोकप्रिय AIGC एप्लिकेशन विकसित किया है। प्रत्येक उपयोगकर्ता बड़ी संख्या में चित्र, वीडियो और अस्थायी फ़ाइलें उत्पन्न और संग्रहीत करेगा। एक डेवलपर के रूप में, आप स्वाभाविक रूप से S3 और TOS जैसी परिपक्व, स्केलेबल ऑब्जेक्ट स्टोरेज सेवाओं का चयन करेंगे। लेकिन सवाल यह है: बड़ी संख्या में उपयोगकर्ताओं के लिए डेटा का प्रबंधन कैसे करें?
2022 में S3 के ब्लॉग 《Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3》 में दो तरीकों का वर्णन किया गया है, "प्रत्येक किरायेदार एक स्वतंत्र S3 बकेट का उपयोग करता है" और "उपसर्ग अलगाव पर आधारित साझा S3 बकेट":
- प्रत्येक उपयोगकर्ता के लिए एक स्वतंत्र "बकेट" बनाएं: यह तब संभव है जब उपयोगकर्ताओं की संख्या कम हो, लेकिन जब उपयोगकर्ताओं की संख्या हजारों या लाखों तक बढ़ जाती है, तो बकेट की संख्या तेजी से बढ़ जाएगी, और प्रबंधन लागत और संसाधन सीमाएं असहनीय हो जाएंगी। S3 पूरे क्षेत्र में कुल 10000 बकेट का कोटा प्रदान करता है, लेकिन लोकप्रिय AI क्षमताओं के लिए, 10000 अभी भी पर्याप्त नहीं है।
- एक ही बकेट में "उपसर्ग" के साथ उपयोगकर्ताओं को अलग करें: यह मुख्यधारा का समाधान बन गया है। उदाहरण के लिए, उपयोगकर्ता A की फ़ाइलें user-a/ से शुरू होती हैं, और उपयोगकर्ता B की फ़ाइलें user-b/ से शुरू होती हैं, जैसे कंप्यूटर पर फ़ाइलों को फ़ोल्डर से प्रबंधित करना। हालाँकि, ऑब्जेक्ट स्टोरेज में कोई मूल फ़ोल्डर नहीं है, यह समाधान "K-V" स्टोरेज सिस्टम में "सार्वजनिक उपसर्ग" (Prefix) के माध्यम से मल्टी-टेनेंट को अलग करता है।
"बकेट" या "उपसर्ग" पर आधारित यह समाधान पिछले दस वर्षों में व्यापक रूप से अपनाया गया है। लेकिन निम्नलिखित समस्याएं हैं:
-
मल्टी-टेनेंट अलगाव: सभी उपयोगकर्ताओं का डेटा एक ही बकेट में मिला हुआ है, एक उपयोगकर्ता की असामान्य रूप से उच्च आवृत्ति वाली पहुंच अन्य सभी उपयोगकर्ताओं को प्रभावित कर सकती है, जिससे "पड़ोसी प्रभाव" पैदा हो सकता है। प्रदर्शन अलगाव और विफलता अलगाव की तो बात ही छोड़िए।
-
अनुमति नियंत्रण: जटिल अनुमति नीतियों (IAM Policy) को बनाए रखना मुश्किल है, और कॉन्फ़िगरेशन त्रुटियां आसानी से हो सकती हैं, जिससे उपयोगकर्ता डेटा अनजाने में एक्सेस हो सकता है, खासकर जब अन्य क्लाउड सेवाओं के साथ बातचीत करने की आवश्यकता होती है, तो जोखिम अधिक होता है।
-
लागत स्पष्टता: आपको यह जानना मुश्किल है कि प्रत्येक उपयोगकर्ता ने वास्तव में कितनी स्टोरेज जगह का उपभोग किया है और कितने ट्रैफ़िक शुल्क उत्पन्न किए हैं। जब आप उपयोग के आधार पर भुगतान करने वाले उपयोगकर्ताओं से शुल्क लेना चाहते हैं, तो बिलिंग और माप एक भ्रमित खाता बन जाता है।इन आवश्यकताओं के पीछे का कारण यह है कि वर्तमान क्लाउड-नेटिव आर्किटेक्चर में, S3 जैसे "ऑब्जेक्ट स्टोरेज" और पारंपरिक "फाइल सिस्टम" के बीच एक बहुत बड़ा शून्य है। ऑब्जेक्ट स्टोरेज (S3/TOS) का सार "फ्लैट" है, और इसका मूल डिज़ाइन बड़ी मात्रा में डेटा को सरल तरीके से स्टोर करना है, जैसे कि एक विशाल गोदाम। हालांकि क्षमता लगभग असीमित है, लेकिन तार्किक संरचना बेहद सरल है। इसमें मूल उच्च-स्तरीय निर्देशिका प्रबंधन, बारीक मेटाडेटा नियंत्रण और वास्तविक किरायेदार जागरूकता का अभाव है। जब डेवलपर "फ्लैट" S3 पर, हार्ड-कोडिंग उपसर्गों के माध्यम से एक "त्र आयामी" बहु-किरायेदार फ़ाइल सिस्टम का अनुकरण करने का प्रयास करते हैं, तो हम वास्तव में एक "स्थैतिक KV स्टोरेज" का उपयोग कर रहे हैं, जो एक "निर्देशिका सिमेंटिक्स, दृढ़ता से अलग" एजेंट एप्लिकेशन की फ़ाइल एक्सेस विधि को वहन करता है। इसका मतलब है कि एजेंट को फ़ाइलों को प्रबंधित करने के लिए अतिरिक्त टोकन की खपत करने और बहु-किरायेदार अनुमतियों और अलगाव को नियंत्रित करने और हल करने की आवश्यकता है। ये अतिरिक्त खपत किए गए टोकन सभी इंगित करते हैं कि S3 द्वारा परिभाषित सरल स्टोरेज सेवा एजेंट के लिए पर्याप्त सरल नहीं है।
2025 S3 ब्लॉग 《Design patterns for multi-tenant access control on Amazon S3》 S3 एक्सेस पॉइंट को और स्पष्ट करता है। इसका मतलब है कि कई वर्चुअल नेटवर्क एक्सेस पॉइंट बनाए जा सकते हैं, और प्रत्येक एक्सेस पॉइंट के लिए एक कस्टम एक्सेस पॉइंट पॉलिसी कॉन्फ़िगर की जा सकती है, जिसमें नेटवर्क शेड्यूलिंग स्तर पर बहु-किरायेदार परिदृश्यों के लिए कुछ समाधान हैं।
एजेंट वंडरलैंड
एक आदर्श एजेंट डेवलपर AI एजेंट विकसित करते समय, पूरी तरह से सर्वरलेस एजेंट बनाने के लिए "एजेंट SDK + स्टोरेज + MaaS सेवा" पर आधारित हो सकता है:
-
एजेंट पूरी तरह से सर्वरलेस चल सकता है
-
Vibe Coding के माध्यम से, मौजूदा उत्पाद क्षमताओं को मिलाकर एजेंट बनाया जा सकता है
-
केवल "ADK" की python स्क्रिप्ट को बनाए रखने की आवश्यकता है
-
स्टोरेज ऑब्जेक्ट स्टोरेज का उपयोग करता है
-
AI क्षमताएं 豆包 का उपयोग करती हैं
-
सैद्धांतिक रूप से कोई ECS या अन्य उदाहरण प्रकार के उत्पाद नहीं हैं
साथ ही, स्टोरेज को निम्नलिखित क्षमताएं प्रदान करने की आवश्यकता है:
-
एजेंट के पास ऑब्जेक्ट सिमेंटिक्स स्टोरेज (फ़ाइलें सहेजें) का एक प्रकार हो सकता है, जो बहु-किरायेदार एक्सेस क्षमता प्रदान करता है, जो लाखों से शुरू होता है और अरबों तक बढ़ाया जा सकता है
-
एजेंट प्रत्येक उपयोगकर्ता के लिए एक स्वतंत्र स्थान प्रदान कर सकता है (कई व्यवसायों के बीच, व्यवसायों या uid के नाम दोहराए जा सकते हैं)
-
एजेंट प्रत्येक उपयोगकर्ता के बैंडविड्थ को सीधे कॉन्फ़िगर कर सकता है, और उपयोगकर्ता ऑब्जेक्ट के कुल आकार की ऊपरी सीमा को कॉन्फ़िगर कर सकता है
-
एजेंट उपयोगकर्ता के अनुसार बिलिंग, निगरानी और अवलोकन कर सकता है
-
एजेंट प्रत्येक उपयोगकर्ता की फ़ाइलों के लिए एक्सेस नीतियां कॉन्फ़िगर कर सकता है
एजेंट बकेट: AI एजेंट में "बहु-किरायेदार मूल" जीन इंजेक्ट करना
इस समस्या को मौलिक रूप से हल करने के लिए, हमने एक नया ऑब्जेक्ट स्टोरेज प्रतिमान प्रस्तावित किया है - एजेंट बकेट। इसकी मुख्य नवीनता पारंपरिक "बकेट" और "ऑब्जेक्ट" के बीच एक नया मूल संसाधन स्तर पेश करना है: ऑब्जेक्ट संग्रह।
इस डिज़ाइन का मूल विचार बेहद सरल है: अपने प्रत्येक अंतिम उपयोगकर्ता के लिए, एक विशेष ObjectSet का मिलान करें। आप ObjectSet को प्रत्येक उपयोगकर्ता के लिए बनाए गए एक विशेष "डेटा वॉल्ट" या "क्लाउड पर्सनल स्पेस" के रूप में कल्पना कर सकते हैं। यह तार्किक रूप से आपके (डेवलपर) बकेट से संबंधित है, लेकिन भौतिक और प्रबंधन के संदर्भ में, इसकी अपनी स्वतंत्र "व्यक्तित्व" और "जीवनचक्र" है।एजेंट बकेट प्रत्येक बकेट 100 मिलियन ऑब्जेक्टसेट का समर्थन करता है, जिसका अर्थ है कि आप आसानी से सैकड़ों लाखों अंतिम उपयोगकर्ताओं को सेवाएं प्रदान कर सकते हैं, जैसे कि प्रत्येक अंतिम उपयोगकर्ता अपने स्वयं के स्वतंत्र भंडारण स्थान में "रहता" है, और अब बहु-किरायेदारी भंडारण प्रबंधन के बारे में चिंता करने की आवश्यकता नहीं है।
ऑब्जेक्टसेट डिज़ाइन - एजेंट के अनुकूल क्षमताएं
एजेंट बकेट में ऑब्जेक्टसेट केवल एक स्तर जोड़ने से कहीं अधिक है, यह बहु-किरायेदारी परिदृश्यों में सबसे कठिन आवश्यकताओं को भी उपयोग के लिए तैयार मूल क्षमताओं में बदल देता है। जब ऑब्जेक्टसेट के स्तर पर डेटा स्वामित्व स्पष्ट हो जाता है, तो अतीत में प्राप्त करना मुश्किल रही क्षमताओं की एक श्रृंखला स्वाभाविक रूप से हो जाती है।
-
मूल अलगाव: ऑब्जेक्टसेट स्तर पर, आप प्रत्येक उपयोगकर्ता के लिए स्वतंत्र QPS, बैंडविड्थ सीमाएं और क्षमता कोटा सेट कर सकते हैं। भुगतान करने वाले उपयोगकर्ताओं के अनुभव की गारंटी दी जा सकती है, और मुफ्त उपयोगकर्ताओं का असामान्य व्यवहार दूसरों को प्रभावित नहीं करेगा। यह वास्तविक विफलता डोमेन अलगाव है, जो "पड़ोसियों" को एक-दूसरे के साथ हस्तक्षेप करने से रोकता है।
-
मूल अनुमति: प्रत्येक ऑब्जेक्टसेट का एक स्वतंत्र डोमेन नाम हो सकता है। इसका मतलब है कि आप उपयोगकर्ता A को एक समर्पित एक्सेस एड्रेस user-a.yourapp.com दे सकते हैं, और अब पूरे स्टोरेज बकेट के डोमेन नाम को उजागर करने की आवश्यकता नहीं है। अधिक चतुराई से "दो ताले" डिज़ाइन है: पहला ताला क्लाउड सेवा प्रदाता द्वारा जारी किया गया एक अस्थायी एक्सेस क्रेडेंशियल (STS) है, जो एप्लिकेशन स्तर पर एक्सेस अनुमतियों को नियंत्रित करता है; दूसरा ताला ऑब्जेक्टसेट का स्वतंत्र डोमेन नाम है, जो नेटवर्क स्तर से उपयोगकर्ता के अपने डेटा स्थान में एक्सेस अनुरोधों को लॉक कर देता है। यह डेटा सुरक्षा में बहुत सुधार करता है।
-
मूल निगरानी: निगरानी डैशबोर्ड पर, आप अब केवल पूरे बकेट का अवलोकन डेटा नहीं देख सकते हैं। आप by-ObjectSet निगरानी चार्ट को तोड़ सकते हैं, स्पष्ट रूप से यह देख सकते हैं कि कौन सा अंतिम उपयोगकर्ता बड़ी मात्रा में एक्सेस कर रहा है, और इस प्रकार सटीक संचालन और अनुकूलन निर्णय ले सकता है।
-
मूल क्षमता अवतलन: अतीत में केवल बकेट स्तर पर सेट की जा सकने वाली नीतियां, अब प्रत्येक उपयोगकर्ता को अवतलित की जा सकती हैं। आप विभिन्न स्तरों के उपयोगकर्ताओं के लिए अलग-अलग डेटा जीवनचक्र सेट कर सकते हैं, या प्रत्येक ऑब्जेक्टसेट के लिए अलग-अलग एन्क्रिप्शन कुंजियों का उपयोग कर सकते हैं, जिससे अधिक बारीक और सुरक्षित डेटा प्रबंधन प्राप्त हो सके।
-
मूल माप: जानना चाहते हैं कि प्रत्येक उपयोगकर्ता ने कितनी स्टोरेज जगह का उपयोग किया है? प्रत्येक उपयोगकर्ता के लिए स्टोरेज लागत को सटीक रूप से आवंटित करना चाहते हैं? अब यह आसान हो गया है। एजेंट बकेट स्वचालित रूप से प्रत्येक ऑब्जेक्टसेट की क्षमता और उपयोग को आपके लिए सांख्यिकीय रूप से मापेगा, जिससे आपकी बिलिंग और लाभ साझाकरण स्पष्ट हो जाएगा।
-
मूल बिलिंग: डेवलपर आसानी से लागत आवंटन को लागू कर सकते हैं और स्टोरेज द्वारा उत्पन्न लागत को प्रत्येक अंतिम उपयोगकर्ता को सटीक रूप से वापस धकेल सकते हैं। उदाहरण के लिए, A, B और C विभिन्न उपयोगकर्ताओं द्वारा उत्पन्न वास्तविक लागत अनुपात के अनुसार विभेदित शुल्क लें, और एजेंट के व्यावसायीकरण के लिए डेटा समर्थन प्रदान करें।
-
मूल क्षमता सीमा: एजेंट की परिचालन लागत को नियंत्रित करने के लिए, आप प्रत्येक ऑब्जेक्टसेट के लिए कोटा (क्षमता सीमा) सेट कर सकते हैं। एक बार जब यह पूर्व निर्धारित मान तक पहुँच जाता है, तो सिस्टम उस उपयोगकर्ता को नई फ़ाइलें उत्पन्न करने से रोक देगा, जिससे बहु-किरायेदारी परिदृश्यों में संसाधन दुरुपयोग को मूल रूप से रोका जा सकेगा।
-
मूल बुद्धिमत्ता: एजेंट बकेट एजेंट को पारंपरिक फ़ाइल सरल "एक्सेस" की सीमाओं से बाहर निकलने की अनुमति देता है, ऑब्जेक्ट को मूल बुद्धिमत्ता प्रदान करता है, और एजेंट के वन-स्टॉप विकास का अधिक कुशलता से समर्थन करता है। ऑब्जेक्टसेट एजेंट को मूल रूप से अनुकूल बहु-मोडल प्रश्न उत्तर क्षमताएं प्रदान करने के लिए एक-क्लिक बुद्धिमान अनुक्रमण को चालू कर सकता है, पारंपरिक ऑब्जेक्ट CRUD के यांत्रिक संचालन को प्रतिस्थापित कर सकता है; यह यहां तक कि एक-क्लिक Agentself मोड को चालू करने, वैक्टर, ज्ञान, मॉडल और प्रॉम्प्ट को जोड़ने, और सीधे परिदृश्य-आधारित उप-एजेंट कार्यों को उजागर करने का समर्थन करता है, जिससे ऊपरी एजेंट डेवलपर्स मुख्य व्यवसाय वर्कफ़्लो निर्माण पर ध्यान केंद्रित कर सकते हैं और बुद्धिमान मुद्रीकरण दक्षता को पूरी तरह से जारी कर सकते हैं।
एप्लिकेशन पैमाने के विस्फोट से उत्पन्न तकनीकी चुनौतियां
एजेंट बकेट ऑब्जेक्टसेट की मूल अवधारणा को पेश करके, एप्लिकेशन डेवलपर्स को अरबों अंतिम उपयोगकर्ता डेटा को प्रबंधित करने का एक सुरुचिपूर्ण और कुशल तरीका प्रदान करता है। प्रत्येक उपयोगकर्ता की डिजिटल संपत्ति को उनके समर्पित ऑब्जेक्टसेट में सुरक्षित रूप से संग्रहीत किया जाता है, जो स्वाभाविक रूप से अलगाव, बिलिंग और कोटा प्रबंधन को लागू करता है।
एप्लिकेशन पैमाने के तेजी से विस्तार के साथ, बड़े पैमाने पर सेट की प्रबंधन जटिलता, अलगाव कठिनाई और भौतिक बाधाएं सभी एक साथ दिखाई देती हैं:
-
बड़े पैमाने पर उपयोगकर्ता श्रेणीबद्ध प्रबंधन समस्या: बड़ी संख्या में विभिन्न स्तरों के उपयोगकर्ताओं के संसाधनों और विशेषताओं को विभेदित रूप से प्रबंधित करते समय, एप्लिकेशन को उपयोगकर्ता श्रेणीबद्ध मेटाडेटा को स्वयं डिज़ाइन और कार्यान्वित करने और ऑब्जेक्ट स्टोरेज सुविधा स्विच को संबद्ध करने की आवश्यकता होती है। सेट की मूल अवधारणा पर उपयोगकर्ता श्रेणीबद्धता को सुरुचिपूर्ण ढंग से प्रबंधित करने में डेवलपर्स की मदद करना एप्लिकेशन के कार्यान्वयन को गति देने के लिए महत्वपूर्ण है।- एकल क्लस्टर क्षमता बाधा: हालांकि एजेंट बाल्टी को तार्किक रूप से असीम रूप से बढ़ाया जा सकता है, लेकिन इसका मेटाडेटा डिफ़ॉल्ट रूप से एक एकल भौतिक क्लस्टर में संग्रहीत होता है। जब बाल्टी में वस्तुओं की कुल संख्या सैकड़ों अरबों या यहां तक कि खरबों तक पहुंच जाती है, तो एकल क्लस्टर की भौतिक क्षमता एक दुर्गम ऊपरी सीमा बन जाती है।
-
एक्सेस पॉइंट शेयरिंग समस्या: एजेंट की व्यावसायिक विविधता और विशाल उपयोगकर्ता एक्सेस पॉइंट के लिए ही अधिक सुरक्षा जोखिम और विस्फोट त्रिज्या लाते हैं। बड़ी संख्या में विभिन्न व्यवसायों और उपयोगकर्ताओं की भिन्नता के अनुसार गतिशील शेड्यूलिंग कैसे करें, विभेदित सुरक्षा, अलगाव और त्वरण क्षमता को साकार करना एक मुश्किल बिंदु बन गया है।
सेट टैगिंग: उपयोगकर्ता वर्गीकरण का टैग-आधारित प्रबंधन
ऑब्जेक्टसेट मूल टैग-आधारित प्रबंधन प्रदान करता है, जिससे एजेंट डेवलपर्स आसानी से सेट टैगिंग क्षमता का उपयोग कर सकते हैं, उपयोगकर्ता वर्गीकरण शासन को पूरा कर सकते हैं; डेवलपर्स प्रत्येक परिभाषित उपयोगकर्ता स्तर के लिए एक टैग के अनुरूप हो सकते हैं, और प्रत्येक टैग के लिए विभिन्न कोटा और विशेषताओं को सक्षम कर सकते हैं, इस टैग के साथ चिह्नित सभी ऑब्जेक्टसेट संबंधित कोटा और विशेषताओं को लागू करेंगे। V1, V2 और V3 स्तरों के उदाहरण के रूप में:
-
V1: डिफ़ॉल्ट स्तर, मुफ्त उपयोगकर्ता, सभी ऑब्जेक्टसेट का डिफ़ॉल्ट टैग, अधिकतम 1GiB डेटा संग्रहीत करने के लिए कॉन्फ़िगर किया जा सकता है, सार्वजनिक नेटवर्क वितरण 100mbps बैंडविड्थ से अधिक नहीं हो सकता है, एकल-स्ट्रीम डाउनलोड गति को 1mbps पर नियंत्रित किया जाता है;
-
V2: एंट्री-लेवल पेड मेंबर, अधिकतम 10GiB डेटा संग्रहीत करने के लिए कॉन्फ़िगर किया गया है, सार्वजनिक नेटवर्क वितरण 10gbps बैंडविड्थ से अधिक नहीं हो सकता है, एकल-स्ट्रीम डाउनलोड गति को 10mbps पर नियंत्रित किया जाता है;
-
V3: उन्नत पेड मेंबर, बड़ी इन्वेंट्री और सार्वजनिक नेटवर्क वितरण कोटा प्रदान करने के अलावा, यह अतिरिक्त सार्वजनिक नेटवर्क कमजोर नेटवर्क त्वरण और उच्च-प्रदर्शन मीडिया त्वरण क्षमताओं को सक्षम करने के लिए कॉन्फ़िगर करने का भी समर्थन करता है;
एजेंट डेवलपर्स विभिन्न उपयोगकर्ताओं के विभिन्न विकास चक्रों के लिए लचीले ढंग से V1/V2/V3 टैगिंग का उपयोग उन संसाधनों और मूल्य वर्धित विशेषताओं को प्रबंधित करने के लिए कर सकते हैं जिनका ये उपयोगकर्ता उपयोग कर सकते हैं।
सेट स्लाइस: विशाल उपयोगकर्ता डेटा का मूल अलगाव
जब एक एजेंट बाल्टी में सेट अरबों तक पहुंच जाते हैं, और वस्तुओं की संख्या सैकड़ों अरबों या खरबों तक पहुंच जाती है, तो "एकल बाल्टी में सभी मेटाडेटा एक केवी क्लस्टर में केंद्रित है" यह तथ्य अपने आप में क्षमता और प्रदर्शन दोनों के जोखिम लाएगा।
सेट स्लाइस एक "तार्किक रूप से विभाजित नहीं, भौतिक रूप से विभाजित" विचार प्रदान करता है:
-
तार्किक दृष्टिकोण से, आप अभी भी केवल एक एजेंट बाल्टी का प्रबंधन करते हैं।
-
भौतिक रूप से, सेट और सेट में ऑब्जेक्ट नामों की सीमा के अनुसार, मेटाडेटा को कई स्लाइस में विभाजित किया जाता है, प्रत्येक स्लाइस को विभिन्न क्लस्टरों पर संग्रहीत किया जा सकता है, कई सेट स्वाभाविक रूप से अलग-थलग हैं, और एकल सेट को क्षैतिज रूप से बढ़ाया जाता है।
सेट स्लाइस ऑब्जेक्टसेट क्षमता का और विस्तार और सुरक्षा है। यह अंतर्निहित रूप से भौतिक क्षमता के असीम विस्तार की समस्या को हल करता है, जबकि ऊपरी ऑब्जेक्टसेट प्रबंधन मॉडल की स्थिरता और स्थिरता सुनिश्चित करता है।
-
प्रबंधन सीमा स्थिर है: भले ही एक एजेंट बाल्टी का डेटा कई भौतिक क्लस्टरों में फैला हो, ऑब्जेक्टसेट अभी भी अनुमति, कोटा, बिलिंग और निगरानी की एकमात्र बुनियादी इकाई है। डेवलपर्स द्वारा ऑब्जेक्टसेट के लिए कॉन्फ़िगर की गई नीतियां (जैसे एक्सेस कंट्रोल, क्षमता सीमा) स्वचालित रूप से सभी संबंधित स्लाइस पर प्रभावी होंगी, और अंतर्निहित डेटा के वितरण के बारे में चिंता करने की कोई आवश्यकता नहीं है।
-
एकल सेट को रैखिक रूप से बढ़ाया जा सकता है: जब किसी ऑब्जेक्टसेट डेटा की मात्रा तेजी से बढ़ती है, तो इसका डेटा स्वाभाविक रूप से कई स्लाइस में वितरित हो जाएगा। समग्र क्लस्टर के विस्तार के साथ, इस ऑब्जेक्टसेट की क्षमता भी मूल रूप से और रैखिक रूप से बढ़ती है, और डेवलपर्स को इस ऑब्जेक्टसेट को स्वयं विभाजित या स्थानांतरित करने जैसे किसी भी विनाशकारी ऑपरेशन को करने की आवश्यकता नहीं है।
-
क्रॉस-सेट संसाधन अलगाव: विभिन्न भौतिक क्लस्टरों पर विभिन्न श्रेणियों की वस्तुओं को वितरित करके, सेटस्लाइस ने संसाधन अलगाव के उच्च आयाम को साकार किया है। ऑब्जेक्टसेट के कोटा प्रबंधन के साथ संयोजन में, यह प्रभावी रूप से एक "सुपर बड़े" ऑब्जेक्टसेट के डेटा विकास को एक एकल क्लस्टर के सभी संसाधनों को निचोड़ने से रोक सकता है, जिससे अन्य ऑब्जेक्टसेट की स्थिरता प्रभावित होती है, जिससे समग्र क्षमता जोखिम नियंत्रणीय हो जाता है।- तर्कसंगत एकता और अनुकूलता: व्यवसायों और डेवलपर्स के लिए, चाहे अंतर्निहित कितने भी स्लाइस हों, वे हमेशा एक तार्किक रूप से एकीकृत एजेंट बकेट का सामना करते हैं। बकेट, ऑब्जेक्टसेट और ऑब्जेक्ट के लिए सभी ऑपरेशन अपरिवर्तित रहते हैं, भौतिक विस्तार को ऊपरी परत के अनुप्रयोगों के लिए पूरी तरह से पारदर्शी बनाते हैं।
सेट एक्सेसपॉइंट: प्रत्येक उपयोगकर्ता के एक्सेस पॉइंट को अलग करें
एजेंट बकेट प्रत्येक ऑब्जेक्टसेट के लिए स्वतंत्र एक्सेस पॉइंट (स्वतंत्र डोमेन नाम) को सक्षम करने का समर्थन करता है, और एक्सेस पॉइंट पर, विभेदित सुरक्षा, अलगाव और त्वरण क्षमताओं का विस्तार करता है। सिस्टम को इसके लिए अरबों स्वतंत्र एक्सेस पॉइंट शेड्यूलिंग और विभेदित कॉन्फ़िगरेशन क्षमताओं का समर्थन करने की आवश्यकता है।
स्वतंत्र एक्सेस डोमेन नाम {$apid}।tos-objectset-ap.volces.com: दो-स्तरीय सुरक्षा
-
पहला स्तर अस्पष्टता (Obscurity): उपयोगकर्ता/ऑब्जेक्टसेट द्वारा स्वतंत्र सबडोमेन, apid उच्च एन्ट्रापी हैशिंग, बहुत कम टकराव की संभावना, एक्सेस डोमेन नाम के दृष्टिकोण से विशिष्ट उपयोगकर्ता प्रवेश द्वार का अनुमान लगाना और उसे समाप्त करना असंभव है;
-
दूसरा स्तर नियंत्रण (Containment): एजेंट डेवलपर sts का उपयोग करके ऑब्जेक्टसेट स्तर की एक्सेस अनुमतियाँ वितरित करते हैं, भले ही sts लीक हो जाए, यह किसी ऑब्जेक्टसेट की सीमित वैधता अवधि के भीतर इसकी एक्सेस सीमा को नियंत्रित कर सकता है;
अनुमानी शेड्यूलिंग प्रणाली: अरबों डोमेन नाम शेड्यूलिंग रणनीति गणना
-
उपयोगकर्ता/ऑब्जेक्टसेट द्वारा: टैग की विभेदित एक्सेस रणनीति
-
कई उपयोगकर्ता/ऑब्जेक्टसेट स्वचालित रूप से विभिन्न सार्वजनिक नेटवर्क प्रवेश द्वारों पर बिखरे हुए हैं, एकल प्रवेश द्वार की विफलता से प्रभावित उपयोगकर्ताओं की संख्या नियंत्रित होती है
-
पूर्ण क्षेत्रीय लोचदार शेड्यूलिंग, कोई भी एकल प्रवेश द्वार विफलता/अतिभार स्वचालित रूप से ट्रैफ़िक बॉक्सिंग और स्थानांतरण को पूरा करता है
-
सार्वजनिक नेटवर्क त्वरण वितरण प्रकार के उपयोगकर्ता, सार्वजनिक नेटवर्क ट्रांसमिशन त्वरण टैग को हिट करते हैं, स्वचालित रूप से त्वरण प्रवेश द्वार को शेड्यूल करते हैं
-
सार्वजनिक नेटवर्क जोखिम प्रकार के उपयोगकर्ता, जोखिम टैग को हिट करते हैं, स्वचालित रूप से सार्वजनिक नेटवर्क अलगाव प्रवेश द्वार को शेड्यूल करते हैं, और सार्वजनिक नेटवर्क बैंडविड्थ कोटा को कम करते हैं
-
इंट्रानेट क्रॉस-डोमेन प्रकार के उपयोगकर्ता, क्रॉस-डोमेन टैग को हिट करते हैं, स्वचालित रूप से इंट्रानेट समर्पित लाइन त्वरण पथ को शेड्यूल करते हैं
-
स्थानीय त्वरक उपयोगकर्ता, त्वरक टैग को हिट करते हैं, स्वचालित रूप से स्थानीय त्वरक को माउंट करते हैं
प्रोग्रामिंग सहायक से लेकर AI क्लाउड ड्राइव तक, एजेंट बकेट की असीम संभावनाएं
एजेंट बकेट एजेंटों के लिए एक संपूर्ण समाधान प्रदान करता है, और ऑब्जेक्टसेट का डिज़ाइन एप्लिकेशन परिदृश्य इससे कहीं अधिक है। इसे आसानी से उन सभी अनुप्रयोगों तक बढ़ाया जा सकता है जिन्हें बड़ी संख्या में अंतिम उपयोगकर्ताओं को सेवाएं प्रदान करने की आवश्यकता होती है:
-
कोड रिपॉजिटरी: अतीत में, जब उद्यम या व्यक्ति क्लाउड पर कोड होस्ट करते थे, तो उन्हें अक्सर खाता अलगाव और अनुमति नियंत्रण प्राप्त करने के लिए ऑब्जेक्ट स्टोरेज के ऊपर एक "किरायेदार प्रणाली" बनाने की आवश्यकता होती थी। अब, प्रत्येक डेवलपर को एक विशेष ऑब्जेक्टसेट आवंटित किया जा सकता है, जिसमें कोड रिपॉजिटरी, बिल्ड आर्टिफैक्ट और निर्भरताएँ एकीकृत रूप से शामिल हैं। एजेंट स्किल्स भी स्वाभाविक रूप से ऑब्जेक्टसेट के अनुकूल हैं। स्किल्स अपलोड और डाउनलोड वितरण ऑब्जेक्टसेट के माध्यम से मजबूत अलगाव प्रदान करते हैं, जिससे एजेंट रनटाइम के दौरान पड़ोसी गड़बड़ी से बचा जा सकता है।
-
एंटरप्राइज फोटो नेटवर्क ड्राइव: पारंपरिक फोटो एलबम या नेटवर्क ड्राइव सेवाएं अक्सर सभी उपयोगकर्ताओं की तस्वीरों को एक ही बकेट में मिला देती हैं, और उपयोगकर्ताओं को उपसर्गों के माध्यम से अलग करती हैं, जो न केवल प्रबंधन को जटिल बनाती है, बल्कि "पड़ोसी प्रभाव" भी पैदा करती है। ऑब्जेक्टसेट के आधार पर, प्रत्येक उपयोगकर्ता की तस्वीरें और वीडियो अपने स्वयं के सेट में आते हैं, और एक्सेस चोटियाँ एक-दूसरे के साथ हस्तक्षेप नहीं करती हैं। आप प्रत्येक उपयोगकर्ता के लिए क्षमता सीमा, बैकअप नीतियाँ और एन्क्रिप्शन विधियाँ भी सेट कर सकते हैं, ताकि वास्तव में "हर किसी के पास एक सुरक्षित, नियंत्रणीय क्लाउड फोटो एलबम" हो।
-
Hadoop डेटा वेयरहाउस: एंटरप्राइज डेटा वेयरहाउस में, विभिन्न व्यावसायिक लाइनें और विभिन्न डेटाबेस अक्सर एक ही अंतर्निहित स्टोरेज पर संसाधनों को साझा करते हैं। प्रत्येक डेटाबेस को एक ऑब्जेक्टसेट के रूप में मैप करके, उद्यम एकीकृत स्टोरेज पर डेटाबेस द्वारा अलगाव और कोटा नियंत्रण प्राप्त कर सकते हैं। विशेष रूप से, ऑब्जेक्टसेट TOS पर एक अतिरिक्त परत की अनुमति प्रदान करता है, और TOS पर संग्रहीत डेटाबेस और तालिकाओं के लिए अलगाव और अनुमति नियंत्रण प्रदान करता है, बिना TOS पर मौजूदा प्रोटॉन को बदले।- मॉडल होस्टिंग प्लेटफ़ॉर्म: बड़े मॉडल होस्टिंग परिदृश्यों में, प्रत्येक मॉडल न केवल विशाल होता है, बल्कि इसमें विभिन्न संस्करण, भार और अनुमान कॉन्फ़िगरेशन भी हो सकते हैं। प्रत्येक मॉडल के लिए एक ObjectSet बनाकर, मॉडल भार, Tokenizer, कॉन्फ़िगरेशन फ़ाइलें और संबंधित मूल्यांकन डेटा को एक ही स्थान पर पैकेज और होस्ट किया जा सकता है। संचालन पक्ष विभिन्न मॉडलों के लिए विभेदित एन्क्रिप्शन नीतियां, बैकअप नीतियां और बैंडविड्थ नियंत्रण सेट कर सकता है, और मूल मीटरिंग क्षमताओं के माध्यम से प्रत्येक मॉडल की वास्तविक उपयोग लागत को भी ट्रैक कर सकता है, जो मॉडल आयाम द्वारा बिलिंग और संसाधन शेड्यूलिंग के लिए एक आधार प्रदान करता है।
-
डेटा SaaS सेवा: बड़ी संख्या में अंतिम उपयोगकर्ताओं के लिए डेटा वितरण प्लेटफ़ॉर्म को अक्सर कई डेटा प्रदाताओं के साथ इंटरफेस करने की आवश्यकता होती है, यह सुनिश्चित करते हुए कि प्रत्येक पार्टी की डेटा सीमाएं स्पष्ट हैं, और "एक बड़ी बाल्टी सभी को धीमा कर देती है" के प्रदर्शन जोखिम से बचा जा सके। Agent Bucket के साथ, प्रत्येक डेटा प्रदाता का अपना ObjectSet हो सकता है, जो मूल डेटा और प्रसंस्करण परिणामों को एकीकृत रूप से प्रबंधित करता है, और फिर स्वतंत्र डोमेन नामों और बैंडविड्थ, QPS कोटा के माध्यम से, विभिन्न प्रदाताओं के लिए विभेदित सेवा गारंटी और थ्रॉटलिंग प्रदान करता है, जिससे "एक प्लेटफ़ॉर्म, कई प्रदाता, अलग-अलग और नियंत्रित सहयोग" डेटा वितरण अवसंरचना प्राप्त होती है।
संदर्भ:
