ایجنٹ بالٹی: کھربوں کی سطح کا ایجنٹ مقامی اسٹوریج بالٹی

آج کل، جب AI ایجنٹ بارش کے بعد مشروم کی طرح اُگ رہے ہیں، ڈویلپرز تخیلاتی ذہین ایپلی کیشنز کو پہلے سے کہیں زیادہ تیزی سے بنا رہے ہیں۔ کوڈ لکھنے میں آپ کی مدد کرنے والے پروگرامنگ اسسٹنٹ سے لے کر ایک جملے میں فلم بنانے والے تخلیقی ٹولز تک، اور ہر وقت تیار رہنے والے ذاتی ذہین اسسٹنٹ تک، ایجنٹ ہمارے ڈیجیٹل دنیا کے ساتھ تعامل کے طریقے کو نئی شکل دے رہے ہیں۔ اس لہر کے پیچھے، ایک اتفاق رائے تیزی سے واضح ہو رہا ہے: Serverless آرکیٹیکچر (جیسے Lambda)، بڑے لسانی ماڈلز (LLM)، اور کلاؤڈ اسٹوریج (جیسے S3، TOS) کی مدد سے، Vibe Coding کے ساتھ مل کر، کوئی بھی 30 منٹ میں اپنا AI ایجنٹ تیزی سے بنا سکتا ہے۔

"قابل استعمال" سے "اچھا استعمال" تک، ایجنٹ ڈویلپرز کو "کھلونے" سے "پروڈکشن گریڈ ایپلی کیشن" میں تبدیل ہونے کے لیے اب بھی مشکلات پر قابو پانا ہوگا۔ جیسے جیسے کاروبار لاکھوں صارفین تک پہنچتا ہے، ڈویلپرز کو ایک انتہائی پیچیدہ چیلنج کا سامنا کرنا پڑتا ہے: لاکھوں آخری صارفین کے لیے آبجیکٹ اسٹوریج پر ایک مکمل اسٹوریج حل کیسے بنایا جائے؟ زیادہ تر ڈویلپرز کے لیے، یہ نہ صرف ایک تکنیکی رکاوٹ ہے، بلکہ ایجنٹ کی بڑے پیمانے پر تقسیم میں بھی رکاوٹ ہے۔ ایجنٹ بالٹی کا مقصد AI مقامی اسٹوریج ڈیزائن کے ذریعے ملٹی ٹیننٹ سسٹم کی تعمیر کے عمل کو مکمل طور پر آسان بنانا اور زیادہ دوستانہ ایجنٹ صلاحیتیں فراہم کرنا ہے۔

جب اربوں صارفین آتے ہیں تو روایتی آبجیکٹ اسٹوریج "کافی نہیں" ہوتا ہے۔

تصور کریں کہ آپ نے ایک مقبول AIGC ایپلی کیشن تیار کی ہے۔ ہر صارف بڑی تعداد میں تصاویر، ویڈیوز اور عارضی فائلیں تیار اور اسٹور کرے گا۔ ایک ڈویلپر کے طور پر، آپ قدرتی طور پر S3 اور TOS جیسی پختہ اور توسیع پذیر آبجیکٹ اسٹوریج سروسز کا انتخاب کریں گے۔ لیکن مسئلہ یہ ہے: لاکھوں صارفین کے لیے ڈیٹا کا انتظام کیسے کریں؟

2022 میں S3 کے بلاگ 《Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3》 میں دو طریقوں کی وضاحت کی گئی ہے، "ہر کرایہ دار کے لیے ایک آزاد S3 بالٹی کا استعمال" اور "پریفکس آئسولیشن پر مبنی مشترکہ S3 بالٹی":

ہر صارف کے لیے ایک علیحدہ "بالٹی" (Bucket) بنائیں: یہ اس وقت ممکن ہے جب صارفین کی تعداد کم ہو، لیکن جب صارفین کی تعداد دسیوں ہزاروں یا لاکھوں تک بڑھ جاتی ہے، تو بالٹیوں کی تعداد تیزی سے بڑھ جائے گی، اور انتظامی لاگت اور وسائل کی حدود ناقابل برداشت ہو جائیں گی۔ S3 پورے خطے میں مجموعی طور پر 10000 بالٹیوں کا کوٹہ فراہم کرتا ہے، لیکن مقبول AI صلاحیتوں کے لیے، 10000 اب بھی کافی نہیں ہے۔

AWS S3 Bucket-Per-Tenant Model

ایک ہی بالٹی میں "پریفکس" کے ذریعے صارفین کو ممتاز کریں: یہ ایک مقبول حل بن گیا ہے۔ مثال کے طور پر، صارف A کی فائلیں user-a/ سے شروع ہوتی ہیں، اور صارف B کی فائلیں user-b/ سے شروع ہوتی ہیں، بالکل اسی طرح جیسے کمپیوٹر پر فائلوں کو فولڈرز کے ذریعے منظم کیا جاتا ہے۔ تاہم، آبجیکٹ اسٹوریج میں کوئی مقامی فولڈر نہیں ہے، یہ حل "K-V" اسٹوریج سسٹم میں "مشترکہ پریفکس" (Prefix) کے ذریعے متعدد کرایہ داروں کو ممتاز کرتا ہے۔

AWS S3 Object Key Prefix-Per-Tenant Model

"بالٹی" یا "پریفکس" پر مبنی یہ حل گزشتہ دس سالوں میں بڑے پیمانے پر اپنایا گیا ہے۔ لیکن اس میں درج ذیل مسائل ہیں:

ملٹی ٹیننٹ آئسولیشن: تمام صارفین کا ڈیٹا ایک ہی بالٹی میں ملا ہوا ہے، ایک صارف کی غیر معمولی طور پر زیادہ فریکوئنسی تک رسائی دوسرے تمام صارفین کو متاثر کر سکتی ہے، جس سے "پڑوسی اثر" پیدا ہوتا ہے۔ کارکردگی کی آئسولیشن اور فالٹ آئسولیشن کا کوئی ذکر نہیں ہے۔
اجازت کا کنٹرول: پیچیدہ اجازت کی پالیسیوں (IAM Policy) کو برقرار رکھنا مشکل ہے، اور غلط ترتیب دینا آسان ہے، جس کی وجہ سے صارف کے ڈیٹا تک غیر متوقع طور پر رسائی حاصل ہو سکتی ہے، خاص طور پر جب دوسرے کلاؤڈ سروسز کے ساتھ تعامل کی ضرورت ہو تو خطرے کا امکان زیادہ ہوتا ہے۔
لاگت کی وضاحت: آپ کے لیے یہ جاننا مشکل ہے کہ ہر صارف نے کتنی اسٹوریج کی جگہ استعمال کی ہے اور کتنی ٹریفک فیس پیدا کی ہے۔ جب آپ استعمال کی بنیاد پر ادا شدہ صارفین سے چارج کرنا چاہتے ہیں، تو بلنگ اور پیمائش ایک مبہم اکاؤنٹ بن جاتا ہے۔اس کی گہری وجہ یہ ہے کہ موجودہ کلاؤڈ نیٹو آرکیٹیکچر میں، S3 جیسے "آبجیکٹ اسٹوریج" اور روایتی "فائل سسٹم" کے درمیان ایک بہت بڑا خلا موجود ہے۔ آبجیکٹ اسٹوریج (S3/TOS) کی بنیادی نوعیت "فلیٹ" ہے، اور اس کا اصل ڈیزائن بڑے پیمانے پر ڈیٹا کو آسانی سے ذخیرہ کرنا تھا، جو ایک بہت بڑے گودام کی طرح ہے۔ اگرچہ اس کی گنجائش تقریباً لامحدود ہے، لیکن منطقی ساخت انتہائی سادہ ہے۔ اس میں اعلیٰ درجے کی ڈائریکٹری مینجمنٹ، باریک دانے والے میٹا ڈیٹا کنٹرول، اور حقیقی کرایہ دار کے احساس کی کمی ہے۔ جب ڈویلپرز S3 پر "فلیٹ"، ہارڈ کوڈڈ سابقے کے ذریعے ایک "تھری ڈائمینشنل" ملٹی ٹیننٹ فائل سسٹم کی تقلید کرنے کی کوشش کرتے ہیں، تو ہم دراصل ایک "جامد KV اسٹوریج" استعمال کر رہے ہیں تاکہ "ڈائریکٹری سیمنٹکس، مضبوط تنہائی" ایجنٹ ایپلیکیشن کے فائل تک رسائی کے طریقہ کار کو سپورٹ کیا جا سکے۔ یعنی ایجنٹ کو فائلوں کو منظم کرنے کے لیے اضافی ٹوکن استعمال کرنے کی ضرورت ہے، اور ملٹی ٹیننٹ اجازتوں اور تنہائی کو کنٹرول اور حل کرنے کی ضرورت ہے۔ یہ اضافی ٹوکن سب اس بات کی نشاندہی کرتے ہیں کہ S3 کی طرف سے متعین کردہ سادہ اسٹوریج سروس ایجنٹ کے لیے کافی آسان نہیں ہے۔

S3 Access Points Illustration

2025 کا S3 بلاگ «Amazon S3 پر ملٹی ٹیننٹ رسائی کنٹرول کے لیے ڈیزائن پیٹرن» مزید S3 Access Point کی وضاحت کرتا ہے۔ اس کا مطلب ہے کہ متعدد ورچوئل نیٹ ورک ایکسیس پوائنٹس بنائے جا سکتے ہیں، اور ہر ایکسیس پوائنٹ کے لیے ایک حسب ضرورت ایکسیس پوائنٹ پالیسی ترتیب دی جا سکتی ہے، جو نیٹ ورک شیڈولنگ کی سطح پر ملٹی ٹیننٹ منظرناموں کے لیے کچھ حل فراہم کرتی ہے۔

ایجنٹ ونڈر لینڈ

Agent Wonderland

ایک مثالی ایجنٹ ڈویلپر AI ایجنٹ تیار کرتے وقت، "ایجنٹ SDK + اسٹوریج + MaaS سروس" کی بنیاد پر مکمل طور پر سرور لیس ایجنٹ بنا سکتا ہے:

ایجنٹ مکمل طور پر سرور لیس چل سکتا ہے۔
Vibe Coding کے ذریعے، موجودہ پروڈکٹ کی صلاحیتوں کو یکجا کر کے ایجنٹ بنایا جا سکتا ہے۔
صرف "ADK" کے python اسکرپٹ کو برقرار رکھنے کی ضرورت ہے۔
اسٹوریج آبجیکٹ اسٹوریج استعمال کرتا ہے۔
AI کی صلاحیتیں Doubao استعمال کرتی ہیں۔
نظریاتی طور پر کوئی ECS یا دیگر مثال قسم کی مصنوعات نہیں ہیں۔

اس کے ساتھ ہی، اسٹوریج کو درج ذیل صلاحیتیں فراہم کرنے کی ضرورت ہے:

ایجنٹ کے پاس آبجیکٹ سیمنٹکس اسٹوریج (فائلیں محفوظ کریں) ہونا چاہیے، جو ملٹی ٹیننٹ رسائی کی صلاحیتیں فراہم کرتا ہے، لاکھوں سے شروع ہو کر اربوں تک پھیل سکتا ہے۔
ایجنٹ کو ہر صارف کے لیے ایک آزاد جگہ فراہم کرنی چاہیے (متعدد کاروباروں کے درمیان، کاروبار یا uid کے نام دہرائے جا سکتے ہیں)۔
ایجنٹ براہ راست ہر صارف کی بینڈوڈتھ کو ترتیب دے سکتا ہے، اور صارف آبجیکٹ کے کل سائز کی اوپری حد کو ترتیب دے سکتا ہے۔
ایجنٹ صارف کے مطابق بلنگ، نگرانی اور مشاہدہ کر سکتا ہے۔
ایجنٹ ہر صارف کی فائلوں کے لیے رسائی کی پالیسیاں ترتیب دے سکتا ہے۔

ایجنٹ بالٹی: AI ایجنٹ میں "ملٹی ٹیننٹ آبائی" جینز داخل کرنا

اس مشکل کو بنیادی طور پر حل کرنے کے لیے، ہم نے آبجیکٹ اسٹوریج کے ایک بالکل نئے نمونے کی تجویز پیش کی ہے - ایجنٹ بالٹی۔ اس کی بنیادی اختراع روایتی "بالٹی" اور "آبجیکٹ" کے درمیان ایک نئی آبائی وسائل کی سطح کا تعارف ہے: آبجیکٹ کلیکشن۔

Agent Bucket Architecture

اس ڈیزائن کا بنیادی خیال انتہائی آسان ہے: اپنے ہر آخری صارف کے لیے، ایک خصوصی ObjectSet سے ملائیں۔ آپ ObjectSet کو ہر صارف کے لیے بنائے گئے "ڈیٹا سیف" یا "کلاؤڈ پرسنل اسپیس" کے طور پر تصور کر سکتے ہیں۔ یہ منطقی طور پر آپ (ڈویلپر) کی بالٹی سے تعلق رکھتا ہے، لیکن جسمانی اور انتظامی لحاظ سے، اس کی اپنی آزاد "شخصیت" اور "زندگی کا دورانیہ" ہے۔ایجنٹ بکٹ ہر بکٹ میں 100 ملین آبجیکٹ سیٹ کو سپورٹ کرتا ہے، جس کا مطلب ہے کہ آپ آسانی سے کروڑوں آخری صارفین کو خدمات فراہم کر سکتے ہیں، گویا ہر آخری صارف اپنی الگ اسٹوریج کی جگہ میں 'رہتا' ہے، اور آپ کو ملٹی ٹیننٹ اسٹوریج مینجمنٹ کے بارے میں پریشان ہونے کی ضرورت نہیں ہے۔

آبجیکٹ سیٹ ڈیزائن - ایجنٹ کے لیے دوستانہ صلاحیت

ایجنٹ بکٹ میں آبجیکٹ سیٹ صرف ایک اضافی سطح نہیں ہے، بلکہ یہ ملٹی ٹیننٹ منظرناموں میں سب سے مشکل ضروریات کو بھی استعمال کے لیے تیار مقامی صلاحیتوں میں تبدیل کرتا ہے۔ جب آبجیکٹ سیٹ کی سطح پر ڈیٹا کی ملکیت واضح ہو جاتی ہے، تو ماضی میں حاصل کرنا مشکل تھا، وہ صلاحیتیں فطری طور پر حاصل ہو جاتی ہیں۔

مقامی تنہائی: آبجیکٹ سیٹ کی سطح پر، آپ ہر صارف کے لیے آزاد QPS، بینڈوڈتھ کی حدود اور صلاحیت کوٹہ مقرر کر سکتے ہیں۔ ادا شدہ صارفین کے تجربے کی ضمانت دی جا سکتی ہے، اور مفت صارفین کا غیر معمولی رویہ دوسروں کو متاثر نہیں کرے گا۔ یہ حقیقی فالٹ ڈومین تنہائی ہے، جو 'پڑوسیوں' کو ایک دوسرے کے ساتھ مداخلت کرنے سے روکتی ہے۔
مقامی اجازت: ہر آبجیکٹ سیٹ کا ایک آزاد ڈومین نام ہو سکتا ہے۔ اس کا مطلب ہے کہ آپ صارف A کو user-a.yourapp.com کا ایک خصوصی رسائی پتہ دے سکتے ہیں، اور پورے اسٹوریج بکٹ کے ڈومین نام کو ظاہر کرنے کی ضرورت نہیں ہے۔ اس سے بھی زیادہ ہوشیار 'دو تالے' ڈیزائن ہے: پہلا تالا کلاؤڈ سروس فراہم کنندہ کی طرف سے جاری کردہ عارضی رسائی سند (STS) ہے، جو ایپلیکیشن کی سطح پر رسائی کی اجازت کو کنٹرول کرتا ہے۔ دوسرا تالا آبجیکٹ سیٹ کا آزاد ڈومین نام ہے، جو نیٹ ورک کی سطح سے رسائی کی درخواست کو صارف کے اپنے ڈیٹا کی جگہ میں بند کر دیتا ہے۔ یہ ڈیٹا کی حفاظت کو بہت بہتر بناتا ہے۔
مقامی نگرانی: مانیٹرنگ ڈیش بورڈ پر، آپ اب صرف پورے بکٹ کا جائزہ ڈیٹا نہیں دیکھ سکتے ہیں۔ آپ آبجیکٹ سیٹ کے ذریعے مانیٹرنگ چارٹس کو توڑ سکتے ہیں، واضح طور پر یہ جان سکتے ہیں کہ کون سا آخری صارف بڑی تعداد میں رسائی کر رہا ہے، اور اس کے مطابق درست آپریشن اور اصلاح کے فیصلے کر سکتے ہیں۔
مقامی صلاحیت کا نزول: ماضی میں صرف بکٹ کی سطح پر سیٹ کی جانے والی پالیسیاں اب ہر صارف تک پہنچائی جا سکتی ہیں۔ آپ مختلف سطحوں کے صارفین کے لیے مختلف ڈیٹا لائف سائیکل سیٹ کر سکتے ہیں، یا ہر آبجیکٹ سیٹ کے لیے مختلف انکرپشن کیز استعمال کر سکتے ہیں، تاکہ زیادہ باریک بینی اور محفوظ ڈیٹا مینجمنٹ حاصل کی جا سکے۔
مقامی پیمائش: جاننا چاہتے ہیں کہ ہر صارف نے کتنی اسٹوریج کی جگہ استعمال کی ہے؟ اسٹوریج کے اخراجات کو ہر صارف پر درست طریقے سے تقسیم کرنا چاہتے ہیں؟ اب یہ بہت آسان ہو گیا ہے۔ ایجنٹ بکٹ خود بخود ہر آبجیکٹ سیٹ کی صلاحیت اور استعمال کو شمار کرے گا، جس سے آپ کی بلنگ اور تقسیم واضح ہو جائے گی۔
مقامی بلنگ: ڈویلپرز آسانی سے لاگت کی تقسیم کو نافذ کر سکتے ہیں اور اسٹوریج سے پیدا ہونے والے اخراجات کو درست طریقے سے ہر آخری صارف تک پہنچا سکتے ہیں۔ مثال کے طور پر، A، B اور C جیسے مختلف صارفین کی طرف سے پیدا ہونے والے اصل لاگت کے تناسب کے مطابق مختلف چارجز وصول کریں، جو ایجنٹ کی کمرشلائزیشن کے لیے ڈیٹا سپورٹ فراہم کرتے ہیں۔
مقامی صلاحیت کی حد: ایجنٹ کے آپریشنل اخراجات کو کنٹرول کرنے کے لیے، آپ ہر آبجیکٹ سیٹ کے لیے کوٹہ (صلاحیت کی حد) مقرر کر سکتے ہیں۔ ایک بار جب پہلے سے طے شدہ قدر تک پہنچ جائے تو، سسٹم اس صارف کو نئی فائلیں بنانے سے روکے گا، جو ملٹی ٹیننٹ منظرناموں میں وسائل کے غلط استعمال سے بنیادی طور پر بچتا ہے۔
مقامی ذہانت: ایجنٹ بکٹ ایجنٹ کو روایتی فائلوں کی سادہ 'رسائی' کی حدود سے باہر نکلنے کی اجازت دیتا ہے، آبجیکٹ کو مقامی ذہانت فراہم کرتا ہے، اور ایجنٹ کی ون اسٹاپ ڈیولپمنٹ کو زیادہ مؤثر طریقے سے سپورٹ کرتا ہے۔ آبجیکٹ سیٹ ایک کلک کے ساتھ سمارٹ انڈیکسنگ کو آن کر سکتا ہے، ایجنٹ کو مقامی دوستانہ ملٹی موڈل سوال و جواب کی صلاحیتیں فراہم کرتا ہے، روایتی آبجیکٹ CRUD کے میکانکی آپریشن کو تبدیل کرتا ہے۔ یہاں تک کہ یہ ایک کلک کے ساتھ Agentself موڈ کو آن کرنے، ویکٹر، علم، ماڈل اور پرامپٹ کو جوڑنے، اور براہ راست منظرنامے پر مبنی ذیلی ایجنٹ فنکشنز کو ظاہر کرنے کی حمایت کرتا ہے، تاکہ اوپری سطح کے ایجنٹ ڈویلپرز اہم کاروباری ورک فلو کی تخلیق پر توجہ مرکوز کر سکیں، اور ذہین منیٹائزیشن کی کارکردگی کو مکمل طور پر جاری کر سکیں۔

ایپلیکیشن اسکیل میں تیزی سے اضافے سے پیدا ہونے والے تکنیکی چیلنجز

ایجنٹ بکٹ آبجیکٹ سیٹ کے مقامی تصور کو متعارف کروا کر، ایپلیکیشن ڈویلپرز کو کروڑوں آخری صارفین کے ڈیٹا کو منظم کرنے کا ایک خوبصورت اور موثر طریقہ فراہم کرتا ہے۔ ہر صارف کے ڈیجیٹل اثاثے محفوظ طریقے سے ان کے خصوصی آبجیکٹ سیٹ میں محفوظ کیے جاتے ہیں، جو قدرتی طور پر تنہائی، بلنگ اور کوٹہ مینجمنٹ کو نافذ کرتے ہیں۔

ایپلیکیشن اسکیل کی تیزی سے توسیع کے ساتھ، بڑے پیمانے پر سیٹ کی مینجمنٹ کی پیچیدگی، تنہائی کی مشکل اور جسمانی رکاوٹیں بیک وقت ظاہر ہوتی ہیں:

بڑے پیمانے پر صارفین کی درجہ بندی شدہ مینجمنٹ کا مسئلہ: جب ایپلیکیشن کو مختلف سطحوں کے صارفین کے وسائل اور خصوصیات کو مختلف طریقے سے منظم کرنے کی ضرورت ہوتی ہے، تو اسے خود سے صارفین کے درجہ بندی شدہ میٹا ڈیٹا کو ڈیزائن اور نافذ کرنے کی ضرورت ہوتی ہے، اور آبجیکٹ اسٹوریج کی خصوصیات کے سوئچ کو منسلک کرنے کی ضرورت ہوتی ہے۔ سیٹ کے مقامی تصور پر صارفین کی درجہ بندی کو خوبصورتی سے منظم کرنے میں ڈویلپرز کی مدد کرنا ایپلیکیشن کی لینڈنگ کو تیز کرنے کے لیے اہم ہے۔- سنگل کلسٹر کی گنجائش کی رکاوٹ: اگرچہ ایجنٹ بالٹی منطقی طور پر لامحدود طور پر پھیلائی جا سکتی ہے، لیکن اس کا میٹا ڈیٹا ڈیفالٹ طور پر ایک ہی فزیکل کلسٹر میں محفوظ ہوتا ہے۔ جب بالٹی میں موجود اشیاء کی کل تعداد اربوں یا کھربوں تک پہنچ جاتی ہے، تو ایک ہی کلسٹر کی فزیکل گنجائش ایک ناقابل تسخیر حد بن جاتی ہے۔
رسائی پوائنٹ کا مشترکہ مسئلہ: ایجنٹ کے کاروبار کی تنوع اور بڑی تعداد میں صارفین رسائی پوائنٹ کے لیے خود زیادہ حفاظتی خطرات اور دھماکے کا دائرہ کار لاتے ہیں۔ یہ ایک مشکل مسئلہ ہے کہ کس طرح مختلف کاروباروں اور صارفین کی بنیاد پر متحرک شیڈولنگ کی جائے، تاکہ مختلف حفاظتی، تنہائی اور سرعت کی صلاحیتوں کو حاصل کیا جا سکے۔

سیٹ ٹیگنگ: صارفین کی درجہ بندی کا ٹیگ پر مبنی انتظام

آبجیکٹ سیٹ ٹیگ پر مبنی انتظام کا ایک مقامی طریقہ فراہم کرتا ہے، جو ایجنٹ ڈویلپرز کو سیٹ ٹیگنگ کی صلاحیت کو آسانی سے استعمال کرنے اور صارفین کی درجہ بندی کی حکمرانی کو مکمل کرنے کی اجازت دیتا ہے۔ ڈویلپرز ہر صارف کی سطح کے لیے ایک ٹیگ کے مساوی ہو سکتے ہیں، اور ہر ٹیگ کے لیے مختلف کوٹے اور خصوصیات کو فعال کر سکتے ہیں۔ تمام آبجیکٹ سیٹ جن پر یہ ٹیگ لگایا گیا ہے، ان پر متعلقہ کوٹے اور خصوصیات لاگو ہوں گی۔ V1، V2 اور V3 کی تین سطحوں کی مثال سے وضاحت کی جاتی ہے:

V1: ڈیفالٹ لیول، مفت صارفین، تمام آبجیکٹ سیٹ کا ڈیفالٹ ٹیگ، زیادہ سے زیادہ 1GiB ڈیٹا ذخیرہ کرنے کے لیے ترتیب دیا جا سکتا ہے، پبلک نیٹ ورک کی تقسیم 100mbps بینڈوتھ سے زیادہ نہیں ہو سکتی، اور سنگل سٹریم ڈاؤن لوڈ کی رفتار 1mbps پر کنٹرول کی جاتی ہے۔
V2: ابتدائی سطح کے ادا شدہ ممبر، زیادہ سے زیادہ 10GiB ڈیٹا ذخیرہ کرنے کے لیے ترتیب دیا گیا ہے، پبلک نیٹ ورک کی تقسیم 10gbps بینڈوتھ سے زیادہ نہیں ہو سکتی، اور سنگل سٹریم ڈاؤن لوڈ کی رفتار 10mbps پر کنٹرول کی جاتی ہے۔
V3: اعلیٰ درجے کے ادا شدہ ممبر، زیادہ ذخیرہ کرنے کی گنجائش اور پبلک نیٹ ورک کی تقسیم کے کوٹے فراہم کرنے کے علاوہ، یہ اضافی پبلک نیٹ ورک کی کمزور نیٹ ورک ایکسلریشن اور اعلیٰ کارکردگی والے میڈیم ایکسلریشن کی صلاحیتوں کو فعال کرنے کے لیے بھی ترتیب دینے کی حمایت کرتا ہے۔

ایجنٹ ڈویلپرز مختلف صارفین کی مختلف ترقیاتی مدت کے لیے V1/V2/V3 ٹیگنگ کو لچکدار طریقے سے استعمال کر سکتے ہیں تاکہ ان صارفین کے زیر استعمال وسائل اور اضافی قدر کی خصوصیات کا انتظام کیا جا سکے۔

سیٹ ٹیگنگ صارف کی درجہ بندی کا انتظام

سیٹ سلائس: بڑے پیمانے پر صارف کے ڈیٹا کی مقامی تنہائی

جب ایک ایجنٹ بالٹی میں سیٹ کی تعداد 100 ملین تک پہنچ جاتی ہے، اور اشیاء کی تعداد اربوں یا کھربوں تک پہنچ جاتی ہے، تو یہ حقیقت کہ "ایک بالٹی میں تمام میٹا ڈیٹا ایک KV کلسٹر میں مرکوز ہے" خود گنجائش اور کارکردگی کے دوہرے خطرات لائے گی۔

سیٹ سلائس ایک "منطقی طور پر تقسیم نہ کریں، جسمانی طور پر تقسیم کریں" کا خیال فراہم کرتا ہے:

منطقی نقطہ نظر سے، آپ اب بھی صرف ایک ایجنٹ بالٹی کا انتظام کرتے ہیں۔
جسمانی طور پر، سیٹ اور سیٹ میں موجود آبجیکٹ کے ناموں کی حد کے مطابق، میٹا ڈیٹا کو متعدد سلائسز میں تقسیم کیا جاتا ہے، اور ہر سلائس کو مختلف کلسٹرز پر محفوظ کیا جا سکتا ہے۔ متعدد سیٹ قدرتی طور پر الگ تھلگ ہیں، اور ایک سیٹ کو افقی طور پر پھیلایا جا سکتا ہے۔

سیٹ سلائس جسمانی تقسیم

سیٹ سلائس آبجیکٹ سیٹ کی صلاحیتوں کی مزید توسیع اور تحفظ ہے۔ یہ بنیادی طور پر جسمانی گنجائش کی لامحدود توسیع کے مسئلے کو حل کرتا ہے، جبکہ اوپری سطح کے آبجیکٹ سیٹ مینجمنٹ ماڈل کے استحکام اور مستقل مزاجی کو یقینی بناتا ہے۔

انتظامی سرحد مستحکم ہے: یہاں تک کہ اگر ایک ایجنٹ بالٹی کا ڈیٹا متعدد فزیکل کلسٹرز پر پھیلا ہوا ہے، تو آبجیکٹ سیٹ اب بھی اجازت، کوٹے، بلنگ اور نگرانی کی واحد بنیادی اکائی ہے۔ ڈویلپرز آبجیکٹ سیٹ کے لیے جو پالیسیاں ترتیب دیتے ہیں (جیسے رسائی کنٹرول، گنجائش کی حد) وہ خود بخود تمام متعلقہ سلائسز پر لاگو ہو جائیں گی، اور انہیں بنیادی ڈیٹا کی تقسیم کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔
ایک سیٹ کو خطی طور پر پھیلایا جا سکتا ہے: جب کسی آبجیکٹ سیٹ کے ڈیٹا کی مقدار تیزی سے بڑھتی ہے، تو اس کا ڈیٹا قدرتی طور پر متعدد سلائسز میں تقسیم ہو جائے گا۔ جیسے جیسے مجموعی کلسٹر کی گنجائش بڑھتی ہے، اس آبجیکٹ سیٹ کی گنجائش بھی بغیر کسی رکاوٹ کے اور خطی طور پر بڑھتی ہے، اور ڈویلپرز کو اس آبجیکٹ سیٹ کو خود تقسیم کرنے یا منتقل کرنے جیسے کسی بھی تباہ کن آپریشن کو انجام دینے کی ضرورت نہیں ہے۔
کراس سیٹ وسائل کی تنہائی: مختلف فزیکل کلسٹرز پر مختلف رینج کی اشیاء کو تقسیم کر کے، سیٹ سلائس نے وسائل کی تنہائی کے اعلیٰ جہت کو حاصل کیا ہے۔ آبجیکٹ سیٹ کے کوٹہ مینجمنٹ کے ساتھ مل کر، یہ مؤثر طریقے سے کسی "سپر بڑے" آبجیکٹ سیٹ کے ڈیٹا کی نمو کو ایک ہی کلسٹر کے تمام وسائل پر قبضہ کرنے سے روک سکتا ہے، اس طرح دوسرے آبجیکٹ سیٹ کے استحکام کو متاثر کر سکتا ہے، اور مجموعی گنجائش کے خطرے کو قابل کنٹرول بنا سکتا ہے۔- منطقی اتحاد اور مطابقت: کاروبار اور ڈویلپرز کے لیے، اس سے کوئی فرق نہیں پڑتا کہ کتنے سلائسز موجود ہیں، ان کے سامنے ہمیشہ ایک منطقی طور پر متحد ایجنٹ بالٹی ہوتی ہے۔ بالٹی، آبجیکٹ سیٹ اور آبجیکٹس کے لیے تمام آپریشنز ایک جیسے رہتے ہیں، جو اوپری سطح کی ایپلی کیشنز کے لیے جسمانی توسیع کو مکمل طور پر شفاف بناتے ہیں۔

سیٹ ایکسس پوائنٹ: ہر صارف کے رسائی کے داخلی راستے کو الگ کریں

ایجنٹ بالٹی ہر آبجیکٹ سیٹ کے لیے آزاد رسائی پوائنٹس (آزاد ڈومین نام) کو فعال کرنے کی حمایت کرتی ہے، اور رسائی پوائنٹس پر مختلف قسم کی حفاظتی، تنہائی اور تیز رفتار صلاحیتوں کو بڑھاتی ہے، جس کے لیے سسٹم کو اربوں آزاد رسائی پوائنٹ شیڈولنگ اور مختلف قسم کی کنفیگریشن صلاحیتوں کی حمایت کرنے کی ضرورت ہے۔

آزاد رسائی ڈومین نام {$apid}۔tos-objectset-ap.volces.com: دو سطحی حفاظتی تحفظ

پہلی سطح Obscurity (پوشیدگی): صارف/آبجیکٹ سیٹ کے ذریعے آزاد سب ڈومین نام، apid اعلی انٹروپی ہیشنگ، انتہائی کم تصادم کا امکان، رسائی ڈومین نام کے نقطہ نظر سے کسی خاص صارف کے داخلی راستے کا اندازہ لگانا اور مکمل طور پر شمار کرنا ناممکن ہے۔
دوسری سطح Containment (احتواء): ایجنٹ ڈویلپرز sts کا استعمال کرتے ہوئے آبجیکٹ سیٹ سطح کی رسائی کی اجازت تقسیم کرتے ہیں، یہاں تک کہ اگر sts لیک ہو جائے، تو یہ اس کی رسائی کی حد کو کسی خاص آبجیکٹ سیٹ کی محدود مدت کے اندر محدود کر سکتا ہے۔

启发式调度系统：亿级域名调度策略计算

صارف/آبجیکٹ سیٹ کے ذریعے: ٹیگ کی مختلف رسائی کی حکمت عملی
متعدد صارف/آبجیکٹ سیٹ خود بخود مختلف عوامی نیٹ ورک داخلی راستوں پر منتشر ہو جاتے ہیں، اور ایک داخلی راستے کی خرابی سے متاثر ہونے والے صارفین کی تعداد کنٹرول میں رہتی ہے۔
مکمل علاقائی لچکدار شیڈولنگ، کسی بھی ایک داخلی راستے کی خرابی/اوورلوڈ خود بخود ٹریفک باکسنگ اور منتقلی کو مکمل کر لیتی ہے۔
عوامی نیٹ ورک ایکسلریشن ڈسٹری بیوشن کلاس کے صارف، عوامی نیٹ ورک ٹرانسمیشن ایکسلریشن ٹیگ لگائیں، اور خود بخود ایکسلریشن داخلی راستے کو شیڈول کریں۔
عوامی نیٹ ورک رسک کلاس کے صارف، رسک ٹیگ لگائیں، خود بخود عوامی نیٹ ورک آئسولیشن داخلی راستے کو شیڈول کریں، اور عوامی نیٹ ورک بینڈوڈتھ کوٹہ کو کم کریں۔
اندرونی نیٹ ورک کراس ڈومین کلاس کے صارف، کراس ڈومین ٹیگ لگائیں، خود بخود اندرونی نیٹ ورک ڈیڈیکیٹڈ لائن ایکسلریشن پاتھ کو شیڈول کریں۔
مقامی علاقائی ایکسلریٹر صارف، ایکسلریٹر ٹیگ لگائیں، خود بخود مقامی علاقائی ایکسلریٹر کو ماؤنٹ کریں۔

سیٹ ایکسس پوائنٹ شیڈولنگ سسٹم

پروگرامنگ اسسٹنٹ سے لے کر AI کلاؤڈ ڈسک تک، ایجنٹ بالٹی کے لامحدود امکانات

ایجنٹ بالٹی ایجنٹ کے لیے ایک مکمل حل فراہم کرتی ہے، اور آبجیکٹ سیٹ کے ڈیزائن کے اطلاق کے منظرنامے اس سے کہیں زیادہ ہیں، اسے آسانی سے ان تمام ایپلی کیشنز تک بڑھایا جا سکتا ہے جن کو بڑی تعداد میں اختتامی صارفین کو خدمات فراہم کرنے کی ضرورت ہے:

کوڈ ریپوزٹری: ماضی میں، جب کمپنیاں یا افراد کلاؤڈ پر کوڈ کی میزبانی کرتے تھے، تو انہیں اکثر اکاؤنٹ آئسولیشن اور اجازت کنٹرول حاصل کرنے کے لیے آبجیکٹ اسٹوریج کے اوپر ایک "کرایہ دار نظام" بنانا پڑتا تھا۔ اب، ہر ڈویلپر کو ایک خصوصی آبجیکٹ سیٹ تفویض کیا جا سکتا ہے، اور کوڈ ریپوزٹری، تعمیراتی مصنوعات اور انحصار کو یکجا کیا جا سکتا ہے۔ ایجنٹ سکلز بھی قدرتی طور پر آبجیکٹ سیٹ کے مطابق ہیں، اور سکلز اپ لوڈ اور ڈاؤن لوڈ ڈسٹری بیوشن آبجیکٹ سیٹ کے ذریعے مضبوط آئسولیشن فراہم کرتے ہیں، اور ایجنٹ رن ٹائم کے دوران پڑوسیوں کو پریشان کرنے سے بچتے ہیں۔
انٹرپرائز فوٹو البم نیٹ ورک ڈسک: روایتی فوٹو البم یا نیٹ ورک ڈسک سروسز اکثر تمام صارفین کی تصاویر کو ایک ہی بالٹی میں ملا دیتی ہیں، اور صارفین کو ممتاز کرنے کے لیے سابقے کا استعمال کرتی ہیں، جو نہ صرف انتظام کو پیچیدہ بناتا ہے، بلکہ "پڑوسی اثر" کا سبب بننا بھی آسان ہے۔ آبجیکٹ سیٹ کی بنیاد پر ہر صارف کی تصاویر اور ویڈیوز اپنے اپنے سیٹ میں گرتی ہیں، اور رسائی کے عروج ایک دوسرے میں مداخلت نہیں کرتے ہیں، اور آپ صارفین کے ذریعے صلاحیت کی حد، بیک اپ کی حکمت عملی اور خفیہ کاری کے طریقے بھی ترتیب دے سکتے ہیں، تاکہ واقعی "ہر ایک کے پاس ایک محفوظ اور قابل کنٹرول کلاؤڈ فوٹو البم" ہو۔
Hadoop ڈیٹا ویئر ہاؤس: انٹرپرائز ڈیٹا ویئر ہاؤس میں، مختلف کاروباری لائنیں اور مختلف ڈیٹا بیس اکثر ایک ہی بنیادی اسٹوریج پر وسائل کا اشتراک کرتے ہیں، اور ہر ڈیٹا بیس کو آبجیکٹ سیٹ کے طور پر میپ کرکے، کمپنیاں متحد اسٹوریج پر لائبریری کے ذریعے آئسولیشن اور کوٹہ کنٹرول حاصل کر سکتی ہیں۔ خاص طور پر آبجیکٹ سیٹ TOS پر ایک اضافی سطح کی اجازت فراہم کرتا ہے، اور TOS پر اسٹور کردہ ڈیٹا بیس اور ٹیبلز کے لیے موجودہ Proton on TOS کو تبدیل کیے بغیر آئسولیشن اور اجازت کنٹرول فراہم کرتا ہے۔- ماڈل ہوسٹنگ پلیٹ فارم: بڑے ماڈل ہوسٹنگ کے منظرناموں میں، ہر ماڈل نہ صرف حجم میں بڑا ہوتا ہے، بلکہ اس کے مختلف ورژن، وزن اور استدلال کی ترتیب بھی ہوسکتی ہے۔ ہر ماڈل کے لیے ایک ObjectSet بنانے سے، ماڈل کے وزن، Tokenizer، کنفیگریشن فائلیں اور متعلقہ تشخیصی ڈیٹا کو ایک ہی جگہ پر پیک اور ہوسٹ کیا جا سکتا ہے۔ آپریشن اور مینٹیننس کی جانب سے مختلف ماڈلز کے لیے مختلف انکرپشن پالیسیاں، بیک اپ پالیسیاں اور بینڈوڈتھ کنٹرول سیٹ کیے جا سکتے ہیں، اور ساتھ ہی ہر ماڈل کی اصل استعمال کی لاگت کو مقامی میٹرنگ کی صلاحیتوں کے ذریعے شمار کیا جا سکتا ہے، جو ماڈل کے طول و عرض کے لحاظ سے بلنگ اور وسائل کی شیڈولنگ کی بنیاد فراہم کرتا ہے۔
ڈیٹا SaaS سروس: بڑی تعداد میں آخری صارفین کے لیے ڈیٹا ڈسٹری بیوشن پلیٹ فارم کو اکثر بیک وقت متعدد ڈیٹا فراہم کرنے والوں سے منسلک ہونے کی ضرورت ہوتی ہے۔ اس بات کو یقینی بنانا ضروری ہے کہ تمام فریقوں کی ڈیٹا باؤنڈریز واضح ہوں، اور یہ کہ "ایک بڑا ٹب سب کو نیچے نہ لے جائے" کے کارکردگی کے خطرے سے بچا جائے۔ Agent Bucket کی مدد سے، ہر ڈیٹا فراہم کرنے والے کا اپنا ObjectSet ہو سکتا ہے، جو خام ڈیٹا اور پروسیسنگ کے نتائج کو یکساں طور پر منظم کرتا ہے۔ پھر، آزاد ڈومین نام اور بینڈوڈتھ، QPS کوٹے کے ذریعے، مختلف فراہم کرنے والوں کے لیے مختلف سروس گارنٹی اور حد بندی فراہم کی جاتی ہے، تاکہ "ایک پلیٹ فارم، متعدد فراہم کرنے والے، الگ تھلگ اور قابل کنٹرول تعاون" کا ڈیٹا ڈسٹری بیوشن انفراسٹرکچر حاصل کیا جا سکے۔

Reference: