এজেন্ট বাকেট: ট্রিলিয়ন-স্কেলের এজেন্ট নেটিভ স্টোরেজ বাকেট
2/16/2026
16 min read
# এজেন্ট বাকেট: ট্রিলিয়ন-স্কেলের এজেন্ট নেটিভ স্টোরেজ বাকেট
আজকাল এআই এজেন্টগুলি মাশরুমের মতো গজিয়ে উঠছে, ডেভেলপাররা অভূতপূর্ব গতিতে কল্পনাপ্রসূত বুদ্ধিমান অ্যাপ্লিকেশন তৈরি করছে। কোড লিখতে সাহায্য করার জন্য প্রোগ্রামিং সহকারী থেকে শুরু করে, একটি বাক্য দিয়ে একটি চলচ্চিত্র তৈরি করার সরঞ্জাম এবং সর্বদা প্রস্তুত ব্যক্তিগত বুদ্ধিমান সহকারী পর্যন্ত, এজেন্ট আমাদের ডিজিটাল বিশ্বের সাথে যোগাযোগের পদ্ধতিকে নতুন আকার দিচ্ছে। এই ঢেউয়ের পেছনে একটি ঐক্যমত্য ক্রমশ স্পষ্ট হচ্ছে: সার্ভারহীন আর্কিটেকচার (যেমন ল্যাম্বডা), বৃহৎ ভাষা মডেল (এলএলএম) এবং ক্লাউড স্টোরেজ (যেমন এস 3, টিওএস) এবং ভাইব কোডিংয়ের সাহায্যে, যে কেউ 30 মিনিটের মধ্যে তাদের নিজস্ব এআই এজেন্ট তৈরি করতে পারে।
"ব্যবহারযোগ্য" থেকে "ভাল" হওয়ার জন্য, এজেন্ট ডেভেলপারদের এখনও "খেলনা" থেকে "উৎপাদন-স্তরের অ্যাপ্লিকেশন"-এ যাওয়ার পথে অসুবিধাগুলি অতিক্রম করতে হবে। ব্যবসার ব্যাপক সংখ্যক ব্যবহারকারীর কাছে পৌঁছানোর সাথে সাথে ডেভেলপারদের একটি অত্যন্ত জটিল চ্যালেঞ্জের মুখোমুখি হতে হয়: কীভাবে ব্যাপক সংখ্যক শেষ ব্যবহারকারীর জন্য অবজেক্ট স্টোরেজে একটি সম্পূর্ণ স্টোরেজ সমাধান তৈরি করা যায়? বেশিরভাগ ডেভেলপারদের জন্য, এটি কেবল একটি প্রযুক্তিগত বাধা নয়, এজেন্টদের বৃহৎ আকারের বিতরণে একটি বাধা। এজেন্ট বাকেট এআই নেটিভ স্টোরেজ ডিজাইনের মাধ্যমে মাল্টি-টেন্যান্ট সিস্টেমের নির্মাণ প্রক্রিয়াটিকে সম্পূর্ণরূপে সরল করার এবং আরও বন্ধুত্বপূর্ণ এজেন্ট ক্ষমতা সরবরাহ করার লক্ষ্য রাখে।
## যখন লক্ষ লক্ষ ব্যবহারকারী আসে, তখন ঐতিহ্যবাহী অবজেক্ট স্টোরেজ "যথেষ্ট নয়"
কল্পনা করুন, আপনি একটি জনপ্রিয় এআইজিসি অ্যাপ্লিকেশন তৈরি করেছেন। প্রতিটি ব্যবহারকারী প্রচুর ছবি, ভিডিও এবং অস্থায়ী ফাইল তৈরি এবং সঞ্চয় করবে। একজন ডেভেলপার হিসাবে, আপনি স্বাভাবিকভাবেই এস 3 এবং টিওএস-এর মতো পরিপক্ক এবং স্কেলেবল অবজেক্ট স্টোরেজ পরিষেবা বেছে নেবেন। কিন্তু সমস্যা হল: আপনি কীভাবে ব্যাপক সংখ্যক ব্যবহারকারীর জন্য ডেটা পরিচালনা করবেন?
2022 সালে এস 3-এর ব্লগ "অ্যামাজন এস 3 এর সাথে মাল্টি-টেন্যান্ট সাএস ডেটা পার্টিশনিং এবং আইসোলেটিং" দুটি পদ্ধতির কথা বলেছে, "প্রতিটি ভাড়াটের জন্য পৃথক এস 3 বাকেট ব্যবহার করা" এবং "উপসর্গ ভিত্তিক বিচ্ছিন্নতার সাথে শেয়ার্ড এস 3 বাকেট":
- প্রতিটি ব্যবহারকারীর জন্য একটি পৃথক "কেটলি" (Bucket) তৈরি করুন: এটি ব্যবহারকারীর সংখ্যা কম হলে সম্ভব, তবে যখন ব্যবহারকারীর সংখ্যা কয়েক হাজার বা কয়েক মিলিয়ন হয়ে যায়, তখন কেটলির সংখ্যা দ্রুত বিস্ফোরিত হবে এবং পরিচালনা খরচ এবং সম্পদের সীমাবদ্ধতা অসহনীয় হয়ে উঠবে। এস 3 পুরো অঞ্চলের জন্য মোট 10000 কেটলির কোটা সরবরাহ করে, তবে জনপ্রিয় এআই ক্ষমতার জন্য, 10000 যথেষ্ট নয়।
- একই কেটলির মধ্যে "উপসর্গ" ব্যবহার করে ব্যবহারকারীদের আলাদা করুন: এটি একটি মূলধারার সমাধান হয়ে উঠেছে। উদাহরণস্বরূপ, ব্যবহারকারী A-এর ফাইলগুলি user-a/ দিয়ে শুরু হয় এবং ব্যবহারকারী B-এর ফাইলগুলি user-b/ দিয়ে শুরু হয়, অনেকটা কম্পিউটারে ফোল্ডার ব্যবহার করে ফাইলগুলি পরিচালনা করার মতো। তবে অবজেক্ট স্টোরেজে কোনও নেটিভ ফোল্ডার নেই, এই সমাধানটি "কে-ভি" স্টোরেজ সিস্টেমে "সাধারণ উপসর্গ" (Prefix) ব্যবহার করে মাল্টি-টেন্যান্টকে আলাদা করে।
এই "কেটলি" বা "উপসর্গ" ভিত্তিক সমাধানটি গত দশ বছরে ব্যাপকভাবে ব্যবহৃত হয়েছে। তবে নিম্নলিখিত সমস্যা রয়েছে:
- মাল্টি-টেন্যান্ট আইসোলেশন: সমস্ত ব্যবহারকারীর ডেটা একই কেটলিতে মিশ্রিত করা হয়, একজন ব্যবহারকারীর অস্বাভাবিক উচ্চ-ফ্রিকোয়েন্সি অ্যাক্সেস অন্যান্য সমস্ত ব্যবহারকারীকে প্রভাবিত করতে পারে, যার ফলে "প্রতিবেশী প্রভাব" তৈরি হয়। কর্মক্ষমতা বিচ্ছিন্নতা এবং ত্রুটি বিচ্ছিন্নতার কোনও সুযোগ নেই।
- অনুমতি নিয়ন্ত্রণ: জটিল অনুমতি নীতি (IAM Policy) বজায় রাখা কঠিন, এবং কনফিগারেশনে ত্রুটি হওয়ার সম্ভাবনা থাকে, যার ফলে ব্যবহারকারীর ডেটা অপ্রত্যাশিতভাবে অ্যাক্সেস করা হতে পারে, বিশেষ করে যখন অন্যান্য ক্লাউড পরিষেবার সাথে ইন্টারঅ্যাক্ট করার প্রয়োজন হয়, তখন ঝুঁকির পরিমাণ আরও বেশি।
- খরচের স্বচ্ছতা: প্রতিটি ব্যবহারকারী আসলে কতটা স্টোরেজ স্পেস ব্যবহার করেছে এবং কত ট্র্যাফিক খরচ করেছে তা সঠিকভাবে জানা কঠিন। আপনি যখন ব্যবহারের উপর ভিত্তি করে অর্থপ্রদানকারী ব্যবহারকারীদের চার্জ করতে চান, তখন বিলিং এবং পরিমাপ একটি অস্পষ্ট হিসাব হয়ে যায়।কেন এই আপাতদৃষ্টিতে মৌলিক চাহিদাগুলি এজেন্ট ডেভেলপারদের জন্য অবজেক্ট স্টোরেজে বাস্তবায়ন করা কিছুটা "ভারী" মনে হয়? এর কারণ গভীরভাবে অনুসন্ধান করলে দেখা যায় যে বর্তমান ক্লাউড নেটিভ আর্কিটেকচারে S3-এর মতো "অবজেক্ট স্টোরেজ" এবং ঐতিহ্যবাহী "ফাইল সিস্টেম"-এর মধ্যে একটি বিশাল শূন্যস্থান রয়েছে। অবজেক্ট স্টোরেজ (S3/TOS) মূলত "ফ্ল্যাট", এর নকশার মূল উদ্দেশ্য হল বিশাল পরিমাণ ডেটা সহজে সংরক্ষণ করা, এটি একটি বিশাল গুদামের মতো। যদিও এর ধারণক্ষমতা প্রায় সীমাহীন, তবে এর লজিক্যাল গঠন অত্যন্ত সরল। এতে নেটিভ উন্নত ডিরেক্টরি ম্যানেজমেন্ট, সূক্ষ্ম গ্রানুলারিটির মেটাডেটা নিয়ন্ত্রণ এবং প্রকৃত টেন্যান্ট সচেতনতার অভাব রয়েছে। যখন ডেভেলপাররা S3-এর মতো "ফ্ল্যাট" স্টোরেজে হার্ডকোডিং প্রিফিক্সের মাধ্যমে একটি "ত্রিমাত্রিক" মাল্টি-টেন্যান্ট ফাইল সিস্টেম তৈরি করার চেষ্টা করেন, তখন আমরা মূলত একটি "স্ট্যাটিক KV স্টোরেজ" ব্যবহার করে একটি "ডিরেক্টরি সিম্যান্টিক, কঠোরভাবে পৃথকীকৃত" এজেন্ট অ্যাপ্লিকেশনের ফাইল অ্যাক্সেস পদ্ধতিকে সমর্থন করছি। অর্থাৎ, এজেন্টকে ফাইলগুলি পরিচালনা করার জন্য অতিরিক্ত টোকেন খরচ করতে হয় এবং মাল্টি-টেন্যান্টের অনুমতি এবং পৃথকীকরণ নিয়ন্ত্রণ করতে হয়। এই অতিরিক্ত টোকেন খরচগুলি নির্দেশ করে যে S3 দ্বারা সংজ্ঞায়িত সরল স্টোরেজ পরিষেবাটি এজেন্টের জন্য যথেষ্ট সরল নয়।
২০২৫ সালের S3 ব্লগ Design patterns for multi-tenant access control on Amazon S3 S3 Access Point আরও বিস্তারিতভাবে ব্যাখ্যা করে। এর মানে হল যে একাধিক ভার্চুয়াল নেটওয়ার্ক অ্যাক্সেস পয়েন্ট তৈরি করা যেতে পারে এবং প্রতিটি অ্যাক্সেস পয়েন্টের জন্য একটি কাস্টমাইজড অ্যাক্সেস পয়েন্ট নীতি কনফিগার করা যেতে পারে, যা নেটওয়ার্ক শিডিউলিং স্তরে মাল্টি-টেন্যান্ট পরিস্থিতির জন্য কিছু সমাধান প্রদান করে।
## Agent Wonderland
একজন আদর্শ এজেন্ট ডেভেলপার AI Agent তৈরি করার সময়, "Agent SDK + স্টোরেজ + MaaS পরিষেবা"-এর উপর ভিত্তি করে একটি সম্পূর্ণ সার্ভারবিহীন এজেন্ট তৈরি করতে পারেন:
- এজেন্ট সম্পূর্ণরূপে সার্ভারবিহীনভাবে চলতে পারে
- Vibe Coding-এর মাধ্যমে বিদ্যমান পণ্যের ক্ষমতা একত্রিত করে এজেন্ট তৈরি করা যেতে পারে
- শুধুমাত্র "ADK"-এর পাইথন স্ক্রিপ্ট বজায় রাখতে হবে
- স্টোরেজ অবজেক্ট স্টোরেজ ব্যবহার করে
- AI ক্ষমতা ডৌবাও ব্যবহার করে
- তাত্ত্বিকভাবে কোনো ECS বা অন্যান্য উদাহরণ-ভিত্তিক পণ্য নেই
একই সময়ে, স্টোরেজকে নিম্নলিখিত ক্ষমতাগুলি সরবরাহ করতে হবে:
- এজেন্টের একটি অবজেক্ট সিম্যান্টিক স্টোরেজ থাকতে পারে (ফাইল সংরক্ষণ করা), মাল্টি-টেন্যান্ট অ্যাক্সেস ক্ষমতা প্রদান করে, মিলিয়ন থেকে শুরু করে বিলিয়ন পর্যন্ত প্রসারিত করা যেতে পারে
- এজেন্ট প্রতিটি ব্যবহারকারীর জন্য একটি স্বতন্ত্র স্থান সরবরাহ করতে পারে (একাধিক ব্যবসার মধ্যে, ব্যবসার নাম বা uid একই হতে পারে)
- এজেন্ট সরাসরি প্রতিটি ব্যবহারকারীর ব্যান্ডউইথ কনফিগার করতে পারে, ব্যবহারকারীর অবজেক্টের মোট আকারের ঊর্ধ্বসীমা কনফিগার করতে পারে
- এজেন্ট ব্যবহারকারীর বিলিং, পর্যবেক্ষণ এবং নিরীক্ষণের উপর ভিত্তি করে কাজ করতে পারে
- এজেন্ট প্রতিটি ব্যবহারকারীর ফাইলের জন্য অ্যাক্সেস নীতি কনফিগার করতে পারে
## Agent Bucket: AI Agent-এর মধ্যে "মাল্টি-টেন্যান্ট নেটিভ" জিন প্রবেশ করানো
এই সমস্যার মূল থেকে সমাধানের জন্য, আমরা একটি নতুন অবজেক্ট স্টোরেজ দৃষ্টান্ত প্রস্তাব করছি - Agent Bucket। এর মূল উদ্ভাবন হল ঐতিহ্যবাহী "বালতি" এবং "অবজেক্ট"-এর মধ্যে একটি নতুন নেটিভ রিসোর্স স্তর প্রবর্তন করা: অবজেক্ট সংগ্রহ।
এই নকশার মূল ধারণাটি অত্যন্ত সরল: আপনার প্রতিটি শেষ ব্যবহারকারীর জন্য, একটি ডেডিকেটেড ObjectSet মেলানো। আপনি ObjectSet-কে প্রতিটি ব্যবহারকারীর জন্য তৈরি করা একটি "ডেটা সেফ" বা "ক্লাউড ব্যক্তিগত স্থান" হিসাবে ভাবতে পারেন। এটি যৌক্তিকভাবে আপনার (ডেভেলপার) বালতির অন্তর্গত, তবে ভৌত এবং ব্যবস্থাপনার দিক থেকে, এটির নিজস্ব স্বতন্ত্র "ব্যক্তিত্ব" এবং "জীবনচক্র" রয়েছে।এজেন্ট বাকেট প্রতিটি বালতিতে 100 মিলিয়ন ObjectSet সমর্থন করে, যার মানে হল আপনি প্রতিটি শেষ ব্যবহারকারীকে তাদের নিজস্ব ডেটা স্টোরেজ স্পেসে 'জীবনযাপন' করার মতো করে কয়েক মিলিয়ন শেষ ব্যবহারকারীর জন্য স্বাচ্ছন্দ্যে পরিষেবা সরবরাহ করতে পারেন এবং আপনাকে আর মাল্টি-টেন্যান্ট স্টোরেজ ম্যানেজমেন্ট নিয়ে চিন্তা করতে হবে না।
## ObjectSet ডিজাইন - এজেন্ট-বান্ধব ক্ষমতা
এজেন্ট বালতিতে ObjectSet শুধুমাত্র একটি স্তর যুক্ত করাই নয়, বরং মাল্টি-টেন্যান্ট পরিস্থিতিতে সবচেয়ে কঠিন চাহিদাগুলিকে সরাসরি ব্যবহারের জন্য প্রস্তুত করে তোলে। ObjectSet স্তরে ডেটার মালিকানা স্পষ্টভাবে প্রতিষ্ঠিত হওয়ার পরে, পূর্বে অর্জন করা কঠিন ছিল এমন অনেকগুলি ক্ষমতা স্বাভাবিকভাবেই উপলব্ধ হয়ে যায়।
- নেটিভ আইসোলেশন: ObjectSet স্তরে, আপনি প্রতিটি ব্যবহারকারীর জন্য স্বতন্ত্র QPS, ব্যান্ডউইথ সীমা এবং ক্ষমতা কোটা সেট করতে পারেন। অর্থ প্রদানকারী ব্যবহারকারীদের অভিজ্ঞতা নিশ্চিত করা যেতে পারে এবং বিনামূল্যে ব্যবহারকারীদের অস্বাভাবিক আচরণ অন্যদের প্রভাবিত করবে না। এটি সত্যিকারের ফল্ট ডোমেন আইসোলেশন, যা 'প্রতিবেশীদের' একে অপরের সাথে হস্তক্ষেপ করা থেকে বিরত রাখে।
- নেটিভ পারমিশন: প্রতিটি ObjectSet এর একটি স্বতন্ত্র ডোমেইন থাকতে পারে। এর মানে হল আপনি ব্যবহারকারী A-কে একটি ডেডিকেটেড অ্যাক্সেস ঠিকানা user-a.yourapp.com দিতে পারেন এবং পুরো স্টোরেজ বালতির ডোমেইন প্রকাশ করতে হবে না। আরও বুদ্ধিমানের বিষয় হল 'দুটি লক'-এর ডিজাইন: প্রথম লকটি হল ক্লাউড পরিষেবা প্রদানকারীর দ্বারা জারি করা একটি অস্থায়ী অ্যাক্সেস শংসাপত্র (STS), যা অ্যাপ্লিকেশন স্তরে অ্যাক্সেস অধিকার নিয়ন্ত্রণ করে; দ্বিতীয় লকটি হল ObjectSet-এর স্বতন্ত্র ডোমেইন, যা নেটওয়ার্ক স্তর থেকে ব্যবহারকারীর নিজস্ব ডেটা স্পেসে অ্যাক্সেস অনুরোধ লক করে। এটি ডেটা সুরক্ষা অনেক বাড়িয়ে তোলে।
- নেটিভ মনিটরিং: মনিটরিং ড্যাশবোর্ডে, আপনি আর পুরো বালতির ওভারভিউ ডেটা দেখতে পারবেন না। আপনি ObjectSet অনুসারে মনিটরিং চার্টগুলিকে ভেঙে দিতে পারেন, কোন শেষ ব্যবহারকারী প্রচুর পরিমাণে অ্যাক্সেস করছে তা স্পষ্টভাবে দেখতে পারেন এবং সেই অনুযায়ী সুনির্দিষ্ট অপারেশন এবং অপ্টিমাইজেশান সিদ্ধান্ত নিতে পারেন।
- নেটিভ ক্যাপাবিলিটি সিনকিং: পূর্বে বালতি স্তরে সেট করা যেতে পারে এমন নীতিগুলি এখন প্রতিটি ব্যবহারকারীর কাছে সিঙ্ক করা যেতে পারে। আপনি বিভিন্ন স্তরের ব্যবহারকারীদের জন্য বিভিন্ন ডেটা লাইফসাইকেল সেট করতে পারেন অথবা আরও সূক্ষ্ম এবং সুরক্ষিত ডেটা পরিচালনার জন্য প্রতিটি ObjectSet-এর জন্য বিভিন্ন এনক্রিপশন কী ব্যবহার করতে পারেন।
- নেটিভ মিটারিং: প্রতিটি ব্যবহারকারী কতটা স্টোরেজ স্পেস ব্যবহার করছে তা জানতে চান? প্রতিটি ব্যবহারকারীর জন্য স্টোরেজ খরচ সঠিকভাবে বরাদ্দ করতে চান? এখন এটি খুব সহজ। এজেন্ট বাকেট স্বয়ংক্রিয়ভাবে প্রতিটি ObjectSet-এর ক্ষমতা এবং ব্যবহারের পরিসংখ্যান তৈরি করবে, যা আপনার বিলিং এবং অ্যাকাউন্টিংকে পরিষ্কার করে তুলবে।
- নেটিভ বিলিং: বিকাশকারীরা সহজেই খরচ বরাদ্দ করতে পারে এবং স্টোরেজ থেকে উত্পন্ন খরচ সঠিকভাবে প্রতিটি শেষ ব্যবহারকারীর কাছে ফেরত দিতে পারে। উদাহরণস্বরূপ, A, B এবং C ব্যবহারকারীদের দ্বারা উত্পন্ন প্রকৃত খরচের অনুপাতের উপর ভিত্তি করে আলাদাভাবে চার্জ করা, যা এজেন্টের বাণিজ্যিকীকরণের জন্য ডেটা সমর্থন সরবরাহ করে।
- নেটিভ ক্যাপাসিটি লিমিট: এজেন্টের অপারেশন খরচ নিয়ন্ত্রণ করার জন্য, আপনি প্রতিটি ObjectSet-এর জন্য একটি কোটা (ক্ষমতা সীমা) সেট করতে পারেন। একবার পূর্বনির্ধারিত মান পৌঁছে গেলে, সিস্টেমটি সেই ব্যবহারকারীকে নতুন ফাইল তৈরি করা থেকে সীমাবদ্ধ করবে, যা মাল্টি-টেন্যান্ট পরিস্থিতিতে রিসোর্স অপব্যবহারকে গোড়া থেকে প্রতিরোধ করবে।
- নেটিভ ইন্টেলিজেন্স: এজেন্ট বাকেট এজেন্টকে ঐতিহ্যবাহী ফাইলের সাধারণ 'সংরক্ষণ এবং পুনরুদ্ধার'-এর সীমাবদ্ধতা থেকে বেরিয়ে আসতে দেয়, Object-কে নেটিভ ইন্টেলিজেন্স প্রদান করে এবং আরও দক্ষতার সাথে এজেন্ট ওয়ান-স্টপ ডেভেলপমেন্ট সমর্থন করে। ObjectSet একটি ক্লিকের মাধ্যমে ইন্টেলিজেন্ট ইনডেক্সিং চালু করতে পারে, এজেন্টকে নেটিভ-ফ্রেন্ডলি মাল্টিমোডাল প্রশ্ন উত্তর দেওয়ার ক্ষমতা প্রদান করে, যা ঐতিহ্যবাহী Object CRUD-এর যান্ত্রিক অপারেশন প্রতিস্থাপন করে; এমনকি একটি ক্লিকের মাধ্যমে Agentself মোড চালু করা সমর্থন করে, ভেক্টর, জ্ঞান, মডেল এবং প্রম্পটকে সংযুক্ত করে, সরাসরি পরিস্থিতিভিত্তিক সাব-এজেন্ট ফাংশন প্রকাশ করে, যাতে উপরের স্তরের এজেন্ট বিকাশকারীরা মূল ব্যবসায়িক কর্মপ্রবাহ তৈরি করার দিকে মনোযোগ দিতে পারে, যা বুদ্ধিমান নগদীকরণের দক্ষতা সম্পূর্ণরূপে প্রকাশ করে।
## অ্যাপ্লিকেশন স্কেলের দ্রুত বৃদ্ধি দ্বারা সৃষ্ট প্রযুক্তিগত চ্যালেঞ্জ
এজেন্ট বাকেট ObjectSet-এর এই নেটিভ ধারণা প্রবর্তনের মাধ্যমে, অ্যাপ্লিকেশন বিকাশকারীদের লক্ষ লক্ষ শেষ ব্যবহারকারীর ডেটা পরিচালনা করার জন্য একটি মার্জিত এবং দক্ষ উপায় সরবরাহ করে। প্রতিটি ব্যবহারকারীর ডিজিটাল সম্পদ নিরাপদে তাদের ডেডিকেটেড ObjectSet-এ সংরক্ষণ করা হয়, যা স্বাভাবিকভাবেই আইসোলেশন, বিলিং এবং কোটা পরিচালনা বাস্তবায়ন করে।
অ্যাপ্লিকেশন স্কেলের দ্রুত সম্প্রসারণের সাথে সাথে, বিশাল সংখ্যক সেটের ব্যবস্থাপনা জটিলতা, আইসোলেশনের অসুবিধা এবং শারীরিক সীমাবদ্ধতা একই সাথে প্রকাশিত হয়:
- বিশাল সংখ্যক ব্যবহারকারীর শ্রেণিবদ্ধ ব্যবস্থাপনা সমস্যা: বিভিন্ন স্তরের বিপুল সংখ্যক ব্যবহারকারীর সংস্থান এবং বৈশিষ্ট্যগুলির পার্থক্যমূলক ব্যবস্থাপনার সময়, অ্যাপ্লিকেশনগুলিকে ব্যবহারকারীর শ্রেণিবদ্ধ মেটাডেটা ডিজাইন এবং বাস্তবায়ন করতে হবে এবং অবজেক্ট স্টোরেজ বৈশিষ্ট্য সুইচগুলির সাথে যুক্ত করতে হবে। সেটের নেটিভ ধারণার উপর ভিত্তি করে ব্যবহারকারীর শ্রেণিবিন্যাসকে মার্জিতভাবে পরিচালনা করতে বিকাশকারীদের সহায়তা করা অ্যাপ্লিকেশন স্থাপনার গতি বাড়ানোর জন্য গুরুত্বপূর্ণ। - একক ক্লাস্টার ক্ষমতা সীমাবদ্ধতা: যদিও এজেন্ট বাকেট যৌক্তিকভাবে অসীমভাবে প্রসারিত করা যেতে পারে, এর মেটাডেটা ডিফল্টরূপে একটি একক ফিজিক্যাল ক্লাস্টারে স��রক্ষিত হয়। যখন বালতির মধ্যে থাকা বস্তুর মোট সংখ্যা শত শত বিলিয়ন বা এমনকি ট্রিলিয়ন পর্যায়ে পৌঁছায়, তখন একক ক্লাস্টারের ফিজিক্যাল ক্ষমতা একটি অলঙ্ঘনীয় সীমা হয়ে দাঁড়ায়।
- অ্যাক্সেস পয়েন্ট শেয়ারিং সমস্যা: এজেন্টের ব্যবসার বৈচিত্র্য এবং বিশাল সংখ্যক ব্যবহারকারী অ্যাক্সেস পয়েন্টের জন্য আরও বেশি নিরাপত্তা ঝুঁকি এবং বিস্ফোরণের ব্যাসার্ধ নিয়ে আসে। কীভাবে বিভিন্ন ব্যবসা এবং ব্যবহারকারীর পার্থক্যের ভিত্তিতে ডায়নামিক শিডিউলিং করা যায় এবং পার্থক্যযুক্ত নিরাপত্তা, বিচ্ছিন্নতা এবং ত্বরণ ক্ষমতা অর্জন করা যায় তা একটি কঠিন সমস্যা।
## সেট ট্যাগিং: ব্যবহারকারী শ্রেণীবিন্যাসের জন্য ট্যাগিং ব্যবস্থাপনা
অবজেক্টসেট একটি নেটিভ ট্যাগিং ব্যবস্থাপনা পদ্ধতি প্রদান করে, যা এজেন্ট ডেভেলপারদের সহজে সেট ট্যাগিং ক্ষমতা ব্যবহার করে ব্যবহারকারীদের শ্রেণীবিন্যাস পরিচালনা করতে দেয়। ডেভেলপাররা প্রতিটি সংজ্ঞায়িত ব্যবহারকারী স্তরের জন্য একটি ট্যাগ তৈরি করতে পারে এবং প্রতিটি ট্যাগের জন্য বিভিন্ন কোটা এবং বৈশিষ্ট্য সক্রিয় করতে পারে। এই ট্যাগযুক্ত সমস্ত অবজেক্টসেট সংশ্লিষ্ট কোটা এবং বৈশিষ্ট্যগুলি প্রয়োগ করবে। V1, V2 এবং V3 তিনটি স্তরের উদাহরণ দিয়ে ব্যাখ্যা করা হলো:
- V1: ডিফল্ট স্তর, বিনামূল্যে ব্যবহারকারী, সমস্ত অবজেক্টসেটের ডিফল্ট ট্যাগ, সর্বাধিক 1GiB ডেটা সংরক্ষণের জন্য কনফিগার করা যেতে পারে, পাবলিক নেটওয়ার্ক বিতরণ 100mbps ব্যান্ডউইথের বেশি হতে পারবে না, একক স্ট্রিম ডাউনলোডের গতি 1mbps এ নিয়ন্ত্রিত হবে;
- V2: এন্ট্রি-লেভেল পেইড সদস্য, সর্বাধিক 10GiB ডেটা সংরক্ষণের জন্য কনফিগার করা হয়েছে, পাবলিক নেটওয়ার্ক বিতরণ 10gbps ব্যান্ডউইথের বেশি হতে পারবে না, একক স্ট্রিম ডাউনলোডের গতি 10mbps এ নিয়ন্ত্রিত হবে;
- V3: উন্নত পেইড সদস্য, বৃহত্তর স্টোরেজ এবং পাবলিক নেটওয়ার্ক বিতরণের কোটা প্রদানের পাশাপাশি, অতিরিক্ত পাবলিক নেটওয়ার্ক দুর্বল নেটওয়ার্ক ত্বরণ এবং উচ্চ-কার্যকারিতা মিডিয়াম ত্বরণ ক্ষমতা সক্রিয় করার জন্য সমর্থন করে;
এজেন্ট ডেভেলপাররা বিভিন্ন ব্যবহারকারীর বিভিন্ন উন্নয়ন চক্রের জন্য V1/V2/V3 ট্যাগিং ব্যবহার করে নমনীয়ভাবে এই ব্যবহারকারীদের জন্য উপলব্ধ সম্পদ এবং অতিরিক্ত বৈশিষ্ট্যগুলি পরিচালনা করতে পারে।
## সেট স্লাইস: বিশাল ব্যবহারকারী ডেটার নেটিভ আইসোলেশন
যখন একটি এজেন্ট বালতির মধ্যে সেটের সংখ্যা বিলিয়ন এবং বস্তুর সংখ্যা শত শত বিলিয়ন বা ট্রিলিয়ন পর্যায়ে পৌঁছায়, তখন "একটি বালতির সমস্ত মেটাডেটা একটি KV ক্লাস্টারে কেন্দ্রীভূত" এই সত্যটি নিজেই ক্ষমতা এবং কর্মক্ষমতা উভয় ক্ষেত্রেই ঝুঁকি নিয়ে আসে।
সেট স্লাইস একটি "যৌক্তিকভাবে বিভক্ত নয়, শারীরিকভাবে বিভক্ত" ধারণা প্রদান করে:
- যৌক্তিকভাবে, আপনি এখনও শুধুমাত্র একটি এজেন্ট বালতি পরিচালনা করেন।
- শারীরিকভাবে, সেট এবং সেটের মধ্যে থাকা বস্তুর নামের পরিসরের উপর ভিত্তি করে, মেটাডেটা একাধিক স্লাইসে বিভক্ত করা হয়। প্রতিটি স্লাইস বিভিন্ন ক্লাস্টারে সংরক্ষণ করা যেতে পারে, একাধিক সেট প্রাকৃতিকভাবে বিচ্ছিন্ন এবং একক সেট অনুভূমিকভাবে প্রসারিত।
সেট স্লাইস অবজেক্টসেট ক্ষমতার আরও একটি সম্প্রসারণ এবং সুরক্ষা। এটি অন্তর্নিহিতভাবে ফিজিক্যাল ক্ষমতার অসীম প্রসারণের সমস্যা সমাধান করে এবং একই সাথে উপরের স্তরের অবজেক্টসেট ব্যবস্থাপনা মডেলের স্থিতিশীলতা এবং ধারাবাহিকতা নিশ্চিত করে।
- স্থিতিশীল ব্যবস্থাপনা সীমানা: এমনকি যদি একটি এজেন্ট বালতির ডেটা একাধিক ফিজিক্যাল ক্লাস্টার জুড়ে বিস্তৃত হয়, তবুও অবজেক্টসেট হল অনুমতি, কোটা, বিলিং এবং নিরীক্ষণের একমাত্র মৌলিক একক। ডেভেলপাররা অবজেক্টসেটের জন্য কনফিগার করা নীতিগুলি (যেমন অ্যাক্সেস কন্ট্রোল, ক্ষমতার সীমা) স্বয়ংক্রিয়ভাবে সমস্ত সম্পর্কিত স্লাইসে কার্যকর হবে, অন্তর্নিহিত ডেটার বিতরণ নিয়ে চিন্তা করার দরকার নেই।
- একক সেট লিনিয়ারলি প্রসারিত করা যেতে পারে: যখন কোনও অবজেক্টসেটের ডেটার পরিমাণ দ্রুত বৃদ্ধি পায়, তখন এর ডেটা স্বাভাবিকভাবে একাধিক স্লাইসে বিতরণ করা হবে। সামগ্রিক ক্লাস্টারের প্রসারণের সাথে সাথে, অবজেক্টসেটের ক্ষমতাও নির্বিঘ্নে এবং লিনিয়ারলি বৃদ্ধি পায়। ডেভেলপারদের অবজেক্টসেটটিকে বিভক্ত বা স্থানান্তরিত করার মতো কোনও ধ্বংসাত্মক অপারেশন করার দরকার নেই।
- ক্রস-সেট রিসোর্স আইসোলেশন: বিভিন্ন পরিসরের বস্তুগুলিকে বিভিন্ন ফিজিক্যাল ক্লাস্টারে বিতরণ করে, সেট স্লাইস উচ্চ মাত্রার রিসোর্স আইসোলেশন অর্জন করে। অবজেক্টসেটের কোটা ব্যবস্থাপনার সাথে মিলিত হয়ে, এটি কার্যকরভাবে একটি "সুপার লার্জ" অবজেক্টসেটের ডেটা বৃদ্ধিকে একক ক্লাস্টারের সমস্ত সংস্থান দখল করা থেকে আটকাতে পারে, যার ফলে অন্যান্য অবজেক্টসেটের স্থিতিশীলতা প্রভাবিত হয় এবং সামগ্রিক ক্ষমতার ঝুঁকি নিয়ন্ত্রণযোগ্য হয়।- লজিক্যাল ঐক্য এবং সামঞ্জস্য: ব্যবসা এবং ডেভেলপারদের জন্য, নীচের স্তরে যতগুলো স্লাইস থাকুক না কেন, তারা সর্বদা একটি লজিক্যাল ইউনিফাইড এজেন্ট বাকেটের মুখোমুখি হন। বাকেট, অবজেক্টসেট এবং অবজেক্টের জন্য সমস্ত অপারেশন পদ্ধতি অপরিবর্তিত থাকে, যা উপরের স্তরের অ্যাপ্লিকেশনগুলির জন্য সম্পূর্ণ স্বচ্ছ শারীরিক সম্প্রসারণ উপলব্ধি করে।
## সেট অ্যাক্সেস পয়েন্ট: প্রতিটি ব্যবহারকারীর অ্যাক্সেস এন্ট্রি পয়েন্টকে আলাদা করুন
এজেন্ট বাকেট প্রতিটি অবজেক্টসেটের জন্য স্বতন্ত্র অ্যাক্সেস পয়েন্ট (স্বতন্ত্র ডোমেইন নাম) চালু করা সমর্থন করে এবং অ্যাক্সেস পয়েন্টে, পৃথক নিরাপত্তা, বিচ্ছিন্নতা এবং ত্বরণ ক্ষমতা প্রসারিত করে। এই কারণে, সিস্টেমকে বিলিয়ন-স্তরের স্বতন্ত্র অ্যাক্সেস পয়েন্ট শিডিউলিং এবং পৃথক কনফিগারেশন ক্ষমতা সমর্থন করতে হবে।
স্বতন্ত্র অ্যাক্সেস ডোমেইন নাম {$apid}.tos-objectset-ap.volces.com: দ্বি-স্তরের সুরক্ষা
- প্রথম স্তর অস্পষ্টতা (Obscurity): ব্যবহারকারী/অবজেক্টসেট দ্বারা স্বতন্ত্র সাবডোমেইন, apid উচ্চ এনট্রপি হ্যাশিং, অত্যন্ত কম সংঘর্ষের সম্ভাবনা, অ্যাক্সেস ডোমেইন নাম থেকে নির্দিষ্ট ব্যবহারকারীর এন্ট্রি অনুমান এবং গণনা করা যায় না;
- দ্বিতীয় স্তর সংযুক্তি (Containment): এজেন্ট ডেভেলপাররা sts ব্যবহার করে অবজেক্টসেট স্তরের অ্যাক্সেস অনুমতি বিতরণ করে, এমনকি sts ফাঁস হয়ে গেলেও, এর অ্যাক্সেসের সুযোগ একটি নির্দিষ্ট অবজেক্টসেটের সীমিত বৈধতার মধ্যে সীমাবদ্ধ থাকে;
অনুমানমূলক শিডিউলিং সিস্টেম: বিলিয়ন-স্তরের ডোমেইন নাম শিডিউলিং কৌশল গণনা
- ব্যবহারকারী/অবজেক্টসেট: ট্যাগ দ্বারা পৃথক অ্যাক্সেস কৌশল
- একাধিক ব্যবহারকারী/অবজেক্টসেট স্বয়ংক্রিয়ভাবে বিভিন্ন পাবলিক নেটওয়ার্ক এন্ট্রি পয়েন্টে বিতরণ করা হয়, একক এন্ট্রি পয়েন্ট ব্যর্থতার কারণে প্রভাবিত ব্যবহারকারীর সংখ্যা নিয়ন্ত্রিত হয়
- সমস্ত অঞ্চলে স্থিতিস্থাপক শিডিউলিং, যেকোনো একক এন্ট্রি পয়েন্ট ব্যর্থতা/ওভারলোড স্বয়ংক্রিয়ভাবে ট্র্যাফিক বিন প্যাকিং এবং স্থানান্তরণ সম্পন্ন করে
- পাবলিক নেটওয়ার্ক ত্বরণ বিতরণ ব্যবহারকারীদের জন্য, পাবলিক নেটওয়ার্ক ট্রান্সমিশন ত্বরণ ট্যাগ যুক্ত করুন এবং স্বয়ংক্রিয়ভাবে ত্বরণ এন্ট্রি পয়েন্ট শিডিউল করুন
- পাবলিক নেটওয়ার্ক ঝুঁকি ব্যবহারকারীদের জন্য, ঝুঁকি ট্যাগ যুক্ত করুন, স্বয়ংক্রিয়ভাবে পাবলিক নেটওয়ার্ক বিচ্ছিন্নতা এন্ট্রি পয়েন্ট শিডিউল করুন এবং পাবলিক নেটওয়ার্ক ব্যান্ডউইথ কোটা হ্রাস করুন
- অভ্যন্তরীণ নেটওয়ার্ক ক্রস-ডোমেইন ব্যবহারকারীদের জন্য, ক্রস-ডোমেইন ট্যাগ যুক্ত করুন, স্বয়ংক্রিয়ভাবে অভ্যন্তরীণ নেটওয়ার্ক ডেডিকেটেড লাইন ত্বরণ পাথ শিডিউল করুন
- স্থানীয় ত্বরণকারী ব্যবহারকারীদের জন্য, ত্বরণকারী ট্যাগ যুক্ত করুন এবং স্বয়ংক্রিয়ভাবে স্থানীয় ত্বরণকারী মাউন্ট করুন
## প্রোগ্রামিং সহকারী থেকে এআই ক্লাউড ডিস্ক, এজেন্ট বাকেটের অসীম সম্ভাবনা
এজেন্ট বাকেট এজেন্টদের জন্য একটি সম্পূর্ণ সমাধান সরবরাহ করে এবং অবজেক্টসেটের নকশা অ্যাপ্লিকেশন পরিস্থিতি এখানেই শেষ নয়, এটি সহজেই সমস্ত অ্যাপ্লিকেশনগুলিতে প্রসারিত করা যেতে পারে যা বিশাল সংখ্যক শেষ ব্যবহারকারীদের পরিষেবা সরবরাহ করতে হবে:
- কোড সংগ্রহস্থল: পূর্বে, যখন কোনও সংস্থা বা ব্যক্তি ক্লাউডে কোড হোস্ট করত, তখন অ্যাকাউন্ট বিচ্ছিন্নতা এবং অনুমতি নিয়ন্ত্রণ অর্জনের জন্য তাদের প্রায়শই অবজেক্ট স্টোরেজের উপরে একটি "ভাড়াটে সিস্টেম" তৈরি করতে হত। এখন, প্রতিটি বিকাশকারীকে একটি ডেডিকেটেড অবজেক্টসেট বরাদ্দ করা যেতে পারে, কোড সংগ্রহস্থল, বিল্ড আউটপুট এবং নির্ভরতা একত্রিত করে। এজেন্ট স্কিলস স্বাভাবিকভাবেই অবজেক্টসেটের সাথে খাপ খায়, স্কিলস আপলোড এবং ডাউনলোড বিতরণ অবজেক্টসেটের মাধ্যমে শক্তিশালী বিচ্ছিন্নতা সরবরাহ করে, এজেন্ট রানটাইমের সময় প্রতিবেশীদের বিরক্ত করা এড়ায়।
- এন্টারপ্রাইজ ফটো অ্যালবাম নেটওয়ার্ক ডিস্ক: ঐতিহ্যবাহী ফটো অ্যালবাম বা নেটওয়ার্ক ডিস্ক পরিষেবাগুলি প্রায়শই সমস্ত ব্যবহারকারীর ছবি একই বালতিতে মিশ্রিত করে, উপসর্গ দ্বারা ব্যবহারকারীদের মধ্যে পার্থক্য করে, যা কেবল জটিল ব্যবস্থাপনাই নয়, "প্রতিবেশী প্রভাব" সৃষ্টি করাও সহজ। অবজেক্টসেটের উপর ভিত্তি করে, প্রতিটি ব্যবহারকারীর ছবি এবং ভিডিও তাদের নিজ নিজ সেটে পড়ে, অ্যাক্সেসের শিখর একে অপরের সাথে হস্তক্ষেপ করে না এবং ব্যবহারকারী অনুসারে ক্ষমতা সীমা, ব্যাকআপ কৌশল এবং এনক্রিপশন পদ্ধতি সেট করা যেতে পারে, যা সত্যিই "প্রত্যেকের একটি সুরক্ষিত, নিয়ন্ত্রণযোগ্য ক্লাউড ফটো অ্যালবাম" নিশ্চিত করে।
- হাডুপ ডেটা ওয়্যারহাউস: এন্টারপ্রাইজ ডেটা ওয়্যারহাউসে, বিভিন্ন ব্যবসায়িক লাইন এবং বিভিন্ন ডাটাবেস প্রায়শই একই অন্তর্নিহিত স্টোরেজে সংস্থানগুলি ভাগ করে নেয়। প্রতিটি ডাটাবেসকে একটি অবজেক্টসেট হিসাবে ম্যাপ করে, সংস্থাগুলি একটি ইউনিফাইড স্টোরেজের উপরে ডাটাবেস অনুসারে বিচ্ছিন্নতা এবং কোটা নিয়ন্ত্রণ অর্জন করতে পারে। বিশেষত, অবজেক্টসেট টিওএস-এ একটি অতিরিক্ত স্তরের অনুমতি সরবরাহ করে, টিওএস-এ সঞ্চিত ডাটাবেস এবং টেবিলগুলির জন্য বিচ্ছিন্নতা এবং অনুমতি নিয়ন্ত্রণ সরবরাহ করে, টিওএস-এ বিদ্যমান প্রোটন পরিবর্তন না করে। - মডেল হোস্টিং প্ল্যাটফর্ম: বৃহৎ মডেল হোস্টিং পরিস্থিতিতে, প্রতিটি মডেল কেবল বিশাল আকারের নয়, বরং বিভিন্ন সংস্করণ, ওজন এবং অনুমানের কনফিগারেশন থাকতে পারে। প্রতিটি মডেলের জন্য একটি ObjectSet তৈরি করে, মডেলের ওজন, টোকেনাইজার, কনফিগারেশন ফাইল এবং সম্পর্কিত মূল্যায়ন ডেটা একই স্থানে প্যাকেজ করে হোস্ট করা যেতে পারে। অপারেশন ও রক্ষণাবেক্ষণ দল বিভিন্ন মডেলের জন্য ভিন্ন এনক্রিপশন নীতি, ব্যাকআপ নীতি এবং ব্যান্ডউইথ নিয়ন্ত্রণ সেট করতে পারে। একই সাথে, প্রতিটি মডেলের প্রকৃত ব্যবহারের খরচ পরিমাপের মাধ্যমে মডেল-ভিত্তিক বিলিং এবং রিসোর্স শিডিউলিংয়ের ভিত্তি স্থাপন করা যেতে পারে। (অর্থাৎ, প্রতিটি মডেলের জন্য আলাদা আলাদা খরচ এবং রিসোর্স নির্ধারণ করা যায়)।
- ডেটা SaaS পরিষেবা: বিশাল সংখ্যক শেষ ব্যবহারকারীর জন্য ডেটা বিতরণ প্ল্যাটফর্মের ক্ষেত্রে, প্রায়শই অনেক ডেটা প্রদানকারীর সাথে সংযোগ স্থাপন করতে হয়। এক্ষেত্রে ডেটার সীমানা পরিষ্কার রাখা এবং "একটি বড় বালতি সবাইকে টেনে নামানো"-র মতো পারফরম্যান্সের ঝুঁকি এড়ানো জরুরি। Agent Bucket ব্যবহারের মাধ্যমে, প্রতিটি ডেটা প্রদানকারীর নিজস্ব ObjectSet থাকতে পারে, যা তাদের মূল ডেটা এবং প্রক্রিয়াকরণের ফলাফলকে একত্রিতভাবে পরিচালনা করতে দেয়। এছাড়াও, স্বতন্ত্র ডোমেইন এবং ব্যান্ডউইথ, QPS কোটার মাধ্যমে বিভিন্ন প্রদানকারীর জন্য পৃথক পরিষেবা নিশ্চিত করা এবং ট্র্যাফিক সীমিত করা যায়। এর মাধ্যমে "একটি প্ল্যাটফর্ম, একাধিক প্রদানকারী, একে অপরের থেকে বিচ্ছিন্ন কিন্তু নিয়ন্ত্রণযোগ্য সহযোগিতা"-র ডেটা বিতরণ অবকাঠামো তৈরি করা সম্ভব। (অর্থাৎ, একটি প্ল্যাটফর্মে অনেক ডেটা প্রদানকারী থাকলেও, প্রত্যেকের ডেটা আলাদা থাকবে এবং কর্মক্ষমতা বজায় থাকবে)।
Reference:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/
২০২৫ সালের S3 ব্লগ Design patterns for multi-tenant access control on Amazon S3 S3 Access Point আরও বিস্তারিতভাবে ব্যাখ্যা করে। এর মানে হল যে একাধিক ভার্চুয়াল নেটওয়ার্ক অ্যাক্সেস পয়েন্ট তৈরি করা যেতে পারে এবং প্রতিটি অ্যাক্সেস পয়েন্টের জন্য একটি কাস্টমাইজড অ্যাক্সেস পয়েন্ট নীতি কনফিগার করা যেতে পারে, যা নেটওয়ার্ক শিডিউলিং স্তরে মাল্টি-টেন্যান্ট পরিস্থিতির জন্য কিছু সমাধান প্রদান করে।
## Agent Wonderland
একজন আদর্শ এজেন্ট ডেভেলপার AI Agent তৈরি করার সময়, "Agent SDK + স্টোরেজ + MaaS পরিষেবা"-এর উপর ভিত্তি করে একটি সম্পূর্ণ সার্ভারবিহীন এজেন্ট তৈরি করতে পারেন:
- এজেন্ট সম্পূর্ণরূপে সার্ভারবিহীনভাবে চলতে পারে
- Vibe Coding-এর মাধ্যমে বিদ্যমান পণ্যের ক্ষমতা একত্রিত করে এজেন্ট তৈরি করা যেতে পারে
- শুধুমাত্র "ADK"-এর পাইথন স্ক্রিপ্ট বজায় রাখতে হবে
- স্টোরেজ অবজেক্ট স্টোরেজ ব্যবহার করে
- AI ক্ষমতা ডৌবাও ব্যবহার করে
- তাত্ত্বিকভাবে কোনো ECS বা অন্যান্য উদাহরণ-ভিত্তিক পণ্য নেই
একই সময়ে, স্টোরেজকে নিম্নলিখিত ক্ষমতাগুলি সরবরাহ করতে হবে:
- এজেন্টের একটি অবজেক্ট সিম্যান্টিক স্টোরেজ থাকতে পারে (ফাইল সংরক্ষণ করা), মাল্টি-টেন্যান্ট অ্যাক্সেস ক্ষমতা প্রদান করে, মিলিয়ন থেকে শুরু করে বিলিয়ন পর্যন্ত প্রসারিত করা যেতে পারে
- এজেন্ট প্রতিটি ব্যবহারকারীর জন্য একটি স্বতন্ত্র স্থান সরবরাহ করতে পারে (একাধিক ব্যবসার মধ্যে, ব্যবসার নাম বা uid একই হতে পারে)
- এজেন্ট সরাসরি প্রতিটি ব্যবহারকারীর ব্যান্ডউইথ কনফিগার করতে পারে, ব্যবহারকারীর অবজেক্টের মোট আকারের ঊর্ধ্বসীমা কনফিগার করতে পারে
- এজেন্ট ব্যবহারকারীর বিলিং, পর্যবেক্ষণ এবং নিরীক্ষণের উপর ভিত্তি করে কাজ করতে পারে
- এজেন্ট প্রতিটি ব্যবহারকারীর ফাইলের জন্য অ্যাক্সেস নীতি কনফিগার করতে পারে
## Agent Bucket: AI Agent-এর মধ্যে "মাল্টি-টেন্যান্ট নেটিভ" জিন প্রবেশ করানো
এই সমস্যার মূল থেকে সমাধানের জন্য, আমরা একটি নতুন অবজেক্ট স্টোরেজ দৃষ্টান্ত প্রস্তাব করছি - Agent Bucket। এর মূল উদ্ভাবন হল ঐতিহ্যবাহী "বালতি" এবং "অবজেক্ট"-এর মধ্যে একটি নতুন নেটিভ রিসোর্স স্তর প্রবর্তন করা: অবজেক্ট সংগ্রহ।
এই নকশার মূল ধারণাটি অত্যন্ত সরল: আপনার প্রতিটি শেষ ব্যবহারকারীর জন্য, একটি ডেডিকেটেড ObjectSet মেলানো। আপনি ObjectSet-কে প্রতিটি ব্যবহারকারীর জন্য তৈরি করা একটি "ডেটা সেফ" বা "ক্লাউড ব্যক্তিগত স্থান" হিসাবে ভাবতে পারেন। এটি যৌক্তিকভাবে আপনার (ডেভেলপার) বালতির অন্তর্গত, তবে ভৌত এবং ব্যবস্থাপনার দিক থেকে, এটির নিজস্ব স্বতন্ত্র "ব্যক্তিত্ব" এবং "জীবনচক্র" রয়েছে।এজেন্ট বাকেট প্রতিটি বালতিতে 100 মিলিয়ন ObjectSet সমর্থন করে, যার মানে হল আপনি প্রতিটি শেষ ব্যবহারকারীকে তাদের নিজস্ব ডেটা স্টোরেজ স্পেসে 'জীবনযাপন' করার মতো করে কয়েক মিলিয়ন শেষ ব্যবহারকারীর জন্য স্বাচ্ছন্দ্যে পরিষেবা সরবরাহ করতে পারেন এবং আপনাকে আর মাল্টি-টেন্যান্ট স্টোরেজ ম্যানেজমেন্ট নিয়ে চিন্তা করতে হবে না।
## ObjectSet ডিজাইন - এজেন্ট-বান্ধব ক্ষমতা
এজেন্ট বালতিতে ObjectSet শুধুমাত্র একটি স্তর যুক্ত করাই নয়, বরং মাল্টি-টেন্যান্ট পরিস্থিতিতে সবচেয়ে কঠিন চাহিদাগুলিকে সরাসরি ব্যবহারের জন্য প্রস্তুত করে তোলে। ObjectSet স্তরে ডেটার মালিকানা স্পষ্টভাবে প্রতিষ্ঠিত হওয়ার পরে, পূর্বে অর্জন করা কঠিন ছিল এমন অনেকগুলি ক্ষমতা স্বাভাবিকভাবেই উপলব্ধ হয়ে যায়।
- নেটিভ আইসোলেশন: ObjectSet স্তরে, আপনি প্রতিটি ব্যবহারকারীর জন্য স্বতন্ত্র QPS, ব্যান্ডউইথ সীমা এবং ক্ষমতা কোটা সেট করতে পারেন। অর্থ প্রদানকারী ব্যবহারকারীদের অভিজ্ঞতা নিশ্চিত করা যেতে পারে এবং বিনামূল্যে ব্যবহারকারীদের অস্বাভাবিক আচরণ অন্যদের প্রভাবিত করবে না। এটি সত্যিকারের ফল্ট ডোমেন আইসোলেশন, যা 'প্রতিবেশীদের' একে অপরের সাথে হস্তক্ষেপ করা থেকে বিরত রাখে।
- নেটিভ পারমিশন: প্রতিটি ObjectSet এর একটি স্বতন্ত্র ডোমেইন থাকতে পারে। এর মানে হল আপনি ব্যবহারকারী A-কে একটি ডেডিকেটেড অ্যাক্সেস ঠিকানা user-a.yourapp.com দিতে পারেন এবং পুরো স্টোরেজ বালতির ডোমেইন প্রকাশ করতে হবে না। আরও বুদ্ধিমানের বিষয় হল 'দুটি লক'-এর ডিজাইন: প্রথম লকটি হল ক্লাউড পরিষেবা প্রদানকারীর দ্বারা জারি করা একটি অস্থায়ী অ্যাক্সেস শংসাপত্র (STS), যা অ্যাপ্লিকেশন স্তরে অ্যাক্সেস অধিকার নিয়ন্ত্রণ করে; দ্বিতীয় লকটি হল ObjectSet-এর স্বতন্ত্র ডোমেইন, যা নেটওয়ার্ক স্তর থেকে ব্যবহারকারীর নিজস্ব ডেটা স্পেসে অ্যাক্সেস অনুরোধ লক করে। এটি ডেটা সুরক্ষা অনেক বাড়িয়ে তোলে।
- নেটিভ মনিটরিং: মনিটরিং ড্যাশবোর্ডে, আপনি আর পুরো বালতির ওভারভিউ ডেটা দেখতে পারবেন না। আপনি ObjectSet অনুসারে মনিটরিং চার্টগুলিকে ভেঙে দিতে পারেন, কোন শেষ ব্যবহারকারী প্রচুর পরিমাণে অ্যাক্সেস করছে তা স্পষ্টভাবে দেখতে পারেন এবং সেই অনুযায়ী সুনির্দিষ্ট অপারেশন এবং অপ্টিমাইজেশান সিদ্ধান্ত নিতে পারেন।
- নেটিভ ক্যাপাবিলিটি সিনকিং: পূর্বে বালতি স্তরে সেট করা যেতে পারে এমন নীতিগুলি এখন প্রতিটি ব্যবহারকারীর কাছে সিঙ্ক করা যেতে পারে। আপনি বিভিন্ন স্তরের ব্যবহারকারীদের জন্য বিভিন্ন ডেটা লাইফসাইকেল সেট করতে পারেন অথবা আরও সূক্ষ্ম এবং সুরক্ষিত ডেটা পরিচালনার জন্য প্রতিটি ObjectSet-এর জন্য বিভিন্ন এনক্রিপশন কী ব্যবহার করতে পারেন।
- নেটিভ মিটারিং: প্রতিটি ব্যবহারকারী কতটা স্টোরেজ স্পেস ব্যবহার করছে তা জানতে চান? প্রতিটি ব্যবহারকারীর জন্য স্টোরেজ খরচ সঠিকভাবে বরাদ্দ করতে চান? এখন এটি খুব সহজ। এজেন্ট বাকেট স্বয়ংক্রিয়ভাবে প্রতিটি ObjectSet-এর ক্ষমতা এবং ব্যবহারের পরিসংখ্যান তৈরি করবে, যা আপনার বিলিং এবং অ্যাকাউন্টিংকে পরিষ্কার করে তুলবে।
- নেটিভ বিলিং: বিকাশকারীরা সহজেই খরচ বরাদ্দ করতে পারে এবং স্টোরেজ থেকে উত্পন্ন খরচ সঠিকভাবে প্রতিটি শেষ ব্যবহারকারীর কাছে ফেরত দিতে পারে। উদাহরণস্বরূপ, A, B এবং C ব্যবহারকারীদের দ্বারা উত্পন্ন প্রকৃত খরচের অনুপাতের উপর ভিত্তি করে আলাদাভাবে চার্জ করা, যা এজেন্টের বাণিজ্যিকীকরণের জন্য ডেটা সমর্থন সরবরাহ করে।
- নেটিভ ক্যাপাসিটি লিমিট: এজেন্টের অপারেশন খরচ নিয়ন্ত্রণ করার জন্য, আপনি প্রতিটি ObjectSet-এর জন্য একটি কোটা (ক্ষমতা সীমা) সেট করতে পারেন। একবার পূর্বনির্ধারিত মান পৌঁছে গেলে, সিস্টেমটি সেই ব্যবহারকারীকে নতুন ফাইল তৈরি করা থেকে সীমাবদ্ধ করবে, যা মাল্টি-টেন্যান্ট পরিস্থিতিতে রিসোর্স অপব্যবহারকে গোড়া থেকে প্রতিরোধ করবে।
- নেটিভ ইন্টেলিজেন্স: এজেন্ট বাকেট এজেন্টকে ঐতিহ্যবাহী ফাইলের সাধারণ 'সংরক্ষণ এবং পুনরুদ্ধার'-এর সীমাবদ্ধতা থেকে বেরিয়ে আসতে দেয়, Object-কে নেটিভ ইন্টেলিজেন্স প্রদান করে এবং আরও দক্ষতার সাথে এজেন্ট ওয়ান-স্টপ ডেভেলপমেন্ট সমর্থন করে। ObjectSet একটি ক্লিকের মাধ্যমে ইন্টেলিজেন্ট ইনডেক্সিং চালু করতে পারে, এজেন্টকে নেটিভ-ফ্রেন্ডলি মাল্টিমোডাল প্রশ্ন উত্তর দেওয়ার ক্ষমতা প্রদান করে, যা ঐতিহ্যবাহী Object CRUD-এর যান্ত্রিক অপারেশন প্রতিস্থাপন করে; এমনকি একটি ক্লিকের মাধ্যমে Agentself মোড চালু করা সমর্থন করে, ভেক্টর, জ্ঞান, মডেল এবং প্রম্পটকে সংযুক্ত করে, সরাসরি পরিস্থিতিভিত্তিক সাব-এজেন্ট ফাংশন প্রকাশ করে, যাতে উপরের স্তরের এজেন্ট বিকাশকারীরা মূল ব্যবসায়িক কর্মপ্রবাহ তৈরি করার দিকে মনোযোগ দিতে পারে, যা বুদ্ধিমান নগদীকরণের দক্ষতা সম্পূর্ণরূপে প্রকাশ করে।
## অ্যাপ্লিকেশন স্কেলের দ্রুত বৃদ্ধি দ্বারা সৃষ্ট প্রযুক্তিগত চ্যালেঞ্জ
এজেন্ট বাকেট ObjectSet-এর এই নেটিভ ধারণা প্রবর্তনের মাধ্যমে, অ্যাপ্লিকেশন বিকাশকারীদের লক্ষ লক্ষ শেষ ব্যবহারকারীর ডেটা পরিচালনা করার জন্য একটি মার্জিত এবং দক্ষ উপায় সরবরাহ করে। প্রতিটি ব্যবহারকারীর ডিজিটাল সম্পদ নিরাপদে তাদের ডেডিকেটেড ObjectSet-এ সংরক্ষণ করা হয়, যা স্বাভাবিকভাবেই আইসোলেশন, বিলিং এবং কোটা পরিচালনা বাস্তবায়ন করে।
অ্যাপ্লিকেশন স্কেলের দ্রুত সম্প্রসারণের সাথে সাথে, বিশাল সংখ্যক সেটের ব্যবস্থাপনা জটিলতা, আইসোলেশনের অসুবিধা এবং শারীরিক সীমাবদ্ধতা একই সাথে প্রকাশিত হয়:
- বিশাল সংখ্যক ব্যবহারকারীর শ্রেণিবদ্ধ ব্যবস্থাপনা সমস্যা: বিভিন্ন স্তরের বিপুল সংখ্যক ব্যবহারকারীর সংস্থান এবং বৈশিষ্ট্যগুলির পার্থক্যমূলক ব্যবস্থাপনার সময়, অ্যাপ্লিকেশনগুলিকে ব্যবহারকারীর শ্রেণিবদ্ধ মেটাডেটা ডিজাইন এবং বাস্তবায়ন করতে হবে এবং অবজেক্ট স্টোরেজ বৈশিষ্ট্য সুইচগুলির সাথে যুক্ত করতে হবে। সেটের নেটিভ ধারণার উপর ভিত্তি করে ব্যবহারকারীর শ্রেণিবিন্যাসকে মার্জিতভাবে পরিচালনা করতে বিকাশকারীদের সহায়তা করা অ্যাপ্লিকেশন স্থাপনার গতি বাড়ানোর জন্য গুরুত্বপূর্ণ। - একক ক্লাস্টার ক্ষমতা সীমাবদ্ধতা: যদিও এজেন্ট বাকেট যৌক্তিকভাবে অসীমভাবে প্রসারিত করা যেতে পারে, এর মেটাডেটা ডিফল্টরূপে একটি একক ফিজিক্যাল ক্লাস্টারে স��রক্ষিত হয়। যখন বালতির মধ্যে থাকা বস্তুর মোট সংখ্যা শত শত বিলিয়ন বা এমনকি ট্রিলিয়ন পর্যায়ে পৌঁছায়, তখন একক ক্লাস্টারের ফিজিক্যাল ক্ষমতা একটি অলঙ্ঘনীয় সীমা হয়ে দাঁড়ায়।
- অ্যাক্সেস পয়েন্ট শেয়ারিং সমস্যা: এজেন্টের ব্যবসার বৈচিত্র্য এবং বিশাল সংখ্যক ব্যবহারকারী অ্যাক্সেস পয়েন্টের জন্য আরও বেশি নিরাপত্তা ঝুঁকি এবং বিস্ফোরণের ব্যাসার্ধ নিয়ে আসে। কীভাবে বিভিন্ন ব্যবসা এবং ব্যবহারকারীর পার্থক্যের ভিত্তিতে ডায়নামিক শিডিউলিং করা যায় এবং পার্থক্যযুক্ত নিরাপত্তা, বিচ্ছিন্নতা এবং ত্বরণ ক্ষমতা অর্জন করা যায় তা একটি কঠিন সমস্যা।
## সেট ট্যাগিং: ব্যবহারকারী শ্রেণীবিন্যাসের জন্য ট্যাগিং ব্যবস্থাপনা
অবজেক্টসেট একটি নেটিভ ট্যাগিং ব্যবস্থাপনা পদ্ধতি প্রদান করে, যা এজেন্ট ডেভেলপারদের সহজে সেট ট্যাগিং ক্ষমতা ব্যবহার করে ব্যবহারকারীদের শ্রেণীবিন্যাস পরিচালনা করতে দেয়। ডেভেলপাররা প্রতিটি সংজ্ঞায়িত ব্যবহারকারী স্তরের জন্য একটি ট্যাগ তৈরি করতে পারে এবং প্রতিটি ট্যাগের জন্য বিভিন্ন কোটা এবং বৈশিষ্ট্য সক্রিয় করতে পারে। এই ট্যাগযুক্ত সমস্ত অবজেক্টসেট সংশ্লিষ্ট কোটা এবং বৈশিষ্ট্যগুলি প্রয়োগ করবে। V1, V2 এবং V3 তিনটি স্তরের উদাহরণ দিয়ে ব্যাখ্যা করা হলো:
- V1: ডিফল্ট স্তর, বিনামূল্যে ব্যবহারকারী, সমস্ত অবজেক্টসেটের ডিফল্ট ট্যাগ, সর্বাধিক 1GiB ডেটা সংরক্ষণের জন্য কনফিগার করা যেতে পারে, পাবলিক নেটওয়ার্ক বিতরণ 100mbps ব্যান্ডউইথের বেশি হতে পারবে না, একক স্ট্রিম ডাউনলোডের গতি 1mbps এ নিয়ন্ত্রিত হবে;
- V2: এন্ট্রি-লেভেল পেইড সদস্য, সর্বাধিক 10GiB ডেটা সংরক্ষণের জন্য কনফিগার করা হয়েছে, পাবলিক নেটওয়ার্ক বিতরণ 10gbps ব্যান্ডউইথের বেশি হতে পারবে না, একক স্ট্রিম ডাউনলোডের গতি 10mbps এ নিয়ন্ত্রিত হবে;
- V3: উন্নত পেইড সদস্য, বৃহত্তর স্টোরেজ এবং পাবলিক নেটওয়ার্ক বিতরণের কোটা প্রদানের পাশাপাশি, অতিরিক্ত পাবলিক নেটওয়ার্ক দুর্বল নেটওয়ার্ক ত্বরণ এবং উচ্চ-কার্যকারিতা মিডিয়াম ত্বরণ ক্ষমতা সক্রিয় করার জন্য সমর্থন করে;
এজেন্ট ডেভেলপাররা বিভিন্ন ব্যবহারকারীর বিভিন্ন উন্নয়ন চক্রের জন্য V1/V2/V3 ট্যাগিং ব্যবহার করে নমনীয়ভাবে এই ব্যবহারকারীদের জন্য উপলব্ধ সম্পদ এবং অতিরিক্ত বৈশিষ্ট্যগুলি পরিচালনা করতে পারে।
## সেট স্লাইস: বিশাল ব্যবহারকারী ডেটার নেটিভ আইসোলেশন
যখন একটি এজেন্ট বালতির মধ্যে সেটের সংখ্যা বিলিয়ন এবং বস্তুর সংখ্যা শত শত বিলিয়ন বা ট্রিলিয়ন পর্যায়ে পৌঁছায়, তখন "একটি বালতির সমস্ত মেটাডেটা একটি KV ক্লাস্টারে কেন্দ্রীভূত" এই সত্যটি নিজেই ক্ষমতা এবং কর্মক্ষমতা উভয় ক্ষেত্রেই ঝুঁকি নিয়ে আসে।
সেট স্লাইস একটি "যৌক্তিকভাবে বিভক্ত নয়, শারীরিকভাবে বিভক্ত" ধারণা প্রদান করে:
- যৌক্তিকভাবে, আপনি এখনও শুধুমাত্র একটি এজেন্ট বালতি পরিচালনা করেন।
- শারীরিকভাবে, সেট এবং সেটের মধ্যে থাকা বস্তুর নামের পরিসরের উপর ভিত্তি করে, মেটাডেটা একাধিক স্লাইসে বিভক্ত করা হয়। প্রতিটি স্লাইস বিভিন্ন ক্লাস্টারে সংরক্ষণ করা যেতে পারে, একাধিক সেট প্রাকৃতিকভাবে বিচ্ছিন্ন এবং একক সেট অনুভূমিকভাবে প্রসারিত।
সেট স্লাইস অবজেক্টসেট ক্ষমতার আরও একটি সম্প্রসারণ এবং সুরক্ষা। এটি অন্তর্নিহিতভাবে ফিজিক্যাল ক্ষমতার অসীম প্রসারণের সমস্যা সমাধান করে এবং একই সাথে উপরের স্তরের অবজেক্টসেট ব্যবস্থাপনা মডেলের স্থিতিশীলতা এবং ধারাবাহিকতা নিশ্চিত করে।
- স্থিতিশীল ব্যবস্থাপনা সীমানা: এমনকি যদি একটি এজেন্ট বালতির ডেটা একাধিক ফিজিক্যাল ক্লাস্টার জুড়ে বিস্তৃত হয়, তবুও অবজেক্টসেট হল অনুমতি, কোটা, বিলিং এবং নিরীক্ষণের একমাত্র মৌলিক একক। ডেভেলপাররা অবজেক্টসেটের জন্য কনফিগার করা নীতিগুলি (যেমন অ্যাক্সেস কন্ট্রোল, ক্ষমতার সীমা) স্বয়ংক্রিয়ভাবে সমস্ত সম্পর্কিত স্লাইসে কার্যকর হবে, অন্তর্নিহিত ডেটার বিতরণ নিয়ে চিন্তা করার দরকার নেই।
- একক সেট লিনিয়ারলি প্রসারিত করা যেতে পারে: যখন কোনও অবজেক্টসেটের ডেটার পরিমাণ দ্রুত বৃদ্ধি পায়, তখন এর ডেটা স্বাভাবিকভাবে একাধিক স্লাইসে বিতরণ করা হবে। সামগ্রিক ক্লাস্টারের প্রসারণের সাথে সাথে, অবজেক্টসেটের ক্ষমতাও নির্বিঘ্নে এবং লিনিয়ারলি বৃদ্ধি পায়। ডেভেলপারদের অবজেক্টসেটটিকে বিভক্ত বা স্থানান্তরিত করার মতো কোনও ধ্বংসাত্মক অপারেশন করার দরকার নেই।
- ক্রস-সেট রিসোর্স আইসোলেশন: বিভিন্ন পরিসরের বস্তুগুলিকে বিভিন্ন ফিজিক্যাল ক্লাস্টারে বিতরণ করে, সেট স্লাইস উচ্চ মাত্রার রিসোর্স আইসোলেশন অর্জন করে। অবজেক্টসেটের কোটা ব্যবস্থাপনার সাথে মিলিত হয়ে, এটি কার্যকরভাবে একটি "সুপার লার্জ" অবজেক্টসেটের ডেটা বৃদ্ধিকে একক ক্লাস্টারের সমস্ত সংস্থান দখল করা থেকে আটকাতে পারে, যার ফলে অন্যান্য অবজেক্টসেটের স্থিতিশীলতা প্রভাবিত হয় এবং সামগ্রিক ক্ষমতার ঝুঁকি নিয়ন্ত্রণযোগ্য হয়।- লজিক্যাল ঐক্য এবং সামঞ্জস্য: ব্যবসা এবং ডেভেলপারদের জন্য, নীচের স্তরে যতগুলো স্লাইস থাকুক না কেন, তারা সর্বদা একটি লজিক্যাল ইউনিফাইড এজেন্ট বাকেটের মুখোমুখি হন। বাকেট, অবজেক্টসেট এবং অবজেক্টের জন্য সমস্ত অপারেশন পদ্ধতি অপরিবর্তিত থাকে, যা উপরের স্তরের অ্যাপ্লিকেশনগুলির জন্য সম্পূর্ণ স্বচ্ছ শারীরিক সম্প্রসারণ উপলব্ধি করে।
## সেট অ্যাক্সেস পয়েন্ট: প্রতিটি ব্যবহারকারীর অ্যাক্সেস এন্ট্রি পয়েন্টকে আলাদা করুন
এজেন্ট বাকেট প্রতিটি অবজেক্টসেটের জন্য স্বতন্ত্র অ্যাক্সেস পয়েন্ট (স্বতন্ত্র ডোমেইন নাম) চালু করা সমর্থন করে এবং অ্যাক্সেস পয়েন্টে, পৃথক নিরাপত্তা, বিচ্ছিন্নতা এবং ত্বরণ ক্ষমতা প্রসারিত করে। এই কারণে, সিস্টেমকে বিলিয়ন-স্তরের স্বতন্ত্র অ্যাক্সেস পয়েন্ট শিডিউলিং এবং পৃথক কনফিগারেশন ক্ষমতা সমর্থন করতে হবে।
স্বতন্ত্র অ্যাক্সেস ডোমেইন নাম {$apid}.tos-objectset-ap.volces.com: দ্বি-স্তরের সুরক্ষা
- প্রথম স্তর অস্পষ্টতা (Obscurity): ব্যবহারকারী/অবজেক্টসেট দ্বারা স্বতন্ত্র সাবডোমেইন, apid উচ্চ এনট্রপি হ্যাশিং, অত্যন্ত কম সংঘর্ষের সম্ভাবনা, অ্যাক্সেস ডোমেইন নাম থেকে নির্দিষ্ট ব্যবহারকারীর এন্ট্রি অনুমান এবং গণনা করা যায় না;
- দ্বিতীয় স্তর সংযুক্তি (Containment): এজেন্ট ডেভেলপাররা sts ব্যবহার করে অবজেক্টসেট স্তরের অ্যাক্সেস অনুমতি বিতরণ করে, এমনকি sts ফাঁস হয়ে গেলেও, এর অ্যাক্সেসের সুযোগ একটি নির্দিষ্ট অবজেক্টসেটের সীমিত বৈধতার মধ্যে সীমাবদ্ধ থাকে;
অনুমানমূলক শিডিউলিং সিস্টেম: বিলিয়ন-স্তরের ডোমেইন নাম শিডিউলিং কৌশল গণনা
- ব্যবহারকারী/অবজেক্টসেট: ট্যাগ দ্বারা পৃথক অ্যাক্সেস কৌশল
- একাধিক ব্যবহারকারী/অবজেক্টসেট স্বয়ংক্রিয়ভাবে বিভিন্ন পাবলিক নেটওয়ার্ক এন্ট্রি পয়েন্টে বিতরণ করা হয়, একক এন্ট্রি পয়েন্ট ব্যর্থতার কারণে প্রভাবিত ব্যবহারকারীর সংখ্যা নিয়ন্ত্রিত হয়
- সমস্ত অঞ্চলে স্থিতিস্থাপক শিডিউলিং, যেকোনো একক এন্ট্রি পয়েন্ট ব্যর্থতা/ওভারলোড স্বয়ংক্রিয়ভাবে ট্র্যাফিক বিন প্যাকিং এবং স্থানান্তরণ সম্পন্ন করে
- পাবলিক নেটওয়ার্ক ত্বরণ বিতরণ ব্যবহারকারীদের জন্য, পাবলিক নেটওয়ার্ক ট্রান্সমিশন ত্বরণ ট্যাগ যুক্ত করুন এবং স্বয়ংক্রিয়ভাবে ত্বরণ এন্ট্রি পয়েন্ট শিডিউল করুন
- পাবলিক নেটওয়ার্ক ঝুঁকি ব্যবহারকারীদের জন্য, ঝুঁকি ট্যাগ যুক্ত করুন, স্বয়ংক্রিয়ভাবে পাবলিক নেটওয়ার্ক বিচ্ছিন্নতা এন্ট্রি পয়েন্ট শিডিউল করুন এবং পাবলিক নেটওয়ার্ক ব্যান্ডউইথ কোটা হ্রাস করুন
- অভ্যন্তরীণ নেটওয়ার্ক ক্রস-ডোমেইন ব্যবহারকারীদের জন্য, ক্রস-ডোমেইন ট্যাগ যুক্ত করুন, স্বয়ংক্রিয়ভাবে অভ্যন্তরীণ নেটওয়ার্ক ডেডিকেটেড লাইন ত্বরণ পাথ শিডিউল করুন
- স্থানীয় ত্বরণকারী ব্যবহারকারীদের জন্য, ত্বরণকারী ট্যাগ যুক্ত করুন এবং স্বয়ংক্রিয়ভাবে স্থানীয় ত্বরণকারী মাউন্ট করুন
## প্রোগ্রামিং সহকারী থেকে এআই ক্লাউড ডিস্ক, এজেন্ট বাকেটের অসীম সম্ভাবনা
এজেন্ট বাকেট এজেন্টদের জন্য একটি সম্পূর্ণ সমাধান সরবরাহ করে এবং অবজেক্টসেটের নকশা অ্যাপ্লিকেশন পরিস্থিতি এখানেই শেষ নয়, এটি সহজেই সমস্ত অ্যাপ্লিকেশনগুলিতে প্রসারিত করা যেতে পারে যা বিশাল সংখ্যক শেষ ব্যবহারকারীদের পরিষেবা সরবরাহ করতে হবে:
- কোড সংগ্রহস্থল: পূর্বে, যখন কোনও সংস্থা বা ব্যক্তি ক্লাউডে কোড হোস্ট করত, তখন অ্যাকাউন্ট বিচ্ছিন্নতা এবং অনুমতি নিয়ন্ত্রণ অর্জনের জন্য তাদের প্রায়শই অবজেক্ট স্টোরেজের উপরে একটি "ভাড়াটে সিস্টেম" তৈরি করতে হত। এখন, প্রতিটি বিকাশকারীকে একটি ডেডিকেটেড অবজেক্টসেট বরাদ্দ করা যেতে পারে, কোড সংগ্রহস্থল, বিল্ড আউটপুট এবং নির্ভরতা একত্রিত করে। এজেন্ট স্কিলস স্বাভাবিকভাবেই অবজেক্টসেটের সাথে খাপ খায়, স্কিলস আপলোড এবং ডাউনলোড বিতরণ অবজেক্টসেটের মাধ্যমে শক্তিশালী বিচ্ছিন্নতা সরবরাহ করে, এজেন্ট রানটাইমের সময় প্রতিবেশীদের বিরক্ত করা এড়ায়।
- এন্টারপ্রাইজ ফটো অ্যালবাম নেটওয়ার্ক ডিস্ক: ঐতিহ্যবাহী ফটো অ্যালবাম বা নেটওয়ার্ক ডিস্ক পরিষেবাগুলি প্রায়শই সমস্ত ব্যবহারকারীর ছবি একই বালতিতে মিশ্রিত করে, উপসর্গ দ্বারা ব্যবহারকারীদের মধ্যে পার্থক্য করে, যা কেবল জটিল ব্যবস্থাপনাই নয়, "প্রতিবেশী প্রভাব" সৃষ্টি করাও সহজ। অবজেক্টসেটের উপর ভিত্তি করে, প্রতিটি ব্যবহারকারীর ছবি এবং ভিডিও তাদের নিজ নিজ সেটে পড়ে, অ্যাক্সেসের শিখর একে অপরের সাথে হস্তক্ষেপ করে না এবং ব্যবহারকারী অনুসারে ক্ষমতা সীমা, ব্যাকআপ কৌশল এবং এনক্রিপশন পদ্ধতি সেট করা যেতে পারে, যা সত্যিই "প্রত্যেকের একটি সুরক্ষিত, নিয়ন্ত্রণযোগ্য ক্লাউড ফটো অ্যালবাম" নিশ্চিত করে।
- হাডুপ ডেটা ওয়্যারহাউস: এন্টারপ্রাইজ ডেটা ওয়্যারহাউসে, বিভিন্ন ব্যবসায়িক লাইন এবং বিভিন্ন ডাটাবেস প্রায়শই একই অন্তর্নিহিত স্টোরেজে সংস্থানগুলি ভাগ করে নেয়। প্রতিটি ডাটাবেসকে একটি অবজেক্টসেট হিসাবে ম্যাপ করে, সংস্থাগুলি একটি ইউনিফাইড স্টোরেজের উপরে ডাটাবেস অনুসারে বিচ্ছিন্নতা এবং কোটা নিয়ন্ত্রণ অর্জন করতে পারে। বিশেষত, অবজেক্টসেট টিওএস-এ একটি অতিরিক্ত স্তরের অনুমতি সরবরাহ করে, টিওএস-এ সঞ্চিত ডাটাবেস এবং টেবিলগুলির জন্য বিচ্ছিন্নতা এবং অনুমতি নিয়ন্ত্রণ সরবরাহ করে, টিওএস-এ বিদ্যমান প্রোটন পরিবর্তন না করে। - মডেল হোস্টিং প্ল্যাটফর্ম: বৃহৎ মডেল হোস্টিং পরিস্থিতিতে, প্রতিটি মডেল কেবল বিশাল আকারের নয়, বরং বিভিন্ন সংস্করণ, ওজন এবং অনুমানের কনফিগারেশন থাকতে পারে। প্রতিটি মডেলের জন্য একটি ObjectSet তৈরি করে, মডেলের ওজন, টোকেনাইজার, কনফিগারেশন ফাইল এবং সম্পর্কিত মূল্যায়ন ডেটা একই স্থানে প্যাকেজ করে হোস্ট করা যেতে পারে। অপারেশন ও রক্ষণাবেক্ষণ দল বিভিন্ন মডেলের জন্য ভিন্ন এনক্রিপশন নীতি, ব্যাকআপ নীতি এবং ব্যান্ডউইথ নিয়ন্ত্রণ সেট করতে পারে। একই সাথে, প্রতিটি মডেলের প্রকৃত ব্যবহারের খরচ পরিমাপের মাধ্যমে মডেল-ভিত্তিক বিলিং এবং রিসোর্স শিডিউলিংয়ের ভিত্তি স্থাপন করা যেতে পারে। (অর্থাৎ, প্রতিটি মডেলের জন্য আলাদা আলাদা খরচ এবং রিসোর্স নির্ধারণ করা যায়)।
- ডেটা SaaS পরিষেবা: বিশাল সংখ্যক শেষ ব্যবহারকারীর জন্য ডেটা বিতরণ প্ল্যাটফর্মের ক্ষেত্রে, প্রায়শই অনেক ডেটা প্রদানকারীর সাথে সংযোগ স্থাপন করতে হয়। এক্ষেত্রে ডেটার সীমানা পরিষ্কার রাখা এবং "একটি বড় বালতি সবাইকে টেনে নামানো"-র মতো পারফরম্যান্সের ঝুঁকি এড়ানো জরুরি। Agent Bucket ব্যবহারের মাধ্যমে, প্রতিটি ডেটা প্রদানকারীর নিজস্ব ObjectSet থাকতে পারে, যা তাদের মূল ডেটা এবং প্রক্রিয়াকরণের ফলাফলকে একত্রিতভাবে পরিচালনা করতে দেয়। এছাড়াও, স্বতন্ত্র ডোমেইন এবং ব্যান্ডউইথ, QPS কোটার মাধ্যমে বিভিন্ন প্রদানকারীর জন্য পৃথক পরিষেবা নিশ্চিত করা এবং ট্র্যাফিক সীমিত করা যায়। এর মাধ্যমে "একটি প্ল্যাটফর্ম, একাধিক প্রদানকারী, একে অপরের থেকে বিচ্ছিন্ন কিন্তু নিয়ন্ত্রণযোগ্য সহযোগিতা"-র ডেটা বিতরণ অবকাঠামো তৈরি করা সম্ভব। (অর্থাৎ, একটি প্ল্যাটফর্মে অনেক ডেটা প্রদানকারী থাকলেও, প্রত্যেকের ডেটা আলাদা থাকবে এবং কর্মক্ষমতা বজায় থাকবে)।
Reference:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/Published in Technology
