Agent Bucket: Úložiště pro agenty v řádu bilionů

V dnešní době, kdy se AI agenti objevují jako houby po dešti, vývojáři budují inteligentní aplikace s nebývalou rychlostí a fantazií. Od programovacích asistentů, kteří vám pomohou psát kód, přes nástroje pro tvorbu filmů z jedné věty, až po osobní inteligentní asistenty, kteří jsou neustále k dispozici, agenti přetvářejí způsob, jakým interagujeme s digitálním světem. Za touto vlnou se stále více prosazuje shoda: s pomocí Serverless architektury (jako je Lambda), velkých jazykových modelů (LLM) a cloudového úložiště (jako je S3, TOS) v kombinaci s Vibe Coding, si může kdokoli rychle vytvořit vlastního AI agenta během 30 minut.

Od "použitelného" k "dobře použitelnému", vývojáři agentů stále potřebují překonat obtíže při přechodu od "hračky" k "produkční aplikaci". S tím, jak se podnikání rozšiřuje na masivní uživatelskou základnu, vývojáři čelí extrémně složité výzvě: jak vybudovat kompletní řešení pro ukládání dat pro masivní množství koncových uživatelů v objektovém úložišti? Pro většinu vývojářů to není jen technická bariéra, ale také propast, která brání rozsáhlé distribuci agentů. Agent Bucket si klade za cíl zcela zjednodušit proces budování multi-tenant systémů prostřednictvím nativního návrhu úložiště pro AI a poskytnout přívětivější možnosti pro agenty.

Když se nahrnou miliardy uživatelů, tradiční objektové úložiště "nestačí"

Představte si, že jste vyvinuli populární AIGC aplikaci. Každý uživatel bude generovat a ukládat velké množství obrázků, videí a dočasných souborů. Jako vývojář si přirozeně vyberete zavedené a škálovatelné služby objektového úložiště, jako jsou S3 a TOS. Ale problém je: jak spravovat data pro masivní množství uživatelů?

V blogu S3 z roku 2022 《Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3》 jsou popsány dva způsoby, "použití samostatných S3 bucketů pro každého nájemce" a "sdílený S3 bucket izolovaný pomocí prefixů":

• Vytvoření samostatného "bucketu" pro každého uživatele: To je proveditelné, když je málo uživatelů, ale když se počet uživatelů zvýší na desítky tisíc, miliony, počet bucketů rychle exploduje a náklady na správu a omezení zdrojů jsou nesnesitelné. S3 poskytuje celkem 10 000 bucketů pro celou oblast, ale pro horké AI možnosti to 10 000 zdaleka nestačí.

• Rozlišení uživatelů pomocí "prefixů" ve stejném bucketu: Toto se stalo hlavním řešením. Například soubory uživatele A začínají user-a/ a soubory uživatele B začínají user-b/, stejně jako správa souborů v počítači pomocí složek. Objektové úložiště však neobsahuje nativní složky. Toto řešení rozlišuje více nájemců pomocí "společného prefixu" v úložném systému "K-V".

Toto řešení založené na "bucketech" nebo "prefixech" bylo v posledních deseti letech široce používáno. Má však následující problémy:

• Multi-tenant izolace: Data všech uživatelů jsou smíchána ve stejném bucketu. Abnormálně vysoká frekvence přístupu jednoho uživatele může ovlivnit všechny ostatní uživatele a způsobit "sousedský efekt". O izolaci výkonu a izolaci poruch nemůže být řeč.

• Řízení oprávnění: Složité zásady oprávnění (IAM Policy) se obtížně udržují a snadno se konfigurují chyby, což vede k neúmyslnému přístupu k uživatelským datům, zejména při interakci s jinými cloudovými službami, je riziko větší.

• Jasnost nákladů: Je obtížné přesně zjistit, kolik úložného prostoru každý uživatel spotřeboval a kolik poplatků za přenos dat vygeneroval. Když chcete účtovat platícím uživatelům na základě využití, fakturace a měření se stanou nejasnými.Proč se implementace zdánlivě základních požadavků zdá vývojářům Agentů v objektovém úložišti tak „těžká“? Hlubší zkoumání odhaluje, že v současné cloud-nativní architektuře existuje obrovské vakuum mezi „objektovým úložištěm“ (S3/TOS) a tradičním „systémem souborů“. Podstatou objektového úložiště (S3/TOS) je „zploštění“, jehož původním účelem je jednoduché ukládání obrovského množství dat, jako obrovský sklad. I když je kapacita téměř neomezená, logická struktura je extrémně jednoduchá. Chybí mu nativní pokročilá správa adresářů, jemnozrnné řízení metadat a skutečné vnímání nájemců. Když se vývojáři snaží na „plochém“ S3 simulovat „trojrozměrný“ multi-tenant systém souborů pomocí pevně zakódovaných prefixů, ve skutečnosti používáme „statické KV úložiště“ k podpoře „adresářové sémantiky a silné izolace“ způsobu přístupu k souborům aplikace Agent. To znamená, že Agent potřebuje dodatečně spotřebovávat tokeny ke správě souborů a řízení řešení multi-tenant oprávnění a izolace. Tato dodatečná spotřeba tokenů ukazuje, že jednoduchá úložná služba definovaná S3 není pro Agenta dostatečně jednoduchá.

Blog S3 z roku 2025 《Design patterns for multi-tenant access control on Amazon S3》 dále vysvětluje S3 Access Point. To znamená, že lze vytvořit více virtuálních síťových přístupových bodů a pro každý přístupový bod nakonfigurovat vlastní zásady přístupového bodu, což poskytuje některá řešení pro multi-tenant scénáře na úrovni síťového plánování.

Agent Wonderland

Ideální vývojář Agentů může při vývoji AI Agenta postavit plně serverless Agent na základě „Agent SDK + úložiště + MaaS služeb“:

• Agent může běžet zcela serverless

• Agent lze sestavit kombinací stávajících produktových schopností pomocí Vibe Coding

• Je třeba udržovat pouze python skript „ADK“

• Úložiště používá objektové úložiště

• AI schopnosti používají 豆包 (Doubao - název produktu)

• Teoreticky žádné ECS nebo jiné instance produktů

Úložiště zároveň musí poskytovat následující možnosti:

• Agent může mít úložiště s objektovou sémantikou (ukládání souborů), poskytovat multi-tenant přístup, začínat na milionech a rozšiřovat se na stovky milionů

• Agent může poskytnout každému uživateli nezávislý prostor (mezi více službami se názvy služeb nebo uid mohou duplikovat) // vysvětlení: uid = user ID

• Agent může přímo konfigurovat šířku pásma každého uživatele a konfigurovat horní limit celkové velikosti uživatelského objektu

• Agent může účtovat, monitorovat a pozorovat podle uživatele

• Agent může konfigurovat zásady přístupu k souborům pro každého uživatele

Agent Bucket: Vstřikování „nativních multi-tenant“ genů do AI Agenta

Abychom tento problém zásadně vyřešili, navrhujeme zcela nové paradigma objektového úložiště – Agent Bucket. Jeho hlavní inovací je zavedení nové nativní úrovně zdrojů mezi tradiční „bucket“ a „objekt“: kolekce objektů.

Základní myšlenka tohoto návrhu je extrémně jednoduchá: přiřaďte každému koncovému uživateli exkluzivní ObjectSet. ObjectSet si můžete představit jako „datový trezor“ nebo „cloudový osobní prostor“ vytvořený pro každého uživatele. Logicky patří do vašeho (vývojářského) Bucket, ale fyzicky a administrativně má svou vlastní nezávislou „osobnost“ a „životní cyklus“.Agent Bucket podporuje 100 milionů ObjectSetů na bucket, což znamená, že můžete bez obav poskytovat služby pro stovky milionů koncových uživatelů, jako by každý koncový uživatel "žil" ve svém vlastním nezávislém úložném prostoru, aniž byste se museli trápit se správou multi-tenant úložiště.

Návrh ObjectSet – schopnosti přívětivé pro Agenta

ObjectSet v Agent Bucket není jen přidání další úrovně, ale také transformace nejpalčivějších potřeb v multi-tenant scénářích na nativní schopnosti, které jsou připraveny k okamžitému použití. Jakmile je vlastnictví dat jasně definováno na úrovni ObjectSet, řada schopností, které bylo v minulosti obtížné realizovat, se stává samozřejmostí.

• Nativní izolace: Na úrovni ObjectSet můžete nastavit nezávislé limity QPS, šířky pásma a kapacity pro každého uživatele. Zkušenosti platících uživatelů mohou být zaručeny a abnormální chování bezplatných uživatelů neovlivní ostatní. Toto je skutečná izolace domény selhání, která zabraňuje vzájemnému rušení "sousedů".

• Nativní oprávnění: Každý ObjectSet může mít nezávislou doménu. To znamená, že můžete uživateli A poskytnout exkluzivní přístupovou adresu user-a.yourapp.com, místo aby byla vystavena doména celého úložného bucketu. Ještě chytřejší je návrh "dvou zámků": První zámek je dočasný přístupový token (STS) vydaný poskytovatelem cloudových služeb, který řídí přístupová oprávnění na úrovni aplikace; druhý zámek je nezávislá doména ObjectSet, která zamyká přístupové požadavky do datového prostoru uživatele již na síťové úrovni. To výrazně zvyšuje bezpečnost dat.

• Nativní monitorování: Na monitorovacím panelu již nevidíte pouze souhrnná data celého bucketu. Můžete rozložit monitorovací grafy podle ObjectSet a jasně sledovat, který koncový uživatel provádí velké množství přístupů, a učinit tak přesná provozní a optimalizační rozhodnutí.

• Nativní sestup schopností: Zásady, které bylo v minulosti možné nastavit pouze na úrovni bucketu, lze nyní přesunout dolů ke každému uživateli. Můžete nastavit různé životní cykly dat pro různé úrovně uživatelů nebo použít různé šifrovací klíče pro každý ObjectSet, abyste dosáhli jemnější a bezpečnější správy dat.

• Nativní měření: Chcete vědět, kolik úložného prostoru každý uživatel zabírá? Chcete přesně rozdělit náklady na úložiště mezi jednotlivé uživatele? Nyní je to snadné. Agent Bucket automaticky statisticky vyhodnocuje kapacitu a využití každého ObjectSet, takže vaše fakturace a rozdělení nákladů jsou jasné a srozumitelné.

• Nativní fakturace: Vývojáři mohou snadno realizovat rozdělení nákladů a přesně promítnout náklady vzniklé úložištěm zpět na každého koncového uživatele. Například, účtujte rozdílné poplatky podle poměru skutečných nákladů generovaných různými uživateli A, B a C, a poskytněte tak datovou podporu pro komercializaci Agenta.

• Nativní limit kapacity: Chcete-li kontrolovat provozní náklady Agenta, můžete nastavit Quotu (limit kapacity) pro každý ObjectSet. Jakmile je dosaženo přednastavené hodnoty, systém omezí uživatele v generování nových souborů, čímž se od kořene zabrání zneužívání zdrojů v multi-tenant scénářích.

• Nativní inteligence: Agent Bucket umožňuje Agentovi vymanit se z omezení tradičního jednoduchého "ukládání a načítání" souborů, dává Objectu nativní inteligenci a efektivněji podporuje komplexní vývoj Agenta. ObjectSet může jedním kliknutím aktivovat inteligentní indexování, poskytnout Agentovi nativně přívětivé možnosti multimodálního dotazování a odpovědí, nahradit mechanické operace tradičního Object CRUD; dokonce podporuje aktivaci režimu Agentself jedním kliknutím, propojení vektorů, znalostí, modelů a promptů, a přímo odhalit scénářové funkce dílčího Agenta, což umožňuje vývojářům Agentů vyšší úrovně soustředit se na vytváření hlavních obchodních pracovních postupů a plně uvolnit efektivitu inteligentní monetizace.

Technické výzvy způsobené prudkým nárůstem rozsahu aplikace

Agent Bucket zavedením nativního konceptu ObjectSet poskytuje vývojářům aplikací elegantní a efektivní způsob správy dat stovek milionů koncových uživatelů. Digitální aktiva každého uživatele jsou bezpečně uložena v jeho exkluzivním ObjectSet, což přirozeně realizuje izolaci, fakturaci a správu kvót.

S rychlou expanzí rozsahu aplikace se současně objevuje složitost správy obrovského množství Setů, obtížnost izolace a fyzická omezení:

• Problém hierarchické správy obrovského množství uživatelů: Při diferenciální správě zdrojů a funkcí velkého množství uživatelů různých úrovní musí aplikace sama navrhnout a implementovat hierarchická metadata uživatelů a propojit přepínače funkcí objektového úložiště. Pomoc vývojářům elegantně spravovat hierarchii uživatelů na základě nativního konceptu Set je důležité pro urychlení implementace aplikace.- Omezení kapacity jednoho clusteru: Ačkoli je Agent Bucket logicky nekonečně rozšiřitelný, jeho metadata jsou ve výchozím nastavení uložena v jednom fyzickém clusteru. Když celkový počet objektů v bucketu dosáhne stovek miliard nebo dokonce bilionů, fyzická kapacita jednoho clusteru se stane nepřekonatelnou hranicí.

• Problémy se sdílením přístupových bodů: Rozmanitost služeb agenta a obrovské množství uživatelů přinášejí větší bezpečnostní rizika a potenciální dopady na samotné přístupové body. Jak provádět dynamické plánování na základě rozdílů mezi velkým množstvím různých služeb a uživatelů, aby se dosáhlo diferencované bezpečnosti, izolace a akcelerace, se stává obtížným.

Set Tagging: Tagování pro správu a kategorizaci uživatelů

ObjectSet poskytuje nativní způsob správy pomocí tagů, který vývojářům agentů umožňuje jednoduše používat funkci set tagging k dokončení správy a kategorizace uživatelů. Vývojáři mohou definovat úroveň uživatele jako tag a pro každý tag povolit různé kvóty a funkce. Všechny ObjectSety označené tímto tagem budou používat odpovídající kvóty a funkce. Následuje příklad s třemi úrovněmi: V1, V2 a V3:

• V1: Výchozí úroveň, bezplatní uživatelé, výchozí tag pro všechny ObjectSety, lze nakonfigurovat pro uložení maximálně 1 GiB dat, veřejná distribuce nesmí překročit šířku pásma 100 mbps, rychlost stahování jednoho streamu je omezena na 1 mbps;

• V2: Placené členství základní úrovně, nakonfigurováno pro uložení maximálně 10 GiB dat, veřejná distribuce nesmí překročit šířku pásma 10 gbps, rychlost stahování jednoho streamu je omezena na 10 mbps;

• V3: Placené členství vyšší úrovně, kromě poskytování většího úložného prostoru a kvót pro veřejnou distribuci podporuje také konfiguraci pro povolení dalších funkcí akcelerace veřejné sítě s horší konektivitou a akcelerace s vysoce výkonnými médii;

Vývojáři agentů mohou flexibilně používat tagování V1/V2/V3 ke správě zdrojů a doplňkových funkcí, které mohou tito uživatelé používat, s ohledem na různá vývojová období různých uživatelů.

Set Slice: Nativní izolace dat pro masivní uživatele

Když počet Setů v Agent Bucket dosáhne stovek milionů a počet objektů dosáhne stovek miliard nebo bilionů, samotný fakt, že "všechna metadata jednoho Bucketu jsou soustředěna v jednom KV clusteru", přináší dvojí riziko kapacity a výkonu.

Set Slice poskytuje myšlenku "logicky nerozdělené, fyzicky rozdělené":

• Z logického hlediska stále spravujete pouze jeden Agent Bucket.

• Fyzicky jsou metadata rozdělena do několika Slice (řezů) podle rozsahu Setu a názvů objektů v Setu. Každý Slice může být uložen v různých clusterech, více Setů je přirozeně izolováno a jeden Set se horizontálně rozšiřuje.

Set Slice je dalším rozšířením a zárukou schopností ObjectSet. V zásadě řeší problém nekonečného rozšiřování fyzické kapacity a zároveň zajišťuje stabilitu a konzistenci modelu správy ObjectSet na vyšší úrovni.

• Stabilní hranice správy: I když data jednoho Agent Bucketu pokrývají více fyzických clusterů, ObjectSet je stále jedinou základní jednotkou pro oprávnění, kvóty, fakturaci a monitorování. Zásady nakonfigurované vývojáři pro ObjectSet (jako je řízení přístupu, limity kapacity) se automaticky projeví na všech souvisejících Slice, aniž by se museli starat o distribuci dat v základní vrstvě.

• Jeden Set lze lineárně rozšiřovat: Když objem dat určitého ObjectSetu rychle roste, jeho data se přirozeně distribuují do více Slice. S rozšířením celkového clusteru se kapacita tohoto ObjectSetu plynule a lineárně zvyšuje. Vývojáři nemusí provádět žádné destruktivní operace, jako je rozdělení nebo migrace samotného ObjectSetu.

• Izolace zdrojů mezi Sety: Rozdělením objektů různých rozsahů do různých fyzických clusterů dosahuje SetSlice vyšší dimenze izolace zdrojů. V kombinaci se správou kvót ObjectSet lze účinně zabránit tomu, aby růst dat určitého ObjectSetu "super velkého uživatele" vytlačil všechny zdroje jednoho clusteru, čímž by ovlivnil stabilitu ostatních ObjectSetů a učinil celkové riziko kapacity kontrolovatelným.- Logická jednotnost a kompatibilita: Pro podniky a vývojáře, bez ohledu na to, kolik Slice je vespod, čelí vždy logicky jednotnému Agent Bucket. Všechny operace s bucketem, ObjectSetem a objekty zůstávají nezměněny, čímž je dosaženo úplné transparentnosti fyzického rozšíření pro aplikace vyšší vrstvy.

Set AccessPoint: Izolace vstupního bodu pro každého uživatele

Agent Bucket podporuje povolení nezávislých přístupových bodů (nezávislých domén) pro každý ObjectSet a rozšiřuje diferencované možnosti zabezpečení, izolace a akcelerace na přístupovém bodě. Systém proto musí podporovat plánování nezávislých přístupových bodů v řádu stovek milionů a možnosti diferencované konfigurace.

Nezávislá přístupová doména {$apid}.tos-objectset-ap.volces.com: Dvouúrovňová bezpečnostní ochrana

• První úroveň Obscurity (skrytost): Nezávislá subdoména By User/ObjectSet, vysoká entropie hash apid, extrémně nízká pravděpodobnost kolize, z pohledu přístupové domény nelze odhadnout a vyčerpat specifický uživatelský vstup;

• Druhá úroveň Containment (omezení): Vývojáři agentů používají sts k distribuci přístupových práv na úrovni ObjectSet, i když sts unikne, může kontrolovat rozsah přístupu omezený na omezenou dobu platnosti určitého ObjectSet;

Heuristický plánovací systém: Výpočet strategie plánování pro stovky milionů domén

• Diferencovaná přístupová strategie By user/ObjectSet:tag

• Automatické rozptýlení více uživatelů/ObjectSetů na různé veřejné vstupní body, počet uživatelů ovlivněných selháním jednoho vstupu je řízen

• Elastické plánování v celé oblasti, automatické dokončení přesunu toku v případě selhání/přetížení libovolného jednoho vstupu

• Uživatelé distribuce veřejné akcelerace, označení tagem veřejné akcelerace přenosu, automatické plánování akceleračního vstupu

• Uživatelé veřejného rizika, označení tagem rizika, automatické plánování vstupu veřejné izolace a snížení kvóty veřejné šířky pásma

• Uživatelé interní sítě pro mezidoménové přenosy, označení tagem mezidoménového přenosu, automatické plánování akcelerační cesty interní vyhrazené linky

• Uživatelé lokálního akcelerátoru, označení tagem akcelerátoru, automatické připojení lokálního akcelerátoru

Od programovacího asistenta po AI cloudový disk, nekonečné možnosti Agent Bucket

Agent Bucket poskytuje kompletní řešení pro Agenta a aplikační scénáře designu ObjectSet jsou mnohem víc než jen to. Lze jej snadno rozšířit na všechny aplikace, které potřebují poskytovat služby obrovskému počtu koncových uživatelů:

• Úložiště kódu: V minulosti, když podniky nebo jednotlivci hostovali kód v cloudu, museli často postavit "systém nájemníků" nad úložištěm objektů, aby dosáhli izolace účtů a řízení oprávnění. Nyní lze každému vývojáři přidělit exkluzivní ObjectSet, který sjednotí úložiště kódu, artefakty sestavení a závislosti. Agent Skills se také přirozeně přizpůsobují ObjectSet. Nahrávání a stahování a distribuce Skills poskytuje silnou izolaci prostřednictvím ObjectSet, aby se zabránilo rušení sousedů za běhu Agenta.

• Firemní fotoalbum/cloudový disk: Tradiční služby fotoalb nebo cloudových disků často míchají fotografie všech uživatelů do stejného bucketu a rozlišují uživatele pomocí předpon, což je nejen složité na správu, ale také náchylné k "sousedskému efektu". Na základě ObjectSet jsou fotografie a videa každého uživatele umístěny v jejich vlastních Setech, špičky přístupu se navzájem neruší a lze nastavit horní limity kapacity, strategie zálohování a metody šifrování pro každého uživatele, čímž se skutečně dosáhne "každý má bezpečné a kontrolovatelné cloudové fotoalbum".

• Datový sklad Hadoop: V podnikovém datovém skladu různé obchodní linie a různé databáze často sdílejí zdroje na stejném základním úložišti. Mapováním každé databáze na ObjectSet mohou podniky implementovat izolaci a řízení kvót na základě databáze nad jednotným úložištěm. Zejména ObjectSet poskytuje další vrstvu oprávnění na TOS, aniž by se změnilo stávající Proton on TOS, poskytuje izolaci a řízení oprávnění pro databáze a tabulky uložené na TOS.- Platforma pro hostování modelů: V scénářích hostování velkých jazykových modelů (LLM) není každý model jen objemný, ale může mít také různé verze, váhy a konfigurace pro inference. Vytvoření ObjectSetu pro každý model umožňuje zabalit a hostovat váhy modelu, Tokenizer, konfigurační soubory a související data pro hodnocení ve stejném prostoru. Provozní tým může nastavit diferencované šifrovací politiky, strategie zálohování a řízení šířky pásma pro různé modely. Současně, prostřednictvím nativních možností měření, lze statisticky sledovat skutečné náklady na používání každého modelu, což poskytuje základ pro fakturaci a plánování zdrojů na úrovni modelu.

• Datové SaaS služby: Platformy pro distribuci dat, které cílí na obrovské množství koncových uživatelů, často potřebují současně propojit mnoho poskytovatelů dat. Je nutné zajistit jasné hranice dat pro každou stranu a zároveň se vyhnout výkonnostnímu riziku, kdy "jeden velký sud táhne všechny dolů". S pomocí Agent Bucket může mít každý poskytovatel dat svůj vlastní ObjectSet, který jednotně spravuje původní data a výsledky zpracování. Prostřednictvím nezávislé domény a šířky pásma, kvóty QPS, lze zajistit diferencované služby a omezování provozu pro různé poskytovatele, čímž se dosáhne datové distribuční infrastruktury, která je "jedna platforma, více poskytovatelů, vzájemně izolovaní a kontrolovaně spolupracující".

Reference:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/