Agent Bucket: Agent izvorni spremnik na razini trilijuna

U današnje vrijeme, kada se AI agenti pojavljuju kao gljive poslije kiše, programeri grade maštovite inteligentne aplikacije brzinom bez presedana. Od programskih pomoćnika koji vam mogu pomoći u pisanju koda, preko alata za kreiranje koji generiraju film iz jedne rečenice, do osobnih inteligentnih asistenata koji su uvijek na raspolaganju, agenti preoblikuju način na koji komuniciramo s digitalnim svijetom. Iza ovog vala, konsenzus postaje sve jasniji: uz pomoć Serverless arhitekture (kao što je Lambda), velikih jezičnih modela (LLM) i pohrane u oblaku (kao što su S3, TOS), u kombinaciji s Vibe Codingom, svatko može brzo izgraditi vlastitog AI agenta u roku od 30 minuta.

Od "upotrebljivog" do "dobro upotrebljivog", programeri agenata još uvijek moraju prevladati poteškoće prelaska s "igračke" na "aplikaciju razine proizvodnje". Kako se poslovanje kreće prema masovnim korisnicima, programeri se moraju suočiti s iznimno složenim izazovom: kako izgraditi cjelovito rješenje za pohranu za masovne krajnje korisnike na objektnoj pohrani? Za većinu programera, ovo nije samo tehnička prepreka, već i jaz koji sprječava distribuciju agenata u velikim razmjerima. Agent Bucket ima za cilj potpuno pojednostaviti proces izgradnje sustava s više korisnika putem AI izvornog dizajna pohrane, pružajući prijateljskije mogućnosti agenta.

Kada milijarde korisnika nagrnu, tradicionalna objektna pohrana "nije dovoljna"

Zamislite da ste razvili popularnu AIGC aplikaciju. Svaki korisnik će generirati i pohraniti veliki broj slika, videozapisa i privremenih datoteka. Kao programer, prirodno ćete odabrati zrele i proširive usluge objektne pohrane kao što su S3 i TOS. Ali evo problema: kako upravljati podacima za masovne korisnike?

Blog S3 iz 2022. 《Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3》 objašnjava dva načina, "svaki korisnik koristi neovisni S3 spremnik" i "dijeljeni S3 spremnik izoliran na temelju prefiksa":

• Stvorite neovisni "spremnik" (Bucket) za svakog korisnika: ovo je izvedivo kada je broj korisnika mali, ali kada broj korisnika naraste na desetke tisuća, milijune, broj spremnika će brzo eksplodirati, a troškovi upravljanja i ograničenja resursa postat će nepodnošljivi. S3 nudi ukupnu kvotu od 10.000 spremnika po regiji, ali za vruće AI mogućnosti, 10.000 je daleko od dovoljnog.

• Koristite "prefiks" za razlikovanje korisnika u istom spremniku: ovo je postalo glavno rješenje. Na primjer, datoteke korisnika A počinju s user-a/, a datoteke korisnika B počinju s user-b/, baš kao i upravljanje datotekama s mapama na računalu. Međutim, objektna pohrana nema izvorne mape, ovo rješenje razlikuje više korisnika putem "zajedničkog prefiksa" (Prefix) u sustavu pohrane "K-V".

Ovo rješenje temeljeno na "spremniku" ili "prefiksu" naširoko se koristi u proteklih deset godina. Ali postoje sljedeći problemi:

• Izolacija više korisnika: podaci svih korisnika pomiješani su u istom spremniku, a abnormalno visokofrekventni pristup jednog korisnika može utjecati na sve ostale korisnike, stvarajući "efekt susjeda". Izolacija performansi i izolacija grešaka su nemoguće.

• Kontrola dopuštenja: složene politike dopuštenja (IAM Policy) je teško održavati, lako je napraviti pogreške u konfiguraciji, što dovodi do nenamjernog pristupa podacima korisnika, posebno kada je potrebna interakcija s drugim uslugama u oblaku, rizik je veći.

• Jasnoća troškova: teško je točno znati koliko je prostora za pohranu potrošio svaki korisnik i koliko je troškova prometa nastalo. Kada želite naplatiti korisnicima koji plaćaju na temelju upotrebe, naplata i mjerenje postaju nejasna stvar.Zašto se čini da implementacija ovih naizgled osnovnih zahtjeva od strane programera agenata na objektnoj pohrani je pomalo "teška"? Dublje istraživanje razloga je zato što u trenutnoj arhitekturi izvornoj oblaku postoji ogroman vakuum između "objektne pohrane" kao što je S3 i tradicionalnog "datotečnog sustava". Objektna pohrana (S3/TOS) je u suštini "spljoštena", a prvobitna svrha joj je jednostavno pohranjivanje ogromnih količina podataka, poput ogromnog skladišta. Iako je kapacitet gotovo neograničen, logička struktura je izuzetno jednostavna. Nedostaje joj izvorno napredno upravljanje direktorijima, fina kontrola metapodataka i istinska svijest o zakupcima. Kada programeri pokušavaju simulirati "trodimenzionalni" datotečni sustav s više zakupaca na "spljoštenom" S3, putem hard-kodiranih prefiksa, mi zapravo koristimo "statičku KV pohranu" za nošenje načina pristupa datotekama aplikacije agenta koji ima "semantiku direktorija i jaku izolaciju". To jest, agent treba dodatno potrošiti tokene za upravljanje datotekama i kontrolu rješavanja dozvola i izolacije više zakupaca. Svi ovi dodatni tokeni ukazuju na to da jednostavna usluga pohrane koju definira S3 nije dovoljno jednostavna za agenta.

Blog S3 iz 2025. godine, pod nazivom "Design patterns for multi-tenant access control on Amazon S3", dodatno objašnjava S3 Access Point. To znači da se mogu kreirati višestruke virtualne mrežne pristupne točke, te da se za svaku pristupnu točku može konfigurirati prilagođena politika pristupne točke, što nudi neka rješenja za scenarije s više zakupaca na razini mrežnog raspoređivanja.

Agent Wonderland

Idealan programer agenata, prilikom razvoja AI agenta, može izgraditi potpuno serverless agenta na temelju "Agent SDK + pohrana + MaaS usluge":

• Agent može raditi potpuno serverless

• Moguće je izgraditi agenta kombiniranjem postojećih mogućnosti proizvoda putem Vibe Codinga

• Potrebno je samo održavati python skriptu "ADK"

• Pohrana koristi objektno pohranjivanje

• AI mogućnosti koriste Doubao

• Teoretski, nema ECS-a ili drugih instanciranih proizvoda

Istovremeno, pohrana treba pružiti sljedeće mogućnosti:

• Agent može imati pohranu sa semantikom objekta (spremanje datoteka), pružajući mogućnost pristupa više zakupaca, počevši od milijuna, proširivo do milijardi

• Agent može pružiti neovisan prostor za svakog korisnika (između više usluga, usluge ili uid mogu imati isto ime)

• Agent može izravno konfigurirati propusnost svakog korisnika, konfigurirati gornju granicu ukupne veličine objekta korisnika

• Agent može naplaćivati, nadzirati i promatrati na temelju korisnika

• Agent može konfigurirati politike pristupa za datoteke svakog korisnika

Agent Bucket: Ulijevanje "izvornih više zakupaca" gena u AI agenta

Kako bismo temeljito riješili ovaj problem, predlažemo potpuno novu paradigmu objektne pohrane - Agent Bucket. Njegova temeljna inovacija je uvođenje nove izvorne razine resursa između tradicionalnih "bucketa" i "objekata": skup objekata.

Temeljna ideja ovog dizajna je izuzetno jednostavna: uskladite svaki krajnji korisnik s ekskluzivnim ObjectSetom. ObjectSet možete zamisliti kao "sefu za podatke" ili "osobni prostor u oblaku" stvoren isključivo za svakog korisnika. Logički pripada vašem (programerovom) Bucketu, ali fizički i upravljački, ima svoju neovisnu "osobnost" i "životni ciklus".Agent Bucket podržava 100 miliona ObjectSet-ova po bucketu, što znači da možete bezbrižno pružati usluge stotinama miliona krajnjih korisnika, kao da svaki krajnji korisnik "živi" u svom vlastitom, nezavisnom prostoru za pohranu, bez potrebe da se više mučite s upravljanjem pohranom za više korisnika.

Dizajn ObjectSet-a – mogućnosti prilagođene Agentima

U Agent Bucket-u, ObjectSet nije samo dodavanje još jednog nivoa, već pretvara najzahtjevnije potrebe u scenarijima s više korisnika u izvorne mogućnosti spremne za korištenje. Kada se vlasništvo nad podacima jasno definira na nivou ObjectSet-a, niz mogućnosti koje su u prošlosti bile teško ostvarive postaju prirodne.

• Izvorna izolacija: Na nivou ObjectSet-a, možete postaviti nezavisne QPS, ograničenja propusnosti i kvote kapaciteta za svakog korisnika. Iskustvo korisnika koji plaćaju može biti zajamčeno, a abnormalno ponašanje besplatnih korisnika neće utjecati na druge. Ovo je prava izolacija domene greške, koja sprječava da se "susjedi" međusobno ometaju.

• Izvorna prava pristupa: Svaki ObjectSet može imati nezavisnu domenu. To znači da možete korisniku A dati ekskluzivnu adresu za pristup user-a.yourapp.com, umjesto da izlažete domenu cijelog bucket-a. Još je pametniji dizajn "dvije brave": prva brava je privremena vjerodajnica za pristup koju izdaje pružatelj usluga u oblaku (STS), koja kontrolira prava pristupa na nivou aplikacije; druga brava je nezavisna domena ObjectSet-a, koja zaključava zahtjeve za pristup u vlastitom prostoru podataka korisnika s mrežnog nivoa. To uvelike poboljšava sigurnost podataka.

• Izvorno praćenje: Na nadzornoj ploči više ne možete vidjeti samo pregled podataka cijelog bucket-a. Možete razložiti grafikone praćenja po ObjectSet-u, jasno uvidjeti koji krajnji korisnik obavlja veliki broj pristupa i donijeti precizne odluke o radu i optimizaciji.

• Izvorno spuštanje mogućnosti: Politike koje su se u prošlosti mogle postavljati samo na nivou bucket-a sada se mogu spustiti na svakog korisnika. Možete postaviti različite životne cikluse podataka za korisnike različitih razina ili koristiti različite ključeve za šifriranje za svaki ObjectSet, postižući finije i sigurnije upravljanje podacima.

• Izvorno mjerenje: Želite znati koliko prostora za pohranu zauzima svaki korisnik? Želite precizno rasporediti troškove pohrane na svakog korisnika? Sada je to lako. Agent Bucket će automatski statistički izračunati kapacitet i upotrebu svakog ObjectSet-a, čineći vaše fakturiranje i raspodjelu jasnim.

• Izvorno fakturiranje: Programeri mogu lako implementirati raspodjelu troškova i precizno vratiti troškove pohrane svakom krajnjem korisniku. Na primjer, naplaćujte različite cijene na temelju stvarnih omjera troškova koje su generirali različiti korisnici A, B i C, pružajući podatkovnu podršku za komercijalizaciju Agenta.

• Izvorno ograničenje kapaciteta: Kako biste kontrolirali operativne troškove Agenta, možete postaviti Quota (ograničenje kapaciteta) za svaki ObjectSet. Nakon što se dosegne unaprijed postavljena vrijednost, sustav će ograničiti korisnika da nastavi generirati nove datoteke, izbjegavajući zlouporabu resursa u scenarijima s više korisnika iz korijena.

• Izvorna inteligencija: Agent Bucket omogućuje Agentu da izađe iz ograničenja tradicionalnog jednostavnog "pohranjivanja i preuzimanja" datoteka, dajući Object-u izvornu inteligenciju i učinkovitije podržavajući razvoj Agenta na jednom mjestu. ObjectSet može jednim klikom omogućiti inteligentno indeksiranje, pružajući Agentu izvorne i prijateljske mogućnosti pitanja i odgovora s više modaliteta, zamjenjujući mehaničke operacije tradicionalnog Object CRUD-a; čak podržava i omogućavanje Agentself načina rada jednim klikom, povezujući vektore, znanje, modele i prompt, izravno otkrivajući funkcionalnosti pod-Agenta specifične za scenarij, omogućujući programerima Agenta na višoj razini da se usredotoče na stvaranje glavnog poslovnog tijeka rada, u potpunosti oslobađajući učinkovitost unovčavanja inteligencije.

Tehnički izazovi koje donosi eksplozivan rast aplikacija

Agent Bucket, uvođenjem izvornog koncepta ObjectSet-a, pruža programerima aplikacija elegantan i učinkovit način upravljanja podacima stotina miliona krajnjih korisnika. Digitalna imovina svakog korisnika sigurno je pohranjena u njegovom ekskluzivnom ObjectSet-u, prirodno implementirajući izolaciju, fakturiranje i upravljanje kvotama.

S brzim širenjem opsega aplikacija, složenost upravljanja, poteškoće izolacije i fizička uska grla ogromnog broja Set-ova postaju očiti:

• Problem hijerarhijskog upravljanja velikim brojem korisnika: Kada aplikacija diferencirano upravlja resursima i značajkama velikog broja korisnika različitih razina, mora sama dizajnirati i implementirati hijerarhijske metapodatke korisnika i povezati prekidače značajki pohrane objekata. Pomoć programerima da elegantno upravljaju hijerarhijom korisnika na izvornom konceptu Set-a važna je za ubrzavanje implementacije aplikacija.

• Ograničenje kapaciteta jednog klastera: Iako se Agent Bucket logički može neograničeno proširivati, njegovi se metapodaci prema zadanim postavkama pohranjuju u jednom fizičkom klasteru. Kada ukupan broj objekata u bucketu dosegne stotine milijardi ili čak bilijune, fizički kapacitet jednog klastera postaje nepremostiva granica.

• Problem dijeljenja pristupne točke: Raznolikost poslovanja Agenta i ogroman broj korisnika donose veće sigurnosne rizike i radijus eksplozije samoj pristupnoj točki. Kako dinamički rasporediti resurse na temelju razlika između velikog broja različitih poslova i korisnika, te ostvariti diferencirane sigurnosne, izolacijske i ubrzavajuće mogućnosti, postaje izazov.

Set Tagging: Hijerarhijsko upravljanje korisnicima putem označavanja

ObjectSet pruža nativni način upravljanja putem označavanja, omogućujući programerima Agenta da jednostavno koriste mogućnost set tagginga za dovršetak hijerarhijskog upravljanja korisnicima. Programeri mogu definirati razinu korisnika kao oznaku (tag) i omogućiti različite kvote i značajke za svaku oznaku. Svi ObjectSetovi označeni tom oznakom primijenit će odgovarajuće kvote i značajke. Uzmimo za primjer tri razine, V1, V2 i V3:

• V1: Zadana razina, besplatni korisnici, zadana oznaka za sve ObjectSetove, može se konfigurirati za pohranu do 1GiB podataka, javna distribucija ne smije prelaziti 100mbps propusnosti, a brzina preuzimanja jednog toka kontrolira se na 1mbps;

• V2: Početna razina plaćenih članova, konfigurirana za pohranu do 10GiB podataka, javna distribucija ne smije prelaziti 10gbps propusnosti, a brzina preuzimanja jednog toka kontrolira se na 10mbps;

• V3: Napredni plaćeni članovi, osim što pružaju veće kvote za pohranu i javnu distribuciju, također podržavaju konfiguraciju dodatnog ubrzanja javne mreže u lošim uvjetima i ubrzanja medija visokih performansi;

Programeri Agenta mogu fleksibilno koristiti V1/V2/V3 tagging za upravljanje resursima i značajkama s dodanom vrijednošću koje ti korisnici mogu koristiti, ovisno o različitim fazama razvoja različitih korisnika.

Set Slice: Nativna izolacija podataka za veliki broj korisnika

Kada broj Setova unutar Agent Bucketa dosegne stotine milijuna, a broj objekata dosegne stotine milijardi ili bilijune, sama činjenica da su "svi metapodaci jednog Bucketa koncentrirani u jednom KV klasteru" donosi dvostruki rizik kapaciteta i performansi.

Set Slice pruža ideju "logički ne razdvajati, fizički razdvajati":

• Logički gledano, i dalje upravljate samo jednim Agent Bucketom.

• Fizički, metapodaci se dijele na više Sliceova (odsječaka) na temelju raspona Setova i naziva objekata unutar Setova. Svaki Slice može se pohraniti na različitim klasterima, s prirodnom izolacijom više Setova i horizontalnim proširenjem jednog Seta.

Set Slice je daljnje proširenje i jamstvo mogućnosti ObjectSeta. U pozadini rješava problem neograničenog proširenja fizičkog kapaciteta, istovremeno osiguravajući stabilnost i dosljednost modela upravljanja ObjectSetom na višoj razini.

• Stabilna granica upravljanja: Čak i ako podaci Agent Bucketa obuhvaćaju više fizičkih klastera, ObjectSet je i dalje jedina osnovna jedinica za dopuštenja, kvote, naplatu i nadzor. Strategije koje su programeri konfigurirali za ObjectSet (kao što su kontrola pristupa, gornja granica kapaciteta) automatski će stupiti na snagu na svim povezanim Sliceovima, bez brige o distribuciji temeljnih podataka.

• Jedan Set se može linearno proširivati: Kada količina podataka određenog ObjectSeta brzo raste, njegovi će se podaci prirodno distribuirati na više Sliceova. S proširenjem cjelokupnog klastera, kapacitet tog ObjectSeta također se neprimjetno i linearno povećava. Programeri ne moraju izvoditi nikakve destruktivne operacije kao što su razdvajanje ili migracija samog ObjectSeta.

• Izolacija resursa između Setova: Distribucijom objekata različitih raspona na različite fizičke klastere, SetSlice postiže izolaciju resursa više razine. U kombinaciji s upravljanjem kvotama ObjectSeta, može se učinkovito spriječiti da rast podataka određenog ObjectSeta "super velikog korisnika" zauzme sve resurse jednog klastera, čime se utječe na stabilnost drugih ObjectSetova i čini ukupni rizik kapaciteta kontroliranim. - Logička unifikacija i kompatibilnost: Za poslovanje i programere, bez obzira koliko Slice-ova postoji u pozadini, oni se uvijek suočavaju s logički unificiranim Agent Bucket-om. Sve operacije na bucket-ima, ObjectSet-ovima i objektima ostaju nepromijenjene, postižući potpunu transparentnost fizičkog proširenja za aplikacije na višem nivou.

Set AccessPoint: Izolacija ulazne tačke svakog korisnika

Agent Bucket podržava otvaranje nezavisnih pristupnih tačaka (nezavisnih domena) za svaki ObjectSet, i proširuje diferencirane sigurnosne, izolacijske i ubrzavajuće mogućnosti na pristupnim tačkama. Sistem za to treba podržati raspoređivanje milijardi nezavisnih pristupnih tačaka i diferencirane konfiguracijske mogućnosti.

Nezavisna pristupna domena {$apid}.tos-objectset-ap.volces.com: Dvostepena sigurnosna zaštita

• Prvi nivo Obscurity (skrivenost): Nezavisni subdomeni po korisniku/ObjectSet-u, apid visoke entropije raspršivanja, izuzetno niska vjerovatnoća kolizije, nemoguće je pogoditi i iscrpiti specifičan korisnički ulaz iz ugla pristupne domene;

• Drugi nivo Containment (ograničenje): Agent programeri koriste sts za distribuciju dozvola za pristup na nivou ObjectSet-a, čak i ako sts procuri, može se kontrolisati opseg pristupa unutar ograničenog perioda važenja određenog ObjectSet-a;

Heuristički sistem raspoređivanja: Izračun strategije raspoređivanja za milijarde domena

• Diferencirana strategija pristupa po korisniku/ObjectSet:tag

• Automatsko raspršivanje više korisnika/ObjectSet-ova na različite javne ulazne tačke, broj korisnika pogođenih kvarom jedne ulazne tačke je kontrolisan

• Elastično raspoređivanje u svim regijama, automatsko dovršavanje pakovanja i premeštanja prometa u slučaju kvara/preopterećenja bilo koje jedne ulazne tačke

• Korisnici za distribuciju i ubrzanje javnog interneta, označeni tagom za ubrzanje prijenosa preko javnog interneta, automatsko raspoređivanje ulazne tačke za ubrzanje

• Korisnici rizični za javni internet, označeni rizičnim tagom, automatsko raspoređivanje izolovane ulazne tačke za javni internet i smanjenje kvote propusnosti javnog interneta

• Korisnici za internu mrežu i prekogranične domene, označeni prekograničnim tagom, automatsko raspoređivanje ubrzane putanje interne mreže

• Korisnici lokalnog akceleratora, označeni akceleratorskim tagom, automatsko montiranje lokalnog akceleratora

Od pomoćnika za programiranje do AI Cloud diska, beskrajne mogućnosti Agent Bucket-a

Agent Bucket pruža kompletno rješenje za Agente, a scenariji primjene dizajna ObjectSet-a su daleko više od toga, može se lako proširiti na sve aplikacije koje trebaju pružati usluge velikom broju krajnjih korisnika:

• Repozitorij koda: U prošlosti, kada su preduzeća ili pojedinci hostovali kod u oblaku, često su morali izgraditi "sistem zakupaca" iznad objektne pohrane kako bi postigli izolaciju računa i kontrolu dozvola. Sada, svakom programeru se može dodijeliti ekskluzivni ObjectSet, koji objedinjuje repozitorij koda, artefakte izgradnje i zavisnosti. Agent Skills su također prirodno prilagođeni ObjectSet-u, prijenos i preuzimanje i distribucija Skills-a pružaju jaku izolaciju putem ObjectSet-a, izbjegavajući ometanje susjeda tokom rada Agenta.

• Mrežni disk za korporativne albume: Tradicionalne usluge albuma ili mrežnih diskova često miješaju fotografije svih korisnika u istom bucket-u, razlikujući korisnike po prefiksu, što nije samo složeno za upravljanje, već je i sklono "efektu susjeda". Na osnovu ObjectSet-a, fotografije i videozapisi svakog korisnika padaju u vlastiti Set, vrhovi pristupa ne ometaju jedni druge, a mogu se postaviti i gornje granice kapaciteta, strategije sigurnosne kopije i metode šifriranja po korisniku, kako bi se zaista postiglo "svako ima siguran i kontrolisan oblak album".

• Hadoop Data Warehouse: U korporativnom data warehouse-u, različite poslovne linije i različite baze podataka često dijele resurse na istoj osnovnoj pohrani. Mapiranjem svake baze podataka u ObjectSet, preduzeća mogu postići izolaciju i kontrolu kvota po bazi podataka na jedinstvenoj pohrani. Posebno, ObjectSet pruža dodatni sloj dozvola na TOS-u, pružajući izolaciju i kontrolu dozvola za baze podataka i tabele pohranjene na TOS-u bez promjene postojećeg Proton on TOS. - Platforma za hostovanje modela: U scenarijima hostovanja velikih modela, svaki model nije samo obiman, već može odgovarati i različitim verzijama, težinama i konfiguracijama zaključivanja. Kreiranje ObjectSet-a za svaki model omogućava pakovanje i hostovanje težina modela, Tokenizer-a, konfiguracionih datoteka i povezanih podataka za evaluaciju u istom prostoru. Operativna strana može postaviti diferencirane strategije šifrovanja, strategije pravljenja rezervnih kopija i kontrolu propusnosti za različite modele. Istovremeno, putem izvornih mogućnosti mjerenja, može se statistički izračunati stvarni troškovi korištenja svakog modela, što pruža osnovu za naplatu po modelu i raspoređivanje resursa.

• Data SaaS usluga: Platforme za distribuciju podataka koje su usmjerene ka velikom broju krajnjih korisnika često moraju istovremeno biti povezane sa mnogim dobavljačima podataka. Potrebno je osigurati jasne granice podataka svake strane i izbjeći rizik od performansi "jedna velika kanta vuče sve ostale". Uz pomoć Agent Bucket-a, svaki dobavljač podataka može imati svoj ObjectSet, koji objedinjuje upravljanje originalnim podacima i rezultatima obrade. Zatim, putem nezavisnih domena i propusnosti, QPS kvota, može se izvršiti diferencirana garancija usluge i ograničenje protoka za različite dobavljače, ostvarujući infrastrukturu za distribuciju podataka "jedna platforma, više dobavljača, međusobno izolovani i kontrolisano sarađuju".

Reference:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/