Agent Bucket: Agent izvorni spremnik na razini trilijuna

U današnje vrijeme, kada AI agenti niču kao gljive poslije kiše, programeri grade maštovite inteligentne aplikacije brzinom bez presedana. Od programskih pomoćnika koji vam mogu pomoći u pisanju koda, preko alata za kreiranje koji generiraju film iz jedne rečenice, pa sve do osobnih inteligentnih asistenata koji su vam uvijek na raspolaganju, agenti preoblikuju način na koji komuniciramo s digitalnim svijetom. Iza ovog vala, sve je jasniji konsenzus: uz pomoć Serverless arhitekture (kao što je Lambda), velikih jezičnih modela (LLM) i pohrane u oblaku (kao što su S3, TOS), u kombinaciji s Vibe Codingom, svatko može brzo postaviti vlastiti AI Agent u roku od 30 minuta.

Od \Suština objektne memorije (S3/TOS) je "izravnavanje", a prvobitna namena je jednostavno skladištenje ogromnih količina podataka, poput ogromnog skladišta. Iako je kapacitet gotovo neograničen, logička struktura je izuzetno jednostavna. Nedostaje mu izvorno napredno upravljanje direktorijumima, fina kontrola metapodataka i istinska svest o zakupcima. Kada developeri pokušavaju da simuliraju "trodimenzionalni" sistem datoteka sa više zakupaca na "ravnom" S3, putem hard-kodiranih prefiksa, mi zapravo koristimo "statičko KV skladište" da bismo podržali način pristupa datotekama "direktorijumske semantike, jake izolacije" Agent aplikacije. To jest, Agent treba dodatno da troši tokene za upravljanje datotekama i kontrolu rešavanja dozvola i izolacije za više zakupaca. Svi ovi dodatni tokeni ukazuju na to da jednostavna usluga skladištenja koju definiše S3 nije dovoljno jednostavna za Agenta.

S3 blog iz 2025. godine, pod nazivom "Design patterns for multi-tenant access control on Amazon S3", dalje objašnjava S3 Access Point. To znači da se mogu kreirati višestruke virtuelne mrežne pristupne tačke, i da se za svaku pristupnu tačku može konfigurisati prilagođena politika pristupne tačke, što nudi neka rešenja na nivou mrežnog raspoređivanja za scenarije sa više zakupaca.

Agent Wonderland

Idealan Agent developer, prilikom razvoja AI Agenta, može da izgradi potpuno serverless Agent zasnovan na "Agent SDK + skladištenje + MaaS usluge":

• Agent može da radi potpuno serverless

• Može da kombinuje postojeće mogućnosti proizvoda da bi izgradio Agenta putem Vibe Coding-a

• Potrebno je samo održavati python skriptu "ADK"

• Skladištenje koristi objektno skladištenje

• AI mogućnosti koriste Doubao

• Teoretski nema ECS ili drugih instanciranih proizvoda

Istovremeno, skladištenje treba da pruži sledeće mogućnosti:

• Agent može da ima skladištenje sa semantikom objekta (čuvanje datoteka), pružajući mogućnost pristupa za više zakupaca, počevši od miliona, i proširivo do milijardi

• Agent može da obezbedi nezavisan prostor za svakog korisnika (između više poslovnih jedinica, poslovne jedinice ili uid mogu imati ista imena)

• Agent može direktno da konfiguriše propusni opseg za svakog korisnika, i da konfiguriše ukupnu gornju granicu veličine user object

• Agent može da naplaćuje, nadgleda i posmatra na osnovu korisnika

• Agent može da konfiguriše politike pristupa za datoteke svakog korisnika

Agent Bucket: Ubrizgavanje "nativnih multi-tenant" gena u AI Agenta

Da bismo fundamentalno rešili ovaj problem, predlažemo potpuno novu paradigmu objektne memorije - Agent Bucket. Njegova suštinska inovacija je uvođenje novog nivoa izvornih resursa između tradicionalnog "bucket" i "object": kolekcija objekata.

Osnovna ideja ovog dizajna je izuzetno jednostavna: uskladite svaki vaš krajnji korisnik sa namenskim ObjectSet-om. Možete zamisliti ObjectSet kao "sejf za podatke" ili "lični prostor u oblaku" kreiran isključivo za svakog korisnika. Logički pripada vašem (developer) Bucket-u, ali fizički i upravljački, ima svoju nezavisnu "ličnost" i "životni ciklus".Agent Bucket podržava 100 miliona ObjectSet-ova po bucketu, što znači da možete bezbrižno pružati usluge za stotine miliona krajnjih korisnika, kao da svaki krajnji korisnik "živi" u svom nezavisnom prostoru za skladištenje, bez potrebe da se više mučite sa upravljanjem skladištenjem za više zakupaca.

Dizajn ObjectSet-a – mogućnosti prilagođene Agentima

U Agent Bucket-u, ObjectSet nije samo dodavanje nivoa, već pretvara najteže zahteve u scenarijima sa više zakupaca u izvorne mogućnosti spremne za upotrebu. Kada se vlasništvo nad podacima jasno definiše na nivou ObjectSet-a, niz mogućnosti koje su u prošlosti bile teško ostvarive postaju prirodne.

• Izvorna izolacija: Na nivou ObjectSet-a, možete postaviti nezavisne QPS, ograničenja propusnog opsega i kvote kapaciteta za svakog korisnika. Iskustvo korisnika koji plaćaju može biti zagarantovano, a abnormalno ponašanje besplatnih korisnika neće uticati na druge. Ovo je prava izolacija domena greške, koja sprečava da se "komšije" međusobno ometaju.

• Izvorna prava pristupa: Svaki ObjectSet može imati nezavisni domen. To znači da možete dati korisniku A ekskluzivnu adresu za pristup user-a.yourapp.com, umesto da izlažete domen celog storage bucketa. Još pametniji je dizajn sa "dve brave": prva brava je privremeni token za pristup (STS) koji izdaje provajder cloud usluga, koji kontroliše prava pristupa na nivou aplikacije; druga brava je nezavisni domen ObjectSet-a, koji sa mrežnog nivoa zaključava zahteve za pristup u sopstvenom prostoru podataka korisnika. Ovo značajno poboljšava bezbednost podataka.

• Izvorno praćenje: Na kontrolnoj tabli za praćenje, više ne možete videti samo pregled podataka za ceo bucket. Možete razložiti grafikone praćenja po ObjectSet-u, jasno uočavajući koji krajnji korisnik vrši veliki broj pristupa, kako biste doneli precizne odluke o operacijama i optimizaciji.

• Spuštanje izvornih mogućnosti: Politike koje su se u prošlosti mogle postavljati samo na nivou bucketa, sada se mogu spustiti na svakog korisnika. Možete postaviti različite životne cikluse podataka za korisnike različitih nivoa, ili koristiti različite ključeve za šifrovanje za svaki ObjectSet, postižući finije i sigurnije upravljanje podacima.

• Izvorno merenje: Želite da znate koliko prostora za skladištenje zauzima svaki korisnik? Želite da precizno raspodelite troškove skladištenja na svakog korisnika? Sada je to lako. Agent Bucket će automatski statistički obraditi kapacitet i upotrebu svakog ObjectSet-a, čineći vaše fakturisanje i raspodelu jasnim.

• Izvorno fakturisanje: Programeri mogu lako da implementiraju raspodelu troškova, precizno vraćajući troškove nastale skladištenjem svakom krajnjem korisniku. Na primer, naplaćujte različito na osnovu stvarnih troškova koje su generisali različiti korisnici A, B i C, pružajući podršku podacima za komercijalizaciju Agenta.

• Izvorno ograničenje kapaciteta: Da biste kontrolisali operativne troškove Agenta, možete postaviti Quota (ograničenje kapaciteta) za svaki ObjectSet. Kada se dostigne unapred podešena vrednost, sistem će ograničiti korisnika da nastavi da generiše nove datoteke, izbegavajući zloupotrebu resursa u scenarijima sa više zakupaca iz korena.

• Izvorna inteligencija: Agent Bucket omogućava Agentu da izađe iz okvira jednostavnog "skladištenja i preuzimanja" tradicionalnih datoteka, dajući Object-u izvornu inteligenciju, efikasnije podržavajući razvoj Agenta na jednom mestu. ObjectSet može jednim klikom da uključi inteligentno indeksiranje, pružajući Agentu izvorno prijateljske mogućnosti multimodalnog pitanja i odgovora, zamenjujući mehaničke operacije tradicionalnog Object CRUD-a; čak podržava i uključivanje Agentself režima jednim klikom, povezujući vektore, znanje, modele i prompt, direktno otkrivajući funkcionalnost pod-Agenta specifičnu za scenario, omogućavajući programerima Agenta na višem nivou da se fokusiraju na kreiranje glavnog poslovnog toka rada, u potpunosti oslobađajući efikasnost monetizacije inteligencije.

Tehnički izazovi koje donosi eksplozivan rast obima aplikacija

Uvođenjem izvornog koncepta ObjectSet-a, Agent Bucket pruža programerima aplikacija elegantan i efikasan način za upravljanje podacima stotina miliona krajnjih korisnika. Digitalna imovina svakog korisnika se bezbedno čuva u njegovom ekskluzivnom ObjectSet-u, prirodno implementirajući izolaciju, fakturisanje i upravljanje kvotama.

Sa naglim širenjem obima aplikacija, istovremeno se pojavljuju složenost upravljanja ogromnim brojem Set-ova, poteškoće u izolaciji i fizička uska grla:

• Problem hijerarhijskog upravljanja velikim brojem korisnika: Kada aplikacija diferencijalno upravlja resursima i karakteristikama velikog broja korisnika različitih nivoa, potrebno je da sama dizajnira i implementira hijerarhijske metapodatke korisnika i poveže prekidače karakteristika objektne memorije. Pomoć programerima da elegantno upravljaju hijerarhijom korisnika na osnovu izvornog koncepta Set-a je važno za ubrzanje implementacije aplikacije.- Ograničenje kapaciteta jednog klastera: Iako se Agent Bucket logički može beskonačno proširiti, njegovi metapodaci se podrazumevano čuvaju u jednom fizičkom klasteru. Kada ukupan broj objekata u bucket-u dostigne stotine milijardi ili čak bilione, fizički kapacitet jednog klastera postaje nepremostiva granica.

• Problem deljenja pristupne tačke: Raznolikost poslovanja Agent-a i ogroman broj korisnika donose veći sigurnosni rizik i radijus eksplozije samoj pristupnoj tački. Kako izvršiti dinamičko zakazivanje na osnovu razlika između velikog broja različitih poslova i korisnika, i ostvariti diferenciranu sigurnost, izolaciju i mogućnosti ubrzanja, postaje poteškoća.

Set Tagging: Hijerarhijsko upravljanje korisnicima putem označavanja

ObjectSet pruža izvorni način upravljanja putem označavanja, omogućavajući programerima Agent-a da jednostavno koriste mogućnost set tagging-a kako bi dovršili hijerarhijsko upravljanje korisnicima. Programeri mogu definisati nivo korisnika kao tag, i za svaki tag omogućiti različite kvote i karakteristike. Svi ObjectSet-ovi označeni tim tag-om će primeniti odgovarajuće kvote i karakteristike. Primer sa tri nivoa, V1, V2 i V3:

• V1: Podrazumevani nivo, besplatni korisnici, podrazumevani tag za sve ObjectSet-ove, može se konfigurisati za skladištenje najviše 1GiB podataka, javna distribucija ne može preći 100mbps propusnog opsega, brzina preuzimanja jednog toka je kontrolisana na 1mbps;

• V2: Plaćeni članovi početnog nivoa, konfigurisano za skladištenje najviše 10GiB podataka, javna distribucija ne može preći 10gbps propusnog opsega, brzina preuzimanja jednog toka je kontrolisana na 10mbps;

• V3: Plaćeni članovi višeg nivoa, pored pružanja većeg kapaciteta skladištenja i kvote za javnu distribuciju, podržavaju i konfiguraciju dodatnog ubrzanja javne mreže sa slabom mrežom i mogućnosti ubrzanja medija visokih performansi;

Programeri Agent-a mogu fleksibilno koristiti V1/V2/V3 tagging za upravljanje resursima i karakteristikama sa dodatom vrednošću koje ovi korisnici mogu koristiti, u skladu sa različitim razvojnim ciklusima različitih korisnika.

Set Slice: Izvorna izolacija podataka za veliki broj korisnika

Kada broj Set-ova unutar Agent Bucket-a dostigne stotine miliona, a broj objekata dostigne stotine milijardi ili bilione, sama činjenica da su "svi metapodaci jednog Bucket-a centralizovani u jednom KV klasteru" donosi dvostruki rizik kapaciteta i performansi.

Set Slice pruža ideju "logički ne razdvajati, fizički razdvajati":

• Logički gledano, i dalje upravljate samo jednim Agent Bucket-om.

• Fizički, metapodaci se dele na više Slice-ova (isečaka) prema opsegu Set-a i imena objekata unutar Set-a. Svaki Slice se može čuvati na različitim klasterima, sa prirodnom izolacijom više Set-ova i horizontalnim proširenjem jednog Set-a.

Set Slice je dalje proširenje i garancija mogućnosti ObjectSet-a. On u osnovi rešava problem beskonačnog proširenja fizičkog kapaciteta, istovremeno osiguravajući stabilnost i doslednost modela upravljanja ObjectSet-om na višem nivou.

• Stabilna granica upravljanja: Čak i ako podaci jednog Agent Bucket-a obuhvataju više fizičkih klastera, ObjectSet je i dalje jedina osnovna jedinica za dozvole, kvote, naplatu i nadzor. Strategije koje programeri konfigurišu za ObjectSet (kao što su kontrola pristupa, gornja granica kapaciteta) automatski stupaju na snagu na svim relevantnim Slice-ovima, bez brige o distribuciji osnovnih podataka.

• Jedan Set se može linearno proširiti: Kada količina podataka određenog ObjectSet-a brzo raste, njegovi podaci će se prirodno distribuirati na više Slice-ova. Sa proširenjem celokupnog klastera, kapacitet tog ObjectSet-a se takođe neprimetno i linearno povećava, bez potrebe da programeri vrše bilo kakve destruktivne operacije kao što su razdvajanje ili migracija samog ObjectSet-a.

• Izolacija resursa između Set-ova: Distribucijom objekata različitih opsega na različite fizičke klastere, SetSlice ostvaruje izolaciju resursa višeg nivoa. U kombinaciji sa upravljanjem kvotama ObjectSet-a, može se efikasno sprečiti da rast podataka određenog ObjectSet-a "super velikog korisnika" zauzme sve resurse jednog klastera, čime se utiče na stabilnost drugih ObjectSet-ova, čineći ukupni rizik kapaciteta kontrolisanim.## Agent Bucket：面向海量终端用户的云存储解决方案

Agent Bucket 是火山引擎对象存储 TOS 上的一种新型存储方案，它通过将海量终端用户的数据分散存储在不同的“桶中桶”—— ObjectSet 中，实现了数据隔离、安全防护和性能优化。Agent Bucket 的核心优势在于：

• 逻辑统一与兼容：对于业务和开发者而言，无论底层有多少个 Slice，他们面对的始终是一个逻辑统一的 Agent Bucket。所有针对桶、ObjectSet 和对象的操作方式都保持不变，实现了物理扩展对上层应用的完全透明。

Set AccessPoint：隔离每一个用户的访问入口

Agent Bucket 支持为每一个 ObjectSet 开启独立的接入点（独立域名），并在接入点上，扩展出差异化的安全、隔离和加速能力，系统为此需要支持亿级别的独立接入点调度和差异化配置能力.

独立接入域名 {$apid}.tos-objectset-ap.volces.com：两级安全防护

• 第一级 Obscurity（隐匿性）：By User/ObjectSet 独立子域名，apid 高熵散列，极低碰撞概率，从访问域名角度无法猜测和穷举出特定 user 入口；

• 第二级 Containment（收敛性）：Agent 开发者使用 sts 分发 ObjectSet 级访问权限，即使 sts 泄露，也能控制其访问范围受限于某个 ObjectSet 的有限有效期内；

启发式调度系统：亿级域名调度策略计算

• By user/ObjectSet:tag 的差异化接入策略

• 多 user/ObjectSet 自动打散在不同公网入口，单入口故障影响 user 数量受控

• 全地域弹性调度，任意单入口故障/过载自动完成流量装箱腾挪

• 公网加速分发类 user，打公网传输加速 tag，自动调度加速入口

• 公网风险类 user，打风险 tag，自动调度公网隔离入口，并降低公网带宽配额

• 内网跨域类 user，打跨域 tag，自动调度内网专线加速路径

• 本地域加速器 user，打加速器 tag，自动挂载本地域加速器

从编程助手到 AI 云盘，Agent Bucket 的无限可能

Agent Bucket 为 Agent 提供完善的解决方案，而且 ObjectSet 的设计应用场景远不止于此，它可以很轻松的扩展到所有需要面向海量终端用户提供服务的应用：

• 代码仓库：过去，企业或个人在云端托管代码时，往往需要自己在对象存储之上再搭一层"租户系统"，才能做到账号隔离与权限控制。现在，可以为每位开发者分配一个专属 ObjectSet，将代码仓库、构建产物和依赖统一收纳其中。Agent Skills 也天然的适配 ObjectSet，Skills 上传与下载分发通过 ObjectSet 提供强隔离，避免 Agent 运行时扰邻。

• 企业相册网盘：传统相册或网盘服务，常常把所有用户的照片混在同一个桶里，通过前缀区分用户，不仅管理复杂，还容易出现"邻居效应"。基于 ObjectSet 每位用户的照片和视频都落在各自的 Set 中，访问高峰互不干扰，还可以按用户设置容量上限、备份策略与加密方式，真正做到"每个人都有一个安全、可控的云端相册"。

• Hadoop 数仓：在企业数仓中，不同业务线、不同数据库往往在同一底层存储上共享资源，通过将每个数据库映射为一个 ObjectSet，企业可以在统一存储之上实现按库隔离与配额控制。特别是 ObjectSet 在 TOS 上提供额外一层权限，在不改变现有 Proton on TOS 的前提下，对 TOS 上存储的 Database 和 Tables 提供隔离和权限控制。 - Платформа за хостовање модела: У сценаријима хостовања великих модела, сваки модел није само велике величине, већ може имати и различите верзије, тежине и конфигурације закључивања. Креирање ObjectSet-а за сваки модел омогућава паковање и хостовање тежина модела, Tokenizer-а, конфигурационих датотека и повезаних података за евалуацију у истом простору. Оперативна страна може да подеси диференциране стратегије шифровања, стратегије резервних копија и контролу пропусног опсега за различите моделе. Истовремено, кроз могућности изворног мерења, може се статистички израчунати стварни трошак коришћења сваког модела, пружајући основу за наплату по моделу и распоређивање ресурса.

• Data SaaS услуге: Платформе за дистрибуцију података које су окренуте великом броју крајњих корисника често морају да се повежу са многим добављачима података истовремено. Потребно је осигурати јасне границе података сваке стране и избећи ризик од перформанси "једна велика бачва повлачи све надоле". Уз помоћ Agent Bucket-а, сваки добављач података може имати свој ObjectSet, који обједињује управљање оригиналним подацима и резултатима обраде. Затим, кроз независне домене и пропусни опсег, QPS квоте, пружају се диференциране услуге и ограничава проток за различите добављаче, остварујући инфраструктуру за дистрибуцију података "једна платформа, више добављача, изоловани једни од других, али контролисана сарадња".

Reference:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/