Agent Bucket: Triljoni tasemel Agent-i omapärane salvestusruum

AI Agentide tärkamine on nagu seened pärast vihma ning arendajad loovad kujutlusvõimelisi nutikaid rakendusi enneolematu kiirusega. Alates programmeerimisabilistest, mis aitavad sul koodi kirjutada, kuni filmide loomise tööriistadeni ühe lausega ja pidevalt valvel olevate isiklike nutiassistentideni – Agent muudab viisi, kuidas me digimaailmaga suhtleme. Selle laine taga on üha selgem konsensus: Serverless arhitektuuri (nt Lambda), suurte keelemudelite (LLM) ja pilvesalvestuse (nt S3, TOS) abil koos Vibe Codinguga saab igaüks 30 minutiga kiiresti üles seada oma AI Agendi.

Alates \Miks on need pealtnäha põhivajadused Agent arendajate jaoks objektide salvestamisel mõnevõrra "rasked"? Põhjalik uurimine näitab, et praeguses pilvepõhises arhitektuuris on S3-tüüpi "objektide salvestamise" ja traditsioonilise "failisüsteemi" vahel tohutu tühimik. Objektide salvestamise (S3/TOS) olemus on "lamedus", mille esialgne eesmärk on tohutu andmemahu lihtne salvestamine, mis on nagu tohutu ladu. Kuigi maht on peaaegu piiramatu, on loogiline struktuur äärmiselt lihtne. Sellel puudub algupärane kõrgetasemeline kataloogihaldus, peeneteraline metaandmete kontroll ja tõeline rentniku teadlikkus. Kui arendajad üritavad "lamedal" S3-l kõvakodeeritud eesliidete abil simuleerida "kolmemõõtmelist" mitme rentnikuga failisüsteemi, kasutame tegelikult "staatilist KV-salvestust", et toetada "kataloogisemantikat, tugevalt isoleeritud" Agendi rakenduse failidele juurdepääsu meetodit. See tähendab, et Agent peab failide haldamiseks ja mitme rentniku õiguste ja isolatsiooni lahendamiseks kulutama täiendavaid tokeneid. Need täiendavad tokenite kulutused näitavad kõik, et S3 määratletud lihtne salvestusteenus ei ole Agendi jaoks piisavalt lihtne.

2025 年 S3 博客 《Design patterns for multi-tenant access control on Amazon S3》 中进一步阐述了 S3 Access Point. 这意味着可以创建多个虚拟网络接入点，并为每个接入点配置一个定制的接入点策略，在网络调度层面对于多租户场景有了一些方案。

2025. aasta S3 blogi "Design patterns for multi-tenant access control on Amazon S3" kirjeldab täiendavalt S3 Access Point'i. See tähendab, et saab luua mitu virtuaalset võrgupöörduspunkti ja konfigureerida igale pöörduspunktile kohandatud pöörduspunkti poliitika, mis pakub võrgugraafiku tasemel mõningaid lahendusi mitme rentniku stsenaariumide jaoks.

Agent Wonderland

一个理想中的 Agent 开发者在开发 AI Agent 时，可以基于 "Agent SDK + 存储 + MaaS 服务" 构建一个完全 serverless 化的 Agent：

Ideaalne Agent arendaja saab AI Agenti arendamisel luua täielikult serverless Agenti, mis põhineb "Agent SDK + salvestusruum + MaaS teenus":

• Agent 可以完全 serverless 运行

• Agent saab töötada täielikult serverless režiimis

• 可以通过 Vibe Coding 的方式，组合现有的产品能力构建出 Agent

• Saate kombineerida olemasolevaid tootevõimalusi Agendi loomiseks Vibe Coding abil

• 只需要维护 "ADK" 的 python 脚本

• Vaja on ainult "ADK" python skripti hooldada

• 存储使用对象存储

• Salvestusruum kasutab objektide salvestamist

• AI 能力使用豆包

• AI võimekus kasutab Doubao

• 理论上无 ECS 或其他实例型产品

• Teoreetiliselt pole ECS-i ega muid näidistüüpi tooteid

同时，存储需要提供以下能力：

Samal ajal peab salvestusruum pakkuma järgmisi võimalusi:

• Agent 可以有一种 object 语义的存储（保存文件），提供多租户接入能力，百万级起步，可扩展到亿级别

• Agentil võib olla objektisemantikaga salvestusruum (failide salvestamiseks), mis pakub mitme rentniku juurdepääsu võimalust, alustades miljonitest ja laiendades sadade miljoniteni

• Agent 可以为每个用户提供独立的空间（多业务之间，业务或者 uid 都可能会重名）

• Agent saab pakkuda igale kasutajale eraldi ruumi (mitme teenuse vahel võivad teenused või uid-d olla samanimelised)

• Agent 可以直接配置每个 user 的带宽，配置 user object 总大小上限

• Agent saab otse konfigureerida iga kasutaja ribalaiust ja konfigureerida kasutaja objekti kogumahu ülempiiri

• Agent 可以根据 user 出账、监控、观察

• Agent saab arveldada, jälgida ja jälgida vastavalt kasutajale

• Agent 可以为每个 user 的文件配置访问策略

• Agent saab konfigureerida iga kasutaja failidele juurdepääsupoliitika

Agent Bucket：为 AI Agent 注入"多租户原生"基因

Agent Bucket: süstime AI Agenti "mitme rentniku algupäraseid" geene

为了从根本上解决这一难题，我们提出了一种全新的对象存储范式——Agent Bucket。它的核心创新，是在传统的"桶"和"对象"之间，引入了一个新的原生资源层级：对象集合。

Selle probleemi põhjalikuks lahendamiseks pakume välja uue objektide salvestamise paradigma – Agent Bucket. Selle peamine uuendus on uue algupärase ressursitaseme – objektide kogumi – kasutuselevõtt traditsiooniliste "ämbri" ja "objekti" vahel.

这个设计的核心思想极其简洁：为你的每一个终端用户，都匹配一个专属的 ObjectSet。你可以把 ObjectSet 想象成一个专为每个用户打造的"数据保险箱"或"云端个人空间"。它在逻辑上属于你（开发者）的 Bucket，但在物理和管理上，它拥有自己独立的"个性"和"生命周期"。

Selle disaini põhiidee on äärmiselt lihtne: sobitage igale oma lõppkasutajale eksklusiivne ObjectSet. Võite ObjectSeti ette kujutada kui "andmesahtlit" või "pilve isiklikku ruumi", mis on loodud spetsiaalselt igale kasutajale. Loogiliselt kuulub see teie (arendaja) Bucket'ile, kuid füüsiliselt ja halduslikult on sellel oma sõltumatu "isiksus" ja "elutsükkel".Agent Bucket iga konteiner toetab 100 miljonit ObjectSet'i, mis tähendab, et saad rahulikult teenindada sadu miljoneid lõppkasutajaid, justkui iga lõppkasutaja "elaks" omaette eraldiseisvas salvestusruumis, ilma et peaksid enam mitme kasutaja salvestusruumi haldamise pärast muretsema.

ObjectSet'i disain – Agent-sõbralikud võimalused

Agent Bucket'is ei ole ObjectSet lihtsalt lisatud kiht, vaid see muudab ka kõige keerulisemad mitme kasutaja stsenaariumide nõuded kohe kasutatavateks algvõimalusteks. Kui andmete omandiõigus on ObjectSet'i tasemel selgelt määratletud, saab realiseerida rea võimalusi, mida varem oli raske saavutada.

• Algne isolatsioon: ObjectSet'i tasemel saad iga kasutaja jaoks määrata sõltumatud QPS-i, ribalaiuse piirangud ja mahu kvoodid. Tasuliste kasutajate kogemus on tagatud ja tasuta kasutajate ebanormaalne käitumine ei mõjuta teisi. See on tõeline tõrkevaldkonna isolatsioon, mis takistab "naabritel" üksteist segamast.

• Algne juurdepääs: Igal ObjectSet'il võib olla sõltumatu domeen. See tähendab, et saad anda kasutajale A eksklusiivse juurdepääsu aadressi user-a.yourapp.com, selle asemel, et avaldada kogu salvestuskonteineri domeeni. Veelgi nutikam on "kahe luku" disain: esimene lukk on pilveteenuse pakkuja väljastatud ajutine juurdepääsuluba (STS), mis kontrollib juurdepääsuõigusi rakenduse tasemel; teine lukk on ObjectSet'i sõltumatu domeen, mis lukustab juurdepääsutaotlused võrgutasandil kasutaja enda andmeruumi. See suurendab oluliselt andmete turvalisust.

• Algne jälgimine: Jälgimise armatuurlaual ei näe sa enam ainult kogu konteineri ülevaateandmeid. Saad jälgimisgraafikuid ObjectSet'i kaupa jaotada, et selgelt näha, milline lõppkasutaja teeb palju juurdepääse, et teha täpseid tegevus- ja optimeerimisotsuseid.

• Algsete võimaluste langetamine: Poliitikaid, mida varem sai määrata ainult konteineri tasemel, saab nüüd langetada iga kasutaja jaoks. Saad määrata erinevatele kasutajatasemetele erinevad andmete elutsüklid või kasutada iga ObjectSet'i jaoks erinevaid krüpteerimisvõtmeid, et saavutada täpsem ja turvalisem andmehaldus.

• Algne mõõtmine: Kas soovid teada, kui palju salvestusruumi iga kasutaja kasutab? Kas soovid salvestuskulud täpselt iga kasutaja peale jagada? Nüüd on see lihtne. Agent Bucket statistika automaatselt iga ObjectSet'i mahu ja kasutuse kohta, muutes sinu arvelduse ja jagamise selgeks.

• Algne arveldamine: Arendajad saavad hõlpsasti kulusid jagada ja salvestusest tulenevad kulud täpselt iga lõppkasutaja peale tagasi arvutada. Näiteks võid A, B ja C kasutajalt võtta erinevaid tasusid vastavalt nende tegelikele kuludele, pakkudes Agent'i kommertsialiseerimiseks andmetuge.

• Algne mahupiirang: Agent'i tegevuskulude kontrollimiseks saad iga ObjectSet'i jaoks määrata kvoodi (mahu ülempiiri). Kui eelseadistatud väärtus on saavutatud, piirab süsteem sellel kasutajal uute failide loomist, vältides algusest peale ressursside kuritarvitamist mitme kasutaja stsenaariumides.

• Algne intelligentsus: Agent Bucket võimaldab Agent'il ületada traditsiooniliste failide lihtsa "salvestamise ja juurdepääsu" piirangud, andes Object'ile algse intelligentsuse, et toetada Agent'i ühekordset arendust tõhusamalt. ObjectSet saab ühe klõpsuga sisse lülitada intelligentse indekseerimise, et pakkuda Agent'ile algselt sõbralikku multimodulaarset küsimuste ja vastuste võimalust, asendades traditsioonilised Object CRUD mehaanilised toimingud; see toetab isegi ühe klõpsuga Agentself režiimi sisselülitamist, ühendades vektoreid, teadmisi, mudeleid ja prompt'e, et otse paljastada stsenaariumipõhised alam-Agent'i funktsioonid, võimaldades ülemise kihi Agent'i arendajatel keskenduda peamisele äritöövoo loomisele, vabastades täielikult intelligentse monetiseerimise tõhususe.

Rakenduste mastaabi plahvatusest tulenevad tehnilised väljakutsed

Agent Bucket pakub ObjectSet'i algse kontseptsiooni kaudu rakenduste arendajatele elegantse ja tõhusa viisi sadade miljonite lõppkasutajate andmete haldamiseks. Iga kasutaja digitaalne vara on turvaliselt salvestatud oma eksklusiivsesse ObjectSet'i, mis tagab loomuliku isolatsiooni, arvelduse ja kvoodihalduse.

Rakenduste mastaabi kiire laienemisega ilmnevad samaaegselt tohutute Set'ide haldamise keerukus, isolatsiooni raskused ja füüsilised kitsaskohad:

• Tohutute kasutajate astmelise haldamise probleem: Kui rakendus haldab diferentseeritult suurt hulka erineva tasemega kasutajate ressursse ja funktsioone, peab ta ise kujundama ja rakendama kasutajate astmelisi metaandmeid ning seostama need objektide salvestusfunktsioonide lülititega. Set'i algse kontseptsiooni abil arendajatel kasutajate astmelist haldamist elegantselt hallata on rakenduste juurutamise kiirendamiseks oluline. - Ühe klastri mahu kitsaskoht: Kuigi Agent Bucket on loogiliselt lõputult laiendatav, salvestatakse selle metaandmed vaikimisi ühes füüsilises klastris. Kui mahuti objektide koguarv ulatub sadade miljardite või isegi triljoniteni, muutub ühe klastri füüsiline maht ületamatuks ülempiiriks.

• Juurdepääsupunkti jagamise probleem: Agendi äritegevuse mitmekesisus ja tohutu kasutajate hulk toovad juurdepääsupunktile endale suuremaid turvariske ja plahvatusraadiust. Kuidas teha dünaamilist ajastamist vastavalt suure hulga erinevate äritegevuste ja kasutajate erinevustele, et saavutada diferentseeritud turvalisus, isolatsioon ja kiirendus, on muutunud raskeks.

Set Tagging: Kasutaja taseme haldamine sildistamise abil

ObjectSet pakub loomulikku sildistamise haldusmeetodit, mis võimaldab Agent arendajatel lihtsalt kasutada set tagging võimalusi, et lõpetada kasutajate taseme haldamine; arendajad saavad iga määratletud kasutajataseme jaoks vastendada sildi ja lubada iga sildi jaoks erinevad kvoodid ja funktsioonid. Kõik ObjectSet-id, mis on selle sildiga märgistatud, rakendavad vastavaid kvootid ja funktsioone. Võtame näiteks V1, V2 ja V3 kolm taset:

• V1: Vaiketase, tasuta kasutajad, kõigi ObjectSet-ide vaikesilt, saab konfigureerida maksimaalselt 1GiB andmete salvestamiseks, avaliku võrgu levitamine ei tohi ületada 100mbps ribalaiust, ühe voo allalaadimiskiirus on piiratud 1mbps;

• V2: Algtaseme tasuline liige, konfigureeritud maksimaalselt 10GiB andmete salvestamiseks, avaliku võrgu levitamine ei tohi ületada 10gbps ribalaiust, ühe voo allalaadimiskiirus on piiratud 10mbps;

• V3: Kõrgema taseme tasuline liige, lisaks suurema salvestusmahu ja avaliku võrgu levitamise kvoodi pakkumisele toetab see ka täiendava avaliku võrgu nõrga võrgu kiirenduse ja suure jõudlusega meediumikiirenduse võimaluste konfigureerimist;

Agent arendajad saavad paindlikult kasutada V1/V2/V3 tagging-ut, et hallata nende kasutajate poolt kasutatavaid ressursse ja lisaväärtusega funktsioone erinevate kasutajate erinevate arengutsüklite jaoks.

Set Slice: Tohutute kasutajaandmete loomulik isolatsioon

Kui Agendi mahuti sees on miljard Set-i ja objektide arv ulatub sadade miljardite või triljoniteni, toob fakt, et "kõik ühe mahuti metaandmed on koondatud ühte KV klastrisse", kaasa nii mahu kui ka jõudluse kahekordse riski.

Set Slice pakub "loogiliselt mitte jagamise, füüsiliselt jagamise" ideed:

• Loogiliselt vaadates haldate endiselt ainult ühte Agendi mahutit.

• Füüsiliselt jagatakse metaandmed Set-i ja Set-i objektinimede vahemiku alusel mitmeks Slice-iks (viiludeks). Iga Slice saab salvestada erinevatesse klastritesse, mitu Set-i on loomulikult isoleeritud ja üks Set on horisontaalselt laiendatav.

Set Slice on ObjectSet-i võimaluste edasine laiendus ja garantii. See lahendab põhjalikult füüsilise mahu lõputu laiendamise probleemi, tagades samal ajal ülemise ObjectSet-i haldusmudeli stabiilsuse ja järjepidevuse.

• Halduspiir on stabiilne: Isegi kui ühe Agendi mahuti andmed hõlmavad mitut füüsilist klastrit, on ObjectSet endiselt ainus põhiüksus õiguste, kvootide, arvelduse ja jälgimise jaoks. Arendajate ObjectSet-i jaoks konfigureeritud poliitikad (nt juurdepääsukontroll, mahupiirang) jõustuvad automaatselt kõigis seotud Slices-ides, ilma et peaksite muretsema andmete jaotuse pärast.

• Üks Set on lineaarselt laiendatav: Kui ühe ObjectSet-i andmemaht kasvab kiiresti, jaotatakse selle andmed loomulikult mitmeks Slices-iks. Kogu klastri laiendamisega kasvab ka selle ObjectSet-i maht sujuvalt ja lineaarselt, ilma et arendajad peaksid selle ObjectSet-i ennast jagama või migreerima.

• Ressursside isolatsioon Set-ide vahel: Jaotades erineva vahemikuga objekte erinevatesse füüsilistesse klastritesse, saavutab SetSlice kõrgema dimensiooniga ressursside isolatsiooni. Kombineerituna ObjectSet-i kvoodihaldusga saab tõhusalt vältida, et ühe "super suure kasutaja" ObjectSet-i andmete kasv hõivaks ühe klastri kõik ressursid, mõjutades seeläbi teiste ObjectSet-ide stabiilsust, muutes üldise mahuriski kontrollitavaks. - Loogiline ühtsus ja ühilduvus: ettevõtete ja arendajate jaoks on Agent Bucket alati loogiliselt ühtne, olenemata sellest, kui palju Slice'e on selle all. Kõik toimingud, mis on suunatud ämbritele, ObjectSet'idele ja objektidele, jäävad samaks, saavutades füüsilise laienduse täieliku läbipaistvuse ülemiste rakenduste jaoks.

Set AccessPoint: isoleerige iga kasutaja juurdepääsupunkt

Agent Bucket toetab iga ObjectSeti jaoks sõltumatute juurdepääsupunktide (sõltumatute domeeninimede) lubamist ning laiendab juurdepääsupunktides diferentseeritud turvalisuse, isolatsiooni ja kiirenduse võimalusi. Selleks peab süsteem toetama miljardi taseme sõltumatut juurdepääsupunkti ajastamist ja diferentseeritud konfiguratsioonivõimalusi.

Sõltumatu juurdepääsudomeeninimi {$apid}.tos-objectset-ap.volces.com: kahetasandiline turvakaitse

• Esimene tase Obscurity (varjatus): kasutaja/ObjectSeti sõltumatu alamdomeeni järgi, apid kõrge entroopiaga räsi, väga madal kokkupõrke tõenäosus, spetsiifilise kasutaja sisenemispunkti ei saa juurdepääsudomeeni vaatenurgast ära arvata ega ammendada;

• Teine tase Containment (piiramine): Agendi arendajad kasutavad sts-i, et levitada ObjectSeti taseme juurdepääsuõigusi, isegi kui sts lekib, saab kontrollida selle juurdepääsuulatust, mis on piiratud teatud ObjectSeti piiratud kehtivusajaga;

Heuristiline ajastussüsteem: miljardi taseme domeeninime ajastamise strateegia arvutus

• Kasutaja/ObjectSet:tagi diferentseeritud juurdepääsustrateegia järgi

• Mitmed kasutajad/ObjectSetid hajutatakse automaatselt erinevatesse avalikesse võrgu sisenemispunktidesse ja ühe sisenemispunkti rike mõjutab kontrollitud arvu kasutajaid

• Täielik piirkondlik elastne ajastamine, iga üksiku sisenemispunkti rike/ülekoormus lõpetab automaatselt liikluse pakkimise ja ümberpaigutamise

• Avaliku võrgu kiirenduse levitamise kasutajad, märgistage avaliku võrgu edastuskiirenduse silt, ajastage automaatselt kiirenduse sisenemispunkt

• Avaliku võrgu riskikasutajad, märgistage riskisilt, ajastage automaatselt avaliku võrgu isolatsiooni sisenemispunkt ja vähendage avaliku võrgu ribalaiuse kvooti

• Sisevõrgu domeeniülesed kasutajad, märgistage domeeniülene silt, ajastage automaatselt sisevõrgu spetsiaalne liinikiirenduse tee

• Kohaliku piirkonna kiirendi kasutajad, märgistage kiirendi silt, ühendage automaatselt kohaliku piirkonna kiirendi

Programmeerimisassistendist AI pilveketta juurde, Agent Bucketi lõputud võimalused

Agent Bucket pakub Agentidele täieliku lahenduse ning ObjectSeti disaini rakendusstsenaariumid on palju enamat kui see, seda saab hõlpsasti laiendada kõikidele rakendustele, mis peavad pakkuma teenuseid tohutule hulgale lõppkasutajatele:

• Koodihoidla: varem, kui ettevõtted või üksikisikud hostisid koodi pilves, pidid nad sageli ehitama objektisalvestuse peale "rentnikusüsteemi", et saavutada konto isolatsioon ja juurdepääsukontroll. Nüüd saab igale arendajale määrata eksklusiivse ObjectSeti, et ühtselt koguda koodihoidla, ehitusartefaktid ja sõltuvused. Agent Skills on loomulikult kohandatud ka ObjectSetiga, Skillsi üleslaadimine ja allalaadimine ning levitamine pakuvad ObjectSeti kaudu tugevat isolatsiooni, vältides Agendi käitusajal naabrite häirimist.

• Ettevõtte fotoalbumi võrguketas: traditsioonilised fotoalbumi või võrguketta teenused segavad sageli kõikide kasutajate fotod samas ämbris, eristades kasutajaid eesliite kaudu, mis pole mitte ainult keeruline hallata, vaid ka kergesti tekitab "naabriefekti". ObjectSeti põhjal langevad iga kasutaja fotod ja videod oma komplektidesse, juurdepääsu tippkoormused ei häiri üksteist ning saate määrata ka kasutajapõhiseid mahupiiranguid, varundusstrateegiaid ja krüpteerimismeetodeid, et tõeliselt saavutada "igal inimesel on turvaline ja kontrollitav pilvefotoalbum".

• Hadoop andmeladu: ettevõtte andmelaos jagavad erinevad ärivaldkonnad ja erinevad andmebaasid sageli ressursse samal alussalvestusel, kaardistades iga andmebaasi ObjectSetiks, saavad ettevõtted realiseerida andmebaasipõhise isolatsiooni ja kvoodikontrolli ühtsel salvestusel. Eelkõige pakub ObjectSet TOS-is täiendavat õiguste kihti, pakkudes TOS-is salvestatud andmebaasidele ja tabelitele isolatsiooni ja juurdepääsukontrolli, muutmata olemasolevat Proton on TOS-i. - Mudelite majutamise platvorm: Suurte mudelite majutamise stsenaariumis on iga mudel mitte ainult mahukas, vaid võib vastata ka erinevatele versioonidele, kaaludele ja järelduskonfiguratsioonidele. Iga mudeli jaoks ObjectSeti loomine võimaldab mudeli kaalud, Tokenizeri, konfiguratsioonifailid ja seotud hindamisandmed pakendada ja majutada samas ruumis. Operatsioonide pool saab seadistada erinevate mudelite jaoks diferentseeritud krüpteerimispoliitikaid, varunduspoliitikaid ja ribalaiuse juhtimist. Samal ajal saab algse mõõtmisvõime abil statistiliselt arvestada iga mudeli tegelikke kasutuskulusid, mis loob aluse mudeli dimensioonipõhisele arveldusele ja ressursside planeerimisele.

• Andmete SaaS-teenus: Massilistele lõppkasutajatele suunatud andmete levitamise platvormid peavad sageli samaaegselt ühenduma paljude andmete pakkujatega. On vaja tagada, et kõigi osapoolte andmepiirid oleksid selged, ja vältida jõudlusriski, et "üks suur ämber tõmbab kõiki alla". Agent Bucketi abil saab iga andmete pakkuja omada oma ObjectSeti, hallates ühtselt algandmeid ja töötlemise tulemusi. Seejärel saab eraldiseisva domeeni ja ribalaiuse ning QPS-i kvootide kaudu pakkuda erinevatele pakkujatele diferentseeritud teenuse tagamist ja piirata liiklust, realiseerides andmete levitamise infrastruktuuri, mis on "üks platvorm, mitu pakkujat, üksteisest eraldatud ja kontrollitav koostöö".

Viide:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/