Agent Bucket: Cubell d'emmagatzematge natiu per a agents a escala de bilions

En l'actualitat, amb l'aparició d'agents d'IA com bolets, els desenvolupadors estan construint aplicacions intel·ligents plenes d'imaginació a una velocitat sense precedents. Des d'assistents de programació que t'ajuden a escriure codi fins a eines de creació que generen una pel·lícula a partir d'una sola frase, passant per assistents intel·ligents personals sempre disponibles, els agents estan remodelant la nostra forma d'interactuar amb el món digital. Darrere d'aquesta onada, un consens és cada vegada més clar: amb l'ajuda d'arquitectures Serverless (com Lambda), models de llenguatge grans (LLM) i emmagatzematge al núvol (com S3, TOS), combinat amb Vibe Coding, qualsevol persona pot construir ràpidament el seu propi agent d'IA en 30 minuts.

Des de Per què aquestes necessitats aparentment bàsiques són tan "pesades" d'implementar per als desenvolupadors d'Agents en l'emmagatzematge d'objectes? Una investigació profunda revela que, en l'arquitectura nativa del núvol actual, hi ha un buit enorme entre l'"emmagatzematge d'objectes" (S3/TOS) i el "sistema de fitxers" tradicional. L'essència de l'emmagatzematge d'objectes (S3/TOS) és la "planitud", dissenyat originalment per a l'emmagatzematge senzill de dades massives, com un magatzem gegant. Tot i que la capacitat és gairebé il·limitada, l'estructura lògica és extremadament senzilla. No té gestió de directoris avançada nativa, control de metadades granular i percepció real de l'inquilí. Quan els desenvolupadors intenten simular un sistema de fitxers multiinquilí "tridimensional" a l'S3 "pla" mitjançant la codificació dura de prefixos, en realitat estem utilitzant un "emmagatzematge KV estàtic" per portar una manera d'accés a fitxers d'aplicacions d'Agent amb "semàntica de directori i aïllament fort". És a dir, l'Agent necessita consumir fitxes addicionals per gestionar fitxers i controlar la resolució dels permisos i l'aïllament multiinquilí. Aquests consums addicionals de fitxes indiquen que el servei d'emmagatzematge senzill definit per S3 no és prou senzill per a l'Agent.

L'any 2025, el bloc de S3 《Design patterns for multi-tenant access control on Amazon S3》 va explicar amb més detall S3 Access Point. Això significa que es poden crear múltiples punts d'accés de xarxa virtuals i configurar una política de punt d'accés personalitzada per a cada punt d'accés, que té algunes solucions per a escenaris multiinquilí a nivell de programació de xarxa.

Agent Wonderland

Un desenvolupador d'Agent ideal, quan desenvolupa un AI Agent, pot construir un Agent completament sense servidor basat en "Agent SDK + emmagatzematge + servei MaaS":

• L'Agent pot funcionar completament sense servidor

• Es pot construir un Agent combinant les capacitats del producte existents mitjançant Vibe Coding

• Només cal mantenir l'script de python "ADK"

• L'emmagatzematge utilitza l'emmagatzematge d'objectes

• La capacitat d'IA utilitza Doubao

• Teòricament, no hi ha ECS ni altres productes d'instància

Al mateix temps, l'emmagatzematge ha de proporcionar les capacitats següents:

• L'Agent pot tenir un emmagatzematge amb semàntica d'objecte (desar fitxers), proporcionant capacitat d'accés multiinquilí, començant amb un milió i ampliable a mil milions

• L'Agent pot proporcionar un espai independent per a cada usuari (entre múltiples empreses, els noms d'empresa o uid poden ser duplicats)

• L'Agent pot configurar directament l'ample de banda de cada usuari i configurar el límit superior de la mida total de l'objecte d'usuari

• L'Agent pot facturar, supervisar i observar segons l'usuari

• L'Agent pot configurar polítiques d'accés per als fitxers de cada usuari

Agent Bucket: injectant gens "natius multiinquilí" a l'AI Agent

Per resoldre fonamentalment aquest problema, proposem un nou paradigma d'emmagatzematge d'objectes: Agent Bucket. La seva innovació principal és introduir un nou nivell de recurs natiu entre el "bucket" i l'"objecte" tradicionals: la col·lecció d'objectes.

La idea central d'aquest disseny és extremadament senzilla: fer coincidir un ObjectSet exclusiu per a cada usuari final. Podeu imaginar ObjectSet com una "caixa forta de dades" o un "espai personal al núvol" creat especialment per a cada usuari. Lògicament pertany al vostre Bucket (desenvolupador), però físicament i de gestió, té la seva pròpia "personalitat" i "cicle de vida" independents.Agent Bucket Cada bucket admet 100 milions d'ObjectSet, això vol dir que pots oferir servei a centenars de milions d'usuaris finals amb facilitat, com si cada usuari final "visqués" en el seu propi espai d'emmagatzematge independent, sense haver de preocupar-te per la gestió d'emmagatzematge multi-inquilí.

Disseny d'ObjectSet: Capacitats orientades a l'Agent

En Agent Bucket, ObjectSet no és només afegir un nivell, sinó que converteix les necessitats més complicades en escenaris multi-inquilí en capacitats natives llestes per utilitzar. Quan la propietat de les dades s'estableix clarament a nivell d'ObjectSet, una sèrie de capacitats que abans eren difícils d'implementar es converteixen en una conseqüència natural.

• Aïllament natiu: A nivell d'ObjectSet, pots establir QPS, límits d'amplada de banda i quotes de capacitat independents per a cada usuari. L'experiència dels usuaris de pagament es pot garantir, i el comportament anormal dels usuaris gratuïts no afectarà els altres. Aquest és un veritable aïllament de domini de fallada, que evita que els "veïns" interfereixin entre si.

• Permisos natius: Cada ObjectSet pot tenir un domini independent. Això vol dir que pots donar a l'usuari A una adreça d'accés exclusiva user-a.yourapp.com, en lloc d'exposar el domini de tot el bucket d'emmagatzematge. Més intel·ligent és el disseny de "dues claus": la primera clau és una credencial d'accés temporal (STS) emesa pel proveïdor de serveis al núvol, que controla els permisos d'accés a nivell d'aplicació; la segona clau és el domini independent de l'ObjectSet, que bloqueja les sol·licituds d'accés a l'espai de dades de l'usuari des del nivell de xarxa. Això millora enormement la seguretat de les dades.

• Monitoratge natiu: Al tauler de control, ja no només pots veure les dades generals de tot el bucket. Pots desglossar els gràfics de monitoratge per ObjectSet, observant clarament quin usuari final està realitzant una gran quantitat d'accessos, per tal de prendre decisions operatives i d'optimització precises.

• Descentralització de capacitats natives: Les polítiques que abans només es podien establir a nivell de bucket, ara es poden descentralitzar a cada usuari. Pots establir diferents cicles de vida de dades per a usuaris de diferents nivells, o utilitzar diferents claus de xifratge per a cada ObjectSet, per aconseguir una gestió de dades més granular i segura.

• Mesurament natiu: Vols saber quant espai d'emmagatzematge ocupa cada usuari? Vols repartir amb precisió els costos d'emmagatzematge a cada usuari? Ara és fàcil. Agent Bucket comptabilitzarà automàticament la capacitat i l'ús de cada ObjectSet, fent que la teva facturació i repartiment siguin clars.

• Facturació nativa: Els desenvolupadors poden implementar fàcilment el repartiment de costos, empenyent amb precisió les despeses generades per l'emmagatzematge a cada usuari final. Per exemple, cobrar de manera diferenciada segons la proporció de costos reals generats pels diferents usuaris A, B i C, proporcionant suport de dades per a la comercialització de l'Agent.

• Límits de capacitat nativa: Per controlar els costos operatius de l'Agent, pots establir una Quota (límit de capacitat) per a cada ObjectSet. Un cop assolit el valor preestablert, el sistema restringirà que l'usuari continuï generant fitxers nous, evitant l'abús de recursos en escenaris multi-inquilí des de l'arrel.

• Intel·ligència nativa: Agent Bucket permet que l'Agent surti de les limitacions tradicionals de simple "emmagatzematge i recuperació" de fitxers, donant a l'Object una intel·ligència nativa, donant suport de manera més eficient al desenvolupament integral de l'Agent. ObjectSet pot activar la indexació intel·ligent amb un sol clic, proporcionant a l'Agent capacitats de preguntes i respostes multimodals natives i amigables, substituint les operacions mecàniques tradicionals d'Object CRUD; fins i tot admet l'activació del mode Agentself amb un sol clic, connectant vectors, coneixement, models i prompt, revelant directament funcions d'Agent secundari contextualitzades, permetent als desenvolupadors d'Agent de nivell superior centrar-se en la creació de fluxos de treball de negoci principals, alliberant completament l'eficiència de la monetització intel·ligent.

Reptes tècnics derivats de l'explosió de l'escala de l'aplicació

Agent Bucket, mitjançant la introducció del concepte natiu d'ObjectSet, proporciona als desenvolupadors d'aplicacions una manera elegant i eficient de gestionar les dades de centenars de milions d'usuaris finals. Els actius digitals de cada usuari s'emmagatzemen de manera segura en el seu ObjectSet exclusiu, implementant de manera natural l'aïllament, la facturació i la gestió de quotes.

Amb la ràpida expansió de l'escala de l'aplicació, la complexitat de la gestió de conjunts massius, la dificultat d'aïllament i els colls d'ampolla físics es fan evidents simultàniament:

• Problema de gestió jeràrquica d'usuaris massius: Quan una aplicació gestiona de manera diferenciada una gran quantitat de recursos i característiques d'usuaris de diferents nivells, necessita dissenyar i implementar les metadades jeràrquiques de l'usuari i associar-les amb els interruptors de característiques d'emmagatzematge d'objectes. Ajudar els desenvolupadors a gestionar de manera elegant la jerarquia d'usuaris sobre el concepte natiu de Set és important per accelerar la implementació de l'aplicació. - Coll d'ampolla de capacitat d'un sol clúster: tot i que Agent Bucket es pot expandir lògicament de manera il·limitada, les seves metadades s'emmagatzemen per defecte en un sol clúster físic. Quan el nombre total d'objectes a la galleda arriba a centenars de milers de milions o fins i tot bilions, la capacitat física d'un sol clúster es converteix en un límit superior insuperable.

• Problema de compartició del punt d'accés: la diversitat empresarial de l'Agent i l'enorme nombre d'usuaris comporten un major risc de seguretat i un radi d'explosió al punt d'accés mateix. Com fer una programació dinàmica basada en les diferències entre un gran nombre de negocis i usuaris, i aconseguir capacitats de seguretat, aïllament i acceleració diferenciades, s'ha convertit en un repte.

Set Tagging: Gestió jeràrquica d'usuaris mitjançant etiquetatge

ObjectSet proporciona una manera nativa de gestió d'etiquetes, que permet als desenvolupadors d'Agent utilitzar fàcilment la capacitat de set tagging per completar la governança jeràrquica dels usuaris; els desenvolupadors poden correspondre cada nivell d'usuari definit a una etiqueta i habilitar diferents quotes i característiques per a cada etiqueta. Tots els ObjectSet que tinguin aquesta etiqueta aplicada aplicaran les quotes i característiques corresponents. Prenem com a exemple els tres nivells V1, V2 i V3:

• V1: Nivell per defecte, usuaris gratuïts, l'etiqueta per defecte de tots els ObjectSet, es pot configurar per emmagatzemar un màxim d'1 GiB de dades, la distribució de la xarxa pública no pot superar l'amplada de banda de 100 mbps i la velocitat de descàrrega d'un sol flux es controla a 1 mbps;

• V2: Membres de pagament de nivell bàsic, configurats per emmagatzemar un màxim de 10 GiB de dades, la distribució de la xarxa pública no pot superar l'amplada de banda de 10 gbps i la velocitat de descàrrega d'un sol flux es controla a 10 mbps;

• V3: Membres de pagament avançats, a més de proporcionar una major capacitat d'emmagatzematge i quota de distribució de xarxa pública, també admet la configuració per habilitar capacitats addicionals d'acceleració de xarxa pública feble i acceleració de mitjans d'alt rendiment;

Els desenvolupadors d'Agent poden utilitzar de manera flexible l'etiquetatge V1/V2/V3 per gestionar els recursos i les característiques de valor afegit que poden utilitzar aquests usuaris per a diferents cicles de desenvolupament de diferents usuaris.

Set Slice: Aïllament natiu de dades d'usuaris massius

Quan el nombre de Set dins d'un Agent Bucket arriba a centenars de milions i el nombre d'objectes arriba a centenars de milers de milions o bilions, el fet que "totes les metadades d'un sol Bucket es concentrin en un clúster KV" en si mateix comportarà un doble risc de capacitat i rendiment.

Set Slice proporciona una idea de "no desmuntar lògicament, desmuntar físicament":

• Des d'una perspectiva lògica, encara només gestioneu un Agent Bucket.

• Físicament, segons l'àmbit del Set i els noms dels objectes dins del Set, les metadades es divideixen en múltiples Slice (llaminadures), i cada Slice es pot emmagatzemar en diferents clústers. Múltiples Set estan aïllats de manera natural i un sol Set s'expandeix horitzontalment.

Set Slice és una extensió i garantia addicional de la capacitat ObjectSet. Resol el problema de l'expansió il·limitada de la capacitat física a la capa inferior, alhora que garanteix l'estabilitat i la coherència del model de gestió ObjectSet de la capa superior.

• Límit de gestió estable: fins i tot si les dades d'un Agent Bucket abasten múltiples clústers físics, ObjectSet segueix sent la unitat bàsica única de permisos, quotes, facturació i monitoratge. Les polítiques configurades pels desenvolupadors per a ObjectSet (com ara el control d'accés i el límit superior de capacitat) entraran en vigor automàticament a tots els Slices relacionats, sense necessitat de preocupar-se per la distribució de dades subjacent.

• Un sol Set es pot expandir linealment: quan la quantitat de dades d'un ObjectSet augmenta ràpidament, les seves dades es distribuiran naturalment a múltiples Slices. A mesura que s'expandeix el clúster general, la capacitat d'aquest ObjectSet també augmenta de manera fluida i lineal, i els desenvolupadors no necessiten realitzar cap operació destructiva com ara la divisió o la migració d'aquest ObjectSet en si mateix.

• Aïllament de recursos entre Set: en distribuir objectes de diferents àmbits en diferents clústers físics, SetSlice aconsegueix un aïllament de recursos de dimensions superiors. Combinat amb la gestió de quotes d'ObjectSet, pot prevenir eficaçment que el creixement de dades d'un ObjectSet "super gran" ocupi tots els recursos d'un sol clúster, afectant així l'estabilitat d'altres ObjectSet, fent que el risc de capacitat general sigui controlable.- Lògica unificada i compatibilitat: per a empreses i desenvolupadors, independentment de quants Slice hi hagi a la base, sempre s'enfronten a un Agent Bucket lògicament unificat. Totes les operacions dirigides a buckets, ObjectSets i objectes es mantenen sense canvis, realitzant una expansió física completament transparent per a les aplicacions de nivell superior.

Set AccessPoint: Aïllar el punt d'accés de cada usuari

Agent Bucket admet l'obertura de punts d'accés independents (dominis independents) per a cada ObjectSet i, en el punt d'accés, ampliar les capacitats diferenciades de seguretat, aïllament i acceleració. Per a això, el sistema ha de suportar la programació de punts d'accés independents a nivell de milers de milions i capacitats de configuració diferenciades.

Domini d'accés independent {$apid}.tos-objectset-ap.volces.com: protecció de seguretat de dos nivells

• Primer nivell Obscurity (ocultació): subdomini independent per usuari/ObjectSet, hash d'alta entropia apid, probabilitat de col·lisió extremadament baixa, impossible d'endevinar i exhaurir l'entrada d'un usuari específic des de la perspectiva del domini d'accés;

• Segon nivell Containment (contenció): els desenvolupadors d'Agent utilitzen sts per distribuir permisos d'accés a nivell d'ObjectSet, fins i tot si sts es filtra, també poden controlar que el seu rang d'accés estigui limitat a un període de validesa limitat d'un ObjectSet determinat;

Sistema de programació heurística: càlcul de la política de programació de dominis a nivell de milers de milions

• Política d'accés diferenciada per usuari/ObjectSet:tag

• Múltiples usuaris/ObjectSets es dispersen automàticament en diferents entrades de xarxa pública, el nombre d'usuaris afectats per una única fallada d'entrada està controlat

• Programació elàstica a tota la regió, la fallada/sobrecàrrega d'una única entrada completa automàticament l'embalatge i el moviment del trànsit

• Usuaris de distribució d'acceleració de xarxa pública, marquen la etiqueta d'acceleració de transmissió de xarxa pública i programen automàticament l'entrada d'acceleració

• Usuaris de risc de xarxa pública, marquen la etiqueta de risc, programen automàticament l'entrada d'aïllament de xarxa pública i redueixen la quota d'ample de banda de xarxa pública

• Usuaris de xarxa privada entre dominis, marquen la etiqueta entre dominis i programen automàticament la ruta d'acceleració de línia dedicada de xarxa privada

• Usuaris d'accelerador local, marquen la etiqueta d'accelerador i munten automàticament l'accelerador local

Des d'assistent de programació fins a disc de núvol AI, les infinites possibilitats d'Agent Bucket

Agent Bucket proporciona una solució completa per a Agent, i l'escenari d'aplicació del disseny d'ObjectSet va molt més enllà d'això, es pot ampliar fàcilment a totes les aplicacions que necessiten proporcionar serveis a un gran nombre d'usuaris finals:

• Repositori de codi: en el passat, quan les empreses o els individus allotjaven codi al núvol, sovint necessitaven construir una capa de "sistema d'inquilí" a sobre de l'emmagatzematge d'objectes per aconseguir l'aïllament del compte i el control d'accés. Ara, es pot assignar un ObjectSet exclusiu a cada desenvolupador per recollir de manera unificada el repositori de codi, els productes de construcció i les dependències. Agent Skills també s'adapta de manera natural a ObjectSet, la càrrega, la descàrrega i la distribució de Skills proporcionen un aïllament fort a través d'ObjectSet, evitant la pertorbació del veïnat durant l'execució d'Agent.

• Disc de núvol d'àlbums d'empresa: els serveis tradicionals d'àlbums o discs de núvol sovint barregen les fotos de tots els usuaris al mateix bucket i distingeixen els usuaris mitjançant prefixos, cosa que no només és complexa de gestionar, sinó que també és propensa a l'"efecte veí". Basat en ObjectSet, les fotos i els vídeos de cada usuari cauen en el seu propi Set, els pics d'accés no interfereixen entre si i també es poden establir límits de capacitat, polítiques de còpia de seguretat i mètodes de xifratge per usuari, aconseguint realment que "tothom tingui un àlbum de núvol segur i controlable".

• Magatzem de dades Hadoop: al magatzem de dades empresarial, diferents línies de negoci i diferents bases de dades sovint comparteixen recursos a la mateixa capa d'emmagatzematge subjacent. En assignar cada base de dades a un ObjectSet, les empreses poden realitzar l'aïllament i el control de quotes per base de dades a sobre d'un emmagatzematge unificat. En particular, ObjectSet proporciona una capa addicional de permisos a TOS, proporcionant aïllament i control d'accés a les bases de dades i les taules emmagatzemades a TOS sense canviar l'actual Proton on TOS. - Plataforma d'allotjament de models: En l'escenari d'allotjament de models grans, cada model no només és voluminós, sinó que també pot correspondre a diferents versions, pesos i configuracions d'inferència. Crear un ObjectSet per a cada model permet empaquetar i allotjar els pesos del model, el Tokenizer, els fitxers de configuració i les dades d'avaluació relacionades en el mateix espai. L'equip d'operacions pot establir polítiques de xifratge, polítiques de còpia de seguretat i control d'amplada de banda diferenciades per a diferents models. Al mateix temps, a través de la capacitat de mesurament nativa, es poden comptabilitzar els costos reals d'ús de cada model, proporcionant una base per a la facturació i la programació de recursos per dimensió de model.

• Servei de dades SaaS: Les plataformes de distribució de dades orientades a un gran nombre d'usuaris finals sovint necessiten connectar-se simultàniament amb molts proveïdors de dades, garantint que les fronteres de dades de cada part siguin clares i evitant el risc de rendiment de "una galleda gran arrossega a tothom". Amb l'ajuda d'Agent Bucket, cada proveïdor de dades pot tenir el seu propi ObjectSet, gestionant de manera unificada les dades originals i els resultats del processament. A través de dominis i amplada de banda independents, i quotes de QPS, es pot proporcionar una garantia de servei i limitació de velocitat diferenciades per a diferents proveïdors, realitzant una infraestructura de distribució de dades "una plataforma, múltiples proveïdors, aïllats entre si i amb col·laboració controlable".

Reference:

• https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/

• https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/