Agent Bucket: Bucket nativo per Agent su scala di trilioni
2/16/2026
16 min read
# Agent Bucket: Bucket nativo per Agent su scala di trilioni
Oggi, con la proliferazione degli AI Agent, gli sviluppatori stanno costruendo applicazioni intelligenti e fantasiose a una velocità senza precedenti. Dagli assistenti di programmazione che ti aiutano a scrivere codice, agli strumenti di creazione che generano un film da una singola frase, fino agli assistenti personali intelligenti sempre pronti, gli Agent stanno rimodellando il modo in cui interagiamo con il mondo digitale. Dietro questa ondata, un consenso diventa sempre più chiaro: con l'aiuto dell'architettura Serverless (come Lambda), dei modelli linguistici di grandi dimensioni (LLM) e dell'archiviazione cloud (come S3, TOS), combinati con il Vibe Coding, chiunque può creare rapidamente il proprio AI Agent in 30 minuti.
Per passare da \L'essenza dell'object storage (S3/TOS) è la "piattezza", progettato originariamente per l'archiviazione semplice di enormi quantità di dati, come un enorme magazzino. Sebbene la capacità sia quasi illimitata, la struttura logica è estremamente semplice. Manca di gestione avanzata delle directory nativa, controllo granulare dei metadati e vera consapevolezza del tenant. Quando gli sviluppatori cercano di simulare un file system multi-tenant "tridimensionale" su S3 "piatto" tramite hardcoding di prefissi, in realtà stiamo utilizzando un "archivio KV statico" per supportare un metodo di accesso ai file di un'applicazione Agent con "semantica di directory e forte isolamento". Ciò significa che l'Agent deve consumare token aggiuntivi per gestire i file e controllare la risoluzione delle autorizzazioni e dell'isolamento multi-tenant. Questi consumi di token aggiuntivi indicano che il servizio di storage semplice definito da S3 non è abbastanza semplice per l'Agent.
Il blog di S3 del 2025, "Design patterns for multi-tenant access control on Amazon S3", illustra ulteriormente gli S3 Access Point. Ciò significa che è possibile creare più punti di accesso di rete virtuali e configurare una policy di accesso personalizzata per ciascun punto di accesso, offrendo alcune soluzioni a livello di pianificazione di rete per scenari multi-tenant.
## Agent Wonderland
Uno sviluppatore di Agent ideale, durante lo sviluppo di un AI Agent, può costruire un Agent completamente serverless basato su "Agent SDK + storage + servizio MaaS":
- L'Agent può essere eseguito in modo completamente serverless
- È possibile costruire un Agent combinando le funzionalità del prodotto esistenti tramite Vibe Coding
- È necessario mantenere solo lo script python "ADK"
- Lo storage utilizza l'object storage
- Le capacità AI utilizzano Doubao
- Teoricamente, non ci sono ECS o altri prodotti basati su istanze
Allo stesso tempo, lo storage deve fornire le seguenti capacità:
- L'Agent può avere uno storage con semantica di oggetto (salvare file), fornendo capacità di accesso multi-tenant, a partire da milioni ed espandibile a miliardi
- L'Agent può fornire uno spazio indipendente per ogni utente (tra più servizi, i servizi o gli UID potrebbero avere lo stesso nome)
- L'Agent può configurare direttamente la larghezza di banda di ciascun utente e configurare il limite massimo delle dimensioni totali degli oggetti utente
- L'Agent può fatturare, monitorare e osservare in base all'utente
- L'Agent può configurare le policy di accesso per i file di ciascun utente
## Agent Bucket: iniettare geni "multi-tenant nativi" nell'AI Agent
Per risolvere radicalmente questo problema, proponiamo un nuovo paradigma di object storage: Agent Bucket. La sua innovazione principale è l'introduzione di un nuovo livello di risorse native tra il tradizionale "bucket" e "oggetto": la raccolta di oggetti.
L'idea centrale di questo design è estremamente semplice: abbina un ObjectSet esclusivo a ciascun utente finale. Puoi immaginare ObjectSet come una "cassaforte dati" o uno "spazio personale cloud" creato appositamente per ogni utente. Appartiene logicamente al tuo Bucket (sviluppatore), ma fisicamente e gestionalmente, ha la sua "personalità" e il suo "ciclo di vita" indipendente.Agent Bucket Ogni bucket supporta 100 milioni di ObjectSet, il che significa che puoi servire con facilità centinaia di milioni di utenti finali, come se ogni utente finale "vivesse" in uno spazio di archiviazione indipendente, senza doverti più preoccupare della gestione dello storage multi-tenant.
## Progettazione ObjectSet: capacità orientate all'Agent
In Agent Bucket, ObjectSet non è solo un livello aggiuntivo, ma trasforma anche le esigenze più complesse negli scenari multi-tenant in funzionalità native pronte all'uso. Una volta che la proprietà dei dati è chiaramente definita a livello di ObjectSet, una serie di funzionalità che in passato erano difficili da implementare diventano naturali.
- Isolamento nativo: a livello di ObjectSet, puoi impostare QPS, limiti di larghezza di banda e quote di capacità indipendenti per ogni utente. L'esperienza degli utenti paganti può essere garantita e il comportamento anomalo degli utenti gratuiti non influirà sugli altri. Questo è un vero isolamento del dominio di errore, che impedisce ai "vicini" di interferire tra loro.
- Autorizzazioni native: ogni ObjectSet può avere un dominio indipendente. Ciò significa che puoi fornire all'utente A un indirizzo di accesso esclusivo user-a.yourapp.com, invece di esporre l'intero dominio del bucket di storage. Ancora più ingegnosa è la progettazione a "due serrature": la prima serratura è una credenziale di accesso temporanea (STS) rilasciata dal fornitore di servizi cloud, che controlla le autorizzazioni di accesso a livello di applicazione; la seconda serratura è il dominio indipendente di ObjectSet, che blocca le richieste di accesso nello spazio dati dell'utente stesso a livello di rete. Ciò migliora notevolmente la sicurezza dei dati.
- Monitoraggio nativo: nel pannello di controllo del monitoraggio, non puoi più vedere solo i dati di riepilogo dell'intero bucket. Puoi scomporre i grafici di monitoraggio per ObjectSet, ottenendo una chiara visione di quale utente finale sta effettuando un gran numero di accessi, in modo da poter prendere decisioni operative e di ottimizzazione precise.
- Discesa di capacità native: le policy che in passato potevano essere impostate solo a livello di bucket, ora possono essere portate a livello di singolo utente. Puoi impostare diversi cicli di vita dei dati per utenti di diversi livelli, oppure utilizzare diverse chiavi di crittografia per ogni ObjectSet, ottenendo una gestione dei dati più granulare e sicura.
- Misurazione nativa: vuoi sapere quanto spazio di archiviazione sta utilizzando ogni utente? Vuoi ripartire con precisione i costi di archiviazione su ogni utente? Ora è diventato facile. Agent Bucket statisticamente automaticamente la capacità e l'utilizzo di ogni ObjectSet, rendendo chiari la fatturazione e la ripartizione.
- Fatturazione nativa: gli sviluppatori possono facilmente implementare la ripartizione dei costi, riportando con precisione i costi di archiviazione sostenuti a ogni utente finale. Ad esempio, addebitare tariffe diverse in base al rapporto tra i costi effettivi sostenuti dai diversi utenti A, B e C, fornendo supporto dati per la commercializzazione di Agent.
- Limite di capacità nativo: per controllare i costi operativi di Agent, puoi impostare una Quota (limite di capacità) per ogni ObjectSet. Una volta raggiunto il valore preimpostato, il sistema impedirà all'utente di generare nuovi file, evitando alla radice l'abuso di risorse negli scenari multi-tenant.
- Intelligenza nativa: Agent Bucket consente ad Agent di superare i limiti della semplice "memorizzazione e recupero" di file tradizionali, fornendo a Object un'intelligenza nativa, supportando in modo più efficiente lo sviluppo one-stop di Agent. ObjectSet può attivare l'indicizzazione intelligente con un solo clic, fornendo ad Agent una capacità di domande e risposte multimodali nativa e amichevole, sostituendo le operazioni meccaniche CRUD di Object tradizionali; supporta persino l'attivazione della modalità Agentself con un solo clic, collegando vettori, conoscenza, modelli e prompt, rivelando direttamente le funzioni di sub-Agent contestualizzate, consentendo agli sviluppatori di Agent di livello superiore di concentrarsi sulla creazione del flusso di lavoro aziendale principale, liberando pienamente l'efficienza della monetizzazione intelligente.
## Sfide tecnologiche derivanti dall'esplosione della scala delle applicazioni
Agent Bucket, introducendo il concetto nativo di ObjectSet, fornisce agli sviluppatori di applicazioni un modo elegante ed efficiente per gestire i dati di centinaia di milioni di utenti finali. Le risorse digitali di ogni utente sono archiviate in modo sicuro nel proprio ObjectSet esclusivo, realizzando naturalmente l'isolamento, la fatturazione e la gestione delle quote.
Con la rapida espansione della scala delle applicazioni, la complessità della gestione di un numero enorme di Set, la difficoltà di isolamento e i colli di bottiglia fisici diventano tutti evidenti:
- Problema di gestione gerarchica di un numero enorme di utenti: quando un'applicazione gestisce in modo differenziato un gran numero di risorse e funzionalità di utenti di diversi livelli, deve progettare e implementare autonomamente i metadati gerarchici dell'utente e associare gli interruttori delle funzionalità di object storage. Aiutare gli sviluppatori a gestire elegantemente la gerarchia degli utenti sul concetto nativo di Set è importante per accelerare l'implementazione dell'applicazione.## Sfide nella gestione della capacità e dell'isolamento dei dati su larga scala
- Collo di bottiglia della capacità del singolo cluster: sebbene l'Agent Bucket possa essere esteso logicamente all'infinito, i suoi metadati vengono archiviati per impostazione predefinita in un singolo cluster fisico. Quando il numero totale di oggetti nel bucket raggiunge centinaia di miliardi o addirittura trilioni, la capacità fisica di un singolo cluster diventa un limite insormontabile.
- Problema della condivisione del punto di accesso: la diversità aziendale dell'Agent e l'enorme numero di utenti comportano maggiori rischi per la sicurezza e un raggio di esplosione più ampio per il punto di accesso stesso. Come eseguire la pianificazione dinamica in base alle differenze tra un gran numero di aziende e utenti diversi e realizzare funzionalità differenziate di sicurezza, isolamento e accelerazione è diventata una difficoltà.
## Set Tagging: gestione a livelli degli utenti tramite tagging
ObjectSet fornisce un metodo di gestione nativo basato su tagging, consentendo agli sviluppatori di Agent di utilizzare facilmente la funzionalità di set tagging per completare la governance a livelli degli utenti; gli sviluppatori possono definire un tag per ogni livello utente e abilitare diverse quote e caratteristiche per ogni tag. Tutti gli ObjectSet contrassegnati con questo tag applicheranno le quote e le caratteristiche corrispondenti. Prendiamo come esempio i tre livelli V1, V2 e V3:
- V1: livello predefinito, utenti gratuiti, tag predefinito per tutti gli ObjectSet, configurabile per archiviare al massimo 1 GiB di dati, la distribuzione sulla rete pubblica non può superare la larghezza di banda di 100 mbps, la velocità di download a flusso singolo è controllata a 1 mbps;
- V2: membri a pagamento di livello base, configurati per archiviare al massimo 10 GiB di dati, la distribuzione sulla rete pubblica non può superare la larghezza di banda di 10 gbps, la velocità di download a flusso singolo è controllata a 10 mbps;
- V3: membri a pagamento di livello avanzato, oltre a fornire una maggiore capacità di archiviazione e quote di distribuzione sulla rete pubblica, supporta anche la configurazione per abilitare l'accelerazione aggiuntiva della rete pubblica debole e la capacità di accelerazione dei media ad alte prestazioni;
Gli sviluppatori di Agent possono utilizzare in modo flessibile il tagging V1/V2/V3 per gestire le risorse e le funzionalità a valore aggiunto che questi utenti possono utilizzare per i diversi cicli di sviluppo di diversi utenti.
## Set Slice: isolamento nativo dei dati di utenti massicci
Quando il numero di Set in un Agent Bucket raggiunge il livello di centinaia di milioni e il numero di oggetti raggiunge centinaia di miliardi o trilioni, il fatto stesso che "tutti i metadati di un singolo Bucket sono concentrati in un cluster KV" comporterà doppi rischi di capacità e prestazioni.
Set Slice fornisce un'idea di "non smontaggio logico, smontaggio fisico":
- Dal punto di vista logico, gestisci ancora solo un Agent Bucket.
- Fisicamente, in base all'intervallo di Set e dei nomi degli oggetti all'interno del Set, i metadati vengono suddivisi in più Slice (sezioni), ogni Slice può essere archiviata su cluster diversi, più Set sono naturalmente isolati e un singolo Set è esteso orizzontalmente.
Set Slice è un'ulteriore estensione e garanzia della capacità di ObjectSet. Risolve fondamentalmente il problema dell'espansione illimitata della capacità fisica e garantisce al contempo la stabilità e la coerenza del modello di gestione ObjectSet di livello superiore.
- Confine di gestione stabile: anche se i dati di un Agent Bucket si estendono su più cluster fisici, ObjectSet è ancora l'unica unità base di autorizzazioni, quote, fatturazione e monitoraggio. Le policy configurate dagli sviluppatori per ObjectSet (come il controllo degli accessi, il limite di capacità) entreranno automaticamente in vigore su tutte le Slices correlate, senza doversi preoccupare della distribuzione dei dati sottostanti.
- Singolo Set estendibile linearmente: quando la quantità di dati di un determinato ObjectSet cresce rapidamente, i suoi dati verranno naturalmente distribuiti su più Slices. Con l'espansione dell'intero cluster, anche la capacità di questo ObjectSet cresce senza problemi e linearmente. Gli sviluppatori non devono eseguire alcuna operazione distruttiva come lo smontaggio o la migrazione dell'ObjectSet stesso.
- Isolamento delle risorse tra Set: distribuendo oggetti di intervalli diversi su cluster fisici diversi, SetSlice realizza un isolamento delle risorse di dimensioni superiori. In combinazione con la gestione delle quote di ObjectSet, può prevenire efficacemente che la crescita dei dati di un determinato ObjectSet "super grande" occupi tutte le risorse di un singolo cluster, influenzando così la stabilità di altri ObjectSet e rendendo controllabile il rischio di capacità complessivo.- Unità logica e compatibilità: per le aziende e gli sviluppatori, indipendentemente dal numero di Slice sottostanti, ciò che affrontano è sempre un Agent Bucket logicamente unificato. Tutte le operazioni su bucket, ObjectSet e oggetti rimangono invariate, realizzando una completa trasparenza dell'espansione fisica per le applicazioni di livello superiore.
## Set AccessPoint: isolare il punto di accesso di ogni utente
Agent Bucket supporta l'abilitazione di un punto di accesso indipendente (dominio indipendente) per ogni ObjectSet e l'estensione di funzionalità differenziate di sicurezza, isolamento e accelerazione sul punto di accesso. Il sistema deve supportare la pianificazione di punti di accesso indipendenti a livello di miliardi e funzionalità di configurazione differenziata.
Dominio di accesso indipendente {$apid}.tos-objectset-ap.volces.com: protezione di sicurezza a due livelli
- Primo livello Obscurity (occultamento): sottodominio indipendente By User/ObjectSet, hash ad alta entropia apid, probabilità di collisione estremamente bassa, impossibile indovinare ed esaurire l'ingresso di uno specifico utente dall'angolo del dominio di accesso;
- Secondo livello Containment (contenimento): gli sviluppatori di Agent utilizzano sts per distribuire i permessi di accesso a livello di ObjectSet, anche se sts viene divulgato, è possibile controllare l'ambito di accesso limitato a una validità limitata di un determinato ObjectSet;
Sistema di pianificazione euristica: calcolo della strategia di pianificazione del dominio a livello di miliardi
- Strategia di accesso differenziata By user/ObjectSet:tag
- Più user/ObjectSet vengono automaticamente dispersi in diversi ingressi di rete pubblica, il numero di utenti interessati da un singolo guasto all'ingresso è controllato
- Pianificazione elastica a livello di area geografica, guasto/sovraccarico di un singolo ingresso completato automaticamente il trasferimento del traffico
- Utente di distribuzione di accelerazione di rete pubblica, contrassegnato con tag di accelerazione della trasmissione di rete pubblica, ingresso di accelerazione della pianificazione automatica
- Utente di classe di rischio di rete pubblica, contrassegnato con tag di rischio, ingresso di isolamento di rete pubblica di pianificazione automatica e riduzione della quota di larghezza di banda di rete pubblica
- Utente di classe cross-domain di rete interna, contrassegnato con tag cross-domain, percorso di accelerazione della linea dedicata di rete interna di pianificazione automatica
- Utente dell'acceleratore locale, contrassegnato con tag dell'acceleratore, montaggio automatico dell'acceleratore locale
## Dall'assistente di programmazione al disco cloud AI, le infinite possibilità di Agent Bucket
Agent Bucket fornisce una soluzione completa per Agent e lo scenario applicativo del design di ObjectSet va ben oltre. Può essere facilmente esteso a tutte le applicazioni che devono fornire servizi a un numero enorme di utenti finali:
- Repository di codice: in passato, quando le aziende o gli individui ospitavano codice nel cloud, spesso dovevano costruire un "sistema tenant" sopra l'object storage per ottenere l'isolamento dell'account e il controllo degli accessi. Ora, è possibile assegnare a ogni sviluppatore un ObjectSet esclusivo per raccogliere in modo unificato repository di codice, artefatti di build e dipendenze. Agent Skills si adatta naturalmente anche a ObjectSet. Il caricamento, il download e la distribuzione di Skills forniscono un forte isolamento tramite ObjectSet, evitando disturbi di vicinato durante l'esecuzione di Agent.
- Album fotografici aziendali/disco di rete: i tradizionali servizi di album fotografici o dischi di rete spesso mescolano le foto di tutti gli utenti nello stesso bucket e distinguono gli utenti tramite prefissi. Questo non solo è complesso da gestire, ma è anche soggetto all'effetto "vicino". Basato su ObjectSet, le foto e i video di ogni utente si trovano nei rispettivi Set. I picchi di accesso non interferiscono tra loro. È anche possibile impostare limiti di capacità, politiche di backup e metodi di crittografia per utente, realizzando veramente "ognuno ha un album fotografico cloud sicuro e controllabile".
- Data warehouse Hadoop: nel data warehouse aziendale, diverse linee di business e diversi database spesso condividono risorse sulla stessa storage sottostante. Mappando ogni database a un ObjectSet, le aziende possono implementare l'isolamento e il controllo delle quote per database su uno storage unificato. In particolare, ObjectSet fornisce un ulteriore livello di autorizzazioni su TOS, fornendo isolamento e controllo degli accessi per Database e Tables archiviati su TOS senza modificare l'attuale Proton on TOS.
Il blog di S3 del 2025, "Design patterns for multi-tenant access control on Amazon S3", illustra ulteriormente gli S3 Access Point. Ciò significa che è possibile creare più punti di accesso di rete virtuali e configurare una policy di accesso personalizzata per ciascun punto di accesso, offrendo alcune soluzioni a livello di pianificazione di rete per scenari multi-tenant.
## Agent Wonderland
Uno sviluppatore di Agent ideale, durante lo sviluppo di un AI Agent, può costruire un Agent completamente serverless basato su "Agent SDK + storage + servizio MaaS":
- L'Agent può essere eseguito in modo completamente serverless
- È possibile costruire un Agent combinando le funzionalità del prodotto esistenti tramite Vibe Coding
- È necessario mantenere solo lo script python "ADK"
- Lo storage utilizza l'object storage
- Le capacità AI utilizzano Doubao
- Teoricamente, non ci sono ECS o altri prodotti basati su istanze
Allo stesso tempo, lo storage deve fornire le seguenti capacità:
- L'Agent può avere uno storage con semantica di oggetto (salvare file), fornendo capacità di accesso multi-tenant, a partire da milioni ed espandibile a miliardi
- L'Agent può fornire uno spazio indipendente per ogni utente (tra più servizi, i servizi o gli UID potrebbero avere lo stesso nome)
- L'Agent può configurare direttamente la larghezza di banda di ciascun utente e configurare il limite massimo delle dimensioni totali degli oggetti utente
- L'Agent può fatturare, monitorare e osservare in base all'utente
- L'Agent può configurare le policy di accesso per i file di ciascun utente
## Agent Bucket: iniettare geni "multi-tenant nativi" nell'AI Agent
Per risolvere radicalmente questo problema, proponiamo un nuovo paradigma di object storage: Agent Bucket. La sua innovazione principale è l'introduzione di un nuovo livello di risorse native tra il tradizionale "bucket" e "oggetto": la raccolta di oggetti.
L'idea centrale di questo design è estremamente semplice: abbina un ObjectSet esclusivo a ciascun utente finale. Puoi immaginare ObjectSet come una "cassaforte dati" o uno "spazio personale cloud" creato appositamente per ogni utente. Appartiene logicamente al tuo Bucket (sviluppatore), ma fisicamente e gestionalmente, ha la sua "personalità" e il suo "ciclo di vita" indipendente.Agent Bucket Ogni bucket supporta 100 milioni di ObjectSet, il che significa che puoi servire con facilità centinaia di milioni di utenti finali, come se ogni utente finale "vivesse" in uno spazio di archiviazione indipendente, senza doverti più preoccupare della gestione dello storage multi-tenant.
## Progettazione ObjectSet: capacità orientate all'Agent
In Agent Bucket, ObjectSet non è solo un livello aggiuntivo, ma trasforma anche le esigenze più complesse negli scenari multi-tenant in funzionalità native pronte all'uso. Una volta che la proprietà dei dati è chiaramente definita a livello di ObjectSet, una serie di funzionalità che in passato erano difficili da implementare diventano naturali.
- Isolamento nativo: a livello di ObjectSet, puoi impostare QPS, limiti di larghezza di banda e quote di capacità indipendenti per ogni utente. L'esperienza degli utenti paganti può essere garantita e il comportamento anomalo degli utenti gratuiti non influirà sugli altri. Questo è un vero isolamento del dominio di errore, che impedisce ai "vicini" di interferire tra loro.
- Autorizzazioni native: ogni ObjectSet può avere un dominio indipendente. Ciò significa che puoi fornire all'utente A un indirizzo di accesso esclusivo user-a.yourapp.com, invece di esporre l'intero dominio del bucket di storage. Ancora più ingegnosa è la progettazione a "due serrature": la prima serratura è una credenziale di accesso temporanea (STS) rilasciata dal fornitore di servizi cloud, che controlla le autorizzazioni di accesso a livello di applicazione; la seconda serratura è il dominio indipendente di ObjectSet, che blocca le richieste di accesso nello spazio dati dell'utente stesso a livello di rete. Ciò migliora notevolmente la sicurezza dei dati.
- Monitoraggio nativo: nel pannello di controllo del monitoraggio, non puoi più vedere solo i dati di riepilogo dell'intero bucket. Puoi scomporre i grafici di monitoraggio per ObjectSet, ottenendo una chiara visione di quale utente finale sta effettuando un gran numero di accessi, in modo da poter prendere decisioni operative e di ottimizzazione precise.
- Discesa di capacità native: le policy che in passato potevano essere impostate solo a livello di bucket, ora possono essere portate a livello di singolo utente. Puoi impostare diversi cicli di vita dei dati per utenti di diversi livelli, oppure utilizzare diverse chiavi di crittografia per ogni ObjectSet, ottenendo una gestione dei dati più granulare e sicura.
- Misurazione nativa: vuoi sapere quanto spazio di archiviazione sta utilizzando ogni utente? Vuoi ripartire con precisione i costi di archiviazione su ogni utente? Ora è diventato facile. Agent Bucket statisticamente automaticamente la capacità e l'utilizzo di ogni ObjectSet, rendendo chiari la fatturazione e la ripartizione.
- Fatturazione nativa: gli sviluppatori possono facilmente implementare la ripartizione dei costi, riportando con precisione i costi di archiviazione sostenuti a ogni utente finale. Ad esempio, addebitare tariffe diverse in base al rapporto tra i costi effettivi sostenuti dai diversi utenti A, B e C, fornendo supporto dati per la commercializzazione di Agent.
- Limite di capacità nativo: per controllare i costi operativi di Agent, puoi impostare una Quota (limite di capacità) per ogni ObjectSet. Una volta raggiunto il valore preimpostato, il sistema impedirà all'utente di generare nuovi file, evitando alla radice l'abuso di risorse negli scenari multi-tenant.
- Intelligenza nativa: Agent Bucket consente ad Agent di superare i limiti della semplice "memorizzazione e recupero" di file tradizionali, fornendo a Object un'intelligenza nativa, supportando in modo più efficiente lo sviluppo one-stop di Agent. ObjectSet può attivare l'indicizzazione intelligente con un solo clic, fornendo ad Agent una capacità di domande e risposte multimodali nativa e amichevole, sostituendo le operazioni meccaniche CRUD di Object tradizionali; supporta persino l'attivazione della modalità Agentself con un solo clic, collegando vettori, conoscenza, modelli e prompt, rivelando direttamente le funzioni di sub-Agent contestualizzate, consentendo agli sviluppatori di Agent di livello superiore di concentrarsi sulla creazione del flusso di lavoro aziendale principale, liberando pienamente l'efficienza della monetizzazione intelligente.
## Sfide tecnologiche derivanti dall'esplosione della scala delle applicazioni
Agent Bucket, introducendo il concetto nativo di ObjectSet, fornisce agli sviluppatori di applicazioni un modo elegante ed efficiente per gestire i dati di centinaia di milioni di utenti finali. Le risorse digitali di ogni utente sono archiviate in modo sicuro nel proprio ObjectSet esclusivo, realizzando naturalmente l'isolamento, la fatturazione e la gestione delle quote.
Con la rapida espansione della scala delle applicazioni, la complessità della gestione di un numero enorme di Set, la difficoltà di isolamento e i colli di bottiglia fisici diventano tutti evidenti:
- Problema di gestione gerarchica di un numero enorme di utenti: quando un'applicazione gestisce in modo differenziato un gran numero di risorse e funzionalità di utenti di diversi livelli, deve progettare e implementare autonomamente i metadati gerarchici dell'utente e associare gli interruttori delle funzionalità di object storage. Aiutare gli sviluppatori a gestire elegantemente la gerarchia degli utenti sul concetto nativo di Set è importante per accelerare l'implementazione dell'applicazione.## Sfide nella gestione della capacità e dell'isolamento dei dati su larga scala
- Collo di bottiglia della capacità del singolo cluster: sebbene l'Agent Bucket possa essere esteso logicamente all'infinito, i suoi metadati vengono archiviati per impostazione predefinita in un singolo cluster fisico. Quando il numero totale di oggetti nel bucket raggiunge centinaia di miliardi o addirittura trilioni, la capacità fisica di un singolo cluster diventa un limite insormontabile.
- Problema della condivisione del punto di accesso: la diversità aziendale dell'Agent e l'enorme numero di utenti comportano maggiori rischi per la sicurezza e un raggio di esplosione più ampio per il punto di accesso stesso. Come eseguire la pianificazione dinamica in base alle differenze tra un gran numero di aziende e utenti diversi e realizzare funzionalità differenziate di sicurezza, isolamento e accelerazione è diventata una difficoltà.
## Set Tagging: gestione a livelli degli utenti tramite tagging
ObjectSet fornisce un metodo di gestione nativo basato su tagging, consentendo agli sviluppatori di Agent di utilizzare facilmente la funzionalità di set tagging per completare la governance a livelli degli utenti; gli sviluppatori possono definire un tag per ogni livello utente e abilitare diverse quote e caratteristiche per ogni tag. Tutti gli ObjectSet contrassegnati con questo tag applicheranno le quote e le caratteristiche corrispondenti. Prendiamo come esempio i tre livelli V1, V2 e V3:
- V1: livello predefinito, utenti gratuiti, tag predefinito per tutti gli ObjectSet, configurabile per archiviare al massimo 1 GiB di dati, la distribuzione sulla rete pubblica non può superare la larghezza di banda di 100 mbps, la velocità di download a flusso singolo è controllata a 1 mbps;
- V2: membri a pagamento di livello base, configurati per archiviare al massimo 10 GiB di dati, la distribuzione sulla rete pubblica non può superare la larghezza di banda di 10 gbps, la velocità di download a flusso singolo è controllata a 10 mbps;
- V3: membri a pagamento di livello avanzato, oltre a fornire una maggiore capacità di archiviazione e quote di distribuzione sulla rete pubblica, supporta anche la configurazione per abilitare l'accelerazione aggiuntiva della rete pubblica debole e la capacità di accelerazione dei media ad alte prestazioni;
Gli sviluppatori di Agent possono utilizzare in modo flessibile il tagging V1/V2/V3 per gestire le risorse e le funzionalità a valore aggiunto che questi utenti possono utilizzare per i diversi cicli di sviluppo di diversi utenti.
## Set Slice: isolamento nativo dei dati di utenti massicci
Quando il numero di Set in un Agent Bucket raggiunge il livello di centinaia di milioni e il numero di oggetti raggiunge centinaia di miliardi o trilioni, il fatto stesso che "tutti i metadati di un singolo Bucket sono concentrati in un cluster KV" comporterà doppi rischi di capacità e prestazioni.
Set Slice fornisce un'idea di "non smontaggio logico, smontaggio fisico":
- Dal punto di vista logico, gestisci ancora solo un Agent Bucket.
- Fisicamente, in base all'intervallo di Set e dei nomi degli oggetti all'interno del Set, i metadati vengono suddivisi in più Slice (sezioni), ogni Slice può essere archiviata su cluster diversi, più Set sono naturalmente isolati e un singolo Set è esteso orizzontalmente.
Set Slice è un'ulteriore estensione e garanzia della capacità di ObjectSet. Risolve fondamentalmente il problema dell'espansione illimitata della capacità fisica e garantisce al contempo la stabilità e la coerenza del modello di gestione ObjectSet di livello superiore.
- Confine di gestione stabile: anche se i dati di un Agent Bucket si estendono su più cluster fisici, ObjectSet è ancora l'unica unità base di autorizzazioni, quote, fatturazione e monitoraggio. Le policy configurate dagli sviluppatori per ObjectSet (come il controllo degli accessi, il limite di capacità) entreranno automaticamente in vigore su tutte le Slices correlate, senza doversi preoccupare della distribuzione dei dati sottostanti.
- Singolo Set estendibile linearmente: quando la quantità di dati di un determinato ObjectSet cresce rapidamente, i suoi dati verranno naturalmente distribuiti su più Slices. Con l'espansione dell'intero cluster, anche la capacità di questo ObjectSet cresce senza problemi e linearmente. Gli sviluppatori non devono eseguire alcuna operazione distruttiva come lo smontaggio o la migrazione dell'ObjectSet stesso.
- Isolamento delle risorse tra Set: distribuendo oggetti di intervalli diversi su cluster fisici diversi, SetSlice realizza un isolamento delle risorse di dimensioni superiori. In combinazione con la gestione delle quote di ObjectSet, può prevenire efficacemente che la crescita dei dati di un determinato ObjectSet "super grande" occupi tutte le risorse di un singolo cluster, influenzando così la stabilità di altri ObjectSet e rendendo controllabile il rischio di capacità complessivo.- Unità logica e compatibilità: per le aziende e gli sviluppatori, indipendentemente dal numero di Slice sottostanti, ciò che affrontano è sempre un Agent Bucket logicamente unificato. Tutte le operazioni su bucket, ObjectSet e oggetti rimangono invariate, realizzando una completa trasparenza dell'espansione fisica per le applicazioni di livello superiore.
## Set AccessPoint: isolare il punto di accesso di ogni utente
Agent Bucket supporta l'abilitazione di un punto di accesso indipendente (dominio indipendente) per ogni ObjectSet e l'estensione di funzionalità differenziate di sicurezza, isolamento e accelerazione sul punto di accesso. Il sistema deve supportare la pianificazione di punti di accesso indipendenti a livello di miliardi e funzionalità di configurazione differenziata.
Dominio di accesso indipendente {$apid}.tos-objectset-ap.volces.com: protezione di sicurezza a due livelli
- Primo livello Obscurity (occultamento): sottodominio indipendente By User/ObjectSet, hash ad alta entropia apid, probabilità di collisione estremamente bassa, impossibile indovinare ed esaurire l'ingresso di uno specifico utente dall'angolo del dominio di accesso;
- Secondo livello Containment (contenimento): gli sviluppatori di Agent utilizzano sts per distribuire i permessi di accesso a livello di ObjectSet, anche se sts viene divulgato, è possibile controllare l'ambito di accesso limitato a una validità limitata di un determinato ObjectSet;
Sistema di pianificazione euristica: calcolo della strategia di pianificazione del dominio a livello di miliardi
- Strategia di accesso differenziata By user/ObjectSet:tag
- Più user/ObjectSet vengono automaticamente dispersi in diversi ingressi di rete pubblica, il numero di utenti interessati da un singolo guasto all'ingresso è controllato
- Pianificazione elastica a livello di area geografica, guasto/sovraccarico di un singolo ingresso completato automaticamente il trasferimento del traffico
- Utente di distribuzione di accelerazione di rete pubblica, contrassegnato con tag di accelerazione della trasmissione di rete pubblica, ingresso di accelerazione della pianificazione automatica
- Utente di classe di rischio di rete pubblica, contrassegnato con tag di rischio, ingresso di isolamento di rete pubblica di pianificazione automatica e riduzione della quota di larghezza di banda di rete pubblica
- Utente di classe cross-domain di rete interna, contrassegnato con tag cross-domain, percorso di accelerazione della linea dedicata di rete interna di pianificazione automatica
- Utente dell'acceleratore locale, contrassegnato con tag dell'acceleratore, montaggio automatico dell'acceleratore locale
## Dall'assistente di programmazione al disco cloud AI, le infinite possibilità di Agent Bucket
Agent Bucket fornisce una soluzione completa per Agent e lo scenario applicativo del design di ObjectSet va ben oltre. Può essere facilmente esteso a tutte le applicazioni che devono fornire servizi a un numero enorme di utenti finali:
- Repository di codice: in passato, quando le aziende o gli individui ospitavano codice nel cloud, spesso dovevano costruire un "sistema tenant" sopra l'object storage per ottenere l'isolamento dell'account e il controllo degli accessi. Ora, è possibile assegnare a ogni sviluppatore un ObjectSet esclusivo per raccogliere in modo unificato repository di codice, artefatti di build e dipendenze. Agent Skills si adatta naturalmente anche a ObjectSet. Il caricamento, il download e la distribuzione di Skills forniscono un forte isolamento tramite ObjectSet, evitando disturbi di vicinato durante l'esecuzione di Agent.
- Album fotografici aziendali/disco di rete: i tradizionali servizi di album fotografici o dischi di rete spesso mescolano le foto di tutti gli utenti nello stesso bucket e distinguono gli utenti tramite prefissi. Questo non solo è complesso da gestire, ma è anche soggetto all'effetto "vicino". Basato su ObjectSet, le foto e i video di ogni utente si trovano nei rispettivi Set. I picchi di accesso non interferiscono tra loro. È anche possibile impostare limiti di capacità, politiche di backup e metodi di crittografia per utente, realizzando veramente "ognuno ha un album fotografico cloud sicuro e controllabile".
- Data warehouse Hadoop: nel data warehouse aziendale, diverse linee di business e diversi database spesso condividono risorse sulla stessa storage sottostante. Mappando ogni database a un ObjectSet, le aziende possono implementare l'isolamento e il controllo delle quote per database su uno storage unificato. In particolare, ObjectSet fornisce un ulteriore livello di autorizzazioni su TOS, fornendo isolamento e controllo degli accessi per Database e Tables archiviati su TOS senza modificare l'attuale Proton on TOS.- Piattaforma di hosting di modelli: Nello scenario di hosting di modelli di grandi dimensioni, ogni modello non solo è voluminoso, ma può anche corrispondere a diverse versioni, pesi e configurazioni di inferenza. La creazione di un ObjectSet per ogni modello consente di impacchettare e ospitare i pesi del modello, il Tokenizer, i file di configurazione e i dati di valutazione correlati nello stesso spazio. Il team operativo può impostare politiche di crittografia, politiche di backup e controllo della larghezza di banda differenziate per diversi modelli. Allo stesso tempo, attraverso la capacità di misurazione nativa, è possibile calcolare il costo effettivo di utilizzo di ciascun modello, fornendo una base per la fatturazione e la pianificazione delle risorse a livello di modello.
- Servizio dati SaaS: Una piattaforma di distribuzione dati rivolta a un numero enorme di utenti finali spesso deve interfacciarsi contemporaneamente con numerosi fornitori di dati. È necessario garantire che i confini dei dati di ciascuna parte siano chiari ed evitare il rischio di prestazioni di "un grande contenitore che trascina tutti". Con l'aiuto di Agent Bucket, ogni fornitore di dati può avere il proprio ObjectSet, gestendo in modo unificato i dati originali e i risultati dell'elaborazione. Attraverso domini e larghezza di banda indipendenti, nonché quote QPS, è possibile fornire garanzie di servizio differenziate e limitazione della velocità per diversi fornitori, realizzando un'infrastruttura di distribuzione dati "una piattaforma, più fornitori, isolati l'uno dall'altro e collaborativi in modo controllabile".
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/
Published in Technology
