Agent Bucket: Balde de Armazenamento Nativo para Agentes em Escala de Trilhões
2/16/2026
19 min read
# Agent Bucket: Balde de Armazenamento Nativo para Agentes em Escala de Trilhões
Com o surgimento de Agentes de IA como cogumelos após a chuva, os desenvolvedores estão construindo aplicativos inteligentes e imaginativos em uma velocidade sem precedentes. De assistentes de programação que ajudam você a escrever código, a ferramentas de criação que geram um filme a partir de uma única frase, até assistentes pessoais inteligentes sempre à disposição, os Agentes estão remodelando a maneira como interagimos com o mundo digital. Por trás dessa onda, um consenso se torna cada vez mais claro: com a ajuda da arquitetura Serverless (como Lambda), modelos de linguagem grandes (LLM) e armazenamento em nuvem (como S3, TOS), combinados com Vibe Coding, qualquer pessoa pode construir rapidamente seu próprio Agente de IA em 30 minutos.
De "funcional" a "útil", os desenvolvedores de Agentes ainda precisam superar dificuldades na transição de "brinquedo" para "aplicação de nível de produção". À medida que os negócios se expandem para um grande número de usuários, os desenvolvedores precisam enfrentar um desafio extremamente complexo: como construir uma solução de armazenamento completa para um grande número de usuários finais no armazenamento de objetos? Para a maioria dos desenvolvedores, esta não é apenas uma barreira técnica, mas também uma lacuna que impede a distribuição em larga escala de Agentes. O Agent Bucket visa simplificar completamente o processo de construção de sistemas multi-tenant por meio de um design de armazenamento nativo de IA, fornecendo recursos de Agente mais amigáveis.
## Quando bilhões de usuários chegam, o armazenamento de objetos tradicional "não é suficiente"
Imagine que você desenvolveu um aplicativo AIGC de sucesso. Cada usuário irá gerar e armazenar um grande número de imagens, vídeos e arquivos temporários. Como desenvolvedor, você naturalmente escolherá serviços de armazenamento de objetos maduros e escaláveis, como S3 e TOS. Mas aqui está o problema: como gerenciar dados para um grande número de usuários?
O blog do S3 de 2022, "Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3", descreve duas maneiras, "usar um bucket S3 separado para cada tenant" e "bucket S3 compartilhado isolado por prefixo":
- Criar um "bucket" separado para cada usuário: Isso é viável quando há poucos usuários, mas quando o número de usuários cresce para dezenas de milhares ou milhões, o número de buckets explode rapidamente, e os custos de gerenciamento e as limitações de recursos se tornam insuportáveis. O S3 fornece uma cota total de 10.000 buckets por região, mas para os recursos de IA populares, 10.000 ainda não são suficientes.
- Use "prefixos" para distinguir usuários no mesmo bucket: Esta se tornou a solução principal. Por exemplo, os arquivos do usuário A começam com user-a/, e os do usuário B começam com user-b/, como gerenciar arquivos em um computador com pastas. No entanto, não existem pastas nativas no armazenamento de objetos. Esta solução distingue multi-tenants através de "prefixos comuns" em um sistema de armazenamento "K-V".
Esta solução baseada em "bucket" ou "prefixo" tem sido amplamente adotada nos últimos dez anos. Mas existem os seguintes problemas:
- Isolamento multi-tenant: Os dados de todos os usuários são misturados no mesmo bucket. O acesso anormal de alta frequência de um usuário pode afetar todos os outros usuários, resultando em um "efeito vizinho". O isolamento de desempenho e o isolamento de falhas são impossíveis.
- Controle de permissões: Políticas de permissão complexas (IAM Policy) são difíceis de manter e é fácil cometer erros de configuração, resultando em acesso acidental aos dados do usuário, especialmente quando é necessário interagir com outros serviços de nuvem, o risco é maior.
- Clareza de custos: É difícil saber com precisão quanto espaço de armazenamento cada usuário consumiu e quantas taxas de tráfego foram geradas. Quando você deseja cobrar dos usuários pagantes com base no uso, o faturamento e a medição se tornam uma bagunça.Por que essas necessidades aparentemente básicas são implementadas de forma um tanto "pesada" pelos desenvolvedores de Agentes no armazenamento de objetos? Uma investigação aprofundada revela que, na arquitetura nativa da nuvem atual, existe um enorme vácuo entre o "armazenamento de objetos" (S3/TOS) e o "sistema de arquivos" tradicional. A essência do armazenamento de objetos (S3/TOS) é a "planarização", projetada originalmente para o armazenamento simples de grandes quantidades de dados, como um enorme armazém. Embora a capacidade seja quase ilimitada, a estrutura lógica é extremamente simples. Ele carece de gerenciamento de diretórios avançado nativo, controle de metadados granular e percepção real de locatários. Quando os desenvolvedores tentam simular um sistema de arquivos multi-locatário "tridimensional" no S3 "plano", codificando prefixos, estamos, na verdade, usando um "armazenamento KV estático" para suportar um método de acesso a arquivos de aplicativo Agente com "semântica de diretório e isolamento forte". Ou seja, o Agente precisa consumir tokens extras para gerenciar arquivos e controlar a resolução de permissões e isolamento multi-locatário. Esses tokens extras consumidos indicam que o serviço de armazenamento simples definido pelo S3 não é simples o suficiente para o Agente.
O blog do S3 de 2025, Design patterns for multi-tenant access control on Amazon S3, explica ainda mais o S3 Access Point. Isso significa que vários pontos de acesso de rede virtual podem ser criados, e uma política de ponto de acesso personalizada pode ser configurada para cada ponto de acesso, fornecendo algumas soluções para cenários multi-locatário no nível de agendamento de rede.
## Agent Wonderland
Um desenvolvedor de Agente ideal, ao desenvolver um Agente de IA, pode construir um Agente totalmente serverless com base em "Agent SDK + armazenamento + serviço MaaS":
- O Agente pode ser executado de forma totalmente serverless
- O Agente pode ser construído combinando os recursos de produtos existentes por meio do Vibe Coding
- Apenas o script python do "ADK" precisa ser mantido
- O armazenamento usa armazenamento de objetos
- A capacidade de IA usa Doubao
- Teoricamente, não há ECS ou outros produtos baseados em instâncias
Ao mesmo tempo, o armazenamento precisa fornecer os seguintes recursos:
- O Agente pode ter um armazenamento com semântica de objeto (salvar arquivos), fornecer capacidade de acesso multi-locatário, começando com milhões e escalável para bilhões
- O Agente pode fornecer espaço independente para cada usuário (entre vários negócios, os nomes de negócios ou uids podem ser duplicados)
- O Agente pode configurar diretamente a largura de banda de cada usuário e o limite superior do tamanho total do objeto do usuário
- O Agente pode faturar, monitorar e observar com base no usuário
- O Agente pode configurar políticas de acesso para os arquivos de cada usuário
## Agent Bucket: injetando genes "nativos multi-locatário" no Agente de IA
Para resolver fundamentalmente esse problema, propomos um novo paradigma de armazenamento de objetos - Agent Bucket. Sua principal inovação é a introdução de uma nova camada de recurso nativo entre o "bucket" e o "objeto" tradicionais: a coleção de objetos.
A ideia central desse design é extremamente simples: combine cada usuário final com um ObjectSet exclusivo. Você pode pensar no ObjectSet como um "cofre de dados" ou "espaço pessoal na nuvem" feito sob medida para cada usuário. Ele pertence logicamente ao seu Bucket (desenvolvedor), mas física e gerencialmente, possui sua própria "personalidade" e "ciclo de vida" independentes.Agent Bucket Cada bucket suporta 100 milhões de ObjectSets, o que significa que você pode atender confortavelmente centenas de milhões de usuários finais, como se cada usuário final "vivesse" em seu próprio espaço de armazenamento independente, sem precisar se preocupar com o gerenciamento de armazenamento multi-tenant.
## Design do ObjectSet - Capacidades amigáveis ao Agent
No Agent Bucket, o ObjectSet não é apenas a adição de um nível, mas também transforma as necessidades mais complexas em cenários multi-tenant em capacidades nativas prontas para uso. Quando a propriedade dos dados é claramente definida no nível do ObjectSet, uma série de capacidades que eram difíceis de implementar no passado tornam-se naturais.
- Isolamento Nativo: No nível do ObjectSet, você pode definir QPS, limites de largura de banda e cotas de capacidade independentes para cada usuário. A experiência dos usuários pagantes pode ser garantida e o comportamento anormal dos usuários gratuitos não afetará outros. Este é um verdadeiro isolamento de domínio de falha, para que os "vizinhos" não interfiram uns nos outros.
- Permissões Nativas: Cada ObjectSet pode ter um domínio independente. Isso significa que você pode dar ao usuário A um endereço de acesso exclusivo user-a.yourapp.com, em vez de expor o domínio de todo o bucket de armazenamento. Mais inteligentemente, o design de "duas fechaduras": a primeira fechadura é uma credencial de acesso temporária (STS) emitida pelo provedor de serviços de nuvem, que controla as permissões de acesso no nível da aplicação; a segunda fechadura é o domínio independente do ObjectSet, que bloqueia as solicitações de acesso no próprio espaço de dados do usuário a partir do nível da rede. Isso melhora muito a segurança dos dados.
- Monitoramento Nativo: No painel de monitoramento, você não pode mais ver apenas os dados gerais de todo o bucket. Você pode decompor os gráficos de monitoramento por ObjectSet, para entender claramente qual usuário final está fazendo um grande número de acessos, para tomar decisões precisas de operação e otimização.
- Capacidade Nativa de Downstream: As políticas que só podiam ser definidas no nível do bucket no passado agora podem ser transferidas para cada usuário. Você pode definir diferentes ciclos de vida de dados para usuários de diferentes níveis, ou usar diferentes chaves de criptografia para cada ObjectSet, para obter um gerenciamento de dados mais refinado e seguro.
- Medição Nativa: Quer saber quanto espaço de armazenamento cada usuário está usando? Quer alocar com precisão os custos de armazenamento para cada usuário? Agora se torna fácil. O Agent Bucket irá automaticamente estatísticas da capacidade e uso de cada ObjectSet para você, tornando seu faturamento e compartilhamento de contas claros e transparentes.
- Faturamento Nativo: Os desenvolvedores podem facilmente implementar o compartilhamento de custos e empurrar com precisão os custos gerados pelo armazenamento de volta para cada usuário final. Por exemplo, cobrar taxas diferentes com base nas proporções de custo real geradas por diferentes usuários A, B e C, fornecendo suporte de dados para a comercialização do Agent.
- Limite de Capacidade Nativa: Para controlar os custos operacionais do Agent, você pode definir uma Quota (limite de capacidade) para cada ObjectSet. Uma vez atingido o valor predefinido, o sistema irá restringir o usuário de continuar a gerar novos arquivos, evitando o uso indevido de recursos em cenários multi-tenant desde a raiz.
- Inteligência Nativa: O Agent Bucket permite que o Agent saia das limitações do simples "armazenamento e recuperação" de arquivos tradicionais, dando ao Object inteligência nativa e suportando de forma mais eficiente o desenvolvimento one-stop do Agent. O ObjectSet pode ativar o índice inteligente com um clique, fornecendo ao Agent capacidades de perguntas e respostas multimodais amigáveis e nativas, substituindo as operações mecânicas tradicionais de Object CRUD; ele ainda suporta a ativação do modo Agentself com um clique, conectando vetores, conhecimento, modelos e prompts, expondo diretamente funções de sub-Agent baseadas em cenário, permitindo que os desenvolvedores de Agent de nível superior se concentrem na criação de fluxo de trabalho de negócios principal e liberem totalmente a eficiência da monetização inteligente.
## Desafios Técnicos Trazidos pela Explosão da Escala da Aplicação
Ao introduzir o conceito nativo de ObjectSet, o Agent Bucket fornece aos desenvolvedores de aplicações uma forma elegante e eficiente de gerenciar os dados de centenas de milhões de usuários finais. Os ativos digitais de cada usuário são armazenados com segurança em seu ObjectSet exclusivo, implementando naturalmente o isolamento, o faturamento e o gerenciamento de cotas.
Com a rápida expansão da escala da aplicação, a complexidade do gerenciamento de conjuntos massivos, a dificuldade de isolamento e os gargalos físicos tornam-se evidentes ao mesmo tempo:
- Problema de gerenciamento hierárquico de usuários massivos: Ao gerenciar de forma diferenciada um grande número de recursos e características de usuários de diferentes níveis, a aplicação precisa projetar e implementar seus próprios metadados hierárquicos de usuário e associar interruptores de características de armazenamento de objetos. Ajudar os desenvolvedores a gerenciar elegantemente a hierarquia de usuários no conceito nativo de Set é importante para acelerar a implementação da aplicação.- Gargalo de capacidade de cluster único: Embora o Agent Bucket possa ser logicamente expandido indefinidamente, seus metadados são armazenados por padrão em um único cluster físico. Quando o número total de objetos no bucket atinge centenas de bilhões ou até trilhões, a capacidade física de um único cluster se torna um limite intransponível.
- Problema de compartilhamento de ponto de acesso: A diversidade de negócios do Agent e o grande número de usuários trazem maiores riscos de segurança e raio de explosão para o próprio ponto de acesso. Como realizar o agendamento dinâmico com base nas diferenças entre um grande número de diferentes negócios e usuários, e alcançar segurança, isolamento e capacidades de aceleração diferenciadas, torna-se um desafio.
## Set Tagging: Gerenciamento de Nível de Usuário com Tagging
ObjectSet fornece um método de gerenciamento de tagging nativo, permitindo que os desenvolvedores do Agent usem facilmente a capacidade de set tagging para concluir o gerenciamento de nível de usuário. Os desenvolvedores podem definir um tag para cada nível de usuário definido e habilitar diferentes cotas e recursos para cada tag. Todos os ObjectSets marcados com este tag aplicarão as cotas e recursos correspondentes. Tomando como exemplo os três níveis V1, V2 e V3:
- V1: Nível padrão, usuários gratuitos, o tag padrão de todos os ObjectSets, pode ser configurado para armazenar no máximo 1GiB de dados, a distribuição de rede pública não pode exceder 100mbps de largura de banda, e a velocidade de download de fluxo único é controlada para 1mbps;
- V2: Membros pagos de nível básico, configurados para armazenar no máximo 10GiB de dados, a distribuição de rede pública não pode exceder 10gbps de largura de banda, e a velocidade de download de fluxo único é controlada para 10mbps;
- V3: Membros pagos de nível avançado, além de fornecer maior armazenamento e cota de distribuição de rede pública, também suporta a configuração para habilitar aceleração de rede fraca de rede pública adicional e capacidade de aceleração de mídia de alto desempenho;
Os desenvolvedores do Agent podem usar de forma flexível o tagging V1/V2/V3 para gerenciar os recursos e recursos de valor agregado que esses usuários podem usar, de acordo com os diferentes ciclos de desenvolvimento de diferentes usuários.
## Set Slice: Isolamento Nativo de Dados Massivos do Usuário
Quando o número de Sets em um Agent Bucket atinge centenas de milhões e o número de objetos atinge centenas de bilhões ou trilhões, o fato de que "todos os metadados de um único Bucket estão concentrados em um cluster KV" em si trará riscos duplos de capacidade e desempenho.
Set Slice fornece uma ideia de "não dividir logicamente, dividir fisicamente":
- Do ponto de vista lógico, você ainda gerencia apenas um Agent Bucket.
- Fisicamente, de acordo com o Set e o intervalo de nomes de objetos dentro do Set, os metadados são divididos em vários Slices (fatias), e cada Slice pode ser armazenado em diferentes clusters. Vários Sets são naturalmente isolados e um único Set é expandido horizontalmente.
Set Slice é uma extensão e garantia adicional da capacidade ObjectSet. Ele resolve fundamentalmente o problema de expansão infinita da capacidade física e, ao mesmo tempo, garante a estabilidade e consistência do modelo de gerenciamento ObjectSet da camada superior.
- Limite de gerenciamento estável: Mesmo que os dados de um Agent Bucket abranjam vários clusters físicos, ObjectSet ainda é a única unidade básica de permissões, cotas, cobrança e monitoramento. As políticas configuradas pelos desenvolvedores para ObjectSet (como controle de acesso, limite de capacidade) entrarão em vigor automaticamente em todos os Slices relacionados, sem se preocupar com a distribuição dos dados subjacentes.
- Um único Set pode ser expandido linearmente: Quando a quantidade de dados de um determinado ObjectSet cresce rapidamente, seus dados são naturalmente distribuídos em vários Slices. Com a expansão do cluster geral, a capacidade do ObjectSet também cresce de forma contínua e linear, sem que os desenvolvedores precisem realizar quaisquer operações destrutivas, como divisão ou migração do próprio ObjectSet.
- Isolamento de recursos entre Sets: Ao distribuir objetos de diferentes intervalos em diferentes clusters físicos, SetSlice alcança um isolamento de recursos de dimensão superior. Combinado com o gerenciamento de cotas do ObjectSet, ele pode efetivamente impedir que o crescimento de dados de um determinado ObjectSet "super grande" comprima todos os recursos de um único cluster, afetando assim a estabilidade de outros ObjectSets, tornando o risco de capacidade geral controlável.- Lógica unificada e compatibilidade: Para empresas e desenvolvedores, independentemente de quantos Slices existam na camada inferior, eles sempre enfrentam um Agent Bucket logicamente unificado. Todas as operações em buckets, ObjectSets e objetos permanecem as mesmas, alcançando total transparência da expansão física para as aplicações da camada superior.
## Set AccessPoint: Isolar o ponto de acesso de cada usuário
O Agent Bucket suporta a ativação de pontos de acesso independentes (domínios independentes) para cada ObjectSet e estende recursos diferenciados de segurança, isolamento e aceleração nos pontos de acesso. Para isso, o sistema precisa suportar agendamento de pontos de acesso independentes em escala de bilhões e recursos de configuração diferenciados.
Domínio de acesso independente {$apid}.tos-objectset-ap.volces.com: Proteção de segurança de dois níveis
- Primeiro nível Obscurity (Ocultação): Subdomínio independente por usuário/ObjectSet, dispersão de alta entropia apid, probabilidade de colisão extremamente baixa, impossível adivinhar e enumerar a entrada de um usuário específico a partir do domínio de acesso;
- Segundo nível Containment (Contenção): Os desenvolvedores do Agent usam sts para distribuir permissões de acesso em nível de ObjectSet, mesmo que o sts vaze, ele pode controlar seu escopo de acesso limitado a um ObjectSet dentro de um período de validade limitado;
Sistema de agendamento heurístico: Cálculo da política de agendamento de domínio em escala de bilhões
- Política de acesso diferenciada por usuário/ObjectSet:tag
- Vários usuários/ObjectSets são automaticamente dispersos em diferentes entradas de rede pública, o número de usuários afetados por uma única falha de entrada é controlado
- Agendamento elástico em toda a região, falha/sobrecarga de qualquer entrada única completa automaticamente o movimento de contêineres de tráfego
- Usuários de distribuição de aceleração de rede pública, marcam a tag de aceleração de transmissão de rede pública e agendam automaticamente a entrada de aceleração
- Usuários de rede pública de risco, marcam a tag de risco, agendam automaticamente a entrada de isolamento de rede pública e reduzem a cota de largura de banda de rede pública
- Usuários de rede interna entre domínios, marcam a tag entre domínios e agendam automaticamente o caminho de aceleração de linha dedicada de rede interna
- Usuários de acelerador local, marcam a tag de acelerador e montam automaticamente o acelerador local
## Do assistente de programação ao disco de nuvem AI, as infinitas possibilidades do Agent Bucket
O Agent Bucket fornece uma solução completa para o Agent, e os cenários de aplicação do design do ObjectSet vão muito além disso. Ele pode ser facilmente estendido a todas as aplicações que precisam fornecer serviços para um grande número de usuários finais:
- Repositório de código: No passado, quando empresas ou indivíduos hospedavam código na nuvem, muitas vezes precisavam construir uma camada de "sistema de locatário" sobre o armazenamento de objetos para realizar isolamento de conta e controle de permissão. Agora, um ObjectSet exclusivo pode ser atribuído a cada desenvolvedor para coletar repositórios de código, produtos de construção e dependências de forma unificada. O Agent Skills também se adapta naturalmente ao ObjectSet. O upload, download e distribuição do Skills são fornecidos pelo ObjectSet com forte isolamento, evitando a perturbação de vizinhos durante a execução do Agent.
- Disco de nuvem de álbuns de fotos corporativos: Os serviços tradicionais de álbuns de fotos ou discos de nuvem geralmente misturam as fotos de todos os usuários no mesmo bucket e distinguem os usuários por meio de prefixos, o que não apenas complica o gerenciamento, mas também é propenso ao "efeito vizinho". Com base no ObjectSet, as fotos e vídeos de cada usuário são colocados em seus respectivos Sets, e os picos de acesso não interferem uns nos outros. Além disso, o limite de capacidade, a política de backup e o método de criptografia podem ser definidos por usuário, realmente alcançando "cada um tem um álbum de fotos de nuvem seguro e controlável".
- Data warehouse Hadoop: No data warehouse corporativo, diferentes linhas de negócios e diferentes bancos de dados geralmente compartilham recursos no mesmo armazenamento subjacente. Ao mapear cada banco de dados para um ObjectSet, as empresas podem realizar isolamento e controle de cota por banco de dados em um armazenamento unificado. Em particular, o ObjectSet fornece uma camada extra de permissão no TOS, fornecendo isolamento e controle de permissão para bancos de dados e tabelas armazenados no TOS sem alterar o Proton existente no TOS. - Plataforma de Hospedagem de Modelos: Em cenários de hospedagem de grandes modelos, cada modelo não é apenas volumoso, mas também pode corresponder a diferentes versões, pesos e configurações de inferência. Criar um ObjectSet para cada modelo permite empacotar e hospedar pesos do modelo, Tokenizer, arquivos de configuração e dados de avaliação relacionados no mesmo espaço. No lado da operação e manutenção, podem ser definidas políticas de criptografia, políticas de backup e controle de largura de banda diferenciadas para diferentes modelos. Ao mesmo tempo, a capacidade de medição nativa pode ser usada para calcular os custos reais de uso de cada modelo, fornecendo uma base para faturamento e agendamento de recursos por dimensão de modelo.
- Serviço de Dados SaaS: Plataformas de distribuição de dados voltadas para um grande número de usuários finais geralmente precisam se conectar a muitos provedores de dados simultaneamente, garantindo que os limites de dados de cada parte sejam claros e evitando o risco de desempenho de "um grande balde arrastando todos para baixo". Com o Agent Bucket, cada provedor de dados pode ter seu próprio ObjectSet, gerenciando dados brutos e resultados de processamento de forma unificada. Através de domínios e larguras de banda independentes, e cotas de QPS, diferentes provedores podem ter garantia de serviço e limitação de taxa diferenciadas, realizando uma infraestrutura de distribuição de dados "uma plataforma, vários provedores, isolados e colaborativos de forma controlada".
Referência:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/
O blog do S3 de 2025, Design patterns for multi-tenant access control on Amazon S3, explica ainda mais o S3 Access Point. Isso significa que vários pontos de acesso de rede virtual podem ser criados, e uma política de ponto de acesso personalizada pode ser configurada para cada ponto de acesso, fornecendo algumas soluções para cenários multi-locatário no nível de agendamento de rede.
## Agent Wonderland
Um desenvolvedor de Agente ideal, ao desenvolver um Agente de IA, pode construir um Agente totalmente serverless com base em "Agent SDK + armazenamento + serviço MaaS":
- O Agente pode ser executado de forma totalmente serverless
- O Agente pode ser construído combinando os recursos de produtos existentes por meio do Vibe Coding
- Apenas o script python do "ADK" precisa ser mantido
- O armazenamento usa armazenamento de objetos
- A capacidade de IA usa Doubao
- Teoricamente, não há ECS ou outros produtos baseados em instâncias
Ao mesmo tempo, o armazenamento precisa fornecer os seguintes recursos:
- O Agente pode ter um armazenamento com semântica de objeto (salvar arquivos), fornecer capacidade de acesso multi-locatário, começando com milhões e escalável para bilhões
- O Agente pode fornecer espaço independente para cada usuário (entre vários negócios, os nomes de negócios ou uids podem ser duplicados)
- O Agente pode configurar diretamente a largura de banda de cada usuário e o limite superior do tamanho total do objeto do usuário
- O Agente pode faturar, monitorar e observar com base no usuário
- O Agente pode configurar políticas de acesso para os arquivos de cada usuário
## Agent Bucket: injetando genes "nativos multi-locatário" no Agente de IA
Para resolver fundamentalmente esse problema, propomos um novo paradigma de armazenamento de objetos - Agent Bucket. Sua principal inovação é a introdução de uma nova camada de recurso nativo entre o "bucket" e o "objeto" tradicionais: a coleção de objetos.
A ideia central desse design é extremamente simples: combine cada usuário final com um ObjectSet exclusivo. Você pode pensar no ObjectSet como um "cofre de dados" ou "espaço pessoal na nuvem" feito sob medida para cada usuário. Ele pertence logicamente ao seu Bucket (desenvolvedor), mas física e gerencialmente, possui sua própria "personalidade" e "ciclo de vida" independentes.Agent Bucket Cada bucket suporta 100 milhões de ObjectSets, o que significa que você pode atender confortavelmente centenas de milhões de usuários finais, como se cada usuário final "vivesse" em seu próprio espaço de armazenamento independente, sem precisar se preocupar com o gerenciamento de armazenamento multi-tenant.
## Design do ObjectSet - Capacidades amigáveis ao Agent
No Agent Bucket, o ObjectSet não é apenas a adição de um nível, mas também transforma as necessidades mais complexas em cenários multi-tenant em capacidades nativas prontas para uso. Quando a propriedade dos dados é claramente definida no nível do ObjectSet, uma série de capacidades que eram difíceis de implementar no passado tornam-se naturais.
- Isolamento Nativo: No nível do ObjectSet, você pode definir QPS, limites de largura de banda e cotas de capacidade independentes para cada usuário. A experiência dos usuários pagantes pode ser garantida e o comportamento anormal dos usuários gratuitos não afetará outros. Este é um verdadeiro isolamento de domínio de falha, para que os "vizinhos" não interfiram uns nos outros.
- Permissões Nativas: Cada ObjectSet pode ter um domínio independente. Isso significa que você pode dar ao usuário A um endereço de acesso exclusivo user-a.yourapp.com, em vez de expor o domínio de todo o bucket de armazenamento. Mais inteligentemente, o design de "duas fechaduras": a primeira fechadura é uma credencial de acesso temporária (STS) emitida pelo provedor de serviços de nuvem, que controla as permissões de acesso no nível da aplicação; a segunda fechadura é o domínio independente do ObjectSet, que bloqueia as solicitações de acesso no próprio espaço de dados do usuário a partir do nível da rede. Isso melhora muito a segurança dos dados.
- Monitoramento Nativo: No painel de monitoramento, você não pode mais ver apenas os dados gerais de todo o bucket. Você pode decompor os gráficos de monitoramento por ObjectSet, para entender claramente qual usuário final está fazendo um grande número de acessos, para tomar decisões precisas de operação e otimização.
- Capacidade Nativa de Downstream: As políticas que só podiam ser definidas no nível do bucket no passado agora podem ser transferidas para cada usuário. Você pode definir diferentes ciclos de vida de dados para usuários de diferentes níveis, ou usar diferentes chaves de criptografia para cada ObjectSet, para obter um gerenciamento de dados mais refinado e seguro.
- Medição Nativa: Quer saber quanto espaço de armazenamento cada usuário está usando? Quer alocar com precisão os custos de armazenamento para cada usuário? Agora se torna fácil. O Agent Bucket irá automaticamente estatísticas da capacidade e uso de cada ObjectSet para você, tornando seu faturamento e compartilhamento de contas claros e transparentes.
- Faturamento Nativo: Os desenvolvedores podem facilmente implementar o compartilhamento de custos e empurrar com precisão os custos gerados pelo armazenamento de volta para cada usuário final. Por exemplo, cobrar taxas diferentes com base nas proporções de custo real geradas por diferentes usuários A, B e C, fornecendo suporte de dados para a comercialização do Agent.
- Limite de Capacidade Nativa: Para controlar os custos operacionais do Agent, você pode definir uma Quota (limite de capacidade) para cada ObjectSet. Uma vez atingido o valor predefinido, o sistema irá restringir o usuário de continuar a gerar novos arquivos, evitando o uso indevido de recursos em cenários multi-tenant desde a raiz.
- Inteligência Nativa: O Agent Bucket permite que o Agent saia das limitações do simples "armazenamento e recuperação" de arquivos tradicionais, dando ao Object inteligência nativa e suportando de forma mais eficiente o desenvolvimento one-stop do Agent. O ObjectSet pode ativar o índice inteligente com um clique, fornecendo ao Agent capacidades de perguntas e respostas multimodais amigáveis e nativas, substituindo as operações mecânicas tradicionais de Object CRUD; ele ainda suporta a ativação do modo Agentself com um clique, conectando vetores, conhecimento, modelos e prompts, expondo diretamente funções de sub-Agent baseadas em cenário, permitindo que os desenvolvedores de Agent de nível superior se concentrem na criação de fluxo de trabalho de negócios principal e liberem totalmente a eficiência da monetização inteligente.
## Desafios Técnicos Trazidos pela Explosão da Escala da Aplicação
Ao introduzir o conceito nativo de ObjectSet, o Agent Bucket fornece aos desenvolvedores de aplicações uma forma elegante e eficiente de gerenciar os dados de centenas de milhões de usuários finais. Os ativos digitais de cada usuário são armazenados com segurança em seu ObjectSet exclusivo, implementando naturalmente o isolamento, o faturamento e o gerenciamento de cotas.
Com a rápida expansão da escala da aplicação, a complexidade do gerenciamento de conjuntos massivos, a dificuldade de isolamento e os gargalos físicos tornam-se evidentes ao mesmo tempo:
- Problema de gerenciamento hierárquico de usuários massivos: Ao gerenciar de forma diferenciada um grande número de recursos e características de usuários de diferentes níveis, a aplicação precisa projetar e implementar seus próprios metadados hierárquicos de usuário e associar interruptores de características de armazenamento de objetos. Ajudar os desenvolvedores a gerenciar elegantemente a hierarquia de usuários no conceito nativo de Set é importante para acelerar a implementação da aplicação.- Gargalo de capacidade de cluster único: Embora o Agent Bucket possa ser logicamente expandido indefinidamente, seus metadados são armazenados por padrão em um único cluster físico. Quando o número total de objetos no bucket atinge centenas de bilhões ou até trilhões, a capacidade física de um único cluster se torna um limite intransponível.
- Problema de compartilhamento de ponto de acesso: A diversidade de negócios do Agent e o grande número de usuários trazem maiores riscos de segurança e raio de explosão para o próprio ponto de acesso. Como realizar o agendamento dinâmico com base nas diferenças entre um grande número de diferentes negócios e usuários, e alcançar segurança, isolamento e capacidades de aceleração diferenciadas, torna-se um desafio.
## Set Tagging: Gerenciamento de Nível de Usuário com Tagging
ObjectSet fornece um método de gerenciamento de tagging nativo, permitindo que os desenvolvedores do Agent usem facilmente a capacidade de set tagging para concluir o gerenciamento de nível de usuário. Os desenvolvedores podem definir um tag para cada nível de usuário definido e habilitar diferentes cotas e recursos para cada tag. Todos os ObjectSets marcados com este tag aplicarão as cotas e recursos correspondentes. Tomando como exemplo os três níveis V1, V2 e V3:
- V1: Nível padrão, usuários gratuitos, o tag padrão de todos os ObjectSets, pode ser configurado para armazenar no máximo 1GiB de dados, a distribuição de rede pública não pode exceder 100mbps de largura de banda, e a velocidade de download de fluxo único é controlada para 1mbps;
- V2: Membros pagos de nível básico, configurados para armazenar no máximo 10GiB de dados, a distribuição de rede pública não pode exceder 10gbps de largura de banda, e a velocidade de download de fluxo único é controlada para 10mbps;
- V3: Membros pagos de nível avançado, além de fornecer maior armazenamento e cota de distribuição de rede pública, também suporta a configuração para habilitar aceleração de rede fraca de rede pública adicional e capacidade de aceleração de mídia de alto desempenho;
Os desenvolvedores do Agent podem usar de forma flexível o tagging V1/V2/V3 para gerenciar os recursos e recursos de valor agregado que esses usuários podem usar, de acordo com os diferentes ciclos de desenvolvimento de diferentes usuários.
## Set Slice: Isolamento Nativo de Dados Massivos do Usuário
Quando o número de Sets em um Agent Bucket atinge centenas de milhões e o número de objetos atinge centenas de bilhões ou trilhões, o fato de que "todos os metadados de um único Bucket estão concentrados em um cluster KV" em si trará riscos duplos de capacidade e desempenho.
Set Slice fornece uma ideia de "não dividir logicamente, dividir fisicamente":
- Do ponto de vista lógico, você ainda gerencia apenas um Agent Bucket.
- Fisicamente, de acordo com o Set e o intervalo de nomes de objetos dentro do Set, os metadados são divididos em vários Slices (fatias), e cada Slice pode ser armazenado em diferentes clusters. Vários Sets são naturalmente isolados e um único Set é expandido horizontalmente.
Set Slice é uma extensão e garantia adicional da capacidade ObjectSet. Ele resolve fundamentalmente o problema de expansão infinita da capacidade física e, ao mesmo tempo, garante a estabilidade e consistência do modelo de gerenciamento ObjectSet da camada superior.
- Limite de gerenciamento estável: Mesmo que os dados de um Agent Bucket abranjam vários clusters físicos, ObjectSet ainda é a única unidade básica de permissões, cotas, cobrança e monitoramento. As políticas configuradas pelos desenvolvedores para ObjectSet (como controle de acesso, limite de capacidade) entrarão em vigor automaticamente em todos os Slices relacionados, sem se preocupar com a distribuição dos dados subjacentes.
- Um único Set pode ser expandido linearmente: Quando a quantidade de dados de um determinado ObjectSet cresce rapidamente, seus dados são naturalmente distribuídos em vários Slices. Com a expansão do cluster geral, a capacidade do ObjectSet também cresce de forma contínua e linear, sem que os desenvolvedores precisem realizar quaisquer operações destrutivas, como divisão ou migração do próprio ObjectSet.
- Isolamento de recursos entre Sets: Ao distribuir objetos de diferentes intervalos em diferentes clusters físicos, SetSlice alcança um isolamento de recursos de dimensão superior. Combinado com o gerenciamento de cotas do ObjectSet, ele pode efetivamente impedir que o crescimento de dados de um determinado ObjectSet "super grande" comprima todos os recursos de um único cluster, afetando assim a estabilidade de outros ObjectSets, tornando o risco de capacidade geral controlável.- Lógica unificada e compatibilidade: Para empresas e desenvolvedores, independentemente de quantos Slices existam na camada inferior, eles sempre enfrentam um Agent Bucket logicamente unificado. Todas as operações em buckets, ObjectSets e objetos permanecem as mesmas, alcançando total transparência da expansão física para as aplicações da camada superior.
## Set AccessPoint: Isolar o ponto de acesso de cada usuário
O Agent Bucket suporta a ativação de pontos de acesso independentes (domínios independentes) para cada ObjectSet e estende recursos diferenciados de segurança, isolamento e aceleração nos pontos de acesso. Para isso, o sistema precisa suportar agendamento de pontos de acesso independentes em escala de bilhões e recursos de configuração diferenciados.
Domínio de acesso independente {$apid}.tos-objectset-ap.volces.com: Proteção de segurança de dois níveis
- Primeiro nível Obscurity (Ocultação): Subdomínio independente por usuário/ObjectSet, dispersão de alta entropia apid, probabilidade de colisão extremamente baixa, impossível adivinhar e enumerar a entrada de um usuário específico a partir do domínio de acesso;
- Segundo nível Containment (Contenção): Os desenvolvedores do Agent usam sts para distribuir permissões de acesso em nível de ObjectSet, mesmo que o sts vaze, ele pode controlar seu escopo de acesso limitado a um ObjectSet dentro de um período de validade limitado;
Sistema de agendamento heurístico: Cálculo da política de agendamento de domínio em escala de bilhões
- Política de acesso diferenciada por usuário/ObjectSet:tag
- Vários usuários/ObjectSets são automaticamente dispersos em diferentes entradas de rede pública, o número de usuários afetados por uma única falha de entrada é controlado
- Agendamento elástico em toda a região, falha/sobrecarga de qualquer entrada única completa automaticamente o movimento de contêineres de tráfego
- Usuários de distribuição de aceleração de rede pública, marcam a tag de aceleração de transmissão de rede pública e agendam automaticamente a entrada de aceleração
- Usuários de rede pública de risco, marcam a tag de risco, agendam automaticamente a entrada de isolamento de rede pública e reduzem a cota de largura de banda de rede pública
- Usuários de rede interna entre domínios, marcam a tag entre domínios e agendam automaticamente o caminho de aceleração de linha dedicada de rede interna
- Usuários de acelerador local, marcam a tag de acelerador e montam automaticamente o acelerador local
## Do assistente de programação ao disco de nuvem AI, as infinitas possibilidades do Agent Bucket
O Agent Bucket fornece uma solução completa para o Agent, e os cenários de aplicação do design do ObjectSet vão muito além disso. Ele pode ser facilmente estendido a todas as aplicações que precisam fornecer serviços para um grande número de usuários finais:
- Repositório de código: No passado, quando empresas ou indivíduos hospedavam código na nuvem, muitas vezes precisavam construir uma camada de "sistema de locatário" sobre o armazenamento de objetos para realizar isolamento de conta e controle de permissão. Agora, um ObjectSet exclusivo pode ser atribuído a cada desenvolvedor para coletar repositórios de código, produtos de construção e dependências de forma unificada. O Agent Skills também se adapta naturalmente ao ObjectSet. O upload, download e distribuição do Skills são fornecidos pelo ObjectSet com forte isolamento, evitando a perturbação de vizinhos durante a execução do Agent.
- Disco de nuvem de álbuns de fotos corporativos: Os serviços tradicionais de álbuns de fotos ou discos de nuvem geralmente misturam as fotos de todos os usuários no mesmo bucket e distinguem os usuários por meio de prefixos, o que não apenas complica o gerenciamento, mas também é propenso ao "efeito vizinho". Com base no ObjectSet, as fotos e vídeos de cada usuário são colocados em seus respectivos Sets, e os picos de acesso não interferem uns nos outros. Além disso, o limite de capacidade, a política de backup e o método de criptografia podem ser definidos por usuário, realmente alcançando "cada um tem um álbum de fotos de nuvem seguro e controlável".
- Data warehouse Hadoop: No data warehouse corporativo, diferentes linhas de negócios e diferentes bancos de dados geralmente compartilham recursos no mesmo armazenamento subjacente. Ao mapear cada banco de dados para um ObjectSet, as empresas podem realizar isolamento e controle de cota por banco de dados em um armazenamento unificado. Em particular, o ObjectSet fornece uma camada extra de permissão no TOS, fornecendo isolamento e controle de permissão para bancos de dados e tabelas armazenados no TOS sem alterar o Proton existente no TOS. - Plataforma de Hospedagem de Modelos: Em cenários de hospedagem de grandes modelos, cada modelo não é apenas volumoso, mas também pode corresponder a diferentes versões, pesos e configurações de inferência. Criar um ObjectSet para cada modelo permite empacotar e hospedar pesos do modelo, Tokenizer, arquivos de configuração e dados de avaliação relacionados no mesmo espaço. No lado da operação e manutenção, podem ser definidas políticas de criptografia, políticas de backup e controle de largura de banda diferenciadas para diferentes modelos. Ao mesmo tempo, a capacidade de medição nativa pode ser usada para calcular os custos reais de uso de cada modelo, fornecendo uma base para faturamento e agendamento de recursos por dimensão de modelo.
- Serviço de Dados SaaS: Plataformas de distribuição de dados voltadas para um grande número de usuários finais geralmente precisam se conectar a muitos provedores de dados simultaneamente, garantindo que os limites de dados de cada parte sejam claros e evitando o risco de desempenho de "um grande balde arrastando todos para baixo". Com o Agent Bucket, cada provedor de dados pode ter seu próprio ObjectSet, gerenciando dados brutos e resultados de processamento de forma unificada. Através de domínios e larguras de banda independentes, e cotas de QPS, diferentes provedores podem ter garantia de serviço e limitação de taxa diferenciadas, realizando uma infraestrutura de distribuição de dados "uma plataforma, vários provedores, isolados e colaborativos de forma controlada".
Referência:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/Published in Technology
