Agent Bucket: Hifadhi Asili ya Mawakala ya Kiwango cha Mabilioni
2/16/2026
11 min read
# Agent Bucket: Hifadhi Asili ya Mawakala ya Kiwango cha Mabilioni
Leo, huku Mawakala wa AI wakichipuka kama uyoga baada ya mvua, wasanidi programu wanaunda programu mahiri za ubunifu kwa kasi isiyo na kifani. Kuanzia wasaidizi wa programu wanaoweza kukusaidia kuandika msimbo, hadi zana za ubunifu zinazoweza kutoa filamu kutoka kwa sentensi moja, hadi wasaidizi mahiri wa kibinafsi walio tayari kila wakati, Mawakala wanabadilisha jinsi tunavyoingiliana na ulimwengu wa kidijitali. Nyuma ya wimbi hili, makubaliano yanazidi kuwa wazi: kwa msaada wa usanifu wa Serverless (kama vile Lambda), miundo mikuu ya lugha (LLM) na hifadhi ya wingu (kama vile S3, TOS), pamoja na Vibe Coding, mtu yeyote anaweza kuunda haraka Wakala wake wa AI ndani ya dakika 30.
Ili kutoka \
Kwa nini mahitaji haya yanayoonekana kuwa ya msingi yanaonekana kuwa 'mazito' kwa wasanidi wa Agent katika utekelezaji wa hifadhi ya vitu? Kuchunguza sababu, ni kwa sababu katika usanifu wa kisasa wa asili ya wingu, kuna eneo kubwa la utupu kati ya S3 这种"对象存储"与传统"文件系统"之间存在着一片巨大的真空地带。对象存储（S3/TOS）的本质是"扁平化"，设计初衷是海量数据的简单存放，像是一个巨大的仓库，虽然容量近乎无限，但在逻辑结构上极其简单。它缺乏原生的高级目录管理、细粒度的元数据控制以及真正的租户感知。当开发者试图在"扁平"的 S3 上，通过硬编码前缀的方式去模拟一个"立体"的多租户文件系统时，我们实际上是在用一种"静态的 KV 存储"，去承载一个"目录语义、强隔离的" Agent 应用的文件访问方式。也就是说 Agent 需要额外消耗 token 来管理文件，并控制解决多租户权限与隔离。这些额外消耗的 token 都在表明 S3 定义的简单存储服务对 Agent 不够简单。
2025 年 S3 博客 《Design patterns for multi-tenant access control on Amazon S3》 中进一步阐述了 S3 Access Point。这意味着可以创建多个虚拟网络接入点，并为每个接入点配置一个定制的接入点策略，在网络调度层面对于多租户场景有了一些方案。
Agent Wonderland
一个理想中的 Agent 开发者在开发 AI Agent 时，可以基于 "Agent SDK + 存储 + MaaS 服务" 构建一个完全 serverless 化的 Agent：
- Agent 可以完全 serverless 运行
- 可以通过 Vibe Coding 的方式，组合现有的产品能力构建出 Agent
- 只需要维护 "ADK" 的 python 脚本
- 存储使用对象存储
- AI 能力使用豆包
- 理论上无 ECS 或其他实例型产品
Wakati huo huo, hifadhi inahitaji kutoa uwezo ufuatao:
- Agent 可以有一种 object 语义的存储（保存文件），提供多租户接入能力，百万级起步，可扩展到亿级别
- Agent 可以为每个用户提供独立的空间（多业务之间，业务或者 uid 都可能会重名）
- Agent 可以直接配置每个 user 的带宽，配置 user object 总大小上限
- Agent 可以根据 user 出账、监控、观察
- Agent 可以为每个 user 的文件配置访问策略
Agent Bucket：为 AI Agent 注入"多租户原生"基因
Ili kutatua tatizo hili kimsingi, tumependekeza dhana mpya kabisa ya hifadhi ya vitu - Agent Bucket. Ubunifu wake mkuu ni kuanzisha ngazi mpya ya rasilimali asili kati ya 'ndoo' za jadi na 'vitu': mkusanyiko wa vitu.
Wazo kuu la muundo huu ni rahisi sana: linganisha kila mtumiaji wako wa mwisho na ObjectSet ya kipekee. Unaweza kufikiria ObjectSet kama 'sanduku salama la data' au 'nafasi ya kibinafsi ya wingu' iliyoundwa kwa kila mtumiaji. Kimantiki ni ya Ndoo yako (msanidi), lakini kimwili na kimenejimenti, ina 'utu' na 'mzunguko wa maisha' wake huru.
Agent Bucket Kila ndoo inaauni ObjectSet milioni 100, kumaanisha unaweza kuwahudumia watumiaji wa mwisho milioni mia kwa urahisi, kana kwamba kila mtumiaji ana \## Changamoto za Usimamizi wa Data ya Watumiaji Wengi Katika mazingira ya usimamizi wa data ya watumiaji wengi, hasa kwa mawakala wanaoshughulikia idadi kubwa ya watumiaji na data, changamoto kadhaa muhimu huibuka: - Kikomo cha uwezo wa nguzo moja: Ingawa Agent Bucket inaweza kupanuliwa bila kikomo kimantiki, metadata yake huhifadhiwa kwa chaguomsingi katika nguzo moja ya kimwili. Wakati idadi ya jumla ya vitu kwenye ndoo inafikia mamia ya mabilioni au hata trilioni, uwezo wa kimwili wa nguzo moja huwa kikomo kisichoweza kushindwa. - Tatizo la kushiriki sehemu za ufikiaji: Aina mbalimbali za biashara za Agent na idadi kubwa ya watumiaji huleta hatari kubwa za usalama na eneo la mlipuko kwenye sehemu za ufikiaji. Jinsi ya kufanya upangaji wa nguvu kulingana na tofauti za biashara na watumiaji tofauti, na kutambua usalama tofauti, kutengwa na uwezo wa kuongeza kasi inakuwa changamoto. ## Set Tagging: Usimamizi wa Lebo kwa Uainishaji wa Watumiaji ObjectSet hutoa njia asili ya usimamizi wa lebo, kuruhusu wasanidi wa Agent kutumia uwezo wa kuweka lebo kwa urahisi ili kukamilisha usimamizi wa uainishaji wa watumiaji. Wasanidi wanaweza kufafanua kila kiwango cha mtumiaji kama lebo, na kuwezesha upendeleo na vipengele tofauti kwa kila lebo. ObjectSet zote zilizowekwa alama hii zitatumia upendeleo na vipengele vinavyolingana. Chukua viwango vitatu, V1, V2, na V3, kama mfano: - V1: Kiwango chaguo-msingi, watumiaji wa bure, lebo chaguo-msingi kwa ObjectSet zote, inaweza kusanidiwa kuhifadhi hadi 1GiB ya data, usambazaji wa mtandao wa umma hauwezi kuzidi bandwidth ya 100mbps, na kasi ya upakuaji wa mkondo mmoja inadhibitiwa hadi 1mbps; - V2: Mwanachama anayelipia wa kiwango cha kuingia, iliyosanidiwa kuhifadhi hadi 10GiB ya data, usambazaji wa mtandao wa umma hauwezi kuzidi bandwidth ya 10gbps, na kasi ya upakuaji wa mkondo mmoja inadhibitiwa hadi 10mbps; - V3: Mwanachama anayelipia wa kiwango cha juu, pamoja na kutoa upendeleo mkubwa wa hifadhi na usambazaji wa mtandao wa umma, pia inasaidia kusanidi uwezeshaji wa ziada wa kuongeza kasi ya mtandao dhaifu wa umma na uwezo wa kuongeza kasi ya kati ya utendaji wa juu; Wasanidi wa Agent wanaweza kutumia lebo za V1/V2/V3 kwa urahisi kusimamia rasilimali na vipengele vya thamani vilivyoongezwa ambavyo watumiaji hawa wanaweza kutumia kwa mizunguko tofauti ya maendeleo ya watumiaji tofauti.  ## Set Slice: Utengaji Asili wa Data Kubwa ya Mtumiaji Ndoo ya Wakala inapofikia mamia ya mamilioni ya Seti, na idadi ya vitu inafikia mamia ya mabilioni au trilioni, ukweli kwamba "metadata yote ya Ndoo moja imejilimbikizia katika nguzo moja ya KV" yenyewe italeta hatari mbili za uwezo na utendaji. Set Slice hutoa wazo la "kutogawanya kimantiki, kugawanya kimwili": - Kutoka kwa mtazamo wa kimantiki, bado unasimamia Ndoo moja tu ya Wakala. - Kimwili, metadata imegawanywa katika vipande vingi kulingana na Seti na safu ya majina ya kitu ndani ya Seti. Kila Slice inaweza kuhifadhiwa kwenye nguzo tofauti, Seti nyingi zimetengwa kiasili, na Seti moja imepanuliwa kwa usawa.  Set Slice ni ugani zaidi na uhakikisho wa uwezo wa ObjectSet. Inatatua tatizo la upanuzi usio na kikomo wa uwezo wa kimwili katika msingi, huku ikihakikisha utulivu na msimamo wa muundo wa usimamizi wa ObjectSet wa safu ya juu. - Mpaka wa usimamizi thabiti: Hata kama data ya Ndoo ya Wakala inazunguka nguzo nyingi za kimwili, ObjectSet bado ni kitengo pekee cha msingi cha ruhusa, upendeleo, bili na ufuatiliaji. Sera zilizosanidiwa na wasanidi kwa ObjectSet (kama vile udhibiti wa ufikiaji, kikomo cha uwezo) zitatekelezwa kiotomatiki kwenye Slices zote zinazohusika bila kuhitaji kuwa na wasiwasi kuhusu usambazaji wa data ya msingi. - Seti moja inaweza kupanuliwa kwa mstari: Wakati kiasi cha data cha ObjectSet fulani kinakua kwa kasi, data yake itasambazwa kiasili kwa Slices nyingi. Pamoja na upanuzi wa jumla wa nguzo, uwezo wa ObjectSet hii pia huongezeka bila mshono na kwa mstari. Wasanidi hawahitaji kufanya mgawanyiko wowote au uhamiaji mwingine wa uharibifu kwa ObjectSet yenyewe. - Utengaji wa rasilimali za Seti mtambuka: Kwa kusambaza safu tofauti za vitu kwenye nguzo tofauti za kimwili, SetSlice inatambua utengaji wa rasilimali za mwelekeo wa juu. Pamoja na usimamizi wa upendeleo wa ObjectSet, inaweza kuzuia kwa ufanisi ukuaji wa data wa ObjectSet "kubwa sana" kuchukua rasilimali zote za nguzo moja, na hivyo kuathiri utulivu wa ObjectSet zingine, na kufanya hatari ya uwezo wa jumla kuwa ya kudhibitiwa.- Umoja na Upatanifu wa Kimantiki: Kwa biashara na wasanidi programu, bila kujali idadi ya Slice za msingi, wanachokabiliana nacho daima ni Agent Bucket iliyounganishwa kimantiki. Njia zote za uendeshaji wa bucket, ObjectSet, na vitu hubakia bila kubadilika, na kutambua upanuzi wa kimwili ambao ni wazi kabisa kwa matumizi ya safu ya juu. ## Set AccessPoint: Kutenga mlango wa ufikiaji wa kila mtumiaji Agent Bucket inasaidia kuwezesha sehemu huru za ufikiaji (vikoa huru) kwa kila ObjectSet, na kupanua uwezo tofauti wa usalama, kutengwa, na kuongeza kasi kwenye sehemu za ufikiaji. Mfumo unahitaji kusaidia mamilioni ya upangaji huru wa sehemu za ufikiaji na uwezo tofauti wa usanidi. Vikoa huru vya ufikiaji {$apid}.tos-objectset-ap.volces.com: Ulinzi wa usalama wa ngazi mbili - Ngazi ya kwanza Obscurity (ufichaji): Kwa mtumiaji/ObjectSet subdomain huru, apid high entropy hashing, uwezekano mdogo sana wa mgongano, haiwezekani kukisia na kuorodhesha mlango maalum wa mtumiaji kutoka kwa mtazamo wa jina la kikoa; - Ngazi ya pili Containment (kizuizi): Wasanidi programu wa Agent hutumia sts kusambaza ruhusa za ufikiaji wa kiwango cha ObjectSet, hata kama sts itavuja, inaweza kudhibiti wigo wake wa ufikiaji kuwa mdogo kwa uhalali mdogo wa ObjectSet fulani; Mfumo wa upangaji wa heuristic: Hesabu ya sera ya upangaji wa kikoa cha kiwango cha milioni - Kwa mtumiaji/ObjectSet:tag sera tofauti za ufikiaji - Watumiaji wengi/ObjectSet hutawanywa kiotomatiki katika milango tofauti ya umma, idadi ya watumiaji walioathiriwa na hitilafu moja ya mlango inadhibitiwa - Upangaji wa elastic wa eneo lote, hitilafu/kupakia kupita kiasi kwa mlango wowote mmoja hukamilisha kiotomatiki upakiaji wa trafiki - Watumiaji wa usambazaji wa kasi ya umma, weka tag ya kuongeza kasi ya usafirishaji wa umma, upangaji wa kiotomatiki wa mlango wa kuongeza kasi - Watumiaji wa hatari ya umma, weka tag ya hatari, upangaji wa kiotomatiki wa mlango wa kutengwa wa umma, na upunguze upendeleo wa bandwidth ya umma - Watumiaji wa mtandao wa ndani wa msalaba, weka tag ya msalaba, upangaji wa kiotomatiki wa njia ya kuongeza kasi ya laini maalum ya mtandao wa ndani - Watumiaji wa accelerator wa eneo, weka tag ya accelerator, mlima wa kiotomatiki wa accelerator wa eneo  ## Kutoka kwa msaidizi wa programu hadi AI Cloud Disk, uwezekano usio na kikomo wa Agent Bucket Agent Bucket hutoa suluhisho kamili kwa Agent, na matukio ya matumizi ya muundo wa ObjectSet yanaenea zaidi ya hii. Inaweza kupanuliwa kwa urahisi kwa matumizi yote ambayo yanahitaji kutoa huduma kwa idadi kubwa ya watumiaji wa mwisho: - Hifadhi ya msimbo: Hapo zamani, wakati makampuni au watu binafsi walipohifadhi msimbo kwenye wingu, mara nyingi walihitaji kujenga safu ya "mfumo wa mpangaji" juu ya hifadhi ya kitu ili kufikia utengano wa akaunti na udhibiti wa ruhusa. Sasa, ObjectSet ya kipekee inaweza kutengwa kwa kila msanidi programu ili kukusanya msimbo, mabaki ya ujenzi, na utegemezi kwa umoja. Agent Skills pia inafaa kwa asili ObjectSet. Upakiaji na upakuaji wa Skills na usambazaji hutoa utengano mkali kupitia ObjectSet, kuepuka usumbufu wa jirani wakati wa Agent. - Albamu ya picha ya kampuni: Huduma za albamu za picha za jadi au diski za wingu mara nyingi huchanganya picha za watumiaji wote kwenye bucket moja, na kutofautisha watumiaji kupitia viambishi awali, ambayo sio tu ngumu kusimamia, lakini pia ni rahisi kusababisha "athari ya jirani". Kulingana na ObjectSet, picha na video za kila mtumiaji huanguka katika Seti zao, kilele cha ufikiaji haziingiliani, na kikomo cha uwezo, sera za chelezo, na mbinu za usimbaji zinaweza kuwekwa kwa kila mtumiaji, kweli kufikia "kila mtu ana albamu salama na inayodhibitiwa ya wingu". - Hadoop data warehouse: Katika ghala la data la kampuni, mistari tofauti ya biashara na hifadhidata tofauti mara nyingi hushiriki rasilimali kwenye hifadhi sawa ya msingi. Kwa kuweka ramani kila hifadhidata kama ObjectSet, makampuni yanaweza kutambua utengano wa hifadhidata na udhibiti wa upendeleo juu ya hifadhi iliyounganishwa. Hasa, ObjectSet hutoa safu ya ziada ya ruhusa kwenye TOS, na hutoa utengano na udhibiti wa ruhusa kwa Hifadhidata na Majedwali yaliyohifadhiwa kwenye TOS bila kubadilisha Proton iliyopo kwenye TOS.- Jukwaa la Kuhifadhi Miundo: Katika mazingira ya kuhifadhi miundo mikubwa, kila muundo sio tu kwamba una ukubwa mkubwa, lakini pia unaweza kuwa na matoleo tofauti, uzani, na usanidi wa uendeshaji. Kuunda ObjectSet kwa kila muundo kunaweza kufunga uzani wa muundo, Tokenizer, faili za usanidi, na data inayohusiana ya tathmini katika nafasi moja. Upande wa uendeshaji unaweza kuweka sera tofauti za usimbaji fiche, sera za kuhifadhi nakala, na udhibiti wa bandwidth kwa miundo tofauti. Wakati huo huo, kupitia uwezo wa asili wa kupima, gharama halisi ya matumizi ya kila muundo inaweza kukokotolewa, kutoa msingi wa malipo na upangaji wa rasilimali kwa mwelekeo wa muundo. (Maelezo: Hii inaelezea jinsi ObjectSet inavyoweza kutumika kusimamia miundo mikubwa ya akili bandia, kurahisisha uendeshaji na ufuatiliaji wa gharama.)
- Huduma ya Data ya SaaS: Jukwaa la usambazaji wa data linaloelekezwa kwa idadi kubwa ya watumiaji wa mwisho mara nyingi linahitaji kuunganishwa na watoa huduma wengi wa data kwa wakati mmoja. Ni muhimu kuhakikisha kuwa mipaka ya data ya kila upande iko wazi na kuepuka hatari za utendaji za "ndoo kubwa inayowaburuta kila mtu chini". Kwa msaada wa Agent Bucket, kila mtoa huduma wa data anaweza kuwa na ObjectSet yake mwenyewe, kusimamia data ghafi na matokeo ya usindikaji kwa umoja. Kisha, kupitia kikoa huru na bandwidth, mgao wa QPS, huduma tofauti na udhibiti wa kiwango unaweza kutolewa kwa watoa huduma tofauti, kutambua miundombinu ya usambazaji wa data ya "jukwaa moja, watoa huduma wengi, wametengwa na ushirikiano unaodhibitiwa". (Maelezo: Hii inaelezea jinsi ObjectSet inavyoweza kutumika kuunda mazingira ya kukodisha mengi kwa huduma za data za SaaS, kuhakikisha utengano na udhibiti kati ya watoa huduma tofauti.)
Published in Technology
