Agent Bucket: Storan Asli Agent Skala Trilion

Pada hari ini, dengan kemunculan AI Agent seperti cendawan tumbuh selepas hujan, pembangun sedang membina aplikasi pintar yang penuh imaginasi dengan kelajuan yang belum pernah terjadi sebelumnya. Daripada pembantu pengaturcaraan yang boleh membantu anda menulis kod, kepada alat penciptaan yang menjana filem daripada satu ayat, kepada pembantu pintar peribadi yang sentiasa bersedia, Agent sedang membentuk semula cara kita berinteraksi dengan dunia digital. Di sebalik gelombang ini, satu kata sepakat semakin jelas: Dengan bantuan seni bina Serverless (seperti Lambda), model bahasa besar (LLM) dan storan awan (seperti S3, TOS), digabungkan dengan Vibe Coding, sesiapa sahaja boleh membina AI Agent mereka sendiri dalam masa 30 minit.

Daripada \Mengapa keperluan asas ini kelihatan "berat" untuk pembangun Agent dalam pelaksanaan penyimpanan objek? Kajian mendalam mengenai sebabnya, kerana dalam seni bina awan natif masa kini, terdapat jurang yang besar antara "penyimpanan objek" seperti S3 dan "sistem fail" tradisional. Intipati penyimpanan objek (S3/TOS) adalah "pendataran", dengan tujuan asal untuk penyimpanan mudah data yang besar, seperti gudang yang besar. Walaupun kapasitinya hampir tidak terhad, ia sangat mudah dalam struktur logik. Ia kekurangan pengurusan direktori lanjutan natif, kawalan metadata terperinci, dan kesedaran penyewa sebenar. Apabila pembangun cuba mensimulasikan sistem fail berbilang penyewa "tiga dimensi" pada S3 "rata" melalui pengekodan keras awalan, kita sebenarnya menggunakan "penyimpanan KV statik" untuk membawa cara akses fail aplikasi Agent "semantik direktori, pengasingan yang kuat". Iaitu, Agent perlu menggunakan token tambahan untuk mengurus fail dan mengawal penyelesaian kebenaran dan pengasingan berbilang penyewa. Penggunaan token tambahan ini menunjukkan bahawa perkhidmatan penyimpanan mudah yang ditakrifkan oleh S3 tidak cukup mudah untuk Agent.

S3 Access Points Illustration

Blog S3 2025 《Design patterns for multi-tenant access control on Amazon S3》 menerangkan lebih lanjut mengenai S3 Access Point. Ini bermakna anda boleh mencipta berbilang titik akses rangkaian maya dan mengkonfigurasi setiap titik akses dengan dasar titik akses tersuai, yang mempunyai beberapa penyelesaian pada peringkat penjadualan rangkaian untuk senario berbilang penyewa.

Agent Wonderland

Pembangun Agent yang ideal boleh membina Agent yang diserverlesskan sepenuhnya berdasarkan "Agent SDK + penyimpanan + perkhidmatan MaaS" semasa membangunkan AI Agent:

Agent boleh berjalan sepenuhnya tanpa pelayan (serverless)
Anda boleh membina Agent dengan menggabungkan keupayaan produk sedia ada melalui Vibe Coding
Hanya perlu mengekalkan skrip python "ADK"
Penyimpanan menggunakan penyimpanan objek
Keupayaan AI menggunakan Doubao
Secara teorinya tiada ECS atau produk jenis contoh lain

Pada masa yang sama, penyimpanan perlu menyediakan keupayaan berikut:

Agent boleh mempunyai penyimpanan semantik objek (menyimpan fail), menyediakan keupayaan akses berbilang penyewa, bermula pada peringkat juta, dan boleh diperluaskan kepada peringkat bilion
Agent boleh menyediakan ruang bebas untuk setiap pengguna (nama mungkin bertindih antara berbilang perkhidmatan, perkhidmatan atau uid)
Agent boleh terus mengkonfigurasi lebar jalur setiap pengguna dan mengkonfigurasi had saiz objek pengguna
Agent boleh mengebil, memantau dan memerhati mengikut pengguna
Agent boleh mengkonfigurasi dasar akses untuk fail setiap pengguna

Agent Bucket: Menyuntik Gen "Natif Berbilang Penyewa" ke dalam AI Agent

Untuk menyelesaikan masalah ini secara asasnya, kami mencadangkan paradigma penyimpanan objek baharu—Agent Bucket. Inovasi terasnya ialah memperkenalkan hierarki sumber natif baharu antara "bucket" dan "objek" tradisional: koleksi objek.

Agent Bucket Architecture

Idea teras reka bentuk ini sangat ringkas: padankan setiap pengguna akhir anda dengan ObjectSet eksklusif. Anda boleh menganggap ObjectSet sebagai "peti keselamatan data" atau "ruang peribadi awan" yang direka khusus untuk setiap pengguna. Secara logik ia tergolong dalam Bucket anda (pembangun), tetapi secara fizikal dan pengurusan, ia mempunyai "personaliti" dan "kitaran hayat" yang bebas.Agent Bucket setiap bucket menyokong 100 juta ObjectSet, ini bermakna anda boleh menyediakan perkhidmatan kepada ratusan juta pengguna akhir dengan mudah, seolah-olah setiap pengguna akhir "tinggal" dalam ruang storan yang berasingan, tanpa perlu bersusah payah mengurus storan berbilang penyewa.

Reka Bentuk ObjectSet – Keupayaan Mesra Agent

Dalam Agent Bucket, ObjectSet bukan sahaja menambah lapisan, tetapi juga mengubah keperluan yang paling sukar dalam senario berbilang penyewa menjadi keupayaan natif yang sedia untuk digunakan. Apabila pemilikan data dijelaskan pada lapisan ObjectSet, satu siri keupayaan yang sukar dicapai pada masa lalu menjadi mudah.

Pengasingan Natif: Pada peringkat ObjectSet, anda boleh menetapkan QPS, had lebar jalur dan kuota kapasiti yang berasingan untuk setiap pengguna. Pengalaman pengguna berbayar boleh dijamin, dan tingkah laku luar biasa pengguna percuma tidak akan menjejaskan orang lain. Ini adalah pengasingan domain kerosakan sebenar, yang menghalang "jiran" daripada mengganggu antara satu sama lain.
Kebenaran Natif: Setiap ObjectSet boleh mempunyai domain bebas. Ini bermakna anda boleh memberikan pengguna A alamat akses eksklusif user-a.yourapp.com, dan bukannya mendedahkan domain keseluruhan bucket storan. Lebih bijak lagi ialah reka bentuk "dua kunci": Kunci pertama ialah kelayakan akses sementara (STS) yang dikeluarkan oleh pembekal perkhidmatan awan, yang mengawal kebenaran akses pada peringkat aplikasi; kunci kedua ialah domain bebas ObjectSet, yang mengunci permintaan akses dalam ruang data pengguna sendiri dari peringkat rangkaian. Ini meningkatkan keselamatan data dengan ketara.
Pemantauan Natif: Pada papan pemuka pemantauan, anda tidak lagi hanya dapat melihat data gambaran keseluruhan keseluruhan bucket. Anda boleh menguraikan carta pemantauan mengikut ObjectSet, dengan jelas melihat pengguna akhir mana yang melakukan sejumlah besar akses, untuk membuat keputusan operasi dan pengoptimuman yang tepat.
Penurunan Keupayaan Natif: Dasar yang hanya boleh ditetapkan pada peringkat bucket pada masa lalu kini boleh diturunkan kepada setiap pengguna. Anda boleh menetapkan kitaran hayat data yang berbeza untuk pengguna peringkat yang berbeza, atau menggunakan kunci penyulitan yang berbeza untuk setiap ObjectSet, untuk mencapai pengurusan data yang lebih halus dan selamat.
Pengukuran Natif: Ingin tahu berapa banyak ruang storan yang digunakan oleh setiap pengguna? Ingin membahagikan kos storan dengan tepat kepada setiap pengguna? Kini ia menjadi mudah. Agent Bucket akan mengira kapasiti dan penggunaan setiap ObjectSet secara automatik untuk anda, menjadikan pengebilan dan perkongsian anda jelas.
Pengebilan Natif: Pembangun boleh dengan mudah merealisasikan perkongsian kos dan menolak balik kos yang dijana oleh storan dengan tepat kepada setiap pengguna akhir. Contohnya, caj yang berbeza boleh dikenakan mengikut perkadaran kos sebenar yang dijana oleh pengguna A, B dan C yang berbeza, menyediakan sokongan data untuk pengkomersialan Agent.
Had Kapasiti Natif: Untuk mengawal kos operasi Agent, anda boleh menetapkan Kuota (had kapasiti) untuk setiap ObjectSet. Sebaik sahaja nilai pratetap dicapai, sistem akan mengehadkan pengguna daripada menjana fail baharu, mengelakkan penyalahgunaan sumber dalam senario berbilang penyewa dari akarnya.
Kepintaran Natif: Agent Bucket membolehkan Agent keluar daripada batasan "akses" fail mudah tradisional, memberikan Object kepintaran natif, dan menyokong pembangunan sehenti Agent dengan lebih cekap. ObjectSet boleh menghidupkan pengindeksan pintar dengan satu klik, menyediakan keupayaan soal jawab multimodal mesra natif untuk Agent, menggantikan operasi mekanikal CRUD Object tradisional; malah menyokong menghidupkan mod Agentself dengan satu klik, menghubungkan vektor, pengetahuan, model dan prompt, dan secara langsung mendedahkan fungsi sub-Agent berasaskan senario, membolehkan pembangun Agent lapisan atas menumpukan pada penciptaan aliran kerja perniagaan utama dan membebaskan kecekapan pengewangan pintar sepenuhnya.

Cabaran Teknikal yang Dibawa oleh Letupan Skala Aplikasi

Agent Bucket menyediakan pembangun aplikasi cara yang elegan dan cekap untuk mengurus data ratusan juta pengguna akhir dengan memperkenalkan konsep natif ObjectSet. Aset digital setiap pengguna disimpan dengan selamat dalam ObjectSet eksklusif mereka, secara semula jadi merealisasikan pengasingan, pengebilan dan pengurusan kuota.

Dengan pengembangan pesat skala aplikasi, kerumitan pengurusan, kesukaran pengasingan dan kesesakan fizikal sejumlah besar Set muncul pada masa yang sama:

Masalah Pengurusan Berperingkat Pengguna Besar-besaran: Apabila aplikasi mengurus sumber dan ciri sejumlah besar pengguna peringkat yang berbeza secara berbeza, ia perlu mereka bentuk dan melaksanakan metadata peringkat pengguna sendiri, dan mengaitkan suis ciri storan objek. Membantu pembangun mengurus peringkat pengguna dengan elegan berdasarkan konsep natif Set adalah penting untuk mempercepatkan pelaksanaan aplikasi.- Bottleneck Kapasiti Kluster Tunggal: Walaupun Agent Bucket boleh diskala secara logik tanpa had, metadata secara lalai disimpan dalam kluster fizikal tunggal. Apabila jumlah objek dalam bucket mencapai ratusan bilion atau bahkan trilion, kapasiti fizikal kluster tunggal menjadi had yang tidak dapat diatasi.
Isu Perkongsian Titik Akses: Kepelbagaian perniagaan Agent dan sejumlah besar pengguna membawa risiko keselamatan dan radius letupan yang lebih besar kepada titik akses itu sendiri. Bagaimana untuk melakukan penjadualan dinamik berdasarkan perbezaan sejumlah besar perniagaan dan pengguna yang berbeza, dan merealisasikan keselamatan, pengasingan dan keupayaan pecutan yang berbeza, menjadi kesukaran.

Set Tagging: Pengurusan Berperingkat Pengguna dengan Tag

ObjectSet menyediakan kaedah pengurusan tag asli, membolehkan pembangun Agent menggunakan keupayaan set tagging dengan mudah untuk menyelesaikan tadbir urus berperingkat pengguna; pembangun boleh mentakrifkan setiap peringkat pengguna sebagai tag, dan mendayakan kuota dan ciri yang berbeza untuk setiap tag. Semua ObjectSet yang ditandakan dengan tag ini akan menggunakan kuota dan ciri yang sepadan. Ambil contoh tiga peringkat V1, V2 dan V3:

V1: Peringkat lalai, pengguna percuma, tag lalai untuk semua ObjectSet, boleh dikonfigurasikan untuk menyimpan sehingga 1GiB data, pengedaran rangkaian awam tidak boleh melebihi lebar jalur 100mbps, dan kelajuan muat turun aliran tunggal dikawal pada 1mbps;
V2: Ahli berbayar peringkat permulaan, dikonfigurasikan untuk menyimpan sehingga 10GiB data, pengedaran rangkaian awam tidak boleh melebihi lebar jalur 10gbps, dan kelajuan muat turun aliran tunggal dikawal pada 10mbps;
V3: Ahli berbayar lanjutan, selain menyediakan storan yang lebih besar dan kuota pengedaran rangkaian awam, ia juga menyokong konfigurasi untuk mendayakan pecutan rangkaian lemah awam tambahan dan keupayaan pecutan medium berprestasi tinggi;

Para pembangun Agent boleh menggunakan tagging V1/V2/V3 secara fleksibel untuk mengurus sumber dan ciri nilai tambah yang boleh digunakan oleh pengguna ini untuk kitaran pembangunan pengguna yang berbeza.

Set Tagging Pengurusan Berperingkat Pengguna

Set Slice: Pengasingan Data Pengguna Besar-besaran Asli

Apabila bilangan Set dalam Agent Bucket mencapai ratusan juta, dan bilangan objek mencapai ratusan bilion atau trilion, fakta bahawa "semua metadata Bucket tunggal tertumpu dalam kluster KV tunggal" itu sendiri akan membawa risiko berganda dari segi kapasiti dan prestasi.

Set Slice menyediakan idea "tidak memecah secara logik, tetapi memecah secara fizikal":

Dari sudut pandangan logik, anda masih hanya mengurus satu Agent Bucket.
Secara fizikal, mengikut julat Set dan nama objek dalam Set, metadata dibahagikan kepada beberapa Slice (hirisan), dan setiap Slice boleh disimpan pada kluster yang berbeza. Pelbagai Set diasingkan secara semula jadi, dan Set tunggal diskala secara mendatar.

Set Slice Pemecahan Fizikal

Set Slice ialah lanjutan dan jaminan selanjutnya bagi keupayaan ObjectSet. Ia menyelesaikan masalah pengembangan tanpa had kapasiti fizikal di lapisan bawah, sambil memastikan kestabilan dan konsistensi model pengurusan ObjectSet lapisan atas.

Sempadan Pengurusan Stabil: Walaupun data Agent Bucket merentasi berbilang kluster fizikal, ObjectSet masih merupakan unit asas tunggal untuk kebenaran, kuota, pengebilan dan pemantauan. Dasar yang dikonfigurasikan oleh pembangun untuk ObjectSet (seperti kawalan akses, had kapasiti) akan berkuat kuasa secara automatik pada semua Slices yang berkaitan, tanpa perlu risau tentang pengagihan data asas.
Set Tunggal Boleh Diskala Secara Linear: Apabila jumlah data ObjectSet tertentu berkembang pesat, datanya akan diedarkan secara semula jadi ke dalam berbilang Slices. Dengan pengembangan keseluruhan kluster, kapasiti ObjectSet juga akan berkembang dengan lancar dan linear. Pembangun tidak perlu melakukan sebarang operasi pemecahan atau penghijrahan yang merosakkan pada ObjectSet itu sendiri.
Pengasingan Sumber Merentas Set: Dengan mengagihkan objek julat yang berbeza pada kluster fizikal yang berbeza, SetSlice mencapai pengasingan sumber dimensi yang lebih tinggi. Digabungkan dengan pengurusan kuota ObjectSet, ia boleh menghalang pertumbuhan data ObjectSet "pelanggan super besar" daripada memerah semua sumber kluster tunggal, dengan itu menjejaskan kestabilan ObjectSet lain, dan menjadikan risiko kapasiti keseluruhan terkawal.- Kesatuan dan Keserasian Logik: Bagi perniagaan dan pembangun, tanpa mengira berapa banyak Slice di bawahnya, mereka sentiasa berhadapan dengan Agent Bucket yang bersatu secara logik. Semua operasi pada bucket, ObjectSet dan objek kekal tidak berubah, merealisasikan pengembangan fizikal yang telus sepenuhnya kepada aplikasi lapisan atas.

Set AccessPoint: Mengasingkan Setiap Titik Akses Pengguna

Agent Bucket menyokong pengaktifan titik akses bebas (domain bebas) untuk setiap ObjectSet, dan mengembangkan keupayaan keselamatan, pengasingan dan pecutan yang berbeza pada titik akses. Sistem ini memerlukan sokongan untuk penjadualan titik akses bebas peringkat bilion dan keupayaan konfigurasi yang berbeza.

Domain akses bebas {$apid}.tos-objectset-ap.volces.com: perlindungan keselamatan dua peringkat

Tahap Pertama Obscurity (Kerahsiaan): Subdomain bebas By User/ObjectSet, penyelerakan entropi tinggi apid, kebarangkalian perlanggaran yang sangat rendah, mustahil untuk meneka dan menyenaraikan titik masuk pengguna tertentu dari sudut domain akses;
Tahap Kedua Containment (Pembendungan): Pembangun Agent menggunakan sts untuk mengedarkan keizinan akses peringkat ObjectSet. Walaupun sts bocor, ia masih boleh mengawal julat aksesnya terhad kepada tempoh sah ObjectSet tertentu;

Sistem penjadualan heuristik: Pengiraan dasar penjadualan domain peringkat bilion

Dasar akses yang berbeza By user/ObjectSet:tag
Pelbagai user/ObjectSet secara automatik bertaburan di pintu masuk rangkaian awam yang berbeza, bilangan pengguna yang terjejas oleh kegagalan pintu masuk tunggal dikawal
Penjadualan elastik seluruh wilayah, kegagalan/beban lampau pintu masuk tunggal automatik melengkapkan pemindahan pembungkusan trafik
Pengguna jenis pengedaran pecutan rangkaian awam, menandakan tag pecutan penghantaran rangkaian awam, penjadualan automatik pintu masuk pecutan
Pengguna jenis risiko rangkaian awam, menandakan tag risiko, penjadualan automatik pintu masuk pengasingan rangkaian awam, dan mengurangkan kuota lebar jalur rangkaian awam
Pengguna jenis merentas domain rangkaian dalaman, menandakan tag merentas domain, penjadualan automatik laluan pecutan talian khusus rangkaian dalaman
Pengguna pemecut tempatan, menandakan tag pemecut, pemasangan automatik pemecut tempatan

Sistem Penjadualan Set AccessPoint

Dari Pembantu Pengaturcaraan ke Awan Cakera AI, Kemungkinan Tanpa Had Agent Bucket

Agent Bucket menyediakan penyelesaian yang lengkap untuk Agent, dan senario aplikasi reka bentuk ObjectSet jauh melangkaui ini. Ia boleh dengan mudah diperluaskan kepada semua aplikasi yang perlu menyediakan perkhidmatan kepada sejumlah besar pengguna akhir:

Repositori Kod: Dahulu, apabila perusahaan atau individu mengehoskan kod di awan, mereka sering perlu membina lapisan \ - Platform Pengehosan Model: Dalam senario pengehosan model besar, setiap model bukan sahaja bersaiz besar, tetapi juga mungkin mempunyai versi, pemberat dan konfigurasi inferens yang berbeza. Mewujudkan ObjectSet untuk setiap model boleh membungkus dan menghoskan pemberat model, Tokenizer, fail konfigurasi dan data penilaian yang berkaitan dalam ruang yang sama. Pihak operasi dan penyelenggaraan boleh menetapkan dasar penyulitan, dasar sandaran dan kawalan lebar jalur yang berbeza untuk model yang berbeza. Pada masa yang sama, melalui keupayaan pengukuran asli, kos penggunaan sebenar setiap model dapat dikira, menyediakan asas untuk pengebilan dan penjadualan sumber mengikut dimensi model.
Perkhidmatan Data SaaS: Platform pengedaran data yang berorientasikan kepada sejumlah besar pengguna terminal sering kali perlu berinteraksi dengan banyak pembekal data pada masa yang sama. Ia bukan sahaja perlu memastikan sempadan data setiap pihak adalah jelas, tetapi juga mengelakkan risiko prestasi "satu tong besar mengheret semua orang". Dengan bantuan Agent Bucket, setiap pembekal data boleh memiliki ObjectSet mereka sendiri, mengurus data mentah dan hasil pemprosesan secara bersatu. Kemudian, melalui domain dan lebar jalur bebas, kuota QPS, jaminan perkhidmatan dan pengehadan kadar yang berbeza boleh dilakukan untuk pembekal yang berbeza, merealisasikan infrastruktur pengedaran data "satu platform, berbilang pembekal, terpencil antara satu sama lain tetapi kerjasama terkawal".

Reference: