Agent Bucket: Bucket Penyimpanan Asli Tingkat Triliunan untuk Agent
Agent Bucket: Bucket Penyimpanan Asli Tingkat Triliunan untuk Agent
Di era kemunculan AI Agent yang pesat, para pengembang membangun aplikasi cerdas yang imajinatif dengan kecepatan yang belum pernah terjadi sebelumnya. Mulai dari asisten pemrograman yang membantu Anda menulis kode, hingga alat kreasi yang menghasilkan film dari satu kalimat, hingga asisten cerdas pribadi yang selalu siap sedia, Agent sedang membentuk kembali cara kita berinteraksi dengan dunia digital. Di balik gelombang ini, sebuah konsensus semakin jelas: dengan bantuan arsitektur Serverless (seperti Lambda), model bahasa besar (LLM), dan penyimpanan cloud (seperti S3, TOS), dikombinasikan dengan Vibe Coding, siapa pun dapat dengan cepat membangun AI Agent mereka sendiri dalam 30 menit.
Dari \Mengapa kebutuhan yang tampaknya mendasar ini, implementasi pengembang Agent pada penyimpanan objek terasa agak "berat"? Menyelidiki penyebabnya, karena dalam arsitektur cloud native saat ini, terdapat zona vakum besar antara "penyimpanan objek" seperti S3 dan "sistem file" tradisional. Objek penyimpanan (S3/TOS) pada dasarnya adalah "perataan", desain aslinya adalah penyimpanan sederhana data besar, seperti gudang besar, meskipun kapasitasnya hampir tak terbatas, tetapi struktur logisnya sangat sederhana. Ia kekurangan manajemen direktori tingkat tinggi asli, kontrol metadata granular, dan kesadaran penyewa yang sebenarnya. Ketika pengembang mencoba mensimulasikan sistem file multi-penyewa "tiga dimensi" pada S3 "datar" melalui hard-coding awalan, kita sebenarnya menggunakan "penyimpanan KV statis" untuk membawa metode akses file aplikasi Agent yang "semantik direktori, terisolasi kuat". Artinya Agent perlu mengkonsumsi token tambahan untuk mengelola file, dan mengontrol solusi izin dan isolasi multi-penyewa. Konsumsi token tambahan ini menunjukkan bahwa layanan penyimpanan sederhana yang didefinisikan oleh S3 tidak cukup sederhana untuk Agent.
Blog S3 tahun 2025 《Design patterns for multi-tenant access control on Amazon S3》 selanjutnya menjelaskan S3 Access Point. Ini berarti Anda dapat membuat beberapa titik akses jaringan virtual dan mengonfigurasi kebijakan titik akses khusus untuk setiap titik akses, yang memiliki beberapa solusi untuk skenario multi-penyewa di tingkat penjadwalan jaringan.
Agent Wonderland
Seorang pengembang Agent ideal dalam mengembangkan AI Agent, dapat membangun Agent yang sepenuhnya serverless berdasarkan "Agent SDK + penyimpanan + layanan MaaS":
-
Agent dapat berjalan sepenuhnya serverless
-
Kemampuan produk yang ada dapat digabungkan untuk membangun Agent melalui Vibe Coding
-
Hanya skrip python "ADK" yang perlu dipelihara
-
Penyimpanan menggunakan penyimpanan objek
-
Kemampuan AI menggunakan 豆包 (Doubao)
-
Secara teori, tidak ada ECS atau produk tipe instance lainnya
Pada saat yang sama, penyimpanan perlu menyediakan kemampuan berikut:
-
Agent dapat memiliki penyimpanan semantik objek (menyimpan file), menyediakan kemampuan akses multi-penyewa, mulai dari ratusan ribu, dan dapat diperluas hingga ratusan juta
-
Agent dapat menyediakan ruang independen untuk setiap pengguna (di antara banyak bisnis, bisnis atau uid mungkin memiliki nama yang sama)
-
Agent dapat langsung mengonfigurasi bandwidth setiap pengguna dan mengonfigurasi batas atas ukuran total objek pengguna
-
Agent dapat menagih, memantau, dan mengamati berdasarkan pengguna
-
Agent dapat mengonfigurasi kebijakan akses untuk file setiap pengguna
Agent Bucket: Menyuntikkan Gen "Asli Multi-Penyewa" ke dalam AI Agent
Untuk mengatasi masalah ini secara mendasar, kami mengusulkan paradigma penyimpanan objek baru——Agent Bucket. Inovasi intinya adalah memperkenalkan tingkat sumber daya asli baru antara "bucket" dan "objek" tradisional: kumpulan objek.
Ide inti dari desain ini sangat sederhana: cocokkan setiap pengguna akhir Anda dengan ObjectSet eksklusif. Anda dapat membayangkan ObjectSet sebagai "brankas data" atau "ruang pribadi cloud" yang dibuat khusus untuk setiap pengguna. Secara logis, itu milik Bucket Anda (pengembang), tetapi secara fisik dan manajemen, ia memiliki "kepribadian" dan "siklus hidup" independennya sendiri.Agent Bucket Setiap bucket mendukung 100 juta ObjectSet, yang berarti Anda dapat dengan mudah melayani ratusan juta pengguna akhir, seolah-olah setiap pengguna akhir "tinggal" di ruang penyimpanan independen mereka sendiri, tanpa perlu lagi pusing dengan manajemen penyimpanan multi-tenant.
Desain ObjectSet - Kemampuan yang Ramah untuk Agent
Dalam Agent Bucket, ObjectSet bukan hanya menambahkan tingkatan, tetapi juga mengubah kebutuhan paling sulit dalam skenario multi-tenant menjadi kemampuan asli yang siap digunakan. Ketika kepemilikan data diperjelas di tingkat ObjectSet, serangkaian kemampuan yang sulit diimplementasikan di masa lalu menjadi mudah dicapai.
-
Isolasi Asli: Di tingkat ObjectSet, Anda dapat mengatur QPS, batasan bandwidth, dan kuota kapasitas independen untuk setiap pengguna. Pengalaman pengguna berbayar dapat dijamin, dan perilaku abnormal pengguna gratis tidak akan memengaruhi orang lain. Ini adalah isolasi domain kesalahan yang sebenarnya, sehingga "tetangga" tidak lagi saling mengganggu.
-
Izin Asli: Setiap ObjectSet dapat memiliki domain independen. Ini berarti Anda dapat memberi pengguna A alamat akses eksklusif user-a.yourapp.com, alih-alih mengekspos domain seluruh bucket penyimpanan. Yang lebih cerdas adalah desain "dua kunci": Kunci pertama adalah kredensial akses sementara (STS) yang dikeluarkan oleh penyedia layanan cloud, yang mengontrol izin akses di tingkat aplikasi; kunci kedua adalah domain independen ObjectSet, yang mengunci permintaan akses ke ruang data pengguna sendiri dari tingkat jaringan. Ini sangat meningkatkan keamanan data.
-
Pemantauan Asli: Pada dasbor pemantauan, Anda tidak lagi hanya dapat melihat data ikhtisar seluruh bucket. Anda dapat memecah grafik pemantauan berdasarkan ObjectSet, dengan jelas melihat pengguna akhir mana yang melakukan banyak akses, sehingga membuat keputusan operasional dan optimalisasi yang akurat.
-
Penurunan Kemampuan Asli: Kebijakan yang hanya dapat diatur di tingkat bucket di masa lalu, sekarang dapat diturunkan ke setiap pengguna. Anda dapat mengatur siklus hidup data yang berbeda untuk pengguna dengan tingkatan yang berbeda, atau menggunakan kunci enkripsi yang berbeda untuk setiap ObjectSet, untuk mencapai manajemen data yang lebih terperinci dan lebih aman.
-
Pengukuran Asli: Ingin tahu berapa banyak ruang penyimpanan yang digunakan setiap pengguna? Ingin membagi biaya penyimpanan secara akurat ke setiap pengguna? Sekarang menjadi mudah. Agent Bucket akan secara otomatis menghitung kapasitas dan penggunaan setiap ObjectSet untuk Anda, membuat penagihan dan pembagian Anda jelas dan transparan.
-
Penagihan Asli: Pengembang dapat dengan mudah mengimplementasikan pembagian biaya, dan secara akurat mengembalikan biaya yang dihasilkan penyimpanan ke setiap pengguna akhir. Misalnya, mengenakan biaya yang berbeda berdasarkan proporsi biaya aktual yang dihasilkan oleh pengguna A, B, dan C, memberikan dukungan data untuk komersialisasi Agent.
-
Batas Kapasitas Asli: Untuk mengontrol biaya operasional Agent, Anda dapat mengatur Kuota (batas kapasitas) untuk setiap ObjectSet. Setelah mencapai nilai yang telah ditetapkan, sistem akan membatasi pengguna untuk terus menghasilkan file baru, menghindari penyalahgunaan sumber daya dalam skenario multi-tenant dari akarnya.
-
Kecerdasan Asli: Agent Bucket memungkinkan Agent untuk keluar dari batasan sederhana "penyimpanan dan pengambilan" file tradisional, memberikan kecerdasan asli ke Object, dan mendukung pengembangan satu atap Agent dengan lebih efisien. ObjectSet dapat mengaktifkan indeks cerdas dengan satu klik, menyediakan kemampuan tanya jawab multimodal yang ramah untuk Agent, menggantikan operasi mekanis CRUD Object tradisional; bahkan mendukung aktivasi mode Agentself dengan satu klik, menghubungkan vektor, pengetahuan, model, dan prompt, secara langsung mengungkapkan fungsi sub-Agent berbasis skenario, memungkinkan pengembang Agent lapisan atas untuk fokus pada penciptaan alur kerja bisnis utama, sepenuhnya melepaskan efisiensi monetisasi cerdas.
Tantangan Teknis yang Dibawa oleh Ledakan Skala Aplikasi
Agent Bucket menyediakan cara yang elegan dan efisien bagi pengembang aplikasi untuk mengelola data pengguna akhir dalam skala ratusan juta dengan memperkenalkan konsep asli ObjectSet. Aset digital setiap pengguna disimpan dengan aman di ObjectSet eksklusif mereka, secara alami mewujudkan isolasi, penagihan, dan manajemen kuota.
Dengan ekspansi pesat skala aplikasi, kompleksitas manajemen, kesulitan isolasi, dan hambatan fisik dari sejumlah besar Set muncul secara bersamaan:
-
Masalah Manajemen Bertingkat Pengguna Massal: Ketika aplikasi mengelola sumber daya dan fitur dari sejumlah besar pengguna dengan tingkatan berbeda secara berbeda, ia perlu merancang dan mengimplementasikan metadata bertingkat pengguna sendiri, dan mengaitkan sakelar fitur penyimpanan objek. Membantu pengembang mengelola tingkatan pengguna secara elegan berdasarkan konsep asli Set adalah penting untuk mempercepat implementasi aplikasi.- Bottleneck kapasitas klaster tunggal: Meskipun Agent Bucket secara logis dapat diperluas tanpa batas, metadata-nya secara default disimpan dalam satu klaster fisik. Ketika jumlah total objek dalam bucket mencapai ratusan miliar atau bahkan triliunan, kapasitas fisik klaster tunggal menjadi batas atas yang tidak dapat diatasi.
-
Masalah berbagi titik akses: Keragaman bisnis Agent dan sejumlah besar pengguna membawa risiko keamanan dan radius ledakan yang lebih besar ke titik akses itu sendiri. Bagaimana melakukan penjadwalan dinamis berdasarkan perbedaan sejumlah besar bisnis dan pengguna yang berbeda, dan mewujudkan kemampuan keamanan, isolasi, dan akselerasi yang berbeda, menjadi kesulitan.
Set Tagging: Manajemen Berbasis Tag untuk Tingkat Pengguna
ObjectSet menyediakan metode manajemen berbasis tag asli, memungkinkan pengembang Agent untuk dengan mudah menggunakan kemampuan set tagging untuk menyelesaikan tata kelola tingkat pengguna. Pengembang dapat menetapkan setiap tingkat pengguna yang ditentukan ke tag, dan mengaktifkan kuota dan fitur yang berbeda untuk setiap tag. Semua ObjectSet yang ditandai dengan tag ini akan menerapkan kuota dan fitur yang sesuai. Ambil contoh tiga tingkatan V1, V2, dan V3:
-
V1: Tingkat default, pengguna gratis, tag default untuk semua ObjectSet, dapat dikonfigurasi untuk menyimpan hingga 1GiB data, distribusi jaringan publik tidak dapat melebihi bandwidth 100mbps, dan kecepatan unduh aliran tunggal dikontrol pada 1mbps;
-
V2: Anggota berbayar tingkat pemula, dikonfigurasi untuk menyimpan hingga 10GiB data, distribusi jaringan publik tidak dapat melebihi bandwidth 10gbps, dan kecepatan unduh aliran tunggal dikontrol pada 10mbps;
-
V3: Anggota berbayar tingkat lanjut, selain menyediakan penyimpanan yang lebih besar dan kuota distribusi jaringan publik, juga mendukung konfigurasi untuk mengaktifkan akselerasi jaringan lemah publik tambahan dan kemampuan akselerasi media berkinerja tinggi;
Pengembang Agent dapat secara fleksibel menggunakan tagging V1/V2/V3 untuk mengelola sumber daya dan fitur bernilai tambah yang dapat digunakan oleh pengguna ini untuk siklus pengembangan pengguna yang berbeda.
Set Slice: Isolasi Data Pengguna Skala Besar Secara Native
Ketika jumlah Set dalam Agent Bucket mencapai ratusan juta, dan jumlah objek mencapai ratusan miliar atau triliunan, fakta bahwa "semua metadata Bucket tunggal terpusat dalam satu klaster KV" dengan sendirinya akan membawa risiko ganda kapasitas dan kinerja.
Set Slice menyediakan ide "tidak membagi secara logis, tetapi membagi secara fisik":
-
Dari sudut pandang logis, Anda masih hanya mengelola satu Agent Bucket.
-
Secara fisik, metadata dibagi menjadi beberapa Slice (irisan) berdasarkan Set dan rentang nama objek dalam Set. Setiap Slice dapat disimpan di klaster yang berbeda. Multi-Set secara alami terisolasi, dan Set tunggal dapat diperluas secara horizontal.
Set Slice adalah perpanjangan dan jaminan lebih lanjut dari kemampuan ObjectSet. Ini memecahkan masalah ekspansi tak terbatas dari kapasitas fisik di lapisan bawah, sambil memastikan stabilitas dan konsistensi model manajemen ObjectSet lapisan atas.
-
Batas manajemen stabil: Bahkan jika data Agent Bucket mencakup beberapa klaster fisik, ObjectSet tetap menjadi unit dasar tunggal untuk izin, kuota, penagihan, dan pemantauan. Kebijakan yang dikonfigurasi pengembang untuk ObjectSet (seperti kontrol akses, batas kapasitas) secara otomatis berlaku untuk semua Slice terkait, tanpa perlu khawatir tentang distribusi data yang mendasarinya.
-
Set tunggal dapat diperluas secara linier: Ketika jumlah data ObjectSet tertentu tumbuh dengan cepat, datanya secara alami akan didistribusikan ke beberapa Slice. Dengan ekspansi keseluruhan klaster, kapasitas ObjectSet juga tumbuh dengan mulus dan linier. Pengembang tidak perlu melakukan operasi destruktif seperti membagi atau memigrasikan ObjectSet itu sendiri.
-
Isolasi sumber daya lintas Set: Dengan mendistribusikan objek dengan rentang yang berbeda di klaster fisik yang berbeda, SetSlice mewujudkan isolasi sumber daya dimensi yang lebih tinggi. Dikombinasikan dengan manajemen kuota ObjectSet, secara efektif dapat mencegah pertumbuhan data ObjectSet "pengguna super besar" dari memeras semua sumber daya klaster tunggal, sehingga memengaruhi stabilitas ObjectSet lain, membuat risiko kapasitas keseluruhan terkendali.- Kesatuan dan Kompatibilitas Logis: Bagi bisnis dan pengembang, terlepas dari berapa banyak Slice di bawahnya, mereka selalu berinteraksi dengan Agent Bucket yang secara logis terpadu. Semua metode operasi untuk bucket, ObjectSet, dan objek tetap tidak berubah, mewujudkan transparansi penuh dari ekspansi fisik ke aplikasi lapisan atas.
Set AccessPoint: Mengisolasi Setiap Titik Akses Pengguna
Agent Bucket mendukung pembukaan titik akses independen (domain independen) untuk setiap ObjectSet, dan memperluas kemampuan keamanan, isolasi, dan akselerasi yang berbeda pada titik akses. Sistem perlu mendukung penjadwalan titik akses independen tingkat ratusan juta dan kemampuan konfigurasi yang berbeda.
Domain akses independen {$apid}.tos-objectset-ap.volces.com: Perlindungan keamanan dua tingkat
-
Tingkat Pertama Obscurity (Kerahasiaan): Subdomain independen By User/ObjectSet, hash entropi tinggi apid, probabilitas tabrakan sangat rendah, tidak mungkin untuk menebak dan menghitung titik masuk pengguna tertentu dari sudut pandang domain akses;
-
Tingkat Kedua Containment (Pembatasan): Pengembang Agent menggunakan sts untuk mendistribusikan izin akses tingkat ObjectSet. Bahkan jika sts bocor, ia dapat mengontrol ruang lingkup aksesnya terbatas pada masa berlaku terbatas dari ObjectSet tertentu;
Sistem penjadwalan heuristik: Perhitungan strategi penjadwalan domain tingkat ratusan juta
-
Strategi akses yang berbeda By user/ObjectSet:tag
-
Beberapa user/ObjectSet secara otomatis tersebar di pintu masuk jaringan publik yang berbeda, dan jumlah user yang terpengaruh oleh kegagalan pintu masuk tunggal terkendali
-
Penjadwalan elastis seluruh wilayah, kegagalan/kelebihan beban pintu masuk tunggal secara otomatis menyelesaikan pergerakan pengemasan lalu lintas
-
User kelas distribusi akselerasi jaringan publik, menandai tag akselerasi transmisi jaringan publik, secara otomatis menjadwalkan pintu masuk akselerasi
-
User kelas risiko jaringan publik, menandai tag risiko, secara otomatis menjadwalkan pintu masuk isolasi jaringan publik, dan mengurangi kuota bandwidth jaringan publik
-
User kelas lintas domain jaringan internal, menandai tag lintas domain, secara otomatis menjadwalkan jalur akselerasi jalur khusus jaringan internal
-
User akselerator lokal, menandai tag akselerator, secara otomatis memasang akselerator lokal
Dari Asisten Pemrograman hingga Cloud Disk AI, Kemungkinan Tak Terbatas dari Agent Bucket
Agent Bucket menyediakan solusi lengkap untuk Agent, dan skenario aplikasi desain ObjectSet jauh lebih dari ini. Ia dapat dengan mudah diperluas ke semua aplikasi yang perlu menyediakan layanan untuk sejumlah besar pengguna akhir:
-
Gudang Kode: Di masa lalu, ketika perusahaan atau individu menghosting kode di cloud, mereka sering kali perlu membangun "sistem penyewa" di atas penyimpanan objek untuk mencapai isolasi akun dan kontrol izin. Sekarang, ObjectSet eksklusif dapat dialokasikan untuk setiap pengembang untuk secara seragam menyimpan gudang kode, artefak build, dan dependensi. Agent Skills juga secara alami beradaptasi dengan ObjectSet. Unggahan, unduhan, dan distribusi Skills menyediakan isolasi yang kuat melalui ObjectSet, menghindari gangguan tetangga selama runtime Agent.
-
Album Foto/Disk Cloud Perusahaan: Layanan album foto atau disk cloud tradisional sering kali mencampur foto semua pengguna dalam bucket yang sama, membedakan pengguna melalui awalan, yang tidak hanya rumit untuk dikelola, tetapi juga rentan terhadap "efek tetangga". Berdasarkan ObjectSet, foto dan video setiap pengguna ditempatkan di Set masing-masing, puncak akses tidak saling mengganggu, dan batas kapasitas, kebijakan pencadangan, dan metode enkripsi dapat diatur per pengguna, benar-benar mencapai "setiap orang memiliki album cloud yang aman dan terkendali".
-
Gudang Data Hadoop: Di gudang data perusahaan, lini bisnis yang berbeda dan database yang berbeda sering kali berbagi sumber daya pada penyimpanan dasar yang sama. Dengan memetakan setiap database ke ObjectSet, perusahaan dapat mencapai isolasi dan kontrol kuota per database di atas penyimpanan terpadu. Secara khusus, ObjectSet menyediakan lapisan izin tambahan di TOS, menyediakan isolasi dan kontrol izin untuk Database dan Tabel yang disimpan di TOS tanpa mengubah Proton yang ada di TOS. - Platform Hosting Model: Dalam skenario hosting model besar, setiap model tidak hanya berukuran besar, tetapi juga mungkin sesuai dengan versi, bobot, dan konfigurasi inferensi yang berbeda. Membuat ObjectSet untuk setiap model memungkinkan bobot model, Tokenizer, file konfigurasi, dan data evaluasi terkait dikemas dan di-host di ruang yang sama. Sisi operasi dan pemeliharaan dapat menetapkan kebijakan enkripsi, kebijakan pencadangan, dan kontrol bandwidth yang berbeda untuk model yang berbeda. Pada saat yang sama, melalui kemampuan pengukuran asli, biaya penggunaan aktual setiap model dapat dihitung, memberikan dasar untuk penagihan dan penjadwalan sumber daya berdasarkan dimensi model.
-
Layanan Data SaaS: Platform distribusi data yang berorientasi pada sejumlah besar pengguna akhir sering kali perlu terhubung ke banyak penyedia data secara bersamaan. Hal ini tidak hanya memastikan bahwa batas data masing-masing pihak jelas, tetapi juga menghindari risiko kinerja "satu ember besar menyeret semua orang ke bawah". Dengan bantuan Agent Bucket, setiap penyedia data dapat memiliki ObjectSet sendiri, mengelola data mentah dan hasil pemrosesan secara terpadu, dan kemudian memberikan jaminan layanan dan pembatasan lalu lintas yang berbeda untuk penyedia yang berbeda melalui domain dan bandwidth independen, kuota QPS, menyadari "satu platform, banyak penyedia, terisolasi satu sama lain dan kolaborasi yang terkendali" infrastruktur distribusi data.
Referensi:
