Agent Bucket: Agent-Native Storage Bucket for Trillions of Objects
2/16/2026
18 min read
# Agent Bucket: Agent-Native Storage Bucket for Trillions of Objects
In today's world where AI Agents are emerging like mushrooms after rain, developers are building imaginative intelligent applications at an unprecedented pace. From programming assistants that help you write code to creative tools that generate a movie from a single sentence, to personal intelligent assistants that are always on standby, Agents are reshaping the way we interact with the digital world. Behind this wave, a consensus is becoming increasingly clear: with the help of Serverless architectures (such as Lambda), large language models (LLMs), and cloud storage (such as S3, TOS), combined with Vibe Coding, anyone can quickly build their own AI Agent in 30 minutes.
From "usable" to "easy to use", Agent developers still need to overcome challenges in the transition from "toys" to "production-level applications". As business moves towards massive users, developers have to face an extremely complex challenge: how to build a complete storage solution for massive end users on object storage? For most developers, this is not only a technical threshold, but also a gap that hinders the large-scale distribution of Agents. Agent Bucket aims to completely simplify the construction process of multi-tenant systems through AI-native storage design and provide more friendly Agent capabilities.
## When Hundreds of Millions of Users Pour In, Traditional Object Storage is "Not Enough"
Imagine you've developed a wildly popular AIGC application. Each user will generate and store a large number of images, videos, and temporary files. As a developer, you will naturally choose mature and scalable object storage services like S3 and TOS. But here's the problem: how do you manage data for massive users?
The 2022 S3 blog post "Partitioning and Isolating Multi-Tenant SaaS Data with Amazon S3" describes two methods, "Use a separate S3 bucket for each tenant" and "Shared S3 bucket isolated by prefix":
- Create a separate "bucket" for each user: This is feasible when the number of users is small, but when the number of users grows to tens of thousands or millions, the number of buckets will explode rapidly, and the management cost and resource limitations will be unbearable. S3 provides a total of 10,000 bucket quotas per region, but for popular AI capabilities, 10,000 is far from enough.
- Use "prefix" to distinguish users in the same bucket: This has become the mainstream solution. For example, user A's files all start with user-a/, and user B's files start with user-b/, just like managing files with folders on a computer. However, object storage does not have native folders. This solution distinguishes multi-tenants through "common prefix" in the "K-V" storage system.
This "bucket" or "prefix"-based solution has been widely adopted in the past decade. But there are the following problems:
- Multi-tenant isolation: All user data is mixed in the same bucket. An abnormal high-frequency access by one user may affect all other users, resulting in a "neighbor effect". Performance isolation and fault isolation are out of the question.
- Permission control: Complex permission policies (IAM Policy) are difficult to maintain, and configuration errors can easily occur, resulting in accidental access to user data, especially when interacting with other cloud services, the risk exposure is greater.
- Cost clarity: It is difficult for you to accurately know how much storage space each user consumes and how much traffic costs are generated. When you want to charge paying users based on usage, billing and metering become a mess.
Γιατί αυτές οι φαινομενικά βασικές ανάγκες είναι κάπως "βαριές" για τους προγραμματιστές Agent στην υλοποίηση αποθήκευσης αντικειμένων; Μια βαθύτερη διερεύνηση αποκαλύπτει ότι υπάρχει ένα τεράστιο κενό μεταξύ της "αποθήκευσης αντικειμένων" όπως το S3 και των παραδοσιακών "συστημάτων αρχείων" στη σημερινή αρχιτεκτονική cloud-native. Η ουσία της αποθήκευσης αντικειμένων (S3/TOS) είναι η "επιπεδοποίηση". Ο αρχικός σχεδιασμός ήταν για απλή αποθήκευση τεράστιων δεδομένων, σαν μια τεράστια αποθήκη. Αν και η χωρητικότητα είναι σχεδόν απεριόριστη, η λογική δομή είναι εξαιρετικά απλή. Του λείπει η εγγενής προηγμένη διαχείριση καταλόγων, ο λεπτομερής έλεγχος μεταδεδομένων και η πραγματική αντίληψη ενοικιαστών. Όταν οι προγραμματιστές προσπαθούν να προσομοιώσουν ένα "τρισδιάστατο" σύστημα αρχείων πολλαπλών ενοικιαστών σε ένα "επίπεδο" S3 μέσω της κωδικοποίησης προθεμάτων, στην πραγματικότητα χρησιμοποιούμε μια "στατική αποθήκευση KV" για να υποστηρίξουμε έναν τρόπο πρόσβασης σε αρχεία εφαρμογών Agent που είναι "σημασιολογικός κατάλογος και ισχυρά απομονωμένος". Δηλαδή, ο Agent πρέπει να καταναλώσει επιπλέον token για να διαχειριστεί αρχεία και να ελέγξει την επίλυση των δικαιωμάτων και της απομόνωσης πολλαπλών ενοικιαστών. Αυτά τα επιπλέον token που καταναλώνονται δείχνουν ότι η απλή υπηρεσία αποθήκευσης που ορίζεται από το S3 δεν είναι αρκετά απλή για τον Agent.
Το ιστολόγιο S3 του 2025, Design patterns for multi-tenant access control on Amazon S3, περιγράφει περαιτέρω το S3 Access Point. Αυτό σημαίνει ότι μπορούν να δημιουργηθούν πολλά εικονικά σημεία πρόσβασης δικτύου και να διαμορφωθεί μια προσαρμοσμένη πολιτική σημείου πρόσβασης για κάθε σημείο πρόσβασης, η οποία έχει κάποιες λύσεις για σενάρια πολλαπλών ενοικιαστών σε επίπεδο προγραμματισμού δικτύου.
## Agent Wonderland
Ένας ιδανικός προγραμματιστής Agent μπορεί να δημιουργήσει έναν πλήρως serverless Agent με βάση το "Agent SDK + Storage + MaaS Service" κατά την ανάπτυξη ενός AI Agent:
- Ο Agent μπορεί να εκτελεστεί πλήρως serverless
- Μπορείτε να δημιουργήσετε έναν Agent συνδυάζοντας τις υπάρχουσες δυνατότητες προϊόντος μέσω του Vibe Coding
- Απαιτείται μόνο η συντήρηση του python script του "ADK"
- Η αποθήκευση χρησιμοποιεί αποθήκευση αντικειμένων
- Η δυνατότητα AI χρησιμοποιεί το Doubao
- Θεωρητικά, δεν υπάρχουν ECS ή άλλα προϊόντα τύπου instance
Επίσης, η αποθήκευση πρέπει να παρέχει τις ακόλουθες δυνατότητες:
- Ο Agent μπορεί να έχει μια αποθήκευση με σημασιολογία αντικειμένου (αποθήκευση αρχείων), παρέχοντας δυνατότητες πρόσβασης πολλαπλών ενοικιαστών, ξεκινώντας από εκατομμύρια και επεκτάσιμη σε εκατοντάδες εκατομμύρια
- Ο Agent μπορεί να παρέχει σε κάθε χρήστη έναν ανεξάρτητο χώρο (μεταξύ πολλών επιχειρήσεων, οι επιχειρήσεις ή τα uid μπορεί να έχουν το ίδιο όνομα)
- Ο Agent μπορεί να διαμορφώσει απευθείας το εύρος ζώνης κάθε χρήστη και να διαμορφώσει το ανώτατο όριο συνολικού μεγέθους αντικειμένου χρήστη
- Ο Agent μπορεί να τιμολογήσει, να παρακολουθεί και να παρατηρεί ανά χρήστη
- Ο Agent μπορεί να διαμορφώσει πολιτικές πρόσβασης για τα αρχεία κάθε χρήστη
## Agent Bucket: Ενσωματώνοντας "Εγγενή Πολλαπλότητα Ενοικιαστών" στο AI Agent
Για να λύσουμε αυτό το πρόβλημα ριζικά, προτείνουμε ένα εντελώς νέο παράδειγμα αποθήκευσης αντικειμένων - Agent Bucket. Η βασική του καινοτομία είναι η εισαγωγή ενός νέου εγγενούς επιπέδου πόρων μεταξύ των παραδοσιακών "buckets" και "αντικειμένων": συλλογές αντικειμένων.
Η βασική ιδέα αυτού του σχεδιασμού είναι εξαιρετικά απλή: αντιστοιχίστε ένα αποκλειστικό ObjectSet σε κάθε τελικό χρήστη σας. Μπορείτε να φανταστείτε το ObjectSet ως ένα "χρηματοκιβώτιο δεδομένων" ή "προσωπικό χώρο cloud" που έχει δημιουργηθεί αποκλειστικά για κάθε χρήστη. Λογικά ανήκει στο Bucket σας (προγραμματιστή), αλλά φυσικά και διαχειριστικά, έχει τη δική του ανεξάρτητη "προσωπικότητα" και "κύκλο ζωής".Agent Bucket Κάθε κάδος υποστηρίζει 100 εκατομμύρια ObjectSet, επιτρέποντάς σας να εξυπηρετείτε άνετα εκατοντάδες εκατομμύρια τελικούς χρήστες, σαν κάθε τελικός χρήστης να "ζούσε" σε έναν ανεξάρτητο χώρο αποθήκευσης, χωρίς να χρειάζεται να ανησυχείτε για τη διαχείριση αποθήκευσης πολλαπλών ενοικιαστών.
## ObjectSet Σχεδιασμός - Δυνατότητες φιλικές προς τον Agent
Στο Agent Bucket, το ObjectSet δεν είναι απλώς μια προσθήκη ενός επιπέδου, αλλά μετατρέπει τις πιο δύσκολες ανάγκες σε σενάρια πολλαπλών ενοικιαστών σε εγγενείς δυνατότητες έτοιμες για χρήση. Όταν η κυριότητα των δεδομένων καθορίζεται στο επίπεδο ObjectSet, μια σειρά από δυνατότητες που ήταν δύσκολο να επιτευχθούν στο παρελθόν γίνονται εύκολες.
- Εγγενής απομόνωση: Στο επίπεδο ObjectSet, μπορείτε να ορίσετε ανεξάρτητα QPS, περιορισμούς εύρους ζώνης και ποσοστώσεις χωρητικότητας για κάθε χρήστη. Η εμπειρία των χρηστών που πληρώνουν μπορεί να είναι εγγυημένη και η μη φυσιολογική συμπεριφορά των δωρεάν χρηστών δεν θα επηρεάσει άλλους. Αυτή είναι η πραγματική απομόνωση τομέα σφαλμάτων, που επιτρέπει στους "γείτονες" να μην αλληλεπιδρούν.
- Εγγενή δικαιώματα: Κάθε ObjectSet μπορεί να έχει ένα ανεξάρτητο όνομα τομέα. Αυτό σημαίνει ότι μπορείτε να δώσετε στον χρήστη A μια αποκλειστική διεύθυνση πρόσβασης user-a.yourapp.com, αντί να εκθέσετε ολόκληρο το όνομα τομέα του κάδου αποθήκευσης. Ακόμη πιο έξυπνος είναι ο σχεδιασμός "δύο κλειδαριών": Η πρώτη κλειδαριά είναι ένα προσωρινό διαπιστευτήριο πρόσβασης (STS) που εκδίδεται από τον πάροχο υπηρεσιών cloud, το οποίο ελέγχει τα δικαιώματα πρόσβασης στο επίπεδο της εφαρμογής. Η δεύτερη κλειδαριά είναι το ανεξάρτητο όνομα τομέα του ObjectSet, το οποίο κλειδώνει τα αιτήματα πρόσβασης στον δικό του χώρο δεδομένων του χρήστη από το επίπεδο του δικτύου. Αυτό βελτιώνει σημαντικά την ασφάλεια των δεδομένων.
- Εγγενής παρακολούθηση: Στον πίνακα ελέγχου παρακολούθησης, δεν μπορείτε πλέον να βλέπετε μόνο τα συνολικά δεδομένα ολόκληρου του κάδου. Μπορείτε να αναλύσετε τα γραφήματα παρακολούθησης ανά ObjectSet, να κατανοήσετε ξεκάθαρα ποιος τελικός χρήστης πραγματοποιεί μεγάλο αριθμό προσβάσεων και έτσι να λάβετε ακριβείς αποφάσεις λειτουργίας και βελτιστοποίησης.
- Εγγενής υποβιβασμός δυνατοτήτων: Οι πολιτικές που μπορούσαν να οριστούν μόνο σε επίπεδο κάδου μπορούν πλέον να υποβιβαστούν σε κάθε χρήστη. Μπορείτε να ορίσετε διαφορετικούς κύκλους ζωής δεδομένων για χρήστες διαφορετικών επιπέδων ή να χρησιμοποιήσετε διαφορετικά κλειδιά κρυπτογράφησης για κάθε ObjectSet για να επιτύχετε πιο λεπτομερή και ασφαλή διαχείριση δεδομένων.
- Εγγενής μέτρηση: Θέλετε να μάθετε πόσο χώρο αποθήκευσης καταλαμβάνει κάθε χρήστης; Θέλετε να κατανείμετε με ακρίβεια το κόστος αποθήκευσης σε κάθε χρήστη; Τώρα γίνεται παιχνιδάκι. Το Agent Bucket θα υπολογίζει αυτόματα τη χωρητικότητα και τη χρήση κάθε ObjectSet, κάνοντας τη χρέωση και την κατανομή σας σαφή και κατανοητή.
- Εγγενής χρέωση: Οι προγραμματιστές μπορούν εύκολα να επιτύχουν κατανομή κόστους και να ανακατανείμουν με ακρίβεια τα έξοδα που προκύπτουν από την αποθήκευση σε κάθε τελικό χρήστη. Για παράδειγμα, χρεώστε διαφοροποιημένα ανάλογα με τις πραγματικές αναλογίες κόστους που προκύπτουν από διαφορετικούς χρήστες A, B και C, παρέχοντας υποστήριξη δεδομένων για την εμπορευματοποίηση του Agent.
- Εγγενές ανώτατο όριο χωρητικότητας: Για να ελέγξετε το λειτουργικό κόστος του Agent, μπορείτε να ορίσετε μια Quota (ανώτατο όριο χωρητικότητας) για κάθε ObjectSet. Μόλις επιτευχθεί η προκαθορισμένη τιμή, το σύστημα θα περιορίσει αυτόν τον χρήστη από τη δημιουργία νέων αρχείων, αποφεύγοντας τη κατάχρηση πόρων σε σενάρια πολλαπλών ενοικιαστών από την πηγή.
- Εγγενής νοημοσύνη: Το Agent Bucket επιτρέπει στον Agent να ξεφύγει από τους παραδοσιακούς περιορισμούς της απλής "αποθήκευσης και ανάκτησης" αρχείων, δίνοντας στο Object εγγενή νοημοσύνη και υποστηρίζοντας πιο αποτελεσματικά την ανάπτυξη Agent one-stop. Το ObjectSet μπορεί να ενεργοποιήσει την έξυπνη ευρετηρίαση με ένα κλικ, παρέχοντας στον Agent εγγενείς φιλικές δυνατότητες ερωτήσεων πολλαπλών τρόπων, αντικαθιστώντας τις μηχανικές λειτουργίες παραδοσιακού Object CRUD. Υποστηρίζει ακόμη και την ενεργοποίηση της λειτουργίας Agentself με ένα κλικ, συνδέοντας διανύσματα, γνώσεις, μοντέλα και προτροπές, αποκαλύπτοντας άμεσα λειτουργίες υπο-Agent με βάση το σενάριο, επιτρέποντας στους προγραμματιστές Agent ανώτερου επιπέδου να επικεντρωθούν στη δημιουργία ροής εργασιών κύριας επιχείρησης, απελευθερώνοντας πλήρως την αποτελεσματικότητα της έξυπνης νομισματοποίησης.
## Τεχνικές προκλήσεις που προκαλούνται από την εκρηκτική ανάπτυξη της κλίμακας εφαρμογών
Το Agent Bucket παρέχει στους προγραμματιστές εφαρμογών έναν κομψό και αποτελεσματικό τρόπο διαχείρισης δεδομένων τελικών χρηστών σε κλίμακα εκατοντάδων εκατομμυρίων, εισάγοντας την εγγενή έννοια του ObjectSet. Τα ψηφιακά στοιχεία κάθε χρήστη αποθηκεύονται με ασφάλεια στο αποκλειστικό τους ObjectSet, επιτυγχάνοντας φυσικά απομόνωση, χρέωση και διαχείριση ποσοστώσεων.
Καθώς η κλίμακα των εφαρμογών επεκτείνεται ραγδαία, η πολυπλοκότητα διαχείρισης, η δυσκολία απομόνωσης και τα φυσικά σημεία συμφόρησης τεράστιων Set γίνονται εμφανή:
- Πρόβλημα διαχείρισης διαβάθμισης τεράστιου αριθμού χρηστών: Όταν μια εφαρμογή διαχειρίζεται διαφοροποιημένα έναν μεγάλο αριθμό πόρων και λειτουργιών χρηστών διαφορετικών επιπέδων, πρέπει να σχεδιάσει και να υλοποιήσει τα δικά της μεταδεδομένα διαβάθμισης χρηστών και να συσχετίσει τις δυνατότητες αποθήκευσης αντικειμένων. Η βοήθεια στους προγραμματιστές να διαχειρίζονται κομψά τη διαβάθμιση των χρηστών με βάση την εγγενή έννοια του Set είναι σημαντική για την επιτάχυνση της υλοποίησης της εφαρμογής. - Περιορισμοί Χωρητικότητας Ενιαίου Cluster: Παρόλο που το Agent Bucket μπορεί λογικά να επεκταθεί απεριόριστα, τα μεταδεδομένα του αποθηκεύονται εξ ορισμού σε ένα μόνο φυσικό cluster. Όταν ο συνολικός αριθμός αντικειμένων στο bucket φτάσει τα εκατοντάδες δισεκατομμύρια ή ακόμα και τα τρισεκατομμύρια, η φυσική χωρητικότητα ενός μόνο cluster γίνεται ένα ανυπέρβλητο όριο.
- Κοινά Σημεία Πρόσβασης: Η ποικιλομορφία των υπηρεσιών του Agent και ο τεράστιος αριθμός χρηστών (user) στα σημεία πρόσβασης δημιουργούν μεγαλύτερους κινδύνους ασφαλείας και ακτίνα έκρηξης. Το πώς να γίνει δυναμικός προγραμματισμός με βάση τις διαφορές μεταξύ μεγάλου αριθμού διαφορετικών υπηρεσιών και χρηστών, ώστε να επιτευχθούν διαφοροποιημένες δυνατότητες ασφάλειας, απομόνωσης και επιτάχυνσης, αποτελεί μια πρόκληση.
## Set Tagging: Διαχείριση Χρηστών με Ετικέτες και Διαβάθμιση
Το ObjectSet παρέχει έναν εγγενή τρόπο διαχείρισης με ετικέτες, επιτρέποντας στους προγραμματιστές Agent να χρησιμοποιούν απλά τις δυνατότητες set tagging για να ολοκληρώσουν τη διαβάθμιση της διαχείρισης των χρηστών. Οι προγραμματιστές μπορούν να αντιστοιχίσουν κάθε επίπεδο χρήστη που ορίζεται σε ένα tag και να ενεργοποιήσουν διαφορετικές ποσοστώσεις και χαρακτηριστικά για κάθε tag. Όλα τα ObjectSet που έχουν αυτό το tag θα εφαρμόσουν τις αντίστοιχες ποσοστώσεις και χαρακτηριστικά. Ας χρησιμοποιήσουμε τα τρία επίπεδα V1, V2 και V3 ως παράδειγμα:
- V1: Επίπεδο εξ ορισμού, δωρεάν χρήστες, το προεπιλεγμένο tag για όλα τα ObjectSet, μπορεί να ρυθμιστεί για αποθήκευση έως και 1GiB δεδομένων, η δημόσια διανομή δικτύου δεν μπορεί να υπερβεί το εύρος ζώνης 100mbps και η ταχύτητα λήψης ενός stream ελέγχεται σε 1mbps.
- V2: Συνδρομητές επί πληρωμή αρχικού επιπέδου, ρυθμισμένοι για αποθήκευση έως και 10GiB δεδομένων, η δημόσια διανομή δικτύου δεν μπορεί να υπερβεί το εύρος ζώνης 10gbps και η ταχύτητα λήψης ενός stream ελέγχεται σε 10mbps.
- V3: Συνδρομητές επί πληρωμή υψηλού επιπέδου, εκτός από την παροχή μεγαλύτερης χωρητικότητας αποθήκευσης και ποσοστώσεων δημόσιας διανομής δικτύου, υποστηρίζουν επίσης τη διαμόρφωση για την ενεργοποίηση επιπλέον επιτάχυνσης δημόσιου δικτύου με ασθενές σήμα και δυνατότητες επιτάχυνσης μέσων υψηλής απόδοσης.
Οι προγραμματιστές Agent μπορούν να χρησιμοποιήσουν ευέλικτα τα tagging V1/V2/V3 για να διαχειριστούν τους πόρους και τις προστιθέμενες δυνατότητες που μπορούν να χρησιμοποιήσουν αυτοί οι χρήστες για διαφορετικούς κύκλους ανάπτυξης διαφορετικών χρηστών.
## Set Slice: Εγγενής Απομόνωση Δεδομένων για Τεράστιο Αριθμό Χρηστών
Όταν ο αριθμός των Set σε ένα Agent Bucket φτάσει τα εκατομμύρια και ο αριθμός των αντικειμένων φτάσει τα εκατοντάδες δισεκατομμύρια ή τα τρισεκατομμύρια, το γεγονός ότι "όλα τα μεταδεδομένα ενός Bucket συγκεντρώνονται σε ένα KV cluster" θα φέρει διπλούς κινδύνους χωρητικότητας και απόδοσης.
Το Set Slice παρέχει μια ιδέα "λογικά δεν διαχωρίζεται, φυσικά διαχωρίζεται":
- Από λογική άποψη, εξακολουθείτε να διαχειρίζεστε μόνο ένα Agent Bucket.
- Φυσικά, σύμφωνα με το εύρος των Set και των ονομάτων αντικειμένων εντός του Set, τα μεταδεδομένα χωρίζονται σε πολλά Slice (τμήματα). Κάθε Slice μπορεί να αποθηκευτεί σε διαφορετικά cluster, με φυσική απομόνωση πολλαπλών Set και οριζόντια επέκταση ενός Set.
Το Set Slice είναι μια περαιτέρω επέκταση και διασφάλιση των δυνατοτήτων του ObjectSet. Επιλύει το πρόβλημα της απεριόριστης επέκτασης της φυσικής χωρητικότητας στο υποκείμενο επίπεδο, διασφαλίζοντας παράλληλα τη σταθερότητα και τη συνέπεια του ανώτερου μοντέλου διαχείρισης ObjectSet.
- Σταθερά Όρια Διαχείρισης: Ακόμη και αν τα δεδομένα ενός Agent Bucket εκτείνονται σε πολλά φυσικά cluster, το ObjectSet παραμένει η μόνη βασική μονάδα αδειών, ποσοστώσεων, χρέωσης και παρακολούθησης. Οι πολιτικές που έχουν διαμορφωθεί για το ObjectSet από τους προγραμματιστές (όπως ο έλεγχος πρόσβασης, τα ανώτατα όρια χωρητικότητας) θα τεθούν αυτόματα σε ισχύ σε όλα τα σχετικά Slices, χωρίς να χρειάζεται να ανησυχείτε για την κατανομή των υποκείμενων δεδομένων.
- Ένα Set Μπορεί να Επεκταθεί Γραμμικά: Όταν ο όγκος δεδομένων ενός ObjectSet αυξάνεται ραγδαία, τα δεδομένα του θα κατανεμηθούν φυσικά σε πολλά Slices. Καθώς η συνολική χωρητικότητα του cluster επεκτείνεται, η χωρητικότητα αυτού του ObjectSet αυξάνεται επίσης απρόσκοπτα και γραμμικά. Οι προγραμματιστές δεν χρειάζεται να πραγματοποιήσουν καμία καταστροφική λειτουργία, όπως διαχωρισμό ή μετεγκατάσταση, στο ίδιο το ObjectSet.
- Απομόνωση Πόρων μεταξύ Set: Με τη διανομή αντικειμένων διαφορετικών εύρων σε διαφορετικά φυσικά cluster, το SetSlice επιτυγχάνει απομόνωση πόρων υψηλότερης διάστασης. Σε συνδυασμό με τη διαχείριση ποσοστώσεων του ObjectSet, μπορεί να αποτρέψει αποτελεσματικά την αύξηση των δεδομένων ενός ObjectSet "super-large user" από το να καταλάβει όλους τους πόρους ενός μόνο cluster, επηρεάζοντας έτσι τη σταθερότητα άλλων ObjectSet και καθιστώντας τον συνολικό κίνδυνο χωρητικότητας ελεγχόμενο.## Agent Bucket: Η Επόμενη Γενιά Αρχιτεκτονικής Αποθήκευσης για Agents
- Λογική Ενοποίηση και Συμβατότητα: Για τις επιχειρήσεις και τους προγραμματιστές, ανεξάρτητα από το πόσα Slice υπάρχουν στο υποκείμενο επίπεδο, αντιμετωπίζουν πάντα ένα λογικά ενοποιημένο Agent Bucket. Όλες οι λειτουργίες που αφορούν buckets, ObjectSets και αντικείμενα παραμένουν αμετάβλητες, επιτυγχάνοντας πλήρη διαφάνεια της φυσικής επέκτασης για τις εφαρμογές ανώτερου επιπέδου.
## Set AccessPoint: Απομόνωση της εισόδου πρόσβασης κάθε χρήστη
Το Agent Bucket υποστηρίζει την ενεργοποίηση ανεξάρτητων σημείων πρόσβασης (ανεξάρτητα domain names) για κάθε ObjectSet και την επέκταση διαφοροποιημένων δυνατοτήτων ασφάλειας, απομόνωσης και επιτάχυνσης στα σημεία πρόσβασης. Το σύστημα πρέπει να υποστηρίζει προγραμματισμό ανεξάρτητων σημείων πρόσβασης σε επίπεδο δισεκατομμυρίων και δυνατότητες διαφοροποιημένης διαμόρφωσης.
Ανεξάρτητο domain name πρόσβασης {$apid}.tos-objectset-ap.volces.com: Διπλό επίπεδο ασφάλειας
- Πρώτο επίπεδο Obscurity (Απόκρυψη): Ανεξάρτητο subdomain By User/ObjectSet, υψηλής εντροπίας κατακερματισμός apid, εξαιρετικά χαμηλή πιθανότητα σύγκρουσης, αδυναμία εικασίας και εξάντλησης της εισόδου συγκεκριμένου χρήστη από την οπτική γωνία του domain name πρόσβασης.
- Δεύτερο επίπεδο Containment (Συγκράτηση): Οι προγραμματιστές Agent χρησιμοποιούν sts για τη διανομή δικαιωμάτων πρόσβασης σε επίπεδο ObjectSet. Ακόμη και αν το sts διαρρεύσει, μπορεί να ελεγχθεί το εύρος πρόσβασης ώστε να περιορίζεται σε μια περιορισμένη περίοδο ισχύος ενός συγκεκριμένου ObjectSet.
Ευρετικός προγραμματισμός συστήματος: Υπολογισμός στρατηγικής προγραμματισμού domain names σε επίπεδο δισεκατομμυρίων
- Διαφοροποιημένη στρατηγική πρόσβασης By user/ObjectSet:tag
- Αυτόματη διασπορά πολλαπλών user/ObjectSet σε διαφορετικές εισόδους δημόσιου δικτύου, ο αριθμός των χρηστών που επηρεάζονται από βλάβη μιας εισόδου ελέγχεται
- Ελαστικός προγραμματισμός σε όλες τις περιοχές, οποιαδήποτε βλάβη/υπερφόρτωση μιας εισόδου ολοκληρώνει αυτόματα τη μεταφορά κυκλοφορίας
- Χρήστες διανομής επιτάχυνσης δημόσιου δικτύου, προσθήκη tag επιτάχυνσης μετάδοσης δημόσιου δικτύου, αυτόματος προγραμματισμός εισόδου επιτάχυνσης
- Χρήστες δημόσιου δικτύου με κινδύνους, προσθήκη tag κινδύνου, αυτόματος προγραμματισμός εισόδου απομόνωσης δημόσιου δικτύου και μείωση της ποσόστωσης εύρους ζώνης δημόσιου δικτύου
- Χρήστες εσωτερικού δικτύου διατομεακού τύπου, προσθήκη tag διατομεακού τύπου, αυτόματος προγραμματισμός διαδρομής επιτάχυνσης αποκλειστικής γραμμής εσωτερικού δικτύου
- Χρήστες επιταχυντή τοπικής περιοχής, προσθήκη tag επιταχυντή, αυτόματη προσάρτηση επιταχυντή τοπικής περιοχής
## Από βοηθό προγραμματισμού έως AI Cloud Disk, οι άπειρες δυνατότητες του Agent Bucket
Το Agent Bucket παρέχει μια ολοκληρωμένη λύση για τους Agents και τα σενάρια εφαρμογής του σχεδιασμού ObjectSet δεν περιορίζονται μόνο σε αυτό. Μπορεί εύκολα να επεκταθεί σε όλες τις εφαρμογές που πρέπει να παρέχουν υπηρεσίες σε τεράστιο αριθμό τελικών χρηστών:
- Αποθήκη κώδικα: Στο παρελθόν, όταν οι επιχειρήσεις ή τα άτομα φιλοξενούσαν κώδικα στο cloud, συχνά έπρεπε να δημιουργήσουν ένα επιπλέον "σύστημα ενοικιαστών" πάνω από την αποθήκευση αντικειμένων για να επιτύχουν απομόνωση λογαριασμών και έλεγχο δικαιωμάτων. Τώρα, μπορείτε να εκχωρήσετε σε κάθε προγραμματιστή ένα αποκλειστικό ObjectSet και να συγκεντρώσετε τον κώδικα, τα προϊόντα κατασκευής και τις εξαρτήσεις σε αυτό. Τα Agent Skills είναι επίσης φυσικά προσαρμοσμένα στο ObjectSet. Η μεταφόρτωση, η λήψη και η διανομή των Skills παρέχονται μέσω του ObjectSet με ισχυρή απομόνωση, αποφεύγοντας την παρενόχληση των Agents κατά το χρόνο εκτέλεσης.
- Εταιρικό άλμπουμ φωτογραφιών/cloud disk: Οι παραδοσιακές υπηρεσίες άλμπουμ φωτογραφιών ή cloud disk συχνά αναμιγνύουν τις φωτογραφίες όλων των χρηστών στο ίδιο bucket, διακρίνοντας τους χρήστες μέσω προθέματος, γεγονός που όχι μόνο είναι περίπλοκο στη διαχείριση, αλλά είναι επίσης επιρρεπές στο "φαινόμενο γειτονιάς". Βασισμένο στο ObjectSet, οι φωτογραφίες και τα βίντεο κάθε χρήστη βρίσκονται στο δικό τους Set, οι κορυφές πρόσβασης δεν παρεμβαίνουν μεταξύ τους και μπορείτε επίσης να ορίσετε ανώτατα όρια χωρητικότητας, στρατηγικές δημιουργίας αντιγράφων ασφαλείας και μεθόδους κρυπτογράφησης ανά χρήστη, επιτυγχάνοντας πραγματικά "όλοι έχουν ένα ασφαλές, ελεγχόμενο cloud άλμπουμ".
- Hadoop Data Warehouse: Στο εταιρικό data warehouse, διαφορετικές επιχειρηματικές γραμμές και διαφορετικές βάσεις δεδομένων συχνά μοιράζονται πόρους στην ίδια υποκείμενη αποθήκευση. Με την αντιστοίχιση κάθε βάσης δεδομένων σε ένα ObjectSet, οι επιχειρήσεις μπορούν να επιτύχουν απομόνωση και έλεγχο ποσοστώσεων ανά βάση δεδομένων πάνω από μια ενοποιημένη αποθήκευση. Ειδικά το ObjectSet παρέχει ένα επιπλέον επίπεδο δικαιωμάτων στο TOS, παρέχοντας απομόνωση και έλεγχο δικαιωμάτων στις βάσεις δεδομένων και τους πίνακες που είναι αποθηκευμένοι στο TOS χωρίς να αλλάξει το υπάρχον Proton on TOS. - Πλατφόρμα Φιλοξενίας Μοντέλων: Στα σενάρια φιλοξενίας μεγάλων γλωσσικών μοντέλων, κάθε μοντέλο δεν είναι μόνο ογκώδες, αλλά μπορεί επίσης να αντιστοιχεί σε διαφορετικές εκδόσεις, βαρύτητες και διαμορφώσεις συμπερασμού. Η δημιουργία ενός ObjectSet για κάθε μοντέλο επιτρέπει τη συσκευασία και τη φιλοξενία των βαρυτήτων του μοντέλου, του Tokenizer, των αρχείων διαμόρφωσης και των σχετικών δεδομένων αξιολόγησης στον ίδιο χώρο. Η πλευρά των λειτουργιών μπορεί να ορίσει διαφοροποιημένες πολιτικές κρυπτογράφησης, πολιτικές δημιουργίας αντιγράφων ασφαλείας και έλεγχο εύρους ζώνης για διαφορετικά μοντέλα, ενώ παράλληλα μπορεί να χρησιμοποιήσει τις εγγενείς δυνατότητες μέτρησης για να υπολογίσει το πραγματικό κόστος χρήσης κάθε μοντέλου, παρέχοντας μια βάση για τη χρέωση και τον προγραμματισμό πόρων ανά διάσταση μοντέλου.
- Υπηρεσία Δεδομένων SaaS: Οι πλατφόρμες διανομής δεδομένων που απευθύνονται σε τεράστιους αριθμούς τελικών χρηστών συχνά χρειάζεται να συνδεθούν με πολλούς παρόχους δεδομένων ταυτόχρονα, διασφαλίζοντας παράλληλα ότι τα όρια δεδομένων κάθε μέρους είναι σαφή και αποφεύγοντας τον κίνδυνο απόδοσης "ένας μεγάλος κάδος να επιβραδύνει τους πάντες". Με τη βοήθεια του Agent Bucket, κάθε πάροχος δεδομένων μπορεί να έχει το δικό του ObjectSet, διαχειριζόμενος ενιαία τα πρωτογενή δεδομένα και τα αποτελέσματα επεξεργασίας, και στη συνέχεια παρέχοντας διαφοροποιημένες υπηρεσίες εγγύησης και περιορισμού ρυθμού για διαφορετικούς παρόχους μέσω ανεξάρτητων ονομάτων τομέα και εύρους ζώνης, ποσοστώσεων QPS, επιτυγχάνοντας μια υποδομή διανομής δεδομένων "μία πλατφόρμα, πολλοί πάροχοι, απομονωμένοι αλλά ελεγχόμενοι συνεργατικά".
Reference:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/
Το ιστολόγιο S3 του 2025, Design patterns for multi-tenant access control on Amazon S3, περιγράφει περαιτέρω το S3 Access Point. Αυτό σημαίνει ότι μπορούν να δημιουργηθούν πολλά εικονικά σημεία πρόσβασης δικτύου και να διαμορφωθεί μια προσαρμοσμένη πολιτική σημείου πρόσβασης για κάθε σημείο πρόσβασης, η οποία έχει κάποιες λύσεις για σενάρια πολλαπλών ενοικιαστών σε επίπεδο προγραμματισμού δικτύου.
## Agent Wonderland
Ένας ιδανικός προγραμματιστής Agent μπορεί να δημιουργήσει έναν πλήρως serverless Agent με βάση το "Agent SDK + Storage + MaaS Service" κατά την ανάπτυξη ενός AI Agent:
- Ο Agent μπορεί να εκτελεστεί πλήρως serverless
- Μπορείτε να δημιουργήσετε έναν Agent συνδυάζοντας τις υπάρχουσες δυνατότητες προϊόντος μέσω του Vibe Coding
- Απαιτείται μόνο η συντήρηση του python script του "ADK"
- Η αποθήκευση χρησιμοποιεί αποθήκευση αντικειμένων
- Η δυνατότητα AI χρησιμοποιεί το Doubao
- Θεωρητικά, δεν υπάρχουν ECS ή άλλα προϊόντα τύπου instance
Επίσης, η αποθήκευση πρέπει να παρέχει τις ακόλουθες δυνατότητες:
- Ο Agent μπορεί να έχει μια αποθήκευση με σημασιολογία αντικειμένου (αποθήκευση αρχείων), παρέχοντας δυνατότητες πρόσβασης πολλαπλών ενοικιαστών, ξεκινώντας από εκατομμύρια και επεκτάσιμη σε εκατοντάδες εκατομμύρια
- Ο Agent μπορεί να παρέχει σε κάθε χρήστη έναν ανεξάρτητο χώρο (μεταξύ πολλών επιχειρήσεων, οι επιχειρήσεις ή τα uid μπορεί να έχουν το ίδιο όνομα)
- Ο Agent μπορεί να διαμορφώσει απευθείας το εύρος ζώνης κάθε χρήστη και να διαμορφώσει το ανώτατο όριο συνολικού μεγέθους αντικειμένου χρήστη
- Ο Agent μπορεί να τιμολογήσει, να παρακολουθεί και να παρατηρεί ανά χρήστη
- Ο Agent μπορεί να διαμορφώσει πολιτικές πρόσβασης για τα αρχεία κάθε χρήστη
## Agent Bucket: Ενσωματώνοντας "Εγγενή Πολλαπλότητα Ενοικιαστών" στο AI Agent
Για να λύσουμε αυτό το πρόβλημα ριζικά, προτείνουμε ένα εντελώς νέο παράδειγμα αποθήκευσης αντικειμένων - Agent Bucket. Η βασική του καινοτομία είναι η εισαγωγή ενός νέου εγγενούς επιπέδου πόρων μεταξύ των παραδοσιακών "buckets" και "αντικειμένων": συλλογές αντικειμένων.
Η βασική ιδέα αυτού του σχεδιασμού είναι εξαιρετικά απλή: αντιστοιχίστε ένα αποκλειστικό ObjectSet σε κάθε τελικό χρήστη σας. Μπορείτε να φανταστείτε το ObjectSet ως ένα "χρηματοκιβώτιο δεδομένων" ή "προσωπικό χώρο cloud" που έχει δημιουργηθεί αποκλειστικά για κάθε χρήστη. Λογικά ανήκει στο Bucket σας (προγραμματιστή), αλλά φυσικά και διαχειριστικά, έχει τη δική του ανεξάρτητη "προσωπικότητα" και "κύκλο ζωής".Agent Bucket Κάθε κάδος υποστηρίζει 100 εκατομμύρια ObjectSet, επιτρέποντάς σας να εξυπηρετείτε άνετα εκατοντάδες εκατομμύρια τελικούς χρήστες, σαν κάθε τελικός χρήστης να "ζούσε" σε έναν ανεξάρτητο χώρο αποθήκευσης, χωρίς να χρειάζεται να ανησυχείτε για τη διαχείριση αποθήκευσης πολλαπλών ενοικιαστών.
## ObjectSet Σχεδιασμός - Δυνατότητες φιλικές προς τον Agent
Στο Agent Bucket, το ObjectSet δεν είναι απλώς μια προσθήκη ενός επιπέδου, αλλά μετατρέπει τις πιο δύσκολες ανάγκες σε σενάρια πολλαπλών ενοικιαστών σε εγγενείς δυνατότητες έτοιμες για χρήση. Όταν η κυριότητα των δεδομένων καθορίζεται στο επίπεδο ObjectSet, μια σειρά από δυνατότητες που ήταν δύσκολο να επιτευχθούν στο παρελθόν γίνονται εύκολες.
- Εγγενής απομόνωση: Στο επίπεδο ObjectSet, μπορείτε να ορίσετε ανεξάρτητα QPS, περιορισμούς εύρους ζώνης και ποσοστώσεις χωρητικότητας για κάθε χρήστη. Η εμπειρία των χρηστών που πληρώνουν μπορεί να είναι εγγυημένη και η μη φυσιολογική συμπεριφορά των δωρεάν χρηστών δεν θα επηρεάσει άλλους. Αυτή είναι η πραγματική απομόνωση τομέα σφαλμάτων, που επιτρέπει στους "γείτονες" να μην αλληλεπιδρούν.
- Εγγενή δικαιώματα: Κάθε ObjectSet μπορεί να έχει ένα ανεξάρτητο όνομα τομέα. Αυτό σημαίνει ότι μπορείτε να δώσετε στον χρήστη A μια αποκλειστική διεύθυνση πρόσβασης user-a.yourapp.com, αντί να εκθέσετε ολόκληρο το όνομα τομέα του κάδου αποθήκευσης. Ακόμη πιο έξυπνος είναι ο σχεδιασμός "δύο κλειδαριών": Η πρώτη κλειδαριά είναι ένα προσωρινό διαπιστευτήριο πρόσβασης (STS) που εκδίδεται από τον πάροχο υπηρεσιών cloud, το οποίο ελέγχει τα δικαιώματα πρόσβασης στο επίπεδο της εφαρμογής. Η δεύτερη κλειδαριά είναι το ανεξάρτητο όνομα τομέα του ObjectSet, το οποίο κλειδώνει τα αιτήματα πρόσβασης στον δικό του χώρο δεδομένων του χρήστη από το επίπεδο του δικτύου. Αυτό βελτιώνει σημαντικά την ασφάλεια των δεδομένων.
- Εγγενής παρακολούθηση: Στον πίνακα ελέγχου παρακολούθησης, δεν μπορείτε πλέον να βλέπετε μόνο τα συνολικά δεδομένα ολόκληρου του κάδου. Μπορείτε να αναλύσετε τα γραφήματα παρακολούθησης ανά ObjectSet, να κατανοήσετε ξεκάθαρα ποιος τελικός χρήστης πραγματοποιεί μεγάλο αριθμό προσβάσεων και έτσι να λάβετε ακριβείς αποφάσεις λειτουργίας και βελτιστοποίησης.
- Εγγενής υποβιβασμός δυνατοτήτων: Οι πολιτικές που μπορούσαν να οριστούν μόνο σε επίπεδο κάδου μπορούν πλέον να υποβιβαστούν σε κάθε χρήστη. Μπορείτε να ορίσετε διαφορετικούς κύκλους ζωής δεδομένων για χρήστες διαφορετικών επιπέδων ή να χρησιμοποιήσετε διαφορετικά κλειδιά κρυπτογράφησης για κάθε ObjectSet για να επιτύχετε πιο λεπτομερή και ασφαλή διαχείριση δεδομένων.
- Εγγενής μέτρηση: Θέλετε να μάθετε πόσο χώρο αποθήκευσης καταλαμβάνει κάθε χρήστης; Θέλετε να κατανείμετε με ακρίβεια το κόστος αποθήκευσης σε κάθε χρήστη; Τώρα γίνεται παιχνιδάκι. Το Agent Bucket θα υπολογίζει αυτόματα τη χωρητικότητα και τη χρήση κάθε ObjectSet, κάνοντας τη χρέωση και την κατανομή σας σαφή και κατανοητή.
- Εγγενής χρέωση: Οι προγραμματιστές μπορούν εύκολα να επιτύχουν κατανομή κόστους και να ανακατανείμουν με ακρίβεια τα έξοδα που προκύπτουν από την αποθήκευση σε κάθε τελικό χρήστη. Για παράδειγμα, χρεώστε διαφοροποιημένα ανάλογα με τις πραγματικές αναλογίες κόστους που προκύπτουν από διαφορετικούς χρήστες A, B και C, παρέχοντας υποστήριξη δεδομένων για την εμπορευματοποίηση του Agent.
- Εγγενές ανώτατο όριο χωρητικότητας: Για να ελέγξετε το λειτουργικό κόστος του Agent, μπορείτε να ορίσετε μια Quota (ανώτατο όριο χωρητικότητας) για κάθε ObjectSet. Μόλις επιτευχθεί η προκαθορισμένη τιμή, το σύστημα θα περιορίσει αυτόν τον χρήστη από τη δημιουργία νέων αρχείων, αποφεύγοντας τη κατάχρηση πόρων σε σενάρια πολλαπλών ενοικιαστών από την πηγή.
- Εγγενής νοημοσύνη: Το Agent Bucket επιτρέπει στον Agent να ξεφύγει από τους παραδοσιακούς περιορισμούς της απλής "αποθήκευσης και ανάκτησης" αρχείων, δίνοντας στο Object εγγενή νοημοσύνη και υποστηρίζοντας πιο αποτελεσματικά την ανάπτυξη Agent one-stop. Το ObjectSet μπορεί να ενεργοποιήσει την έξυπνη ευρετηρίαση με ένα κλικ, παρέχοντας στον Agent εγγενείς φιλικές δυνατότητες ερωτήσεων πολλαπλών τρόπων, αντικαθιστώντας τις μηχανικές λειτουργίες παραδοσιακού Object CRUD. Υποστηρίζει ακόμη και την ενεργοποίηση της λειτουργίας Agentself με ένα κλικ, συνδέοντας διανύσματα, γνώσεις, μοντέλα και προτροπές, αποκαλύπτοντας άμεσα λειτουργίες υπο-Agent με βάση το σενάριο, επιτρέποντας στους προγραμματιστές Agent ανώτερου επιπέδου να επικεντρωθούν στη δημιουργία ροής εργασιών κύριας επιχείρησης, απελευθερώνοντας πλήρως την αποτελεσματικότητα της έξυπνης νομισματοποίησης.
## Τεχνικές προκλήσεις που προκαλούνται από την εκρηκτική ανάπτυξη της κλίμακας εφαρμογών
Το Agent Bucket παρέχει στους προγραμματιστές εφαρμογών έναν κομψό και αποτελεσματικό τρόπο διαχείρισης δεδομένων τελικών χρηστών σε κλίμακα εκατοντάδων εκατομμυρίων, εισάγοντας την εγγενή έννοια του ObjectSet. Τα ψηφιακά στοιχεία κάθε χρήστη αποθηκεύονται με ασφάλεια στο αποκλειστικό τους ObjectSet, επιτυγχάνοντας φυσικά απομόνωση, χρέωση και διαχείριση ποσοστώσεων.
Καθώς η κλίμακα των εφαρμογών επεκτείνεται ραγδαία, η πολυπλοκότητα διαχείρισης, η δυσκολία απομόνωσης και τα φυσικά σημεία συμφόρησης τεράστιων Set γίνονται εμφανή:
- Πρόβλημα διαχείρισης διαβάθμισης τεράστιου αριθμού χρηστών: Όταν μια εφαρμογή διαχειρίζεται διαφοροποιημένα έναν μεγάλο αριθμό πόρων και λειτουργιών χρηστών διαφορετικών επιπέδων, πρέπει να σχεδιάσει και να υλοποιήσει τα δικά της μεταδεδομένα διαβάθμισης χρηστών και να συσχετίσει τις δυνατότητες αποθήκευσης αντικειμένων. Η βοήθεια στους προγραμματιστές να διαχειρίζονται κομψά τη διαβάθμιση των χρηστών με βάση την εγγενή έννοια του Set είναι σημαντική για την επιτάχυνση της υλοποίησης της εφαρμογής. - Περιορισμοί Χωρητικότητας Ενιαίου Cluster: Παρόλο που το Agent Bucket μπορεί λογικά να επεκταθεί απεριόριστα, τα μεταδεδομένα του αποθηκεύονται εξ ορισμού σε ένα μόνο φυσικό cluster. Όταν ο συνολικός αριθμός αντικειμένων στο bucket φτάσει τα εκατοντάδες δισεκατομμύρια ή ακόμα και τα τρισεκατομμύρια, η φυσική χωρητικότητα ενός μόνο cluster γίνεται ένα ανυπέρβλητο όριο.
- Κοινά Σημεία Πρόσβασης: Η ποικιλομορφία των υπηρεσιών του Agent και ο τεράστιος αριθμός χρηστών (user) στα σημεία πρόσβασης δημιουργούν μεγαλύτερους κινδύνους ασφαλείας και ακτίνα έκρηξης. Το πώς να γίνει δυναμικός προγραμματισμός με βάση τις διαφορές μεταξύ μεγάλου αριθμού διαφορετικών υπηρεσιών και χρηστών, ώστε να επιτευχθούν διαφοροποιημένες δυνατότητες ασφάλειας, απομόνωσης και επιτάχυνσης, αποτελεί μια πρόκληση.
## Set Tagging: Διαχείριση Χρηστών με Ετικέτες και Διαβάθμιση
Το ObjectSet παρέχει έναν εγγενή τρόπο διαχείρισης με ετικέτες, επιτρέποντας στους προγραμματιστές Agent να χρησιμοποιούν απλά τις δυνατότητες set tagging για να ολοκληρώσουν τη διαβάθμιση της διαχείρισης των χρηστών. Οι προγραμματιστές μπορούν να αντιστοιχίσουν κάθε επίπεδο χρήστη που ορίζεται σε ένα tag και να ενεργοποιήσουν διαφορετικές ποσοστώσεις και χαρακτηριστικά για κάθε tag. Όλα τα ObjectSet που έχουν αυτό το tag θα εφαρμόσουν τις αντίστοιχες ποσοστώσεις και χαρακτηριστικά. Ας χρησιμοποιήσουμε τα τρία επίπεδα V1, V2 και V3 ως παράδειγμα:
- V1: Επίπεδο εξ ορισμού, δωρεάν χρήστες, το προεπιλεγμένο tag για όλα τα ObjectSet, μπορεί να ρυθμιστεί για αποθήκευση έως και 1GiB δεδομένων, η δημόσια διανομή δικτύου δεν μπορεί να υπερβεί το εύρος ζώνης 100mbps και η ταχύτητα λήψης ενός stream ελέγχεται σε 1mbps.
- V2: Συνδρομητές επί πληρωμή αρχικού επιπέδου, ρυθμισμένοι για αποθήκευση έως και 10GiB δεδομένων, η δημόσια διανομή δικτύου δεν μπορεί να υπερβεί το εύρος ζώνης 10gbps και η ταχύτητα λήψης ενός stream ελέγχεται σε 10mbps.
- V3: Συνδρομητές επί πληρωμή υψηλού επιπέδου, εκτός από την παροχή μεγαλύτερης χωρητικότητας αποθήκευσης και ποσοστώσεων δημόσιας διανομής δικτύου, υποστηρίζουν επίσης τη διαμόρφωση για την ενεργοποίηση επιπλέον επιτάχυνσης δημόσιου δικτύου με ασθενές σήμα και δυνατότητες επιτάχυνσης μέσων υψηλής απόδοσης.
Οι προγραμματιστές Agent μπορούν να χρησιμοποιήσουν ευέλικτα τα tagging V1/V2/V3 για να διαχειριστούν τους πόρους και τις προστιθέμενες δυνατότητες που μπορούν να χρησιμοποιήσουν αυτοί οι χρήστες για διαφορετικούς κύκλους ανάπτυξης διαφορετικών χρηστών.
## Set Slice: Εγγενής Απομόνωση Δεδομένων για Τεράστιο Αριθμό Χρηστών
Όταν ο αριθμός των Set σε ένα Agent Bucket φτάσει τα εκατομμύρια και ο αριθμός των αντικειμένων φτάσει τα εκατοντάδες δισεκατομμύρια ή τα τρισεκατομμύρια, το γεγονός ότι "όλα τα μεταδεδομένα ενός Bucket συγκεντρώνονται σε ένα KV cluster" θα φέρει διπλούς κινδύνους χωρητικότητας και απόδοσης.
Το Set Slice παρέχει μια ιδέα "λογικά δεν διαχωρίζεται, φυσικά διαχωρίζεται":
- Από λογική άποψη, εξακολουθείτε να διαχειρίζεστε μόνο ένα Agent Bucket.
- Φυσικά, σύμφωνα με το εύρος των Set και των ονομάτων αντικειμένων εντός του Set, τα μεταδεδομένα χωρίζονται σε πολλά Slice (τμήματα). Κάθε Slice μπορεί να αποθηκευτεί σε διαφορετικά cluster, με φυσική απομόνωση πολλαπλών Set και οριζόντια επέκταση ενός Set.
Το Set Slice είναι μια περαιτέρω επέκταση και διασφάλιση των δυνατοτήτων του ObjectSet. Επιλύει το πρόβλημα της απεριόριστης επέκτασης της φυσικής χωρητικότητας στο υποκείμενο επίπεδο, διασφαλίζοντας παράλληλα τη σταθερότητα και τη συνέπεια του ανώτερου μοντέλου διαχείρισης ObjectSet.
- Σταθερά Όρια Διαχείρισης: Ακόμη και αν τα δεδομένα ενός Agent Bucket εκτείνονται σε πολλά φυσικά cluster, το ObjectSet παραμένει η μόνη βασική μονάδα αδειών, ποσοστώσεων, χρέωσης και παρακολούθησης. Οι πολιτικές που έχουν διαμορφωθεί για το ObjectSet από τους προγραμματιστές (όπως ο έλεγχος πρόσβασης, τα ανώτατα όρια χωρητικότητας) θα τεθούν αυτόματα σε ισχύ σε όλα τα σχετικά Slices, χωρίς να χρειάζεται να ανησυχείτε για την κατανομή των υποκείμενων δεδομένων.
- Ένα Set Μπορεί να Επεκταθεί Γραμμικά: Όταν ο όγκος δεδομένων ενός ObjectSet αυξάνεται ραγδαία, τα δεδομένα του θα κατανεμηθούν φυσικά σε πολλά Slices. Καθώς η συνολική χωρητικότητα του cluster επεκτείνεται, η χωρητικότητα αυτού του ObjectSet αυξάνεται επίσης απρόσκοπτα και γραμμικά. Οι προγραμματιστές δεν χρειάζεται να πραγματοποιήσουν καμία καταστροφική λειτουργία, όπως διαχωρισμό ή μετεγκατάσταση, στο ίδιο το ObjectSet.
- Απομόνωση Πόρων μεταξύ Set: Με τη διανομή αντικειμένων διαφορετικών εύρων σε διαφορετικά φυσικά cluster, το SetSlice επιτυγχάνει απομόνωση πόρων υψηλότερης διάστασης. Σε συνδυασμό με τη διαχείριση ποσοστώσεων του ObjectSet, μπορεί να αποτρέψει αποτελεσματικά την αύξηση των δεδομένων ενός ObjectSet "super-large user" από το να καταλάβει όλους τους πόρους ενός μόνο cluster, επηρεάζοντας έτσι τη σταθερότητα άλλων ObjectSet και καθιστώντας τον συνολικό κίνδυνο χωρητικότητας ελεγχόμενο.## Agent Bucket: Η Επόμενη Γενιά Αρχιτεκτονικής Αποθήκευσης για Agents
- Λογική Ενοποίηση και Συμβατότητα: Για τις επιχειρήσεις και τους προγραμματιστές, ανεξάρτητα από το πόσα Slice υπάρχουν στο υποκείμενο επίπεδο, αντιμετωπίζουν πάντα ένα λογικά ενοποιημένο Agent Bucket. Όλες οι λειτουργίες που αφορούν buckets, ObjectSets και αντικείμενα παραμένουν αμετάβλητες, επιτυγχάνοντας πλήρη διαφάνεια της φυσικής επέκτασης για τις εφαρμογές ανώτερου επιπέδου.
## Set AccessPoint: Απομόνωση της εισόδου πρόσβασης κάθε χρήστη
Το Agent Bucket υποστηρίζει την ενεργοποίηση ανεξάρτητων σημείων πρόσβασης (ανεξάρτητα domain names) για κάθε ObjectSet και την επέκταση διαφοροποιημένων δυνατοτήτων ασφάλειας, απομόνωσης και επιτάχυνσης στα σημεία πρόσβασης. Το σύστημα πρέπει να υποστηρίζει προγραμματισμό ανεξάρτητων σημείων πρόσβασης σε επίπεδο δισεκατομμυρίων και δυνατότητες διαφοροποιημένης διαμόρφωσης.
Ανεξάρτητο domain name πρόσβασης {$apid}.tos-objectset-ap.volces.com: Διπλό επίπεδο ασφάλειας
- Πρώτο επίπεδο Obscurity (Απόκρυψη): Ανεξάρτητο subdomain By User/ObjectSet, υψηλής εντροπίας κατακερματισμός apid, εξαιρετικά χαμηλή πιθανότητα σύγκρουσης, αδυναμία εικασίας και εξάντλησης της εισόδου συγκεκριμένου χρήστη από την οπτική γωνία του domain name πρόσβασης.
- Δεύτερο επίπεδο Containment (Συγκράτηση): Οι προγραμματιστές Agent χρησιμοποιούν sts για τη διανομή δικαιωμάτων πρόσβασης σε επίπεδο ObjectSet. Ακόμη και αν το sts διαρρεύσει, μπορεί να ελεγχθεί το εύρος πρόσβασης ώστε να περιορίζεται σε μια περιορισμένη περίοδο ισχύος ενός συγκεκριμένου ObjectSet.
Ευρετικός προγραμματισμός συστήματος: Υπολογισμός στρατηγικής προγραμματισμού domain names σε επίπεδο δισεκατομμυρίων
- Διαφοροποιημένη στρατηγική πρόσβασης By user/ObjectSet:tag
- Αυτόματη διασπορά πολλαπλών user/ObjectSet σε διαφορετικές εισόδους δημόσιου δικτύου, ο αριθμός των χρηστών που επηρεάζονται από βλάβη μιας εισόδου ελέγχεται
- Ελαστικός προγραμματισμός σε όλες τις περιοχές, οποιαδήποτε βλάβη/υπερφόρτωση μιας εισόδου ολοκληρώνει αυτόματα τη μεταφορά κυκλοφορίας
- Χρήστες διανομής επιτάχυνσης δημόσιου δικτύου, προσθήκη tag επιτάχυνσης μετάδοσης δημόσιου δικτύου, αυτόματος προγραμματισμός εισόδου επιτάχυνσης
- Χρήστες δημόσιου δικτύου με κινδύνους, προσθήκη tag κινδύνου, αυτόματος προγραμματισμός εισόδου απομόνωσης δημόσιου δικτύου και μείωση της ποσόστωσης εύρους ζώνης δημόσιου δικτύου
- Χρήστες εσωτερικού δικτύου διατομεακού τύπου, προσθήκη tag διατομεακού τύπου, αυτόματος προγραμματισμός διαδρομής επιτάχυνσης αποκλειστικής γραμμής εσωτερικού δικτύου
- Χρήστες επιταχυντή τοπικής περιοχής, προσθήκη tag επιταχυντή, αυτόματη προσάρτηση επιταχυντή τοπικής περιοχής
## Από βοηθό προγραμματισμού έως AI Cloud Disk, οι άπειρες δυνατότητες του Agent Bucket
Το Agent Bucket παρέχει μια ολοκληρωμένη λύση για τους Agents και τα σενάρια εφαρμογής του σχεδιασμού ObjectSet δεν περιορίζονται μόνο σε αυτό. Μπορεί εύκολα να επεκταθεί σε όλες τις εφαρμογές που πρέπει να παρέχουν υπηρεσίες σε τεράστιο αριθμό τελικών χρηστών:
- Αποθήκη κώδικα: Στο παρελθόν, όταν οι επιχειρήσεις ή τα άτομα φιλοξενούσαν κώδικα στο cloud, συχνά έπρεπε να δημιουργήσουν ένα επιπλέον "σύστημα ενοικιαστών" πάνω από την αποθήκευση αντικειμένων για να επιτύχουν απομόνωση λογαριασμών και έλεγχο δικαιωμάτων. Τώρα, μπορείτε να εκχωρήσετε σε κάθε προγραμματιστή ένα αποκλειστικό ObjectSet και να συγκεντρώσετε τον κώδικα, τα προϊόντα κατασκευής και τις εξαρτήσεις σε αυτό. Τα Agent Skills είναι επίσης φυσικά προσαρμοσμένα στο ObjectSet. Η μεταφόρτωση, η λήψη και η διανομή των Skills παρέχονται μέσω του ObjectSet με ισχυρή απομόνωση, αποφεύγοντας την παρενόχληση των Agents κατά το χρόνο εκτέλεσης.
- Εταιρικό άλμπουμ φωτογραφιών/cloud disk: Οι παραδοσιακές υπηρεσίες άλμπουμ φωτογραφιών ή cloud disk συχνά αναμιγνύουν τις φωτογραφίες όλων των χρηστών στο ίδιο bucket, διακρίνοντας τους χρήστες μέσω προθέματος, γεγονός που όχι μόνο είναι περίπλοκο στη διαχείριση, αλλά είναι επίσης επιρρεπές στο "φαινόμενο γειτονιάς". Βασισμένο στο ObjectSet, οι φωτογραφίες και τα βίντεο κάθε χρήστη βρίσκονται στο δικό τους Set, οι κορυφές πρόσβασης δεν παρεμβαίνουν μεταξύ τους και μπορείτε επίσης να ορίσετε ανώτατα όρια χωρητικότητας, στρατηγικές δημιουργίας αντιγράφων ασφαλείας και μεθόδους κρυπτογράφησης ανά χρήστη, επιτυγχάνοντας πραγματικά "όλοι έχουν ένα ασφαλές, ελεγχόμενο cloud άλμπουμ".
- Hadoop Data Warehouse: Στο εταιρικό data warehouse, διαφορετικές επιχειρηματικές γραμμές και διαφορετικές βάσεις δεδομένων συχνά μοιράζονται πόρους στην ίδια υποκείμενη αποθήκευση. Με την αντιστοίχιση κάθε βάσης δεδομένων σε ένα ObjectSet, οι επιχειρήσεις μπορούν να επιτύχουν απομόνωση και έλεγχο ποσοστώσεων ανά βάση δεδομένων πάνω από μια ενοποιημένη αποθήκευση. Ειδικά το ObjectSet παρέχει ένα επιπλέον επίπεδο δικαιωμάτων στο TOS, παρέχοντας απομόνωση και έλεγχο δικαιωμάτων στις βάσεις δεδομένων και τους πίνακες που είναι αποθηκευμένοι στο TOS χωρίς να αλλάξει το υπάρχον Proton on TOS. - Πλατφόρμα Φιλοξενίας Μοντέλων: Στα σενάρια φιλοξενίας μεγάλων γλωσσικών μοντέλων, κάθε μοντέλο δεν είναι μόνο ογκώδες, αλλά μπορεί επίσης να αντιστοιχεί σε διαφορετικές εκδόσεις, βαρύτητες και διαμορφώσεις συμπερασμού. Η δημιουργία ενός ObjectSet για κάθε μοντέλο επιτρέπει τη συσκευασία και τη φιλοξενία των βαρυτήτων του μοντέλου, του Tokenizer, των αρχείων διαμόρφωσης και των σχετικών δεδομένων αξιολόγησης στον ίδιο χώρο. Η πλευρά των λειτουργιών μπορεί να ορίσει διαφοροποιημένες πολιτικές κρυπτογράφησης, πολιτικές δημιουργίας αντιγράφων ασφαλείας και έλεγχο εύρους ζώνης για διαφορετικά μοντέλα, ενώ παράλληλα μπορεί να χρησιμοποιήσει τις εγγενείς δυνατότητες μέτρησης για να υπολογίσει το πραγματικό κόστος χρήσης κάθε μοντέλου, παρέχοντας μια βάση για τη χρέωση και τον προγραμματισμό πόρων ανά διάσταση μοντέλου.
- Υπηρεσία Δεδομένων SaaS: Οι πλατφόρμες διανομής δεδομένων που απευθύνονται σε τεράστιους αριθμούς τελικών χρηστών συχνά χρειάζεται να συνδεθούν με πολλούς παρόχους δεδομένων ταυτόχρονα, διασφαλίζοντας παράλληλα ότι τα όρια δεδομένων κάθε μέρους είναι σαφή και αποφεύγοντας τον κίνδυνο απόδοσης "ένας μεγάλος κάδος να επιβραδύνει τους πάντες". Με τη βοήθεια του Agent Bucket, κάθε πάροχος δεδομένων μπορεί να έχει το δικό του ObjectSet, διαχειριζόμενος ενιαία τα πρωτογενή δεδομένα και τα αποτελέσματα επεξεργασίας, και στη συνέχεια παρέχοντας διαφοροποιημένες υπηρεσίες εγγύησης και περιορισμού ρυθμού για διαφορετικούς παρόχους μέσω ανεξάρτητων ονομάτων τομέα και εύρους ζώνης, ποσοστώσεων QPS, επιτυγχάνοντας μια υποδομή διανομής δεδομένων "μία πλατφόρμα, πολλοί πάροχοι, απομονωμένοι αλλά ελεγχόμενοι συνεργατικά".
Reference:
- https://aws.amazon.com/cn/blogs/apn/partitioning-and-isolating-multi-tenant-saas-data-with-amazon-s3/
- https://aws.amazon.com/cn/blogs/storage/design-patterns-for-multi-tenant-access-control-on-amazon-s3/Published in Technology
