Без налаштування параметрів, тільки код! Нова робота команди Jeff Clune: Meta Agent автоматично еволюціонує модуль пам'яті

На шляху до Software 3.0, AI починає сам писати Python код для еволюції мозку.

У глибоких водах розробки Agent, пам'ять (Memory) завжди є неминучою проблемою.

Незважаючи на те, що можливості базових моделей стають дедалі потужнішими, в процесі міркування вони, по суті, є безстатевими (Stateless), що обмежує здатність Agent постійно накопичувати досвід.

Наразі основні рішення в галузі для обробки пам'яті, будь то RAG або зведення ковзного вікна, по суті, залишаються на етапі евристичних правил, розроблених вручну.

Цей модуль пам'яті, створений вручну, надзвичайно крихкий і важкий для перенесення. Prompt і логіка пошуку, ретельно налаштовані для систем діалогу, часто стають недійсними, якщо їх помістити в завдання довгострокового планування (наприклад, ALFWorld) або складні стратегічні ігри.

Щоб вирішити цю проблему, професор UBC і колишній дослідник OpenAI Jeff Clune та його команда запропонували гіковське рішення.

Якщо не знаєте, яка структура пам'яті найкраща, нехай Agent сам напише код Python для її розробки.

Це щойно випущена ALMA (Automated meta-Learning of Memory designs for Agentic systems).

Від ADAS до ALMA: Автоматизований дизайн на основі коду

ALMA є продовженням технічного маршруту алгоритмів, що генеруються AI, який команда нещодавно просувала.

У ADAS (Automated Design of Agentic Systems) команда довела, що під час розробки архітектури Agent код є ефективнішим простором пошуку, ніж ваги нейронної мережі або Soft Prompts. Код є повним за Тюрінгом і має надзвичайну інтерпретованість.

Згодом у DGM (Darwin Gödel Machine) команда впровадила концепцію відкритого дослідження з еволюційних алгоритмів, підтримуючи архів дизайну, заохочуючи модель досліджувати нові рішення.

ALMA успадкувала парадигму генерації коду ADAS і стратегію еволюції DGM, зосереджуючи сценарії застосування на компоненті, який найбільше залежить від людського досвіду в системі Agent - пам'яті.

Механізм роботи ALMA

Механізм роботи ALMA - це стандартний цикл мета-навчання. Meta Agent більше не обробляє завдання безпосередньо, а відповідає за програмування. Процес складається з чотирьох етапів:

• Ідея: Аналіз поточного архіву дизайну пам'яті, розробка планів покращення на основі історичних показників
• Планування: Перетворення ідей на логіку псевдокоду
• Реалізація: Написання виконуваного коду Python, визначення основних функцій
• Оцінка: Розгортання згенерованого коду в середовищі пісочниці для виконання завдань, зворотний зв'язок щодо показників продуктивності

У процесі еволюції ALMA генерує величезне дерево дизайну. Зі збільшенням кількості ітерацій згенерований код пам'яті поступово еволюціонує від простої логіки зберігання до складної когнітивної архітектури.

Еволюціонована структура пам'яті

Дизайн пам'яті, згенерований ALMA, демонструє великі відмінності в різних завданнях:

• MiniHack (дослідження підземель): Розроблено модуль Risk and Interaction, який явно записує операції, що призводять до втрати крові, та агресивність монстрів
• Baba Is AI (логічна головоломка): Розроблено Strategy Library, яка записує комбінації правил, необхідні для проходження рівнів

Це показує, що AI може розпізнавати характеристики завдань: ігри на виживання повинні зосереджуватися на ризиках, а ігри-головоломки повинні зосереджуватися на абстракції правил.

Результати експериментів

ALMA порівнювалася з основними базовими показниками в чотирьох середовищах: TextWorld, ALFWorld, MiniHack, Baba Is AI.

На моделі GPT-5-mini середня успішність ALMA досягла 53,9%, що краще, ніж G-Memory (46,0%) і Trajectory Retrieval (48,6%).

З точки зору економічної ефективності, ALMA в середньому споживає лише 1319 токенів, тоді як Trajectory Retrieval споживає до 9149 токенів, а G-Memory також досягає 6055 токенів. ALMA досягає кращої продуктивності, витрачаючи лише приблизно 1/7 - 1/5 витрат.

Висновок

ALMA демонструє можливість переходу від Software 2.0 (Neural Networks) до Software 3.0 (AI-Generating Algorithms).

У розробці Agent дизайн модуля пам'яті тривалий час залежав від інтуїції інженерів. ALMA довела, що за допомогою мета-навчання та генерації коду AI може автоматично знаходити оптимальну архітектуру пам'яті відповідно до конкретного середовища.

Посилання на ресурси

• Стаття: https://arxiv.org/pdf/2602.07755
• Код: https://github.com/zksha/alma
• Головна сторінка проекту: https://yimingxiong.me/alma