Bez strojenia parametrów, tylko pisanie kodu! Nowa praca zespołu Jeffa Clune'a: Meta Agent automatycznie ewoluuje moduły pamięci

Droga do Software 3.0, AI zaczyna sama pisać kod Python, aby ewoluować mózg.

W głębokich wodach rozwoju Agentów, pamięć (Memory) zawsze jest bolesnym punktem, którego nie da się ominąć.

Pomimo rosnącej mocy modeli bazowych, w procesie wnioskowania są one zasadniczo bezstanowe (Stateless), co ogranicza zdolność Agenta do ciągłego gromadzenia doświadczeń.

Obecne główne rozwiązania branżowe dotyczące obsługi pamięci, niezależnie od tego, czy jest to RAG, czy podsumowanie okna przesuwnego, w istocie pozostają na etapie heurystycznych reguł zaprojektowanych ręcznie.

Ten ręcznie robiony moduł pamięci jest niezwykle kruchy i trudny do przeniesienia. Starannie dostrojone podpowiedzi i logika wyszukiwania dla systemów dialogowych często zawodzą, gdy zostaną umieszczone w zadaniach planowania długoterminowego (takich jak ALFWorld) lub złożonych grach strategicznych.

W odpowiedzi na ten problem, zespół profesora UBC i byłego badacza OpenAI, Jeffa Clune'a, zaproponował geekowskie rozwiązanie.

Skoro nie wiadomo, jaka struktura pamięci jest najlepsza, niech Agent sam napisze kod Python, aby ją zaprojektować.

To jest właśnie opublikowany ALMA (Automated meta-Learning of Memory designs for Agentic systems).

Od ADAS do ALMA: Automatyczne projektowanie oparte na kodzie

ALMA jest kontynuacją promowanej przez ten zespół w ostatnim czasie ścieżki technologicznej algorytmów generowanych przez AI.

W ADAS (Automated Design of Agentic Systems) zespół udowodnił, że kod jest bardziej efektywną przestrzenią wyszukiwania niż wagi sieci neuronowych lub Soft Prompts podczas projektowania architektury Agenta. Kod jest kompletny w sensie Turinga i ma niezwykle wysoką interpretowalność.

Następnie w DGM (Darwin Gödel Machine) zespół wprowadził koncepcję otwartej eksploracji z algorytmów ewolucyjnych, utrzymując archiwum projektów i zachęcając model do eksploracji nowatorskich rozwiązań.

ALMA dziedziczy paradygmat generowania kodu ADAS i strategię ewolucyjną DGM, koncentrując zastosowanie na komponencie systemu Agentów, który najbardziej polega na ludzkim doświadczeniu - pamięci.

Mechanizm działania ALMA

Mechanizm działania ALMA to standardowa pętla meta-uczenia się. Meta Agent nie przetwarza już bezpośrednio zadań, ale jest odpowiedzialny za programowanie. Proces obejmuje cztery etapy:

• Koncepcja: Analiza bieżącego archiwum projektów pamięci, opracowanie planu ulepszeń na podstawie historycznych wyników
• Planowanie: Przekształcenie koncepcji w logikę pseudokodu
• Implementacja: Pisanie wykonywalnego kodu Python, definiowanie podstawowych funkcji
• Ocena: Wdrożenie wygenerowanego kodu w środowisku piaskownicy w celu wykonania zadania i przekazania wskaźników wydajności

W procesie ewolucji ALMA generuje ogromne drzewo projektowe. Wraz ze wzrostem liczby iteracji, generowany kod pamięci stopniowo ewoluuje od prostej logiki przechowywania do złożonej architektury poznawczej.

Wyewoluowane struktury pamięci

Projekty pamięci generowane przez ALMA wykazały ogromne różnice w różnych zadaniach:

• MiniHack (eksploracja lochów): Zaprojektowano moduł Risk and Interaction, który jawnie rejestruje operacje powodujące utratę krwi i agresywność potworów
• Baba Is AI (logiczne łamigłówki): Zaprojektowano Strategy Library, która rejestruje kombinacje reguł wymagane do przejścia poziomu

To pokazuje, że AI jest w stanie rozpoznać cechy zadania: gry survivalowe wymagają skupienia się na ryzyku, a gry logiczne wymagają skupienia się na abstrakcji reguł.

Wyniki eksperymentów

Porównano ALMA z głównymi liniami bazowymi w czterech środowiskach: TextWorld, ALFWorld, MiniHack, Baba Is AI.

Na modelu GPT-5-mini średni wskaźnik sukcesu ALMA osiągnął 53.9%, co jest lepsze niż G-Memory (46.0%) i Trajectory Retrieval (48.6%).

Pod względem efektywności kosztowej ALMA zużywa średnio tylko 1,319 tokenów, podczas gdy Trajectory Retrieval zużywa aż 9,149 tokenów, a G-Memory również osiąga 6,055 tokenów. ALMA, przy koszcie zaledwie około 1/7 do 1/5, uzyskała lepszą wydajność.

Podsumowanie

ALMA pokazuje możliwość przejścia od Software 2.0 (Neural Networks) do Software 3.0 (AI-Generating Algorithms).

W rozwoju Agentów projektowanie modułów pamięci od dawna opiera się na intuicji inżynierów. ALMA udowodniła, że dzięki meta-uczeniu się i generowaniu kodu AI jest w stanie automatycznie odkryć optymalną architekturę pamięci w zależności od konkretnego środowiska.

Linki do zasobów

• Artykuł: https://arxiv.org/pdf/2602.07755
• Kod: https://github.com/zksha/alma
• Strona projektu: https://yimingxiong.me/alma