ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಸರಿಹೊಂದಿಸಬೇಡಿ, ಕೋಡ್ ಬರೆಯಿರಿ! ಜೆಫ್ ಕ್ಲೂನ್ ತಂಡದ ಹೊಸ ಕೃತಿ: ಮೆಟಾ ಏಜೆಂಟ್ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಮೆಮೊರಿ ಮಾಡ್ಯೂಲ್‌ಗಳನ್ನು ವಿಕಸಿಸುತ್ತದೆ

ಸಾಫ್ಟ್‌ವೇರ್ 3.0 ಗೆ ದಾರಿ, AI ತನ್ನದೇ ಆದ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ಬರೆಯಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ ಮತ್ತು ಮೆದುಳನ್ನು ವಿಕಸಿಸುತ್ತದೆ.

ಏಜೆಂಟ್ ಅಭಿವೃದ್ಧಿಯ ಆಳವಾದ ನೀರಿನಲ್ಲಿ, ಮೆಮೊರಿ (Memory) ಯಾವಾಗಲೂ ತಪ್ಪಿಸಲು ಸಾಧ್ಯವಾಗದ ನೋವಿನ ಅಂಶವಾಗಿದೆ.

ಮೂಲ ಮಾದರಿಗಳ ಸಾಮರ್ಥ್ಯವು ಹೆಚ್ಚುತ್ತಿರುವಾಗ್ಯೂ, ತಾರ್ಕಿಕ ಕ್ರಿಯೆಯ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಅದು ಮೂಲಭೂತವಾಗಿ ಸ್ಥಿತಿಯಿಲ್ಲದ (Stateless) ಆಗಿರುತ್ತದೆ, ಇದು ಏಜೆಂಟ್ ಅನುಭವವನ್ನು ನಿರಂತರವಾಗಿ ಸಂಗ್ರಹಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ.

ಪ್ರಸ್ತುತ ಉದ್ಯಮದಲ್ಲಿ ಮೆಮೊರಿಯನ್ನು ನಿರ್ವಹಿಸಲು ಮುಖ್ಯವಾಹಿನಿಯ ಪರಿಹಾರಗಳು RAG ಆಗಿರಲಿ ಅಥವಾ ಸ್ಲೈಡಿಂಗ್ ವಿಂಡೋ ಸಾರಾಂಶವಾಗಿರಲಿ, ಅವು ಇನ್ನೂ ಮಾನವ ನಿರ್ಮಿತ ಅನುಭವದ ನಿಯಮಗಳ ಹಂತದಲ್ಲಿವೆ.

ಕೈಯಿಂದ ತಯಾರಿಸಿದ ಈ ಮೆಮೊರಿ ಮಾಡ್ಯೂಲ್ ಅತ್ಯಂತ ದುರ್ಬಲವಾಗಿರುತ್ತದೆ ಮತ್ತು ವರ್ಗಾಯಿಸಲು ಕಷ್ಟಕರವಾಗಿರುತ್ತದೆ. ಸಂವಾದ ವ್ಯವಸ್ಥೆಗಾಗಿ ಎಚ್ಚರಿಕೆಯಿಂದ ಟ್ಯೂನ್ ಮಾಡಿದ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ರಿಟ್ರೈವಲ್ ಲಾಜಿಕ್ ಅನ್ನು ದೀರ್ಘ-ಶ್ರೇಣಿಯ ಯೋಜನೆ ಕಾರ್ಯಗಳಿಗೆ (ALFWorld ನಂತಹ) ಅಥವಾ ಸಂಕೀರ್ಣ ತಂತ್ರದ ಆಟಗಳಿಗೆ ಹಾಕಿದರೆ, ಅದು ನೇರವಾಗಿ ವಿಫಲಗೊಳ್ಳುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು, UBC ಪ್ರಾಧ್ಯಾಪಕ ಮತ್ತು OpenAI ನ ಮಾಜಿ ಸಂಶೋಧಕ ಜೆಫ್ ಕ್ಲೂನ್ ಅವರ ತಂಡವು ಗೀಕ್ ಶೈಲಿಯ ಪರಿಹಾರವನ್ನು ನೀಡಿದೆ.

ಯಾವ ರೀತಿಯ ಮೆಮೊರಿ ರಚನೆ ಉತ್ತಮ ಎಂದು ತಿಳಿದಿಲ್ಲದಿದ್ದರೆ, ಏಜೆಂಟ್ ತನ್ನದೇ ಆದ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ಬರೆಯಲು ಅವಕಾಶ ಮಾಡಿಕೊಡಿ.

ಇದು ಈಗ ಬಿಡುಗಡೆಯಾದ ALMA (Automated meta-Learning of Memory designs for Agentic systems).

ADAS ನಿಂದ ALMA ವರೆಗೆ: ಕೋಡ್ ಆಧಾರಿತ ಸ್ವಯಂಚಾಲಿತ ವಿನ್ಯಾಸ

ALMA ಎಂಬುದು ಈ ತಂಡವು ಇತ್ತೀಚೆಗೆ ಪ್ರಚಾರ ಮಾಡಿದ AI ಉತ್ಪಾದಿಸುವ ಅಲ್ಗಾರಿದಮ್ ತಾಂತ್ರಿಕ ಮಾರ್ಗದ ಮುಂದುವರಿಕೆಯಾಗಿದೆ.

ADAS (Automated Design of Agentic Systems) ನಲ್ಲಿ, ಏಜೆಂಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವಾಗ, ಕೋಡ್ ನರ ನೆಟ್‌ವರ್ಕ್ ತೂಕ ಅಥವಾ ಸಾಫ್ಟ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗಿಂತ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿ ಹುಡುಕಾಟ ಸ್ಥಳವಾಗಿದೆ ಎಂದು ತಂಡವು ಸಾಬೀತುಪಡಿಸಿತು. ಕೋಡ್ ಟ್ಯೂರಿಂಗ್ ಸಂಪೂರ್ಣತೆಯನ್ನು ಹೊಂದಿದೆ ಮತ್ತು ಬಲವಾದ ವ್ಯಾಖ್ಯಾನಾತ್ಮಕತೆಯನ್ನು ಹೊಂದಿದೆ.

ನಂತರ DGM (Darwin Gödel Machine) ನಲ್ಲಿ, ತಂಡವು ವಿಕಸನೀಯ ಅಲ್ಗಾರಿದಮ್‌ಗಳಲ್ಲಿನ ಮುಕ್ತ ಪರಿಶೋಧನೆಯ ಪರಿಕಲ್ಪನೆಯನ್ನು ಪರಿಚಯಿಸಿತು, ವಿನ್ಯಾಸ ಆರ್ಕೈವ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಮಾದರಿಯನ್ನು ಹೊಸ ಪರಿಹಾರಗಳನ್ನು ಅನ್ವೇಷಿಸಲು ಪ್ರೋತ್ಸಾಹಿಸುತ್ತದೆ.

ALMA ADAS ನ ಕೋಡ್ ಉತ್ಪಾದನಾ ಮಾದರಿ ಮತ್ತು DGM ನ ವಿಕಸನೀಯ ತಂತ್ರಗಳನ್ನು ಆನುವಂಶಿಕವಾಗಿ ಪಡೆದುಕೊಂಡಿದೆ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ ಸನ್ನಿವೇಶವನ್ನು ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಮಾನವ ಅನುಭವವನ್ನು ಹೆಚ್ಚು ಅವಲಂಬಿಸಿರುವ ಘಟಕವಾದ ಮೆಮೊರಿಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ.

ALMA ನ ಕಾರ್ಯವಿಧಾನ

ALMA ನ ಕಾರ್ಯಾಚರಣಾ ಕಾರ್ಯವಿಧಾನವು ಪ್ರಮಾಣಿತ ಮೆಟಾ-ಲರ್ನಿಂಗ್ ಕ್ಲೋಸ್ಡ್ ಲೂಪ್ ಆಗಿದೆ. ಮೆಟಾ ಏಜೆಂಟ್ ಇನ್ನು ಮುಂದೆ ಕಾರ್ಯಗಳನ್ನು ನೇರವಾಗಿ ನಿರ್ವಹಿಸುವುದಿಲ್ಲ, ಆದರೆ ಪ್ರೋಗ್ರಾಮಿಂಗ್‌ಗೆ ಜವಾಬ್ದಾರನಾಗಿರುತ್ತಾನೆ. ಪ್ರಕ್ರಿಯೆಯು ನಾಲ್ಕು ಹಂತಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:

• ಕಲ್ಪನೆ: ಪ್ರಸ್ತುತ ಮೆಮೊರಿ ವಿನ್ಯಾಸ ಆರ್ಕೈವ್ ಅನ್ನು ವಿಶ್ಲೇಷಿಸಿ ಮತ್ತು ಐತಿಹಾಸಿಕ ಕಾರ್ಯಕ್ಷಮತೆಯ ಆಧಾರದ ಮೇಲೆ ಸುಧಾರಣೆ ಯೋಜನೆಗಳನ್ನು ರೂಪಿಸಿ
• ಯೋಜನೆ: ಕಲ್ಪನೆಗಳನ್ನು ಹುಸಿ ಕೋಡ್ ಲಾಜಿಕ್ ಆಗಿ ಪರಿವರ್ತಿಸಿ
• ಅನುಷ್ಠಾನ: ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದಾದ ಪೈಥಾನ್ ಕೋಡ್ ಅನ್ನು ಬರೆಯಿರಿ ಮತ್ತು ಪ್ರಮುಖ ಕಾರ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ
• ಮೌಲ್ಯಮಾಪನ: ಉತ್ಪಾದಿತ ಕೋಡ್ ಅನ್ನು ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್ ಪರಿಸರದಲ್ಲಿ ನಿಯೋಜಿಸಿ ಮತ್ತು ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಿ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಸೂಚಕಗಳನ್ನು ಪ್ರತಿಕ್ರಿಯಿಸಿ

ವಿಕಸನೀಯ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ, ALMA ಒಂದು ದೊಡ್ಡ ವಿನ್ಯಾಸ ಮರವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಪುನರಾವರ್ತನೆಯ ಹಂತಗಳ ಹೆಚ್ಚಳದೊಂದಿಗೆ, ಉತ್ಪಾದಿತ ಮೆಮೊರಿ ಕೋಡ್ ಸರಳ ಸಂಗ್ರಹಣೆ ತರ್ಕದಿಂದ ಸಂಕೀರ್ಣ ಅರಿವಿನ ವಾಸ್ತುಶಿಲ್ಪವಾಗಿ ಕ್ರಮೇಣ ವಿಕಸನಗೊಳ್ಳುತ್ತದೆ.

ವಿಕಸನಗೊಂಡ ಮೆಮೊರಿ ರಚನೆ

ALMA ಉತ್ಪಾದಿಸಿದ ಮೆಮೊರಿ ವಿನ್ಯಾಸವು ವಿಭಿನ್ನ ಕಾರ್ಯಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸಿದೆ:

• MiniHack (ನೆಲಮಾಳಿಗೆಯ ಸಾಹಸ): ರಿಸ್ಕ್ ಮತ್ತು ಇಂಟರಾಕ್ಷನ್ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಇದು ರಕ್ತ ನಷ್ಟಕ್ಕೆ ಕಾರಣವಾಗುವ ಕಾರ್ಯಾಚರಣೆಗಳು ಮತ್ತು ರಾಕ್ಷಸರ ಆಕ್ರಮಣಶೀಲತೆಯನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ದಾಖಲಿಸುತ್ತದೆ
• Baba Is AI (ತರ್ಕ ಒಗಟು): ಸ್ಟ್ರಾಟಜಿ ಲೈಬ್ರರಿಯನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಇದು ಹಂತಗಳನ್ನು ಹಾದುಹೋಗಲು ಅಗತ್ಯವಿರುವ ನಿಯಮಗಳ ಸಂಯೋಜನೆಗಳನ್ನು ದಾಖಲಿಸುತ್ತದೆ

ಇದರರ್ಥ AI ಕಾರ್ಯದ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಗುರುತಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ: ಬದುಕುಳಿಯುವ ಆಟಗಳು ಅಪಾಯದ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಬೇಕು ಮತ್ತು ಒಗಟು ಆಟಗಳು ನಿಯಮಗಳ ಅಮೂರ್ತತೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಬೇಕು.

ಪ್ರಾಯೋಗಿಕ ಫಲಿತಾಂಶಗಳು

TextWorld, ALFWorld, MiniHack, Baba Is AI ಎಂಬ ನಾಲ್ಕು ಪರಿಸರಗಳಲ್ಲಿ ALMA ಅನ್ನು ಮುಖ್ಯವಾಹಿನಿಯ ಬೇಸ್‌ಲೈನ್‌ಗಳೊಂದಿಗೆ ಹೋಲಿಸಲಾಗಿದೆ.

GPT-5-mini ಮಾದರಿಯಲ್ಲಿ, ALMA ನ ಸರಾಸರಿ ಯಶಸ್ಸಿನ ಪ್ರಮಾಣವು 53.9% ತಲುಪಿದೆ, ಇದು G-Memory (46.0%) ಮತ್ತು Trajectory Retrieval (48.6%) ಗಿಂತ ಉತ್ತಮವಾಗಿದೆ.

ವೆಚ್ಚದ ದಕ್ಷತೆಯ ವಿಷಯದಲ್ಲಿ, ALMA ಸರಾಸರಿ 1,319 ಟೋಕನ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ, ಆದರೆ ಟ್ರಾಜೆಕ್ಟರಿ ರಿಟ್ರೈವಲ್ 9,149 ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು G-Memory ಸಹ 6,055 ಟೋಕನ್‌ಗಳನ್ನು ತಲುಪಿದೆ. ALMA ಸುಮಾರು 1/7 ರಿಂದ 1/5 ರಷ್ಟು ವೆಚ್ಚದಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಪಡೆದುಕೊಂಡಿದೆ.

ತೀರ್ಮಾನ

ALMA ಸಾಫ್ಟ್‌ವೇರ್ 2.0 (ನರ ನೆಟ್‌ವರ್ಕ್‌ಗಳು) ನಿಂದ ಸಾಫ್ಟ್‌ವೇರ್ 3.0 (AI-ಉತ್ಪಾದಿಸುವ ಅಲ್ಗಾರಿದಮ್‌ಗಳು) ಗೆ ಪರಿವರ್ತನೆಯ ಸಾಧ್ಯತೆಯನ್ನು ತೋರಿಸುತ್ತದೆ.

ಏಜೆಂಟ್ ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ, ಮೆಮೊರಿ ಮಾಡ್ಯೂಲ್‌ನ ವಿನ್ಯಾಸವು ದೀರ್ಘಕಾಲದವರೆಗೆ ಇಂಜಿನಿಯರ್‌ಗಳ ಅಂತಃಪ್ರಜ್ಞೆಯನ್ನು ಅವಲಂಬಿಸಿದೆ. ಮೆಟಾ-ಲರ್ನಿಂಗ್ ಮತ್ತು ಕೋಡ್ ಉತ್ಪಾದನೆಯ ಮೂಲಕ, AI ನಿರ್ದಿಷ್ಟ ಪರಿಸರಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಅತ್ಯುತ್ತಮ ಮೆಮೊರಿ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕಂಡುಹಿಡಿಯಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ ಎಂದು ALMA ಸಾಬೀತುಪಡಿಸಿದೆ.

ಸಂಪನ್ಮೂಲ ಲಿಂಕ್‌ಗಳು

• ಪ್ರಬಂಧ: https://arxiv.org/pdf/2602.07755
• ಕೋಡ್: https://github.com/zksha/alma
• ಯೋಜನೆಯ ಮುಖಪುಟ: https://yimingxiong.me/alma