ਬਿਨਾਂ ਪੈਰਾਮੀਟਰ ਐਡਜਸਟ ਕੀਤੇ, ਸਿਰਫ਼ ਕੋਡ ਲਿਖੋ! ਜੈਫ ਕਲੂਨ ਦੀ ਟੀਮ ਦਾ ਨਵਾਂ ਕੰਮ: ਮੈਟਾ ਏਜੰਟ ਆਟੋਮੈਟਿਕਲੀ ਮੈਮੋਰੀ ਮੋਡੀਊਲ ਨੂੰ ਵਿਕਸਤ ਕਰਦਾ ਹੈ
ਬਿਨਾਂ ਪੈਰਾਮੀਟਰ ਐਡਜਸਟ ਕੀਤੇ, ਸਿਰਫ਼ ਕੋਡ ਲਿਖੋ! ਜੈਫ ਕਲੂਨ ਦੀ ਟੀਮ ਦਾ ਨਵਾਂ ਕੰਮ: ਮੈਟਾ ਏਜੰਟ ਆਟੋਮੈਟਿਕਲੀ ਮੈਮੋਰੀ ਮੋਡੀਊਲ ਨੂੰ ਵਿਕਸਤ ਕਰਦਾ ਹੈ
Software 3.0 ਵੱਲ, AI ਨੇ ਆਪਣਾ ਦਿਮਾਗ ਵਿਕਸਤ ਕਰਨ ਲਈ Python ਕੋਡ ਲਿਖਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ ਹੈ।
ਏਜੰਟ ਵਿਕਾਸ ਦੇ ਡੂੰਘੇ ਪਾਣੀਆਂ ਵਿੱਚ, ਮੈਮੋਰੀ (Memory) ਹਮੇਸ਼ਾ ਇੱਕ ਅਜਿਹਾ ਦੁਖਦਾਈ ਬਿੰਦੂ ਰਿਹਾ ਹੈ ਜਿਸ ਤੋਂ ਬਚਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ।
ਭਾਵੇਂ ਕਿ ਬੁਨਿਆਦੀ ਮਾਡਲਾਂ ਦੀ ਸਮਰੱਥਾ ਦਿਨੋ-ਦਿਨ ਵਧਦੀ ਜਾ ਰਹੀ ਹੈ, ਪਰ ਤਰਕ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਇਹ ਅਸਲ ਵਿੱਚ ਸਟੇਟਲੈੱਸ (Stateless) ਹੁੰਦੇ ਹਨ, ਜੋ ਏਜੰਟ ਦੀ ਲਗਾਤਾਰ ਤਜ਼ਰਬਾ ਹਾਸਲ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ।
ਵਰਤਮਾਨ ਵਿੱਚ, ਮੈਮੋਰੀ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਉਦਯੋਗ ਦੇ ਮੁੱਖ ਹੱਲ, ਭਾਵੇਂ ਉਹ RAG ਹੋਵੇ ਜਾਂ ਸਲਾਈਡਿੰਗ ਵਿੰਡੋ ਸਾਰਾਂਸ਼, ਅਜੇ ਵੀ ਦਸਤੀ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਹੀਊਰਿਸਟਿਕ ਨਿਯਮਾਂ ਦੇ ਪੜਾਅ 'ਤੇ ਹਨ।
ਇਹ ਦਸਤੀ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਮੈਮੋਰੀ ਮੋਡੀਊਲ ਬਹੁਤ ਕਮਜ਼ੋਰ ਅਤੇ ਤਬਦੀਲ ਕਰਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਗੱਲਬਾਤ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਧਿਆਨ ਨਾਲ ਐਡਜਸਟ ਕੀਤੇ ਗਏ ਪ੍ਰੋਂਪਟ (Prompt) ਅਤੇ ਰੀਟਰੀਵਲ (retrieval) ਤਰਕ, ਇੱਕ ਵਾਰ ਲੰਬੇ ਸਮੇਂ ਦੀ ਯੋਜਨਾਬੰਦੀ ਦੇ ਕੰਮਾਂ (ਜਿਵੇਂ ਕਿ ALFWorld) ਜਾਂ ਗੁੰਝਲਦਾਰ ਰਣਨੀਤੀ ਖੇਡਾਂ ਵਿੱਚ ਪਾਏ ਜਾਣ 'ਤੇ, ਅਕਸਰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ।
ਇਸ ਮੁਸ਼ਕਲ ਦੇ ਮੱਦੇਨਜ਼ਰ, UBC ਦੇ ਪ੍ਰੋਫੈਸਰ ਅਤੇ OpenAI ਦੇ ਸਾਬਕਾ ਖੋਜਕਰਤਾ ਜੈਫ ਕਲੂਨ ਦੀ ਟੀਮ ਨੇ ਇੱਕ ਗੀਕ-ਸ਼ੈਲੀ ਦਾ ਹੱਲ ਦਿੱਤਾ ਹੈ।
ਕਿਉਂਕਿ ਇਹ ਨਹੀਂ ਪਤਾ ਕਿ ਕਿਹੜਾ ਮੈਮੋਰੀ ਢਾਂਚਾ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ, ਇਸ ਲਈ ਏਜੰਟ ਨੂੰ ਖੁਦ Python ਕੋਡ ਲਿਖਣ ਦਿਓ ਤਾਂ ਜੋ ਇਸਨੂੰ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਜਾ ਸਕੇ।
ਇਹ ਹੁਣੇ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ALMA (Automated meta-Learning of Memory designs for Agentic systems) ਹੈ।
ADAS ਤੋਂ ALMA ਤੱਕ: ਕੋਡ-ਅਧਾਰਤ ਆਟੋਮੈਟਿਕ ਡਿਜ਼ਾਈਨ
ALMA ਉਸ ਟੀਮ ਦੁਆਰਾ ਹਾਲ ਹੀ ਵਿੱਚ ਪ੍ਰਮੋਟ ਕੀਤੇ ਗਏ AI ਜਨਰੇਟਿਵ ਐਲਗੋਰਿਦਮ ਤਕਨੀਕੀ ਰੂਟ ਦਾ ਨਿਰੰਤਰਤਾ ਹੈ।
ADAS (Automated Design of Agentic Systems) ਵਿੱਚ, ਟੀਮ ਨੇ ਸਾਬਤ ਕੀਤਾ ਕਿ ਏਜੰਟ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਸਮੇਂ, ਕੋਡ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਵਜ਼ਨ ਜਾਂ ਸੌਫਟ ਪ੍ਰੋਂਪਟਸ (Soft Prompts) ਨਾਲੋਂ ਵਧੇਰੇ ਕੁਸ਼ਲ ਖੋਜ ਸਪੇਸ ਹੈ। ਕੋਡ ਵਿੱਚ ਟਿਊਰਿੰਗ ਸੰਪੂਰਨਤਾ ਹੈ, ਅਤੇ ਇਸ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਵਿਆਖਿਆ ਕਰਨ ਦੀ ਯੋਗਤਾ ਹੈ।
ਇਸ ਤੋਂ ਬਾਅਦ DGM (Darwin Gödel Machine) ਵਿੱਚ, ਟੀਮ ਨੇ ਵਿਕਾਸਵਾਦੀ ਐਲਗੋਰਿਦਮ ਵਿੱਚੋਂ ਓਪਨ-ਐਂਡਡ ਐਕਸਪਲੋਰੇਸ਼ਨ ਦੀ ਧਾਰਨਾ ਪੇਸ਼ ਕੀਤੀ, ਇੱਕ ਡਿਜ਼ਾਈਨ ਆਰਕਾਈਵ ਨੂੰ ਬਣਾਈ ਰੱਖਿਆ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਨਵੇਂ ਹੱਲ ਲੱਭਣ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ।
ALMA ਨੇ ADAS ਦੇ ਕੋਡ ਜਨਰੇਸ਼ਨ ਪੈਰਾਡਾਈਮ ਅਤੇ DGM ਦੀ ਵਿਕਾਸਵਾਦੀ ਰਣਨੀਤੀ ਨੂੰ ਵਿਰਾਸਤ ਵਿੱਚ ਲਿਆ, ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਦ੍ਰਿਸ਼ ਨੂੰ ਏਜੰਟ ਸਿਸਟਮ ਵਿੱਚ ਸਭ ਤੋਂ ਵੱਧ ਮਨੁੱਖੀ ਤਜ਼ਰਬੇ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਵਾਲੇ ਹਿੱਸੇ - ਮੈਮੋਰੀ 'ਤੇ ਕੇਂਦਰਿਤ ਕੀਤਾ।
ALMA ਦਾ ਕੰਮ ਕਰਨ ਦਾ ਤਰੀਕਾ
ALMA ਦਾ ਸੰਚਾਲਨ ਵਿਧੀ ਇੱਕ ਮਿਆਰੀ ਮੈਟਾ-ਲਰਨਿੰਗ ਬੰਦ ਲੂਪ ਹੈ। ਮੈਟਾ ਏਜੰਟ ਹੁਣ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕੰਮਾਂ ਨੂੰ ਨਹੀਂ ਸੰਭਾਲਦਾ, ਸਗੋਂ ਪ੍ਰੋਗਰਾਮਿੰਗ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ। ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਚਾਰ ਪੜਾਅ ਸ਼ਾਮਲ ਹਨ:
- ਵਿਚਾਰ: ਮੌਜੂਦਾ ਮੈਮੋਰੀ ਡਿਜ਼ਾਈਨ ਆਰਕਾਈਵ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੋ, ਅਤੇ ਇਤਿਹਾਸਕ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਅਧਾਰ 'ਤੇ ਸੁਧਾਰ ਯੋਜਨਾਵਾਂ ਬਾਰੇ ਸੋਚੋ
- ਯੋਜਨਾਬੰਦੀ: ਵਿਚਾਰਾਂ ਨੂੰ ਸੂਡੋਕੋਡ (pseudocode) ਤਰਕ ਵਿੱਚ ਬਦਲੋ
- ਲਾਗੂ ਕਰਨਾ: ਚਲਾਉਣ ਯੋਗ Python ਕੋਡ ਲਿਖੋ, ਮੁੱਖ ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ
- ਮੁਲਾਂਕਣ: ਤਿਆਰ ਕੀਤੇ ਕੋਡ ਨੂੰ ਸੈਂਡਬੌਕਸ ਵਾਤਾਵਰਣ ਵਿੱਚ ਤਾਇਨਾਤ ਕਰੋ ਕੰਮਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ, ਪ੍ਰਦਰਸ਼ਨ ਸੂਚਕਾਂਕਾਂ 'ਤੇ ਫੀਡਬੈਕ ਦਿਓ
ਵਿਕਾਸ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ, ALMA ਇੱਕ ਵਿਸ਼ਾਲ ਡਿਜ਼ਾਈਨ ਟ੍ਰੀ ਤਿਆਰ ਕਰੇਗਾ। ਜਿਵੇਂ-ਜਿਵੇਂ ਦੁਹਰਾਉਣ ਦੇ ਕਦਮ ਵਧਦੇ ਹਨ, ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਮੈਮੋਰੀ ਕੋਡ ਹੌਲੀ-ਹੌਲੀ ਸਧਾਰਨ ਸਟੋਰੇਜ ਤਰਕ ਤੋਂ ਗੁੰਝਲਦਾਰ ਬੋਧਾਤਮਕ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਵਿਕਸਤ ਹੁੰਦਾ ਹੈ।
ਵਿਕਸਤ ਹੋਇਆ ਮੈਮੋਰੀ ਢਾਂਚਾ
ALMA ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਮੈਮੋਰੀ ਡਿਜ਼ਾਈਨ ਨੇ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਵਿੱਚ ਬਹੁਤ ਵੱਡਾ ਅੰਤਰ ਦਿਖਾਇਆ ਹੈ:
- MiniHack (ਡੰਜਨ ਐਡਵੈਂਚਰ): ਇੱਕ ਰਿਸਕ ਐਂਡ ਇੰਟਰੈਕਸ਼ਨ (Risk and Interaction) ਮੋਡੀਊਲ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਖੂਨ ਦੇ ਨੁਕਸਾਨ ਅਤੇ ਰਾਖਸ਼ਾਂ ਦੀ ਹਮਲਾਵਰਤਾ ਦਾ ਕਾਰਨ ਬਣਨ ਵਾਲੇ ਕਾਰਜਾਂ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ
- Baba Is AI (ਤਰਕ ਬੁਝਾਰਤ): ਇੱਕ ਸਟ੍ਰੈਟਜੀ ਲਾਇਬ੍ਰੇਰੀ (Strategy Library) ਡਿਜ਼ਾਈਨ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਪੱਧਰਾਂ ਨੂੰ ਪਾਸ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਨਿਯਮਾਂ ਦੇ ਸੁਮੇਲ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦੀ ਹੈ
ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ AI ਕਾਰਜ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਪਛਾਣਨ ਦੇ ਯੋਗ ਹੈ: ਬਚਾਅ ਵਾਲੀਆਂ ਖੇਡਾਂ ਨੂੰ ਜੋਖਮਾਂ 'ਤੇ ਧਿਆਨ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਬੁਝਾਰਤ ਵਾਲੀਆਂ ਖੇਡਾਂ ਨੂੰ ਨਿਯਮਾਂ ਦੇ ਸੰਖੇਪ 'ਤੇ ਧਿਆਨ ਦੇਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਪ੍ਰਯੋਗਾਤਮਕ ਨਤੀਜੇ
TextWorld, ALFWorld, MiniHack, Baba Is AI ਚਾਰ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ALMA ਦੀ ਤੁਲਨਾ ਮੁੱਖ ਬੇਸਲਾਈਨਾਂ ਨਾਲ ਕੀਤੀ ਗਈ।
GPT-5-mini ਮਾਡਲ 'ਤੇ, ALMA ਦੀ ਔਸਤ ਸਫਲਤਾ ਦਰ 53.9% ਤੱਕ ਪਹੁੰਚ ਗਈ, ਜੋ ਕਿ G-Memory (46.0%) ਅਤੇ Trajectory Retrieval (48.6%) ਤੋਂ ਬਿਹਤਰ ਹੈ।
ਲਾਗਤ ਕੁਸ਼ਲਤਾ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ALMA ਔਸਤਨ ਸਿਰਫ 1,319 ਟੋਕਨ ਦੀ ਖਪਤ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ Trajectory Retrieval 9,149 ਟੋਕਨਾਂ ਦੀ ਖਪਤ ਕਰਦਾ ਹੈ, ਅਤੇ G-Memory ਵੀ 6,055 ਟੋਕਨਾਂ ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। ALMA ਨੇ ਸਿਰਫ 1/7 ਤੋਂ 1/5 ਦੀ ਲਾਗਤ ਨਾਲ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕੀਤਾ।
ਸਿੱਟਾ
ALMA ਨੇ Software 2.0 (ਨਿਊਰਲ ਨੈੱਟਵਰਕ) ਤੋਂ Software 3.0 (AI-ਜਨਰੇਟਿੰਗ ਐਲਗੋਰਿਦਮ) ਵਿੱਚ ਤਬਦੀਲੀ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਇਆ ਹੈ।
ਏਜੰਟ ਵਿਕਾਸ ਵਿੱਚ, ਮੈਮੋਰੀ ਮੋਡੀਊਲ ਦਾ ਡਿਜ਼ਾਈਨ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਇੰਜੀਨੀਅਰਾਂ ਦੇ ਅਨੁਭਵ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ALMA ਨੇ ਸਾਬਤ ਕੀਤਾ ਹੈ ਕਿ ਮੈਟਾ-ਲਰਨਿੰਗ ਅਤੇ ਕੋਡ ਜਨਰੇਸ਼ਨ ਦੁਆਰਾ, AI ਖਾਸ ਵਾਤਾਵਰਣ ਦੇ ਅਨੁਸਾਰ ਆਪਣੇ ਆਪ ਹੀ ਸਰਵੋਤਮ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ ਲੱਭਣ ਦੇ ਯੋਗ ਹੈ।
ਸਰੋਤ ਲਿੰਕ
- ਪੇਪਰ: https://arxiv.org/pdf/2602.07755
- ਕੋਡ: https://github.com/zksha/alma
- ਪ੍ਰੋਜੈਕਟ ਹੋਮਪੇਜ: https://yimingxiong.me/alma
