GLM-5: Үлкен модельдер "өз кодын жазуды" үйренгенде, Vibe Coding-тен Agentic Engineering-ге өтпелі

❝

🎯 Бір сөйлеммен қорытынды: Zhipu AI Тяньцзинь университетімен бірге 744B параметрлі GLM-5 моделін шығарды, DeepSeek Sparse Attention (DSA) арқылы назарды есептеу көлемін қысқартып, толық асинхронды күшейту оқыту (Async RL) арқылы ұзақ тапсырмаларды оқыту тиімділігін шешіп, көп кезеңді кейінгі оқыту процесі арқылы үлкен модельдерді "атмосфералық кодтау" (Vibe Coding) деңгейінен "тәуелсіз инженер" (Agentic Engineering) деңгейіне көтереді.

Неге бұл мақала қажет?

Andrej Karpathy 2025 жылдың басында қызықты концепцияны ұсынды — Vibe Coding, яғни сіз тек табиғи тілде талаптарды сипаттап, "сезіммен" AI-ға код жазғыза аласыз. Бұл қазіргі AI бағдарламалаудың негізгі тәжірибесі: сіз бір сөйлем айтасыз, модель сізге кодтың бір бөлігін шығарады, нәтижесі сәттілікке байланысты.

Бірақ мәселе туындайды: нақты бағдарламалық инженерия "код жазудан" әлдеқайда күрделі. Шынайы инженер жобаның құрылымын түсінуі, қателерді түзетуі, тәуелділіктерді басқаруы, модульдер арасындағы ынтымақтастықты өңдеуі керек — бұлардың барлығы "бір prompt-тан код шығару" арқылы шешілмейді. GLM-5 мақалада модельді "код жазуға көмектесетін көмекші" ретінде "бүкіл жобаны тәуелсіз шешетін инженер" деңгейіне көтеру мақсаты қойылған.

Бұл кішігірім мақсат емес. Оған жету үшін, Zhipu командасы модель архитектурасында, оқыту процесінде, күшейту оқыту алгоритмдерінде көптеген инновациялар енгізді. Бұл талдау сізді осы техникалық мәліметтерді түсінуге бағыттайды.

Негізгі үлес: Үш негізгі идея

Терең мәліметтерге кіріспес бұрын, GLM-5-тің үш негізгі үлесін анықтап алайық:

| Үлес | Шешетін мәселе | Негізгі идея | | --- | --- | --- | | DSA сирек назар | 128K ұзын контексттің есептеу шығыны | Маңызды токендерді динамикалық таңдау, байланысты емесін өткізіп, 1.5-2 есе есептеу қуатын үнемдеу | | Асинхронды күшейту оқыту құрылымы | Ұзақ тапсырмаларды RL оқытуда GPU-ның көп бос тұруы | Генерация мен оқытуды толық ажырату, конвейерлік параллель | | Көп кезеңді кейінгі оқыту процесі | Инференция, кодтау, агент сияқты көп қабілеттілікті бір уақытта қамту қиын | SFT→инференция RL→агент RL→жалпы RL, қабілеттерді біртіндеп қосу |

Модель архитектурасы: MoE негізінде "азайту"

Негізгі конфигурация

GLM-5 Mixture-of-Experts (MoE) архитектурасын қолданады, жалпы параметрлер 744B, бірақ әр推理 кезінде тек 40B параметр белсендіріледі. Мұндай "үлкен және сирек" дизайн индустрияда жалпы қабылданған — DeepSeek-V3/R1, Qwen3 де ұқсас жолмен жүрді.

DSA қалай жұмыс істейді?

DSA-ның негізгі идеясы бір метафорамен түсінуге болады: кітапханада материал іздеп жүргеніңізді елестетіңіз. Стандартты назар — бұл бүкіл кітапхананың әрбір кітабын парақтап, қайсысының пайдалы екенін шешу. Ал DSA тәжірибелі кітапханашыға ұқсайды — ол алдымен жылдам индекстеуші (Lightning Index) арқылы кітап сөрелерінің тақырыптарын жылдам сканерлеп, мүмкін байланысты аймақтарды белгілеп, содан кейін тек осы аймақтардағы нақты бөлімдерді мұқият оқиды.

Оқыту процесі: Төрт кезеңдік "монстрларды жеңу"

GLM-5-тің оқыту процесі бұл мақаланың негізгі бөлігі, алдын ала оқыту және кейінгі оқыту екі үлкен кезеңге бөлінеді.

Алдын ала оқыту кезеңі

• Деректер көлемі: 27T токен, деректердің араласу үлесі веб-беттер, код, ғылыми мақалалар, кітаптар және т.б. қамтиды
• Контексті кеңейту: аралық оқыту арқылы контексті 4K-дан 200K-ға дейін біртіндеп кеңейту, RoPE жиілігін реттеу арқылы
• Аннафаза: алдын ала оқытудың соңында жоғары сапалы деректермен "жақсарту" жүргізу

Кейінгі оқыту төрт кезеңі

Бұл GLM-5-тің ең ерекше бөлігі. GLM-5 төрт кезең өткізді:

• Бақылау арқылы қайта реттеу (SFT) жоғары сапалы нұсқаулық деректерімен қайта реттеу.
• Инференция күшейту оқыту (Reasoning RL) математикалық және код инференция тапсырмаларында RL оқыту.
• Агенттік күшейту оқыту (Agentic RL), бұл негізгі инновация.
• Жалпы күшейту оқыту (General RL), кеңірек жалпы тапсырмаларда RL жүргізу.

Асинхронды күшейту оқыту: GPU-ны "бос өткізбеу"

Дәстүрлі RL оқыту синхронды: деректердің бір партиясын жинау → сыйақыны есептеу → модельді жаңарту → қайта жинау. Бұл тапсырманың уақыты қысқа болған жағдайда мәселе емес, бірақ агенттік тапсырмалар көбінесе ондаған қадамдық өзара әрекеттесуді талап етеді.

Эксперимент нәтижелерін терең талдау

Негізгі стандартты салыстыру

| Стандарт | GLM-5 | DeepSeek-V3.2 | Claude Opus 4.5 | Gemini 3 Pro | GPT-5.2 | MMLU-Pro | | --- | --- | --- | --- | --- | --- | --- | | 78.0 | 75.9 | 78.0 | 74.3 | 76.1 | | | | GPQA-Diamond | 71.7 | 68.4 | 67.1 | 63.6 | 70.5 | | | BrowseComp | 57.1 | 32.0 | 26.3 | 25.1 | 46.9 | |

Қорытынды

GLM-5 мақаласының ақпарат көлемі өте үлкен. Нақты сандарды елемей, оның негізгі хабарламасы: үлкен модельдердің келесі майданы "жұмыс істеу" болып табылады, тек "сұрақтарға жауап беру" емес.

Бәсекелестік тұрғысынан, GLM-5 Қытайдың AI командасының үлкен модельдер алдыңғы зерттеулеріндегі бәсекеге қабілеттілігін дәлелдеді.

Мақала ақпараттары

• Тақырып: GLM-5: Vibe Coding-тен Agentic Engineering-ге
• Ұйым: Zhipu AI & Тяньцзинь университеті
• Сілтеме: https://arxiv.org/abs/2602.15763