GLM-5: wanneer grote modellen leren 'zelf code te schrijven', de sprong van Vibe Coding naar Agentic Engineering

❝

🎯 Samenvatting in één zin: Zhizhu AI heeft in samenwerking met de Tsinghua Universiteit het GLM-5 model met 744B parameters gelanceerd, dat de rekenlast van aandacht comprimeert door middel van DeepSeek Sparse Attention (DSA), de efficiëntie van lange taaktraining oplost met volledig asynchrone versterkingsleer (Async RL), en een meerfasig natrainingsproces toepast, waardoor grote modellen evolueren van 'Vibe Coding' naar 'Agentic Engineering', dat in staat is om echte engineeringprojecten zelfstandig uit te voeren.

Waarom is dit artikel nodig?

Andrej Karpathy introduceerde begin 2025 een interessant concept - Vibe Coding, wat betekent dat je alleen maar je vereisten in natuurlijke taal hoeft te beschrijven en 'op gevoel' de AI code laat schrijven. Dit is inderdaad de huidige mainstream ervaring van AI-programmeren: je zegt een zin en het model genereert een stuk code, waarbij de effectiviteit volledig afhangt van geluk.

Maar het probleem is: echte software-engineering is veel complexer dan alleen 'code schrijven'. Een echte ingenieur moet de projectarchitectuur begrijpen, fouten debuggen, afhankelijkheden beheren en omgaan met samenwerking tussen modules - dit zijn allemaal zaken die niet opgelost kunnen worden met 'één prompt, één stuk code'. Het doel van het GLM-5 artikel is om het model te transformeren van 'een assistent die je helpt met coderen' naar 'een ingenieur die in staat is om een heel project zelfstandig af te ronden'.

Dit is geen klein doel. Om dit te bereiken, heeft het Zhizhu-team veel innovaties doorgevoerd in modelarchitectuur, trainingsprocessen en versterkingsleer-algoritmen. Dit artikel zal je helpen deze technische details te ontrafelen.

Kernbijdragen: drie belangrijke punten

Voordat we in de details duiken, laten we de drie kernbijdragen van GLM-5 verduidelijken:

| Bijdrage | Opgeloste problemen | Kernidee | | --- | --- | --- | | DSA Sparse Attention | Explosieve rekentijd voor 128K lange context | Dynamisch belangrijke tokens selecteren, irrelevante overslaan, 1.5-2 keer rekenkracht besparen | | Asynchroon versterkingsleer framework | Veel GPU-inactiviteit tijdens lange taak RL-training | Genereren en trainen volledig ontkoppelen, pipeline-gewijze parallelisatie | | Meerdere fasen natrainingsproces | Moeite om meerdere capaciteiten zoals redeneren, coderen en agenten te combineren | SFT → redenerings RL → agenten RL → algemene RL, geleidelijk capaciteiten opbouwen |

Modelarchitectuur: 'substractie' op de basis van MoE

Basisconfiguratie

GLM-5 maakt gebruik van een Mixture-of-Experts (MoE) architectuur, met in totaal 744B parameters, maar activeert bij elke inferentie slechts ongeveer 40B parameters. Dit 'grote en spaarzame' ontwerp is inmiddels een consensus in de industrie - DeepSeek-V3/R1, Qwen3 hebben een vergelijkbare route gevolgd.

Hoe werkt DSA precies?

De kernidee van DSA kan worden begrepen met een metafoor: stel je voor dat je in een bibliotheek informatie zoekt. Standaard aandacht is als het doorbladeren van elk boek in de hele bibliotheek en dan beslissen welke nuttig zijn. DSA is meer als een ervaren bibliothecaris - het scant eerst snel de titels van de boeken met een Lightning Index, identificeert enkele mogelijk relevante gebieden en leest vervolgens alleen de specifieke paragrafen in deze gebieden.

Trainingsproces: vier fasen van 'leveling up'

Het trainingsproces van GLM-5 is het belangrijkste onderdeel van dit artikel, verdeeld in pre-training en post-training.

Pre-trainingsfase

• Dataschaal: 27T tokens, mengverhouding van gegevens omvat webpagina's, code, academische artikelen, boeken, enz.
• Contextuitbreiding: de context geleidelijk uitbreiden van 4K naar 200K tijdens de tussentijdse training, met RoPE frequentie-aanpassing.
• Annealingfase: aan het einde van de pre-training met hogere kwaliteit gegevens 'fijnslijpen'.

Post-training vier stappen

Dit is het meest kenmerkende deel van GLM-5. GLM-5 heeft vier rondes uitgevoerd:

• Supervised Fine-Tuning (SFT) met hoge kwaliteit instructiegegevens.
• Reasoning Reinforcement Learning (Reasoning RL) voor RL-training op wiskunde- en code-redeneringstaken.
• Agentic Reinforcement Learning (Agentic RL), dit is de sleutelinnovatie.
• General Reinforcement Learning (General RL), RL op bredere algemene taken.

Asynchroon versterkingsleren: laat GPU niet meer 'niksen'

Traditionele RL-training is synchroon: verzamel een batch gegevens → bereken beloningen → update model → verzamel opnieuw. Dit is geen probleem bij korte taakduur, maar agenttaken vereisen vaak tientallen interacties.

Diepe interpretatie van experimentele resultaten

Belangrijkste benchmarkvergelijkingen

| Benchmark | GLM-5 | DeepSeek-V3.2 | Claude Opus 4.5 | Gemini 3 Pro | GPT-5.2 | MMLU-Pro | | --- | --- | --- | --- | --- | --- | --- | | 78.0 | 75.9 | 78.0 | 74.3 | 76.1 | | GPQA-Diamond | 71.7 | 68.4 | 67.1 | 63.6 | 70.5 | | BrowseComp | 57.1 | 32.0 | 26.3 | 25.1 | 46.9 |

Samenvatting

Het GLM-5 artikel bevat een schat aan informatie. Afgezien van de specifieke cijfers, is de kernboodschap: het volgende strijdtoneel voor grote modellen ligt in 'werk doen' en niet alleen in 'vragen beantwoorden'.

Op competitief niveau bewijst GLM-5 de concurrentiekracht van Chinese AI-teams in de voorhoede van groot modelonderzoek.

Artikelinformatie

• Titel: GLM-5: van Vibe Coding naar Agentic Engineering
• Instelling: Zhizhu AI & Tsinghua Universiteit
• Link: https://arxiv.org/abs/2602.15763