GLM-5：જ્યારે મોટા મોડેલોએ "સ્વતંત્ર રીતે કોડ લખવું" શીખ્યું, Vibe Coding થી Agentic Engineering સુધીનો ઉછાળો

❝

🎯 એક વાક્યમાં સારાંશ：ઝિપી AI અને તિહુઆ યુનિવર્સિટીએ 744B પેરામીટરના GLM-5 મોડેલને રજૂ કર્યું છે, જે DeepSeek Sparse Attention (DSA) દ્વારા ધ્યાનની ગણતરીની માત્રા ઘટાડે છે, સંપૂર્ણ અસંક્રમણ મજબૂત શીખણ (Async RL) લાંબા કાર્યની તાલીમની કાર્યક્ષમતા ઉકેલે છે, અને બહુ-ચરણ પછીની તાલીમ પ્રક્રિયા દ્વારા, મોટા મોડેલને "વાઇબ કોડિંગ" (Vibe Coding) થી "સ્વતંત્ર ઇજનેર" (Agentic Engineering) માં પરિવર્તિત કરે છે.

આ લેખની જરૂરિયાત શા માટે છે?

Andrej Karpathy એ 2025 ની શરૂઆતમાં એક રસપ્રદ વિચાર રજૂ કર્યો - Vibe Coding, જેનો અર્થ છે કે તમે ફક્ત કુદરતી ભાષામાં જરૂરિયાત વર્ણવવી છે, "અનુભવથી" AI ને કોડ લખવા માટે કહેવું છે. આ ખરેખર વર્તમાન AI પ્રોગ્રામિંગનો મુખ્ય અનુભવ છે: તમે一句话 કહો છો, મોડેલ તમને કોડનો એક ટુકડો બનાવવામાં મદદ કરે છે, પરિણામ સારું છે કે નહીં તે બધું નસીબ પર આધાર રાખે છે.

પરંતુ સમસ્યા આવી છે: વાસ્તવિક સોફ્ટવેર ઇજનેરી "કોડ લખવા" થી વધુ જટિલ છે. એક સાચા ઇજનેરને પ્રોજેક્ટની રચના સમજવી, ભૂલોને ડિબગ કરવી, નિર્ભરતા સંચાલિત કરવી, ક્રોસ-મોડ્યુલ સહયોગ સંભાળવો જોઈએ - આ બધું "એક પ્રોમ્પ્ટથી એક કોડનો ટુકડો" કરી શકતું નથી. GLM-5 આ લેખમાં જે કરવું છે તે એ છે કે મોડેલને "તમે કોડ લખવામાં મદદ કરનાર સહાયક" થી "સંપૂર્ણ પ્રોજેક્ટને સ્વતંત્ર રીતે હેન્ડલ કરી શકનાર ઇજનેર" માં પરિવર્તિત કરવું.

આ એક નાનો લક્ષ્ય નથી. આને પ્રાપ્ત કરવા માટે, ઝિપી ટીમે મોડેલની રચના, તાલીમની પ્રક્રિયા, મજબૂત શીખણના અલ્ગોરિધમમાં ઘણું નવતર કર્યું છે. આ વિશ્લેષણ તમને આ ટેકનિકલ વિગતોને સમજીને વિભાજિત કરવામાં મદદ કરશે.

મુખ્ય યોગદાન: ત્રણ મુખ્ય મુદ્દા

વિગતોમાં જવા પહેલાં, GLM-5 ના ત્રણ મુખ્ય યોગદાનને સ્પષ્ટ કરો:

યોગદાન ઉકેલે છે સમસ્યાનું મુખ્ય વિચારDSASparse Attention128K લાંબા સંદર્ભની ગણતરીની ખર્ચમાં વિસ્ફોટક ડાયનામિક રીતે મહત્વપૂર્ણ ટોકન પસંદ કરે છે, અપ્રાસંગિકને છોડી દે છે, 1.5-2 ગણું ગણનાશક્તિ બચાવે છેઅસંક્રમણ મજબૂત શીખણ ફ્રેમવર્કલાંબા કાર્યના RL તાલીમમાં GPUની મોટી ખાલી જગ્યા બનાવે છે જનરેટ અને તાલીમ સંપૂર્ણપણે અલગ, પાઇપલાઇન શૈલીમાં સમાન平行બહુ-ચરણ પછીની તાલીમ પ્રક્રિયાઅનુમાન, કોડિંગ, ઇજનેર વગેરેની બહુવિધ ક્ષમતાઓને સંભાળવું મુશ્કેલSFT→推理RL→智能体RL→通用RL, ધીમે ધીમે ક્ષમતાઓને વધારવું

મોડેલની રચના: MoE ના ઢાંચા પર "કમાવટ" કરવી

મૂળભૂત રૂપરેખા

GLM-5 એ Mixture-of-Experts (MoE) ઢાંચો અપનાવ્યો છે, કુલ પેરામીટરો 744B છે, પરંતુ દરેક推理માં માત્ર 40B પેરામીટરો સક્રિય થાય છે. આ "મોટું અનેSparse" ડિઝાઇન ઉદ્યોગમાં એક સંમતિ બની ગઈ છે - DeepSeek-V3/R1, Qwen3 એ સમાન માર્ગ અપનાવ્યો છે.

DSA ખરેખર કેવી રીતે કાર્ય કરે છે?

DSA નો મુખ્ય વિચાર એક ઉપમા દ્વારા સમજાવી શકાય છે: કલ્પના કરો કે તમે પુસ્તકાલયમાં સામગ્રી શોધી રહ્યા છો. મર્યાદિત ધ્યાન એ છે કે તમે સમગ્ર પુસ્તકાલયની દરેક પુસ્તકને એકવાર પલટો છો, પછી નક્કી કરો કે કયું ઉપયોગી છે. જ્યારે DSA વધુ અનુભવી પુસ્તકાલયકર્તા જેવું છે - તે પહેલા લાઇટનિંગ ઇન્ડેક્સર (Lightning Index) નો ઉપયોગ કરીને શેલ્ફના શીર્ષકોને ઝડપથી સ્કેન કરે છે, કેટલીક સંભવિત સંબંધિત વિસ્તારોને લોક કરી લે છે, પછી માત્ર આ વિસ્તારોમાંના ચોક્કસ પેરાગ્રાફને વાંચે છે.

તાલીમની પ્રક્રિયા: ચાર તબક્કાની "મોંઘવારી સુધારણા"

GLM-5 ની તાલીમની પ્રક્રિયા આ લેખનું મુખ્ય કેન્દ્ર છે, જે પ્રારંભિક તાલીમ અને પછીની તાલીમ બે મોટા તબક્કામાં વહેંચાય છે.

પ્રારંભિક તાલીમ તબક્કો

• ડેટા કદ：27T ટોકન, ડેટાના મિશ્રણમાં વેબપેજ, કોડ, શૈક્ષણિક પત્રો, પુસ્તકો વગેરેનો સમાવેશ થાય છે
• સંદર્ભ વિસ્તરણ：મધ્યમ તાલીમ દ્વારા સંદર્ભને 4K થી ધીમે ધીમે 200K સુધી વિસ્તૃત કરવામાં આવે છે, RoPE ફ્રિક્વન્સી એડજસ્ટમેન્ટનો ઉપયોગ કરીને
• એનહિલિંગ તબક્કો：પ્રારંભિક તાલીમના અંતે વધુ ઉચ્ચ ગુણવત્તાવાળા ડેટાનો ઉપયોગ કરીને "ફાઇન ટ્યુન" કરવો

પછીની તાલીમ ચારકડી

આ GLM-5 નો સૌથી વિશિષ્ટ ભાગ છે. GLM-5 એ ચાર રાઉન્ડ કર્યા:

• સુપરવિઝડ માઇક્રો ટ્યુનિંગ (SFT) ઉચ્ચ ગુણવત્તાવાળા સૂચન ડેટાનો ઉપયોગ કરીને માઇક્રો ટ્યુનિંગ કરે છે.
• 推理 મજબૂત શીખણ (Reasoning RL) ગણિત અને કોડ推理 કાર્ય પર RL તાલીમ કરે છે.
• 智能体 મજબૂત શીખણ (Agentic RL), આ મુખ્ય નવીનતા છે.
• 通用 મજબૂત શીખણ (General RL), વધુ વ્યાપક સામાન્ય કાર્ય પર RL કરે છે.

અસંક્રમણ મજબૂત શીખણ: GPU ને "માટે" ન રહેવા દેવું

પરંપરાગત RL તાલીમ સંક્રમિત છે: એક જૂથ ડેટા એકત્રિત કરો → ઇનામની ગણતરી કરો → મોડેલને અપડેટ કરો → ફરીથી એકત્રિત કરો. આ ટાસ્કના સમય ટૂંકા હોય ત્યારે કોઈ સમસ્યા નથી, પરંતુ智能体 કાર્ય ઘણી વખત દસ પગલાંની ક્રિયાઓની જરૂર પડે છે.

પ્રયોગના પરિણામોની ઊંડાણપૂર્વકની વિશ્લેષણ

મુખ્ય ધોરણની તુલના

ધોરણ GLM-5DeepSeek-V3.2Claude Opus 4.5Gemini 3 ProGPT-5.2MMLU-Pro78.075.978.074.376.1GPQA-Diamond71.768.467.163.670.5BrowseComp57.132.026.325.146.9

સારાંશ

GLM-5 આ લેખમાં માહિતીનું પ્રમાણ ખૂબ જ વધુ છે. ચોક્કસ આંકડાઓને છોડીને, તે જે મુખ્ય માહિતી આપે છે તે છે: મોટા મોડેલનો આગામી યુદ્ધભૂમિ "કાર્ય" પર છે, માત્ર "પ્રશ્નોના જવાબ" પર નહીં.

સ્પર્ધાત્મક સ્તરે, GLM-5 એ ચીનના AI ટીમની મોટા મોડેલની અગ્રણી સંશોધનમાં સ્પર્ધાત્મકતાને સાબિત કર્યું છે.

લેખની માહિતી

• શીર્ષક：GLM-5: Vibe Coding થી Agentic Engineering સુધી
• સંસ્થા：ઝિપી AI & તિહુઆ યુનિવર્સિટી
• લિંક：https://arxiv.org/abs/2602.15763