ક્ષી યુ મીનીમેક્સ M2.5 સમીક્ષા

ટૂંકો નિષ્કર્ષ: નીચે મૂળિયાં, ઉપર વિકાસ

મૂળભૂત પરિસ્થિતિ

ક્ષી યુની અગાઉની પેઢી M2.1 તકનીકી સમસ્યાઓના કારણે, પ્રોગ્રામિંગમાં નોંધપાત્ર સુધારો હોવા છતાં, તેની તાર્કિક ક્ષમતા M2 કરતા પાછળ રહી ગઈ. સદભાગ્યે, M2.5 એ મૂળભૂત રીતે તકનીકી સમસ્યાઓનું નિરાકરણ કર્યું છે અને ક્ષમતા સામાન્ય ટ્રેક પર પાછી આવી છે. M2 ની સરખામણીમાં, M2.5 માં લગભગ 17% નો સુધારો થયો છે.

જો કે, કેટલાક સુધારાઓ લાંબી વિચાર પ્રક્રિયા અને ઊંડાણપૂર્વકના ઉકેલની શોધ દ્વારા પ્રાપ્ત થયા છે. M2.5 નો સરેરાશ ટોકન વપરાશ પરીક્ષણ હેઠળના તમામ મોડેલોમાં છઠ્ઠા ક્રમે છે, જે હરીફ સોનેટ કરતા લગભગ બમણો છે. સદભાગ્યે, ક્ષી યુની ગણતરી શક્તિની ખાતરી આપવામાં આવે છે અને કિંમત પણ વધારે નથી. પ્રોગ્રામિંગ સોનેટને સંપૂર્ણપણે બદલી શકતું નથી, પરંતુ રોજિંદા ઉપયોગ માટે તે સંપૂર્ણપણે ઉપલબ્ધ છે. M2.5 એ આખરે M2.1 દ્વારા પ્રાપ્ત કરવાના લક્ષ્યને હાંસલ કર્યું છે.

તાર્કિક પરિણામો

*1 કોષ્ટક માત્ર સરખામણી સંબંધોને પ્રકાશિત કરવા માટે કેટલાક સરખાવી શકાય તેવા મોડેલો દર્શાવે છે, તે સંપૂર્ણ ક્રમ નથી.

*2 પ્રશ્નો અને પરીક્ષણ પદ્ધતિઓ માટે, જુઓ: મોટા ભાષા મોડેલ - તાર્કિક ક્ષમતા આડી સમીક્ષા 26-01 મહિનાનું રેન્કિંગ. #56 પ્રશ્ન ઉમેર્યો.

*3 સંપૂર્ણ રેન્કિંગ https://llm2014.github.io/llm_benchmark/ પર અપડેટ કરવામાં આવ્યું છે.

*4 લાલ રંગ ચાઇનીઝ નવા વર્ષ દરમિયાન મર્યાદિત છે, જે આનંદ સૂચવે છે અને તેનો કોઈ અન્ય અર્થ નથી.

M2.1 એ એક બગ ધરાવતું સંસ્કરણ હોવાથી અને તેની તાર્કિક ક્ષમતા અસામાન્ય રીતે ઓછી હોવાથી, નીચેનો ટેક્સ્ટ માત્ર M2 અને M2.5 ની પેઢીગત સરખામણી કરશે.

સુધારાઓ

• સ્થિર અનુમાન: M2.5 લાંબી અનુમાન પ્રક્રિયા દરમિયાન પ્રારંભિક અવરોધો અને સંદર્ભની વિગતો જાળવી શકે છે, તેથી કેટલીક સમસ્યાઓ કે જે મુશ્કેલ નથી, પરંતુ "ધ્યાન" ની જરૂર છે, M2.5 નો સ્કોર નોંધપાત્ર રીતે વધ્યો છે. ઉદાહરણ તરીકે, #4 રૂબિક્સ ક્યુબ રોટેશન, M2.5 એ વૈશ્વિક સ્તરે સંપૂર્ણ માર્ક્સ મેળવનાર 8મું મોડેલ છે. પરંતુ આ પ્રકારની સમસ્યાઓ માટે, ઉત્તર અમેરિકાના ત્રણ મોટા મોડેલો સ્થિર રીતે સંપૂર્ણ માર્ક્સ મેળવી શકે છે, જ્યારે M2.5 માત્ર થોડી સંભાવના સાથે એકવાર સાચો જવાબ આપી શકે છે, જે સ્પષ્ટ તફાવત દર્શાવે છે.
• પ્રોગ્રામિંગ: અગાઉ ઉલ્લેખ કર્યો છે તેમ, M2.5 સોનેટને સંપૂર્ણપણે બદલી શકતું નથી, મુખ્યત્વે પ્રોગ્રામિંગના જ્ઞાનની માત્રા દ્વારા મર્યાદિત છે. અનુભવ, કુશળતા, સંસ્કરણ API તફાવતો વગેરેની જરૂર હોય તેવા કિસ્સાઓમાં, M2.5 સંકેતો વિના સમસ્યાઓ જાતે શોધી શકતું નથી. સામાન્ય રીતે સમસ્યાને ધીમે ધીમે ઘટાડવા માટે બહુવિધ રાઉન્ડની જરૂર પડે છે. પરંતુ આ M2 કરતા ઘણો મોટો સુધારો છે. C એન્જિનિયરિંગ પરીક્ષણમાં, મોટાભાગના સ્થાનિક મોડેલો પ્રથમ 2 રાઉન્ડમાં અટવાઈ જાય છે, જ્યારે M2.5 8મા રાઉન્ડમાં પ્રવેશ કરનાર પ્રથમ સ્થાનિક મોડેલ બન્યું છે. જો કે M2.5 માં OpenGL ઉપયોગ અને અવકાશી કલ્પનામાં સ્પષ્ટ ખામીઓ છે, પરંતુ ઑપ્ટિમાઇઝ્ડ એજન્ટ ક્ષમતાઓ સાથે, તે સતત પ્રયાસ કરી શકે છે અને ભૂલો કરી શકે છે અને સાચા ઉકેલ તરફ અભિસારી શકે છે. વધુમાં, એ નોંધવું યોગ્ય છે કે M2.5 પ્રોગ્રામિંગ કરતી વખતે ઓછા "શબ્દો" બોલે છે, અને લગભગ અંતિમ કાર્ય પૂર્ણ થયા પછી જ ટૂંકું સારાંશ આઉટપુટ કરે છે, અને મધ્યવર્તી તબક્કામાં વિચારો આઉટપુટ કરતું નથી. અન્ય એન્જિનિયરિંગ હજુ પણ પરીક્ષણ હેઠળ છે અને ત્યારબાદ અપડેટ કરવામાં આવશે.
• ગણતરી ક્ષમતા: M2 ની ગણતરી ક્ષમતા ઉત્કૃષ્ટ ગણી શકાય તેમ નથી, અને M2.1 વધુ પાછળ રહી ગયું છે. M2.5 એ નીચા પ્રારંભિક બિંદુથી અસરકારક સુધારાઓ કર્યા છે. મોટાભાગની સરળ ગણતરીઓમાં, M2.5 નાની સંભાવના સાથે ઉચ્ચ ચોકસાઈ દર્શાવે છે, પરંતુ મોટાભાગના કિસ્સાઓમાં હજુ પણ ખોટી ગણતરીઓ, મોટી ભૂલો અને સૂત્રોને સમજી શકવામાં અસમર્થતા જેવી સમસ્યાઓ છે. આ પાસામાં તાલીમ હજુ પણ અપૂરતી છે. એજન્ટ સંચાલિત મોડેલ તરીકે, ગણતરી ક્ષમતા આવશ્યક નથી, અને ક્લાઉડ શ્રેણીની ગણતરી પણ લાંબા સમયથી પાછળ છે.

ખામીઓ

• સૂચના અનુસરણ: M2 ની સરખામણીમાં, સૂચના અનુસરણમાં સુધારાની માત્રા વધારે નથી. કેટલીક સરળ સમસ્યાઓમાં સંપૂર્ણ માર્ક્સ મેળવવાની સંભાવના વધારે છે, પરંતુ તે સ્થિર પણ નથી. સૂચનાઓને રેન્ડમલી છોડી દેવાની અથવા સૂચનાઓમાં ફેરફાર કરવાની પરિસ્થિતિઓ છે, પરંતુ વિચાર પ્રક્રિયાની સામગ્રીનું અવલોકન કરતા, મોડેલ તમામ સૂચનાઓની નોંધ લે છે, પરંતુ અંતિમ આઉટપુટમાં સમસ્યાઓ આવે છે. એકંદરે કામગીરી પ્રથમ સ્તરના અન્ય મોડેલો કરતા પાછળ છે. પ્રોગ્રામિંગમાં પણ કોડિંગ આવશ્યકતાઓ અને પ્રોજેક્ટ ધોરણોને અવગણવાની પરિસ્થિતિઓ છે. ઉદાહરણ તરીકે, C એન્જિનિયરિંગમાં કોઓર્ડિનેટ Z-અક્ષ ઉપર તરફ નિર્દેશિત હોવાનું નિર્ધારિત છે, પરંતુ M2.5 એ અન્ય બગને ઠીક કરવા માટે પોતાની મરજીથી તેને Y-અક્ષ ઉપર તરફ નિર્દેશિત કરી દીધો. રોજિંદા ઉપયોગમાં વધારાના નિયંત્રણ પર ધ્યાન આપવાની જરૂર છે.
• ભ્રમણા: M2.5 ના ભ્રમણા સ્તરમાં M2 કરતા નોંધપાત્ર ફેરફાર થયો નથી. મોટાભાગની સંદર્ભ સંબંધિત સમસ્યાઓ માટે, બંનેના મહત્તમ સ્કોર્સ સમાન છે. અહીં સુધી કે #43 લક્ષ્ય સંખ્યાની ગણતરીની સમસ્યામાં, M2.5 કેટલીક એવી સામાન્ય ભૂલો પણ કરે છે જે બીજા સ્તરના મોડેલોમાં જોવા મળે છે, જેમ કે સંખ્યાઓનો વારંવાર ઉપયોગ કરવો અને સંખ્યાઓ છોડી દેવી.

સાયબર ઇતિહાસકાર કહે છે

ઘરેલું ઉત્પાદકોએ પ્રોગ્રામિંગ મોડેલ કેવી રીતે બનાવવું તે શોધવામાં અડધા વર્ષથી વધુ સમય વિતાવ્યો છે. સોનેટને બદલવાનો દાવો કરનારા પ્રથમ બેચના મોડેલો મોટાભાગે માત્ર "એક વાક્ય" જનરેશન અસર પર જ નજીક દેખાય છે. તેનો આંતરિક કોડ સંગઠન, એન્જિનિયરિંગ અને વધુ મહત્વપૂર્ણ બહુવિધ પુનરાવર્તનની ક્ષમતા ઘણી પાછળ છે. આનાથી સ્થાનિક પ્રોગ્રામરો સામાન્ય રીતે સ્થાનિક મોડેલો પર અવિશ્વાસ કરે છે અને પ્રતિબંધિત થવાના જોખમ હોવા છતાં પણ ક્લાઉડનો ઉપયોગ કરવાનું પસંદ કરે છે.

જ્યારે MiniMax M2 અને M2.1 એ શરૂઆતમાં પ્રતિષ્ઠા બદલી, ત્યારે M2.5 ની આ પેઢીએ સ્થાનિક મોડેલ પ્રોગ્રામિંગની ઉપલબ્ધતાને એક મોટું પગલું આગળ વધાર્યું છે. ખરેખર, M2.5 અને સત્તાવાર રીતે જાહેર કરાયેલ Opus સ્તર વચ્ચે હજુ પણ સર્વગ્રાહી અંતર છે, પરંતુ જ્યાં સુધી કોઈ વિશ્વાસ કરવા અને ઉપયોગ કરવા તૈયાર હોય, ત્યાં સુધી વસ્તુઓ સારી દિશામાં આગળ વધશે. આ દૃષ્ટિકોણથી, M2.5 એ ખરેખર ક્ષી યુ દ્વારા વિજયના લક્ષ્ય તરફ ઉઠાવવામાં આવેલું એક મજબૂત પગલું છે.