- सार्वजनिक coding benchmark की समस्या यह है कि वे हर कंपनी की वास्तविक स्थिति के बिल्कुल अनुरूप नहीं होते और उनमें cheating संभव होती है
- Databricks ने वास्तव में किए गए कार्यों और भाषाओं के आधार पर benchmark बनाकर मूल्यांकन किया
- GLM 5.2 ने सबसे कठिन कार्यों को भी Opus 4.8 के समान स्तर पर हल किया, लेकिन इसकी कीमत Opus की लगभग 66% रही
- Sonnet 5, Opus 4.8 की तुलना में 1.7 गुना सस्ता है, लेकिन वास्तविक काम पूरा करने के लिए 1.9 गुना अधिक token इस्तेमाल करता है, इसलिए यह कम दक्ष है
- एक ही model का उपयोग करने पर भी harness के अनुसार लागत और execution time में बड़ा अंतर आ सकता है
अभी कोई टिप्पणी नहीं है.