Ruby कमिटर रहे लेखक ने Claude Code से 13 भाषाओं में mini Git इम्प्लीमेंट करवाकर समय, लागत और code lines को मापने वाला यह benchmark किया। हर भाषा के लिए 20-20 बार, कुल 600 रन किए गए, और मॉडल के रूप में Claude Opus 4.6 का उपयोग किया गया.
नतीजों में Ruby($0.36) → Python($0.38) → JavaScript($0.39) सबसे तेज़ और सस्ते रहे, जबकि static type भाषाएँ 1.4~2.6 गुना धीमी और अधिक महंगी रहीं। Type checker जोड़ने पर Python/mypy 1.6~1.7 गुना, और Ruby/Steep 2~3.2 गुना धीमे हो गए। कम code lines वाले OCaml·Haskell में thinking tokens की खपत अधिक रही, इसलिए वे मध्य-निचले समूह में रहे।
लेखक ज़ोर देकर कहते हैं, “30 सेकंड और 60 सेकंड का अंतर एकाग्रता और development flow को प्रभावित करता है, और development speed स्वयं quality का एक आयाम है।” हालांकि, वे यह भी जोड़ते हैं कि यह prototyping स्तर के single task की सीमा वाला परीक्षण है, और बड़े पैमाने पर static types फ़ायदेमंद हो सकते हैं.
6 टिप्पणियां
ऐसा लगता है कि इसमें भाषा की विशेषताओं के अलावा दूसरे वेरिएबल्स के मिलेजुले कुल प्रभाव को मापा गया है। Github पर हर प्रयोग में लगे समय के नतीजे हैं, लेकिन execution logs नहीं हैं। सबसे सामान्य measurement metric, यानी हर sub-task में लगा समय भी जांचना मुश्किल है, और LLM output की प्रकृति को देखते हुए reproduction भी असंभव लगता है.
लेखक ने भी limitations वाले हिस्से में माना है कि यह prototype चरण का एक बार किया गया काम है। इसके बावजूद, कुल मिलाकर मुझे यह transparency की कमी और variables control न किए गए experiment जैसा लगता है।
अगर कई भाषाओं की तुलना एक बड़े पैमाने के प्रयोग के ज़रिए करके दिखाई जाती तो अच्छा होता,
लेकिन उस स्तर के टेस्ट न तो कंपनियाँ कर रही हैं और न ही, जब यह काम समुदाय का कोई सदस्य करता है, तो सटीक प्रयोग करना आसान होता है।
मैंने कई जगह खोजा, फिर भी ठीक-ठाक जानकारी मिलना आसान नहीं है।
यह भी स्वाभाविक है, क्योंकि अपनी जेब से खर्च करके यह ठीक से डिज़ाइन कर के प्रयोग करने वाला कोई होगा भी या नहीं कि कौन-सी भाषा बेहतर है...
मुझे भी लगा कि यह बहुत सीमाओं वाला प्रयोग है, लेकिन फिर भी कम से कम ऐसा प्रयास देखने को मिला, यह अच्छा लगा..^^
वही रूबी
रूबी के लेखक ने टेस्ट किया है, तो वही कहेगा कि रूबी अच्छी है
लेकिन Ruby की विशेषताओं की वजह से token खपत कम होना लगभग तय है। इसमें छोटा code लिखना आसान होता है, इसलिए output tokens जैसी जगहों पर token खपत उतनी कम हो जाती है।
हाहा, यह मानकर पढ़ना चाहिए कि मैं Ruby language committer हूँ, इसलिए थोड़ा पक्षपाती हो सकता हूँ.
अगर पूछो कि किस भाषा के implementation पर सबसे ज़्यादा भरोसा होगा... हाहाहा