GPT-NeoX-20B से बुनियादी अंकगणित के सवाल पूछे तो

 (twitter.com/moyix)
4 पॉइंट द्वारा xguru 2022-02-12 | 4 टिप्पणियां | WhatsApp पर शेयर करें

  • GPT-3 स्तर के मॉडल को open source के रूप में बनाए गए GPT-NeoX से सरल बुनियादी अंकगणित के सवाल पूछे गए

  • 100 में से केवल 10 सही। लेकिन ज़्यादातर जवाब सही उत्तर के क़रीब थे

Q: "What is 2653 * 30641?"

A: 82356113 (गलत)

सही उत्तर 81290573 है

  • यह जाना जाता है कि "language model" मूल रूप से गणित में बहुत अच्छे नहीं होते (शायद आंशिक रूप से इसलिए कि वे संख्याओं को tokenize करने का तरीका ऐसा है)

संबंधित पढ़ाई

4 टिप्पणियां

 
louie 2022-02-12

क्या सही उत्तर 81290573 है, और GPT-NeoX का उत्तर 82356113 नहीं है?

मैंने खुद भी मानसिक गणना करके देखा और calculator से भी जाँच की, तो सही उत्तर 81290573 ही लगता है!

(लिंक में मौजूद तस्वीर में भी Correct, No दिख रहा है.

अगर मैं गलत हूँ, तो कृपया बताइए!)
 
xguru 2022-02-12

अरे हाय, लगता है लिखते समय मैंने आगे-पीछे उल्टा कर दिया था। मैंने इसे ठीक कर दिया है।
 
budlebee 2022-02-12

बल्कि यह कि वह अनुमानित मान को ही सही जवाब की तरह देता है, यह उसे और भी इंसानों जैसा बनाता है, इसलिए और ज़्यादा हैरानी होती है.
 
xguru 2022-02-12

इस बारे में काफ़ी विस्तृत बातें HN टिप्पणियों में हैं https://news.ycombinator.com/item?id=30299360