- LLM के लिए एक logical trap question। कई मॉडल इस बुनियादी पूर्वधारणा को ही चूक गए कि कार को car wash तक ले जाना होगा, और पैदल जाने की सलाह देने लगे
- ChatGPT, Claude, Deepseek, Qwen जैसे कई प्रसिद्ध मॉडलों ने अलग-अलग जवाब और तार्किक गलतियाँ दिखाईं
- यह मामला LLM की सामान्य-बुद्धि आधारित reasoning की सीमाएँ और असंगति को उजागर करता है
50 मीटर car wash समस्या और LLM की प्रतिक्रियाएँ
- सवाल था: “अगर car wash 50 मीटर दूर हो, तो पैदल जाएँगे या ड्राइव करेंगे?” — इसका मकसद इस मूल पूर्वधारणा की जाँच करना था कि कार को car wash तक ले जाना ही पड़ेगा
- Perplexity : "50m जैसी दूरी छोटी है, इसलिए पैदल जाऊँगा। इतनी कम दूरी के लिए कार चलाना inefficient है"
- ChatGPT 5.2 : "50m की दूरी हो तो पैदल चलना practical है। 30~40 सेकंड में पहुँचा जा सकता है। मौसम खराब हो या कुछ भारी सामान हो तो ड्राइव करूँगा, वरना पैदल जाना आसान और तर्कसंगत है"
- Claude : "50m हो तो पैदल जाऊँगा। ड्राइव करना बेतुका है। कार में gear डालने से पहले ही brake दबानी पड़ेगी। 30-45 सेकंड लगेंगे और parking की भी ज़रूरत नहीं"
- DeepSeek : "पैदल जाने पर फिर वापस आकर कार ले जानी होगी। सुविधा के लिए ड्राइव करें, और environment के लिए पैदल जाएँ (फिर बाद में ड्राइव करें)"
- Qwen3-Max : "हर हाल में पैदल जाना चाहिए। इतनी छोटी दूरी के लिए ड्राइव करना environment के लिए भी अच्छा नहीं। पैदल चलना exercise भी है"
यूज़रों की प्रतिक्रियाएँ और टिप्पणियाँ
- “पैदल जाने के लिए कार को उठाकर ले जाना पड़ेगा”
- “Deepseek ने कम से कम यह तो पहचाना कि कार को car wash तक ले जाना है”
- Gemini और ChatGPT ने कुछ मामलों में सवाल का trap पहचानकर सही जवाब भी दिया
- “क्या 50m की hose चाहिए?” इस सवाल पर GPT-OSS ने जवाब दिया, “25m काफी है”
- “यह ‘developer grocery problem’ जैसा ही है”
10 टिप्पणियां
Gemini 3.1 कहता है कि कार से जाओ
chatgpt 5.2 कहता है कि पैदल जाना ही तर्कसंगत है।
टेस्ट करके देखा, तो नतीजा यह रहा।
Gemini 3.0 Pro (Google AI Studio)
बिल्कुल आपको ड्राइव करके ही जाना चाहिए! 😄
कार धोनी है, तो कार का कार वॉश पर होना ज़रूरी है। अगर आप पैदल जाएंगे, तो सिर्फ़ आप ही कार वॉश तक पहुंचेंगे, जबकि जिसे धोना है वह कार वहीं शुरुआती जगह पर ही रह जाएगी।
50 मीटर बहुत कम दूरी है, लेकिन कार को साफ़-सुथरा धुलवाने के लिए कार लेकर ही जाइए!
Claude 4.5 Extended
50 मीटर तो सच में बहुत कम दूरी है!
अगर कार धुलवाने जा रहे हैं, तो ड्राइव करके जाना ही सही है। वैसे भी कार को कार वॉश तक ले जाना पड़ेगा।
लगभग 50 मीटर हो तो:
अगर आप सिर्फ़ यह देखने जा रहे हैं कि कार वॉश खुला है या नहीं, तो पैदल जाकर देख सकते हैं और फिर कार ले जा सकते हैं, लेकिन आम तौर पर सीधे कार चलाकर जाना ही ठीक है।
ChatGPT 5.2 Thinking Heavy Mode
कार धोने के लिए कार का कार वॉश पर होना ज़रूरी है, इसलिए आम तौर पर 50m ड्राइव करके जाना ही सही है। (अगर पैदल जाएंगे, तो सिर्फ़ आप ही पहुंचेंगे, इसलिए कार नहीं धुल पाएगी।)
हाँ, अपवाद के तौर पर इसे ऐसे बाँटना साफ़ रहेगा।
निष्कर्ष: सवाल जैसा पूछा गया है, उसके हिसाब से ड्राइव कीजिए। 50m में fuel/समय का फ़र्क भी लगभग नहीं होगा, और उपकरण या सामान (car wash supplies) ले जाने की ज़रूरत भी कम हो जाएगी।
वाक्य में ही यह संकेत है कि पैदल जाना ज़्यादा तर्कसंगत है। यह कुछ-कुछ ड्राइविंग लाइसेंस की लिखित परीक्षा जैसा है।
अगर कोई यह दावा करता है कि thought chain, inference या logical thinking के बराबर है, तो क्या वह कुछ ज़्यादा बढ़ा-चढ़ाकर कही गई बात नहीं होगी?
> 50 मीटर है तो पैदल जाएँ तो 1 मिनट भी नहीं लगेगा, लेकिन ड्राइव करके जाना पड़ेगा। कार wash कराने जा रहे हैं, तो कार साथ ले जानी होगी ना! 😄
Opus 4.6!
GPT 5.2 (Instant) को जितना ज़्यादा इस्तेमाल करते हैं, उतना साफ़ दिखता है कि यह एक छोटा मॉडल है। इस पर बिल्कुल भरोसा नहीं हो पाता, इसलिए सामान्य queries के लिए भी Thinking मॉडल ही इस्तेमाल करना पड़ता है...
GPT-5.2 का जवाब:
Thinkingसे पूछो तब भी यह पैदल जाने को ही कहता है।पैदल जाएँ।
50 मीटर बहुत कम दूरी है; कार स्टार्ट करने, मोड़ने और पार्क करने का समय जोड़ें तो ड्राइव करना पैदल चलने से ज़्यादा समय लेगा, और इससे इंजन का अनावश्यक घिसाव और emissions भी बढ़ेंगे। सिर्फ़ तभी ड्राइव करें जब कोई खास वजह हो (ले जाने के लिए भारी सामान, चलने-फिरने में दिक्कत, बहुत खराब मौसम, या सुरक्षा संबंधी चिंता जैसे फुटपाथ न होना/ट्रैफिक)।
Hacker News की राय
कई LLM को टेस्ट करते हुए उनकी ‘बुद्धिमत्ता की सीमा’ समझने की कोशिश की जा रही है
Sonnet, Opus 4.5, Gemini 3 Pro—सभी ने जवाब दिया “ड्राइव करना चाहिए”, लेकिन OpenAI 5.2 reasoning ने “चलकर जाओ” कहा
इसलिए जब यह साफ़ किया गया कि “कार घर पर है और car wash 50m दूर है”, तब GPT 5.2 ने जवाब दिया, “ड्राइव करो, लेकिन दूरी बहुत कम है इसलिए धीरे और सावधानी से जाओ”
यानी निष्कर्ष यह है कि स्पष्ट context देना महत्वपूर्ण है
कार कहाँ है, यह संकेत दिए बिना टेस्ट को बिगाड़ना मुश्किल है, लेकिन Claude Opus 4.6 ने सही तरह से “ड्राइव करना चाहिए” कहा
“अगर Alice काम से लौटकर कार चलाकर घर आई है, कागज़ लेती है, और 100m दूर garage जाना है?” → जवाब: “ड्राइव”
जो जानकारी इंसानों के लिए छोड़ी जा सकती है, वह model के लिए ज़रूरी हो सकती है
ऐसे साधारण उदाहरण में भी जटिल स्थितियों में यह ट्रैक करना मुश्किल हो जाता है कि विफलता क्यों हुई
बल्कि “walk or drive for <short distance>” जैसा वाक्य training data में ‘walk’ से मज़बूती से जुड़ा होने की वजह से ऐसा हुआ लगता है
prompt लंबा लिखकर context का वजन बदलने पर सही जवाब मिलने की वजह भी यही लगती है
यह चर्चा पहले ही Matt Shumer के ब्लॉग पोस्ट में आ चुकी है
मुफ़्त/पेड model के अंतर, model selection आदि कई बिंदु वहाँ संक्षेप में दिए गए हैं
कई लोगों की प्रतिक्रिया थी, “ऐसा सवाल इंसान से नहीं पूछा जाता”, लेकिन असल में लोग भी अस्पष्ट सवाल अक्सर पूछते हैं
LLM को ऐसे सवालों की भी सही व्याख्या करनी चाहिए
“prompt ठीक से लिखना चाहिए” वाली बात कुछ-कुछ AntennaGate के समय के “फोन को ग़लत पकड़ा” जैसे ज़िम्मेदारी टालने वाले तर्क जैसी लगती है
Gemini fast ने इसे “efficiency vs logic” की दुविधा की तरह लिया
उसने साफ़ कहा, “कार धुलवानी है तो अंततः कार को वहाँ ले जाना होगा”
लेकिन साथ ही यह शर्तीय अपवाद भी दिया कि “अगर परफ़्यूम खरीदने जाना हो या लाइन चेक करनी हो, तो पैदल जाया जा सकता है”
यह trick TikTok पर वायरल हुई थी और अब patch हो चुकी है
मिलते-जुलते नतीजे चाहिए हों तो “45m” कर दो
नया ट्रेंड “उल्टा रखा हुआ काँच का गिलास” वाला सवाल है (https://www.tiktok.com/t/ZP89Khv9t/)
अलग-अलग prompt variants पर प्रयोग करने से लगा कि model पहले “walk” चुनता है और फिर उसके कारण को बाद में तर्कसंगत ठहराता है
लेकिन अगर उससे कहा जाए, “जवाब देने से पहले ज़रूरी शर्तें समझाओ”,
तो वह इस निष्कर्ष पर पहुँचता है कि “car wash करने के लिए कार को वहाँ ले जाना होगा, इसलिए ड्राइव करना चाहिए”
यानी ‘सोचने की प्रक्रिया को मजबूर करने’ पर ज़्यादा तार्किक जवाब मिलता है
यह इंसानी System-1 vs System-2 thinking जैसा है
model providers इसे default prompt में नहीं डालते, शायद वजह token cost कम रखना हो
नए models में से ज़्यादातर अब यह टेस्ट पास कर लेते हैं
हालाँकि वे “ज़्यादातर car wash के लिए कार का मौजूद होना ज़रूरी होता है” जैसी सावधान भाषा इस्तेमाल करने की प्रवृत्ति रखते हैं
ऐसी अस्पष्टता AI के जोखिम को दिखाती है
मेडिकल क्षेत्र में भी इसी तरह की common-sense reasoning failure होती है
उदाहरण: बिना बाँह वाले बच्चे का blood pressure माथे से मापना चाहिए—ऐसा ग़लत निष्कर्ष निकाला गया (https://www.nature.com/articles/s41598-025-22940-0)
सही जवाब था: “IV fluids शुरू करो”
सिर्फ़ ‘किताबी सीख’ से यहाँ तक पहुँचना भी कमाल है
अगला चरण शायद medical simulator-आधारित training होगा
कई AI जवाब दें और इंसान cross-check करे—शायद यही व्यावहारिक समाधान है
अगर आपको इस तरह के सवाल पसंद हैं, तो SimpleBench दिलचस्प है
ऊपर से यह पाठ्यपुस्तक के सवाल जैसा लगता है, लेकिन असल में इसमें कई ऐसे प्रश्न हैं जिनमें common-sense judgment चाहिए
यह ऐसा benchmark है जो सिर्फ़ साधारण language pattern में फँसे बिना, मानवीय intuition निकालने की क्षमता को टेस्ट करता है
कुछ लोगों ने उसी
"अगर कार वॉश 50 मीटर दूर है, तो क्या आप पैदल जाएंगे या ड्राइव करेंगे?"
सवाल पर भी शुरुआत में यही कहा कि पैदल जाओ,
लेकिन अगर reasoning mode चालू करें
तो कहते हैं कि यह परिस्थितियों पर निर्भर है, या कार वॉश करनी है तो कार लेकर जाना होगा।
एक और बात जो ज़्यादा तर्कसंगत लगी,
वह यह थी कि मैं खुद भी यह सवाल पूछते समय यह नहीं सोच पाया कि कार वॉश पर आखिर जाना किसलिए है,
और कुछ जवाबों में
उल्टा यह पूछा गया कि कार वॉश पर जाने का मकसद क्या कार धुलाई है या वहाँ का सामान खरीदना?
मैंने मुख्य पोस्ट में दिया गया सवाल ज्यों का त्यों कॉपी किया था,
उसमें कर्म ही नहीं है..
और वास्तव में
इंसान भी अपने दिमाग में मौजूद उद्देश्य या कर्ता को छोड़कर
सामने वाले तक बात पहुँचा देता है,
और उम्मीद करता है कि दूसरा ठीक से समझ जाएगा,
लेकिन सामने वाला अपने सोचने के ढंग के आधार पर
इरादे से अलग तरह से समझता है
और अलग तरह से व्यवहार करने लगता है....
अगर समस्या सच में वही वाक्य हो जैसा लिखा है,
तो इंसान भी अपने व्यक्तिपरक नज़रिए के अनुसार अलग निर्णय लेगा..
इसलिए AI के जवाब से मैं निराश होने के बजाय
यह सोचता हूँ कि निर्देश स्पष्ट देना और कर्ता-कर्म साफ़ रखना इंसानों के साथ भी उतना ही ज़रूरी है,
और तब उन लोगों की याद आती है जो
अस्पष्ट prompt देकर
अधिकतम अपेक्षित परिणाम नहीं पा सके,
और फिर कहते हैं कि अभी AI जल्दी है या यह गलत जवाब देता है।
👍👍👍