Bing AI पर भरोसा नहीं किया जा सकता

• अब सभी जानते हैं कि Google Bard ने विज्ञापन में गलत जवाब दिया था, लेकिन Bing AI ने भी डेमो में पूरी तरह गलत जवाब दिए और किसी का ध्यान ही नहीं गया

पालतू जानवरों के लिए वैक्यूम क्लीनर

• जब Pet Vacuums खोजा गया, तो एक प्रोडक्ट की कमी के रूप में लिखा था: "सक्शन कम है, cord छोटा है, और यह शोर करता है"
• मैंने source के तौर पर दिए गए hgtv लेख को जाकर देखा, लेकिन उसमें ऐसा कुछ भी नहीं था। बल्कि वह प्रोडक्ट cordless था। यानी "बिना cord वाला" handheld vacuum cleaner

Mexico Nightlife

• Bing ने Mexico City के लिए 5 दिन की यात्रा योजना बनाई, और उससे पूछा गया कि शाम को क्या किया जा सकता है
• जो Bar वेब पर बुकिंग योग्य बताया गया, उसका कोई वेबसाइट ही नहीं है
• जिस nightclub को युवाओं में लोकप्रिय बताया गया, उसके 2014/16 के बाद कोई review नहीं मिले। लगता है इस जगह के बारे में सब कुछ AI ने गढ़ लिया
• जिस Bar को आकर्षक बताया गया, वह Mexico का सबसे पुराना gay bar है। वहाँ Google पर 500 से अधिक reviews हैं, फिर भी यह लिखना कि उसकी कोई rating/review नहीं है, काफ़ी प्रभावशाली है
• 5 सुझाई गई जगहों में से सिर्फ़ 1 ही सही थी

Gap के financial statements का सारांश

• डेमो के दौरान यह सबसे बड़ी और सबसे अप्रत्याशित गलती थी
• Gross Margin को 37.4% बताया गया, लेकिन वह Unadjusted Gross Margin था। impairment cost को adjust करने के बाद Gross Margin 38.7% है
• operating margin को 5.9% बताया गया, लेकिन दस्तावेज़ में कहीं भी यह संख्या नहीं है
• diluted EPS भी $1.6/$1.75 बताया गया, जबकि दस्तावेज़ में ऐसी कोई संख्या नहीं है; सही संख्या $0.71/$0.77 है
• 2022 guidance में लिखा गया कि net sales growth low double digits रहने की उम्मीद है, जबकि वास्तव में mid-single digits तक गिरने की आशंका जताई गई है
• या तो यह किसी अलग दस्तावेज़ से लिया गया था, या फिर पूरी तरह गढ़ा गया था
• Gap और Lululemon की तुलना में भी यही समस्या है
• Lululemon का data भी source material के अंकों से मेल नहीं खाता

निष्कर्ष

• Bing AI मीडिया का ध्यान खींचने में सफल रहा, लेकिन यह Google Bard से बिल्कुल भी बेहतर नहीं है
• यह विश्वास करना मुश्किल है कि Bing टीम ने यह pre-launch demo गलत सामग्री के साथ रिकॉर्ड किया
• इससे भी ज़्यादा हैरानी की बात यह है कि इसे सफल माना गया, और बिना ठीक से जाँचे सभी लोग Bing AI की तारीफ़ में लग गए
• Bing AI दस्तावेज़ों से सटीक संख्याएँ निकाल नहीं पाता, और source होने का दावा करते हुए भी बहुत आत्मविश्वास से मनगढ़ंत जानकारी बना देता है
• जो लोग सटीक तथ्य चाहते हैं, उनके लिए यह ऐसा product है जिसका अभी इस्तेमाल नहीं करना चाहिए; यह अभी तैयार नहीं है

[dbs0829]

मैं भी deep learning पर लगातार शोध करते हुए यह सोचता रहा हूँ कि models में over-confidence की समस्या काफ़ी बड़ी है, और यहाँ भी कुछ वैसी ही समस्या दिख रही है।

[kherootz]

मनमाने ढंग से स्रोत बना देने की समस्या ChatGPT में भी इतनी गंभीर है कि Bard से काफ़ी उम्मीदें थीं..

[xguru]

इसे ChatGPT is blurry JPEG of the Web के साथ जोड़कर देखना चाहिए, ऐसा लगता है।

[blueprajna]

लगता है उन्होंने सच में इंसान जैसी AI बना ली है

[dante]

यह chat GPT पर भी बिल्कुल वही लागू होता है। अगर आपके पास विशेषज्ञ ज्ञान नहीं है, तो ऐसे कई जवाब होते हैं जिनकी गड़बड़ी तुरंत पकड़ में नहीं आती।

[qyurila]

ChatGPT के मामले में फ़र्क यह है कि OpenAI ने साफ़ तौर पर बताया है कि यह इंटरनेट से कनेक्ट नहीं है, और इसकी डिज़ाइन के अनुसार ऊपर जैसे सवालों पर यह अक्सर जवाब देने से इंकार भी करता है।

[jujumilk3]

सही है, अगर नहीं पता तो कहना चाहिए कि नहीं पता, लेकिन लगता है बार-बार झूठ बोलता है