Gemini “बतख” डेमो रियल-टाइम या वॉइस के जरिए नहीं किया गया था
(twitter.com/parmy)- Google का प्रभावशाली Gemini बतख डेमो, सार्वजनिक वीडियो से मिले संकेतों के विपरीत, रियल-टाइम बातचीत या वॉइस इनपुट से नहीं किया गया था
- मॉडल को वीडियो सीधे प्रोसेस करने के लिए नहीं दिया गया था; इसके बजाय सीन से निकाली गई स्थिर images दी गई थीं
- एक प्रवक्ता ने बताया कि मानव prompts भी साथ में इस्तेमाल किए गए थे, और वीडियो में मौजूद voice narration बाद में जोड़ा गया था
- असल प्रक्रिया अंतिम वीडियो में दिखने वाले रियल-टाइम·वॉइस interaction से अलग थी
- Gemini डेमो का मूल्यांकन करते समय staged वीडियो और मॉडल को वास्तव में दिए गए input में फर्क करना चाहिए
Gemini बतख डेमो वास्तव में कैसे किया गया
- Google का Gemini डेमो जिसमें बतख दिखाई देती है, रियल-टाइम में किया गया नहीं था
- मॉडल ने वीडियो को सीधे रियल-टाइम में प्रोसेस नहीं किया; उसे वीडियो सीन से ली गई स्थिर images input के रूप में मिलीं
- मानव prompts मॉडल को दिए गए थे, और उन prompts की narration बाद में जोड़ी गई थी
- यह प्रक्रिया एक प्रवक्ता के माध्यम से सामने आई
संबंधित लिंक
- विस्तृत जानकारी Bloomberg Opinion लेख से लिंक होती है: bloomberg.com/opinion/articl…
1 टिप्पणियां
Hacker News की राय
यूनिवर्सिटी में हमने भी कुछ ऐसा ही किया था
पहले computer science क्लास में हमें Raspberry Pi मिला था, और coding अनुभव या निर्देशों के बिना “कुछ” बनाने का assignment था। Submission code नहीं, सिर्फ working demo था
हम 3 लोगों ने humidity sensor खरीदा, उसे Pi से जोड़ा, और कहा कि हम उसे पुल के नीचे लगाकर बाढ़ आने से ठीक पहले अधिकारियों को email भेजने वाला बाढ़ detection system बनाएंगे
असली demo में classroom के पीछे Gmail खोले हुए एक दोस्त “बाढ़ चेतावनी” email भेजने के लिए तैयार बैठा था, और script बस
waitके बीच वाक्य print कर रही थी। “नमी का इंतज़ार” print करने के बाद 3 सेकंड बाद “नमी detect हुई” print होने के दौरान हमने sensor को पानी के कप में डुबोया, फिर “xxx@yyy.com को email भेजा जा रहा है” print होते ही पीछे वाले दोस्त ने send दबाया, email आ गया, और हमें full marks मिलेबड़े project के तैयार होने से पहले भी customer कभी-कभी उसका कुछ हिस्सा पूरा हुआ जैसा देखना चाहते हैं, और यह समझे बिना finished state की उम्मीद करते हैं कि users को दिखाई न देने वाला काम 90% होता है
Dummy HMI setup करना, demo के दौरान किसी का button दबाना, और बगल वाले कमरे में किसी दूसरे का manually output और input manipulate करके उसे सचमुच काम करता हुआ दिखाना काफी आम है
Process के दौरान हाथ में मौजूद सभी GPS receivers खराब कर दिए थे; वह RS-232 GPS module model वाकई कमजोर था। इसलिए real-time navigation का demo नहीं दे सकता था, और वैसे भी वह पूरा नहीं बना था
फिर भी GUI पूरा करने के बाद “navigation के दौरान यह ऐसा दिखता है” का नाटक किया, और navigation code असल में चलाया ही नहीं। यह marks में गिनी जाने वाली activity नहीं थी, लेकिन आज भी थोड़ा अजीब लगता है
यह सचमुच अजीब है। Google ने इन सभी models की बुनियाद Transformer का आविष्कार किया था, फिर भी वह इस तरह लगातार कैसे चूक सकता है, समझ नहीं आता
Google Docs 2006 में आया था, लेकिन Microsoft उसका lunch खा रहा है। Google ने VM को जगह पर ही बदलने की capability और fully automated datacenter बनाए, लेकिन cloud में Amazon और Microsoft आगे हैं। Self-driving पर भी सबसे लंबे समय से काम किया, लेकिन Tesla ने पकड़ लिया है और शायद जीत भी जाए
चूकों का scale बहुत बड़ा है
नाम अलग था और शायद SharePoint नहीं था, और लगता है expense reports जैसी चीज़ों से जुड़ा था। आज के Google Docs को भी शर्मिंदा कर देता, लेकिन वे अपने ही product को cannibalize नहीं करना चाहते थे
Product में dedication और iteration चाहिए, और आखिरी 10% सबसे अहम होता है। लेकिन Google products को finish line के पार धकेलने से लगातार इनकार करता है और छोड़ देता है, फिर वे बदनाम Google Product Graveyard में जुड़ जाते हैं
सच कहूं तो, इसका मतलब ही क्या है। बस core search/ads बनाए रखें, और घटिया interview process से आए महंगे engineers के दसियों हजार लोगों पर billions of dollars खर्च न करें
Generative AI की foundational research पर दबदबा रखते हुए भी consumer products में सीधे मुंह गिरना उसी company जैसा है जिसने Stadia, GMail/Inbox, और 17 chat apps बनाए
Gmail के बाद Google ने अपने दम पर कोई ढंग का product launch किया हो, ऐसे examples बहुत कम हैं, और Gmail भी search monopoly को free billboard की तरह इस्तेमाल करके बढ़ा
यह भी लिखा है कि “Google Docs की शुरुआत web-based word processor Writely से हुई थी, जिसे software company Upstartle ने अगस्त 2005 में launch किया था”
Google हमेशा जिस चीज़ की परवाह करता रहा है, वह applications को अरबों users तक ले जाना था
यह भी भुलाया जा रहा है कि अभी Google दुनिया की सबसे profitable AI company है। उसके सभी products machine learning और AI का इस्तेमाल करते हैं
तो हार कौन रहा है? Gemini का goal, Bard के होते हुए भी ChatGPT जैसा chatbot बनाना नहीं, बल्कि उसे 1 billion users वाले 10 products में integrate करना है
Gemini webpage और पूरा content अजीब लगा। वह Apple marketing material जैसा दिखने और महसूस होने की कोशिश करता हुआ uncanny valley में चला गया था
बढ़ा-चढ़ाकर लिखी copy, surgery जैसी precision से fit की गई racial/gender diversity, बेकार animations, CEO की sales-style presentation तक—ऐसा लगा जैसे इस field का कोई छोटा player बड़े player जैसा दिखने की कोशिश कर रहा हो
Apple keynote ऐसे दिखते हैं जैसे uncanny valley से अभी-अभी बाहर निकले robots इंसान होने का नाटक कर रहे हों। 5 साल बाद keynotes AI से बनाए जाएं तो शायद ऐसे ही दिखें, इसलिए Apple keynote trends में भी हमेशा आगे ही है
लगता है Google दिखाना चाहता है कि वे उसी मैदान में खड़े हैं
Marketing में diversity इस्तेमाल करने की वजह यह है कि target market खुद diverse है। बस यह “surgery जैसी precise” कैसे है, यह मुझे ठीक से समझ नहीं आता
Sundar ने मॉडल से ऐसे बहुत-से तथ्य कहलवाने के लिए prompt डाला जिनमें सच/झूठ अलग हो सकता था—यह एक बड़ा red flag था
प्रकाशित benchmark आंकड़ों को देखें तो ज़्यादातर सुधार मामूली थे, यानी hallucination की समस्या हल नहीं हुई थी। लेकिन demo ऐसा दिखा रहा था मानो यह हल हो चुकी हो। आखिरकार, मुझे लगता है उन्होंने मुख्यतः ऐसे मामले चुने जहाँ मॉडल संयोग से सही निकला या लगातार सुसंगत जानकारी देता रहा
क्षमता को बढ़ा-चढ़ाकर दिखाया गया, लेकिन कई modalities में वास्तविक रूप से देखी जा सकने वाली घटनाओं पर एक सुसंगत concept तक पहुँचने के लिए multimodal model की ज़रूरत पड़ेगी, ऐसा लगता है। यह अच्छी प्रगति है, लेकिन अब उन्हें भरोसेमंद तरीके से दिखाना होगा कि कोई खास architecture सच में causality को model करता है
कुछ ऐसा था, “क्या आपको लगता है कि गर्म हवा की जेब ने low pressure बनाया और इसी वजह से airplane stall हुआ?” और सवाल खुद भी इतना अटपटा था कि ठीक से बोलना मुश्किल लग रहा था। सच में शर्मनाक था
[1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
खुद इस्तेमाल करके देखें तो आसानी से समझ आ जाएगा। अपने autoregressive स्वभाव के कारण LLM जवाब देने से पहले internally एक सुसंगत model नहीं बना सकता। chain-of-thought जैसे approaches हैं, लेकिन वे बस patchwork हैं और समस्या को सतही तौर पर ही address करते हैं
अगर यह हल हो सकती है, तो यह बहुत बुनियादी और मूलभूत scientific importance वाली चीज़ होगी और AI में एक और छोटा breakthrough बन सकती है
ये input sequence के बाद बस वह output sequence उगलते हैं जो उन्हें सबसे plausible लगता है। “सबसे plausible” को कैसे define किया जाए, यह बहुत research का विषय है, लेकिन factual accuracy के लिए optimize करना बिल्कुल अलग बात है
coding problems जैसे कुछ मामलों में ये समझदार लग सकते हैं, क्योंकि किसी खास prompt के लिए internet text का मोटा-मोटी consensus अक्सर facts के काफी करीब होता है और non-experts के कचरा content से कम दूषित होता है। सामान्य fluffy “content” generation भी ये अच्छी तरह करते हैं, लेकिन उसकी value क्या है, पता नहीं
अंत में लौटने वाली जानकारी की quality एक thorough Google search की quality से बेहतर नहीं होती; बस यह ज्यादा तेज़, संक्षिप्त और अच्छे से सजाया हुआ जवाब दे देती है
मैं धोखा खा गया। Model launch announcement में लिखा था कि यह video और audio multimodal input ले सकता है
मुझे पता था कि editing और cuts बहुत हैं, लेकिन मैंने सच में माना कि मैं video और audio input के examples देख रहा हूँ। text और still images से “आँखों और कानों” तक जाना बड़ा leap था, इसलिए मैं पूरी तरह प्रभावित हो गया। instrument बनाने और music generate होने वाला हिस्सा भी था, इसलिए मुझे लगा मैं language prompt से music बनाने वाला model देख रहा हूँ, जैसा specialized models करते हैं
लेकिन सब fake था। यह curated prompt engineering examples को इकट्ठा करके shareholders की excitement maximize करने के लिए dramatize किया गया था। music example में हमने video में जो music सुना वह generate नहीं किया गया था; उसने बस गाने का description output किया था
“ऐसा संभव हो सकता है” कहने वाले exaggerated video और यह दावा करते हुए कि नया multimodal model सबसे अच्छा है, benchmarks manipulate करना और demo में धोखा देना—ये बिल्कुल अलग चीज़ें हैं
Google लगता है evil phase में प्रवेश कर गया है। OpenAI और Microsoft शायद काफी खुश हो रहे होंगे
product का future दिखाने वाला forward-looking demo, जिसमें यह साफ़ हो कि हम अभी वहाँ नहीं पहुँचे हैं लेकिन उस दिशा में जा रहे हैं, या current capabilities को सबसे अच्छे रूप में दिखाने के लिए scripted और edited demo—ये standard practice हैं और स्वीकार्य हैं
लेकिन Google ने जो किया वह बस गलत था। इस पर backlash मिलना चाहिए
लगता है investors खुद धोखा खाना चाहते हैं। due diligence की गुंजाइश नहीं, और झूठ सुनते हुए भी Taylor Swift fans की तरह उत्साह में चीखते हैं
ये बड़ी कंपनियाँ जितनी देर तक और जितना ज्यादा बच निकल सकती हैं, उतना करती रहती हैं। इसमें ऐसा nuance है जैसे हमारा काम बस यह इंतज़ार करना है कि वे कभी “not evil phase” देने की कृपा करें, जबकि असल में हमें पिछले 30 वर्षों में व्यवस्थित रूप से dismantle की गई antitrust regulation को restore करना होगा
video में data की मात्रा बहुत ज्यादा होती है, इसलिए मैंने सोचा था कि शायद यह प्रति सेकंड लगभग एक frame निकालकर image की तरह process करता होगा, लेकिन initial input पूरा video लेता होगा
पता चला कि इतना भी नहीं था
shareholders को खुश करने के लिए ऐसे exaggerated videos बनाना research division पर भरोसा खत्म कर देता है। मुझे नहीं लगता कि Bert announce करते समय उन्होंने ऐसा किया था
T9 के दौर से ही Swype input इस्तेमाल करता आया हूं
QWERTY keyboard के आदी लोगों को अगर मैं रोज़मर्रा में जिस तरह इस्तेमाल करता हूं, ठीक उसी तरह Swype input दिखाऊं, तो कोई भी इसे नहीं अपनाएगा
गलत शब्द का अनुमान लगाने या उसे सुधारने की दर शायद 10–20% तक होती है। लेकिन इसे ठीक करना आसान है, इसलिए समस्या नहीं बनती और बिल्कुल धीमा नहीं करती। कई text input तरीकों में यह मुझे निजी तौर पर सबसे अच्छा लगता है, लेकिन इसे इस्तेमाल करना सीखने में समय लगता है
मुझे लगता है सभी products ऐसे ही होते हैं। 100 घंटे तक आदत डालने और edge cases में correction करने के बाद अगर कोई दिखाए कि यह असल में कैसे काम करता है, तो कोई भी कुछ नहीं अपनाएगा
दोनों ही खराब हैं, इसलिए समाधान क्या है, मुझे ठीक से नहीं पता
सुधार: फोन पर Swype से लिख रहा हूं, इसलिए इस context के हिसाब से typos वैसे ही छोड़ दूंगा
यह ऐसा है जैसे Swype keyboard demo में गलतियां सुधारने के लिए telepathic mind control जोड़ दिया गया हो
दुर्भाग्य से iOS text editing भी पूरी तरह बेकार है। यह अजीब selection area मजबूर करता है, और सुधारे हुए text को अटपटे तरीके से insert करता है
मैं QWERTY से text type करता हूं, लेकिन iOS का text input पूरी तरह disaster है और समय के साथ और खराब होता गया है
Swype में आपको पहले से पता होता है कि सही output कैसा दिखना चाहिए। output अगर आपकी चाहत से अलग हो, तो आप तुरंत पहचानकर ठीक कर देते हैं
LLM से सवाल पूछते समय जरूरी नहीं कि आपको सही जवाब पता हो। अगर output पर्याप्त आत्मविश्वासी दिखे, तो लोग उसे सच मान लेते हैं। experiments और testing को छोड़ दें, तो लोग LLM से वे सवाल नहीं पूछते जिनका जवाब उन्हें पहले से पता हो
handwriting recognition के keyboard की जगह न ले पाने की मुख्य वजह भी यही है। handwriting text में बदलने के बाद errors को pointer और keyboard से ठीक करना आसान होता है। कुछ बार ऐसा करने के बाद ज्यादातर लोग सोचते हैं, “चलो शुरुआत से ही pointer और keyboard से शुरू करके समय बचाते हैं”
तो सवाल यह है कि generative AI output में errors ढूंढना और ठीक करना कितना आसान है। दुर्भाग्य से, अगर आपको जवाब पहले से पता न हो, तो errors पकड़ना बहुत मुश्किल हो सकता है
Swype keyboard सीखने के लिए practice चाहिए, लेकिन ऐसे input method का demo आम तौर पर presenter के “expert” होने पर भी realistic use दिखाता है
इस तरह के demo लोगों को product असल में क्या कर सकता है, इसे लेकर गलतफहमी में डालते हैं, और आखिरकार अपरिहार्य cynical backlash को बढ़ाते हैं। अगर product सचमुच शानदार है, तो realistic feature demo से ही लोग पहचान लेंगे
Twitter पर link किया गया Bloomberg page अब हट चुका है।[1] alternative page [2] है, और नए page में लिखा है कि उसका कुछ हिस्सा fake था। पुराना page archive में नहीं मिला
[1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
[2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
यह असली video, audio, images और company marketing पर भरोसे को लेकर शक करने, और verification से पहले उन्हें generated मानकर चलने का बेहतरीन उदाहरण लगता है
अगर voice, email, chat और जल्द ही video तक सब कुछ real-time या लगभग real-time में generate किया जा सकता है, तो मैं सोचता हूं कि कैसे भरोसा किया जाए कि कोई remote employee सच में पूरी तरह या आंशिक रूप से generated entity नहीं है
verification के लिए shared secret अच्छा है, लेकिन जब शरीर पूरी तरह remote हो, तो समाधान क्या है?
मैं अभी travel कर रहा हूं, और कोई family member lost luggage का दावा करते हुए Venmo request भेजे, तो कैसे verify करूं कि वह मैं ही हूं?
झूठ तो सच के starting line से निकलने से पहले ही पूरी दुनिया घूम आएगा, लेकिन इसका मतलब यह नहीं कि उसे यूं ही छोड़ दिया जाए
वीडियो खुद और वीडियो के विवरण में उसी आशय का disclaimer था। फिर भी मैं सहमत हूँ कि कुछ लोग Gemini कैसे काम करता है, इसे गलत समझकर जा सकते हैं
अच्छा होगा अगर real-time interaction जल्द ही ऐप का हिस्सा बन जाए। तकनीकी बाधाएँ बहुत ज़्यादा लगती नहीं हैं
दूसरी जगहों पर ज़्यादातर details सार्वजनिक की गईं, लेकिन वीडियो खुद बहुत भ्रामक तरीके से बनाया और edit किया गया था। वे चाहते थे कि लोग मानें कि यह simple voice prompts और video feed पर जटिल तरीके से प्रतिक्रिया दे रहा है, जबकि असल में ऐसा नहीं था
यह “Gemini को video नहीं, बल्कि चुनी हुई still images input के रूप में दी गईं” से अलग बात है
उस वीडियो ने मेरे सहित बहुत लोगों को धोखा दिया। यह कोई आम, बहुत ज़्यादा optimized/scripted demo नहीं था
यह एक ऐसे feature को दिखाने वाला साफ़ झूठा विज्ञापन था जो मौजूद ही नहीं था, और सच कहूँ तो Google के लिए शर्मनाक हरकत है
AI-generated content और व्यापक manipulation के context को देखते हुए, मुझे यह वीडियो deceptive लगा। मेरे लिए वीडियो में इकलौती impressive बात यह थी कि वह real-time में video process करता हुआ तेज़ और flexible responsiveness दिखा रहा था, लेकिन उनमें से कुछ भी असली नहीं था। लगभग scam जैसा
मुझे भी इस तरह धोखा हुआ कि Gemini still images और text prompts नहीं ले रहा, बल्कि video/audio feed के ज़रिए देख और सुन रहा है
still images और video feed के बीच फर्क शायद बहुत बड़ा न लगे, लेकिन असल में bot को लगातार बेवकूफ़ी भरी बातें करते रहने से बचने के लिए बदलते context को काफी समझना पड़ता है
साथ ही real-time video feed बातचीत में सही समय पर चुप रहने के लिए अभी नहीं पता वाली state को पहचानना पड़ता है, और generative AI में यह बदनाम रूप से कठिन है
बेशक कुछ hacks और heuristics डालकर इसे आसान बनाया जा सकता है, लेकिन bot को बातचीत में मानव partner जैसा दिखाना सचमुच कठिन है। वीडियो की “conversation” में सबसे impressive हिस्सा यही था, पर अफ़सोस कि वह सब fake था :(