हमने ‘Bullshit’ को automate कर दिया

• ChatGPT जैसी generative AI logic या fact-checking से ज़्यादा इंटरनेट text को विश्वसनीय ढंग से predict और imitate करके काम करती है, इसलिए इसकी आलोचना Bullshit automation के रूप में होती है
• Rodney Brooks का सार कि यह “जो plausible लगे, उसे गढ़ देती है” Emily Bender और Timnit Gebru के stochastic parrots paper, और Murray Shanahan के large language models के analysis से मेल खाता है
• Harry Frankfurt की परिभाषा में Bullshit झूठ की तरह सच का खंडन करने वाली बात नहीं, बल्कि सच की परवाह न करने वाली बात है—यही बात ChatGPT के outputs से जुड़ती है
• Geoff Hinton chatbot के खतरे को superintelligence से ज़्यादा, बिना intelligence के भी persuasive text भारी मात्रा में generate करने की क्षमता में देखते हैं, और political persuasion के automation को लेकर चिंतित हैं
• AI के लिए replace करना आसान शायद मूल्यवान श्रम नहीं, बल्कि बेकार reports, message passing, complaints handling जैसे Bullshit Jobs हो सकते हैं; इसलिए regulation का focus भी AI खुद से ज़्यादा Bullshit के production और spread पर होना चाहिए

---

ChatGPT Bullshit generator जैसा क्यों दिखता है

• ChatGPT logic या facts को verify करने के बजाय इंटरनेट पर मिले text patterns की नकल करने वाले algorithms पर आधारित है
• Rodney Brooks ChatGPT को ऐसे system के रूप में summarize करते हैं जो “बस वही गढ़ देता है जो plausible सुनाई दे”
  • “plausibility” इंटरनेट text को imitate करने वाले algorithm से जुड़ी है
  • “गढ़ना” इस बात की ओर इशारा करता है कि यह logic या facts से ज़्यादा predicted text की randomness पर निर्भर करता है
• Emily Bender, Timnit Gebru और उनके साथियों का stochastic parrots paper, और Murray Shanahan की large language models पर चर्चा भी इसी text prediction principle को अधिक technical रूप में समझाती है

Frankfurt की परिभाषा: सच से बेपरवाह बात

• Harry Frankfurt की On Bullshit में Bullshitter झूठे व्यक्ति की तरह सच की authority को reject नहीं करता, लेकिन सच पर बिल्कुल ध्यान नहीं देता
• यह परिभाषा ChatGPT के working mechanism पर Brooks, Bender, Shanahan और Hinton के analyses से मेल खाती है
• Frankfurt के अनुसार Bullshit झूठ से भी सच का बड़ा दुश्मन है
  • झूठ कम-से-कम सच के साथ किसी संबंध को मानकर चलता है
  • Bullshit से बचना तब मुश्किल होता है जब बोलने वाले को खुद पता न हो कि वह क्या कह रहा है, फिर भी उसे बोलना पड़े

Persuasive text से पैदा होने वाला political risk

• Geoff Hinton chatbot का मुख्य खतरा superintelligence खुद में नहीं, बल्कि बिना intelligence के भी बहुत persuasive text बनाने की क्षमता में देखते हैं
• यह चिंता Donald Trump और Boris Johnson जैसी political persuasion की शैली से जुड़ती है
• जिस दुनिया में public debate में evidence और logic का सम्मान नहीं होता, वहां evidence या logic के बिना काम करने वाला system superhumanly persuasive text के जरिए खराब political leaders की नकल कर सकता है और उनकी जगह ले सकता है

Bullshit Jobs और AI automation

• David Graeber की Bullshit Jobs Elon Musk द्वारा British Prime Minister से कही गई “किसी को भी काम करने की जरूरत नहीं होगी” वाली AI future की बात से जुड़ती है
• Graeber का analysis है कि UK workers के 30% से अधिक मानते हैं कि उनका काम society में कोई value contribute नहीं करता
• ऐसे कामों में बेकार reports लिखना, लोगों के बीच messages पहुंचाना, और ऐसी complaints सुनना जिन्हें solve नहीं किया जा सकता, शामिल हैं
  • इन tasks के हर हिस्से को ChatGPT आसानी से कर सकता है
• university education का एक हिस्सा young people को bureaucratic procedures के आगे झुकना सिखा सकता है, और उनसे लंबे texts लिखवा सकता है जिन्हें शायद ही कोई पढ़े
• Boris Johnson जैसे लोगों को पैदा करने वाली education में सच पर बारीक ध्यान देने से ज़्यादा verbal fluency और entertaining arguments को reward किया जा सकता है

Training data और regulation का focus

• ChatGPT जैसे AI systems Twitter, Facebook, Reddit जैसे विशाल Bullshit archives और Wikipedia, professional writers की writings जैसे actual facts मिले-जुले materials पर train होते हैं
• ChatGPT के अंदर यह check करने वाला कोई algorithm नहीं है कि कौन-सा हिस्सा सच है
• जैसे Twitter सच-झूठ की परवाह न करने वाले politicians के Bullshit को encourage करता है, वैसे ही उनके छोड़े हुए records automatic Bullshit generator को train करने में इस्तेमाल हो सकते हैं
• regulate करने की चीज AI खुद नहीं, बल्कि Bullshit है
• कौन-सा काम valuable है और किसे खुशी-खुशी खत्म किया जा सकता है, यह अलग करने के लिए AI summits से ज़्यादा Bullshit पर conferences की जरूरत है

आगे पढ़ने के लिए

• Designing Alternatives to AI MIT Press से 2024 में प्रकाशित होने वाली है और इसका free online preview उपलब्ध है
• Murray Shanahan की Talking About Large Language Models arXiv:2212.03551 पर देखी जा सकती है
• Rodney Brooks से संबंधित लेख IEEE Spectrum में “Just Calm Down About GPT-4 Already” में प्रकाशित हुआ

[GN⁺]

Hacker News टिप्पणियाँ

• मुझे लगता है यह लेख कई मायनों में सही है। LLM जैसे इस सिद्धांत पर चलते हैं कि “क्या यह सही जवाब जैसा लगेगा”, न कि इस तरह कि “यह ऐसे काम करता है, इसलिए सवाल का तार्किक जवाब यह है”
  हालांकि यह भी मानना होगा कि कुछ मौकों पर LLM सच में अच्छे जवाब बना देते हैं। जैसे जब कोड snippet माँगने पर वह सही निकलता है; हो सकता है smell test पास करने वाला जवाब संयोग से अच्छा जवाब हो, लेकिन वह फिर भी अच्छा जवाब है
  मूल बात यह है कि LLM ने सही पकड़ा या नहीं, यह जानने के लिए मुझे पहले से पता होना चाहिए कि मैं क्या कर रहा हूँ। अगर मैं इतिहासकार नहीं हूँ और cGPT से प्रथम विश्व युद्ध के कारणों पर essay लिखवाऊँ, तो वह सुनने में विश्वसनीय लगेगा, लेकिन मुझे नहीं पता होगा कि उसने वे बातें कवर की हैं या नहीं जिन्हें कोई असली इतिहासकार महत्वपूर्ण मानेगा। वह बस ऐसा साधारण जवाब देता है जिसे थोड़ा-बहुत पढ़ा हुआ आम व्यक्ति सही मान सकता है
  ज्यादातर लोग सिर्फ एक ही क्षेत्र में विशेषज्ञ होते हैं, इसलिए जिन सभी क्षेत्रों को मैं नहीं जानता, उनमें LLM मुझे धोखा न दे, इसे रोकने का मेरे पास कोई तरीका नहीं है। इसलिए अपने विशेषज्ञता-क्षेत्र से बाहर इसका उपयोग करते समय सावधान रहना चाहिए
  मौजूदा चरण के LLM को मैं विशेषज्ञों के लिए shortcut tool मानता हूँ। मैं जान सकता हूँ कि मेरे क्षेत्र का कोई code snippet सही है या गलत, लेकिन जो व्यक्ति उस क्षेत्र में काम नहीं करता वह भ्रमित हो सकता है

  • शायद नाम में ही संकेत है। यह language model है, knowledge model नहीं
    LLM ऐसी चीज़ें बनाने में उत्कृष्ट हैं जो coherent भाषा जैसी दिखती हैं। जैसे parts of speech वाक्य में अपेक्षित जगहों पर आ जाते हैं। समस्या यह है कि language modeling और knowledge modeling बहुत करीब से जुड़े हैं, इसलिए knowledge modeling का जो हिस्सा संयोग से साथ आ जाता है, लोग उसे उससे कहीं गहरी चीज़ समझ बैठते हैं
  • अगर कोई algorithm किसी list को 50% probability से सही sort करता है, तो शायद हमें इसे random से बेहतर मानकर प्रभावित होना चाहिए। उदाहरण के लिए, 10 items को random तरीके से बिल्कुल सही sort करने की probability 36 लाख में 1 है
    लेकिन व्यवहार में 50% sorting algorithm की कीमत सही काम करने वाले sort के 50% के बराबर नहीं, बल्कि 0 होती है। Sorting आम तौर पर किसी बड़े system का हिस्सा होती है, और उस system को sorting का 100% काम करना चाहिए
    लंबे समय तक “machine learning” techniques में ऐसे क्षेत्र रहे हैं जहाँ 80% सही होना भी सफलता माना जाता था। LLM की दिलचस्प बात यह है कि कुछ machine learning समस्याओं में वे मानक को 90% तक उठा देते हैं, लेकिन जिन दूसरे कामों को algorithm से 100% किया जा सकता था, उनके मानक को नीचे भी ला देते हैं
  • इंसान की मदद करने वाली algorithmic प्रक्रियाएँ, या उलटे algorithm की मदद करने वाली इंसानी प्रक्रियाएँ, पहले से ही बहुत हैं, और आम तौर पर किसी एक के अकेले होने की तुलना में उनका प्रदर्शन बेहतर होता है
    मैंने कभी एक research abstract पढ़ा था जिसमें chess software इस्तेमाल कर सकने वाले लोगों और न कर सकने वाले लोगों के performance की तुलना की गई थी। सफलता का सबसे मजबूत predictor शुद्ध chess skill नहीं, बल्कि software को प्रभावी ढंग से उपयोग कर पाना था
    सार्वजनिक research के बारे में मुझे ज्यादा नहीं पता, लेकिन anecdotal evidence वाला एक और क्षेत्र algorithmic trading है। सफल companies में लगभग हमेशा इंसान algorithms के व्यवहार की निगरानी करते हैं। जब algorithm अजीब तरह से चलता है या conditions सही नहीं होतीं, तो इंसान उसे पहचान सकता है और parameters adjust कर सकता है, या अगर लगे कि वह पूरी तरह बिगड़ गया है तो उसे बंद कर सकता है। सच कहूँ तो ऐसी supervision का बड़ा हिस्सा शायद Knight Capital घटना का परिणाम होगा
    मुद्दा यह है कि मैं इस बात से सहमत हूँ कि LLM अभी उस क्षेत्र का अनुभव रखने वाले लोगों के लिए tool हैं, लेकिन फिर भी यह काफी बड़ी प्रगति है। जैसे top quant hedge funds लगातार इंसानों द्वारा चलाए गए funds से बेहतर करते हैं, वैसे ही जो smart लोग इस tool का अच्छी तरह उपयोग करेंगे वे आगे निकलेंगे। असली बात यह सीखने में है कि यह कहाँ अच्छा है, कहाँ कमजोर है, और output verify करने के तरीके क्या हैं
  • मेरे हिसाब से LLM मेरे लिए ज्यादा मूल्यवान नहीं है। मैं पहले से expert हूँ, और code लिखना भी अब खास मुश्किल नहीं रह गया है
    जरूरत पड़ने पर knowledge ढूँढने की प्रक्रिया भी computer से बात करने की तुलना में खुद ढूँढना मुझे ज्यादा तेज लगता है। असली expertise में उस search process में महारत हासिल करना और उसे streamlined करना भी शामिल है
  • “code snippet माँगने पर यह सही निकलता है” वाला उदाहरण ज्यादातर ऐसे basic code के बारे में होता है जिसके training data में पहले से होने की संभावना ज्यादा है। तब language model किसी expert system जैसा दिखता है, लेकिन उसका failure rate ज्यादा खराब होता है
    इसके उलट, जो चीज़ उसने पहले नहीं देखी, या जो कोई करीबी variant नहीं है, उसे बनाने में उसे कठिनाई होती है

• अगर यह सच है, तो मुझे हैरानी है कि कल ChatGPT 3.5 से 18वीं सदी के इतिहास का एक बेहद obscure तथ्य ढूँढने में सिर्फ 10 सेकंड क्यों लगे। Google search एक घंटे से ज़्यादा करने के बाद भी नाकाम रही
  ChatGPT ने शुरुआत में गलत जवाब दिया, क्योंकि मेरा सवाल सटीक नहीं था, लेकिन कुछ बातें साफ करने पर उसने ऐसा जवाब दिया जो सही लगता था, और 1–2 मिनट की अतिरिक्त खोज और verification के बाद मुझे 100% यकीन हो गया कि वह जवाब वाकई सही था
  यह दावा भी अजीब है कि “ChatGPT जैसे AI systems Twitter, Facebook, Reddit जैसे विशाल बकवास भंडारों और Wikipedia व पेशेवर लेखकों से scrape किए गए text जैसे वास्तविक तथ्यों—दोनों पर train होते हैं, लेकिन किस हिस्से की सच्चाई confirm करनी है इसका कोई algorithm नहीं होता। output सचमुच बकवास है”
  दार्शनिक, गणितज्ञ, वैज्ञानिक और उपन्यासकार भी वास्तविक तथ्यों और विशाल बकवास भंडारों—दोनों से सीखते हैं। दूसरों का established work, school education और experiments तो होते ही हैं, लेकिन science न कहे जा सकने वाले everyday experiences, Twitter conversations जैसी गपशप, propaganda और झूठ भी होते हैं। तो फिर उनके outputs भी बकवास हुए, और आगे बढ़कर इंसानियत ने जो कुछ बनाया है वह सब भी बकवास हुआ

  • अगर आपको इतना पता ही न हो कि पहला जवाब गलत था, तो क्या होता? बहुत से लोग ठीक ऐसे ही सवाल पूछेंगे
    उन्हें शायद यह पता न हो कि सवाल को adjust करना और extra research करना ज़रूरी है। अगर GPT को किसी automated system में इस्तेमाल करना हो, तो वह system कैसे पहचान पाएगा कि क्या गलत है और क्या सही?
  • यह प्रभाव कि ChatGPT, Google से भी बेहतर Google search करता दिखता है, सच तो है, लेकिन मुझे हैरानी है कि क्या इसकी वजह यह है कि पिछले 10 सालों में Google search quality कितनी खराब हो गई है
    ChatGPT और similar models इस काम में—यानी Google Search के replacement की भूमिका में—सबसे मजबूत हैं, यह बात बहुत विवादित नहीं लगती
  • “ChatGPT ने पहले गलत जवाब दिया” वाली बात में ही जवाब मिल गया लगता है। उसने यह नहीं कहा कि सवाल बेमतलब है या गलत है, बस एक plausible बकवास जवाब गढ़ दिया
  • क्योंकि कई बार जो plausible सुनाई देता है, वह असल में उपयोगी भी होता है। लेखक इस बात को ignore करता है, लेकिन ChatGPT इस्तेमाल करने वाला हर व्यक्ति जानता है कि verification process का हिस्सा है
    अंतिम assessment यह है कि information खुद खोदकर निकालना सस्ता है, या AI से search space छोटा करना सस्ता है। verification मानकर चलें तो मुझे दूसरा विकल्प लगता है
  • सच जैसा सुनाई देना और सच होना loosely correlated हैं
    उलटकर, Terry Pratchett की Wyrd Sisters में यह पंक्ति आती है: “जो चीज़ें चीज़ों जैसी दिखना चाहती हैं, वे अक्सर चीज़ों से भी ज़्यादा चीज़ों जैसी दिखती हैं। यह well-known fact है। लेकिन मुझे इसे encourage करना पसंद नहीं।”
    इसलिए LLM को बकवास या stochastic parrot कहकर खारिज करने वाले दावों से यह कहीं बेहतर है, और साथ ही domain expert जितना अच्छा भी नहीं है

• मुझे लगता है LLM ने हमें दिखाया है कि हमारे पास कम से कम दो तरह के सोचने के तरीके हैं
  एक LLM के काम करने के तरीके जैसा है, और मूलतः next-token prediction है। किसी बातचीत में बहुत गहराई से डूबे होने की मानसिक स्थिति याद करें। वह कोई सचमुच conscious act नहीं होता, और कभी-कभी आप खुद भी चौंक जाते हैं। अगर आप बच्चे हों या बचकानी अवस्था में हों, तो उस पल कुछ भी गढ़ते हुए भी आपको इसका एहसास नहीं हो सकता
  अब उस समय के बारे में सोचें जब आपको कोई सचमुच कठिन समस्या हल करनी पड़ी थी—यह अलग है। यह बहुत conscious act होता है; आप ध्यान को इधर-उधर ले जाते हैं, reason करते हैं कि सब कुछ कैसे fit होता है, और क्या बदलने पर समस्या हल होगी। बहुत संभावना है कि दिमाग में problem model करते समय आप language का इस्तेमाल न कर रहे हों
  LLM पहला काम कर रहा है, और इस शुरुआती stage में भी उसे बहुत अच्छे से कर रहा है। हैरानी की बात यह है कि सिर्फ इसी तरीके से कितनी दूर तक जाया जा सकता है। गैर-मानवीय स्तर के knowledge के आधार पर conversation mode में प्रवेश करें तो कुछ हद तक कठिन problems भी सचमुच solve हो सकते हैं
  मुझे लगता है यह हमारे experience से भी मेल खाता है। जिन fields को हम गहराई से जानते हैं, उनमें कभी-कभी सिर्फ वाक्य बनाते-बनाते हम खुद को problem solve करते हुए पाते हैं

  • LLM के output की तुलना stream-of-thought conversation से करना अच्छा लगा। यह उस अवस्था जैसा है जिसमें बातें तुरंत निकलती जाती हैं और गढ़ी हुई चीज़ें भी मिल सकती हैं। यह statements को किसी knowledge structure से compare करने से अलग है
    हम जो knowledge structures बनाते हैं वे symbolic होते हैं। symbols abstraction, यानी classes, को दर्शाते हैं और symbols के बीच के relations भी शामिल करते हैं। इंसानी creativity नए perceptual input के आधार पर नए symbols या मौजूदा symbols के बीच नए relations बनाने में है, और यह abductive process है। ऐसे knowledge structures मजबूत foundation पर विशाल tower बनाने देते हैं, इसलिए powerful होते हैं
    गहराई से जाने हुए विषय पर सिर्फ वाक्य बनाते हुए problem solve हो जाती है—इसका मतलब है कि उस विषय में clarity है, इसलिए thought stream knowledge structure के साथ aligned है। दूसरे शब्दों में, आप सचमुच समझते हैं। लेकिन मेरे experience में अपनी capability के भीतर रहने वाले लोग बहुत दुर्लभ हैं, और ज़्यादातर लोग उन विषयों पर भी बोलते रहते हैं जिनके लिए उनके पास knowledge structure नहीं होता। साथ ही यह self-awareness भी दुर्लभ है कि किन चीज़ों पर उनके पास सचमुच knowledge structure है—यानी वे क्या नहीं जानते
  • यह Daniel Kahneman की Thinking, Fast and Slow में चर्चा की गई idea है। LLM ज़्यादातर दिन निकालने में मदद करने वाले intuitive heuristic, यानी System 1, के करीब है, और कठिन स्थितियों के लिए बचाकर रखी जाने वाली rigorous algorithmic thinking, यानी System 2, से contrast करता है
  • जिन चीज़ों को आप गहराई से जानते हैं, उनके बारे में वाक्य बनाते-बनाते problem solve करना शायद यही rubber duck debugging है
    LLM अच्छा हो या बुरा, जवाब देने वाला rubber duck है
  • “सिर्फ इसी तरीके से कितनी दूर तक जाया जा सकता है, यह हैरान करता है” वाले हिस्से को देखकर मुझे वह study याद आती है जिसने पहले NPC meme को trigger किया था
    आम interpretation यह था कि ज़्यादातर लोग सिर्फ पहले तरीके से ही सोचते हैं

• ऐसी व्याख्या अब थका देने वाली हो गई है। LLM तोता ज़रूर है, लेकिन वह इंसानी भाषा की नकल करने वाला तोता है, और इंसानी भाषा शायद हमारी reasoning क्षमता को अपनी संरचना के भीतर encode करती है। इसलिए भाषा की पर्याप्त अच्छी नकल करने पर वह reasoning क्षमता की भी नकल करना शुरू कर देता है
  अब शायद हमें इस बात से आगे बढ़ जाना चाहिए कि LLM के पास बहुत सटीक memory नहीं होती। यह समस्या पूरी तरह नहीं तो काफी हद तक, Bing की तरह जिस जानकारी के बारे में पूछना है उसे prompt में ही डाल देने से हल हो जाती है। ChatGPT सटीक facts recall करने की तुलना में summary कहीं बेहतर करता है
  और ज़्यादातर मामलों में यह अहम नहीं होता। ChatGPT से कुछ सीखते या कोई समस्या हल करते समय, वह शुरुआत होती है, अंत नहीं। अगर सब यह समझते हों तो कोई समस्या नहीं है। मैंने अब तक किसी को output को 100% तथ्य मानते नहीं देखा, और AI कंपनियां भी ऐसा दावा नहीं करतीं

  • हर कोई यह नहीं समझता, इसलिए समस्या है
    ऐसे लोग सचमुच मौजूद हैं जो output को 100% तथ्य मान लेते हैं
    https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
  • reasoning क्षमता की नकल करना, वास्तव में वह क्षमता रखने या विकसित करने जैसा नहीं है
  • सही। लोग ChatGPT को Google Search की तरह treat करते हैं और उम्मीद करते हैं कि यह facts output करेगा। असल में यह शब्दों का calculator जैसा ज़्यादा है
    जैसे calculator में बकवास डालेंगे तो बकवास ही निकलेगी। कई मामलों में facts input करने पड़ते हैं। RAG जैसी चीज़ें इसे automate करती हैं
    इसलिए लगता है ChatGPT RAG की दिशा में गहराई से विस्तार कर रहा है। क्योंकि यह users की इस expectation से बेहतर मेल खाता है कि यह tool कैसे काम करे

• जो लोग सोचते हैं कि दुनिया facts पर चलती है, उनके लिए LLM को समझना मुश्किल होता है। ChatGPT से किसी समस्या का समाधान खोजने का तरीका वैसा ही है जैसा किसी इंसान के साथ होता है। यह बातचीत के ज़रिए किया जाता है
  व्यक्तिगत रूप से ChatGPT ने मेरे workflow में क्रांति ला दी है। यह मेरे चाहने के मुताबिक काम करने वाला code निकाल देता है, और समस्या को सच में हल किए जा सकने वाले रूप में frame करने में भी मदद करता है

  • rubber duck के तौर पर भी शानदार है। बस मैं अपनी intellectual property सीधे Altman को नहीं सौंपना चाहता, इसलिए इस use case के लिए local LLM बेहतर लगता है
    अब तक yi model काफी अच्छा है, और दो हफ्तों के भीतर दो और बेहतर नए models आने वाले हैं। जब तक Altman यह पता नहीं लगा लेता कि किस politician को सबसे भारी रिश्वत देनी चाहिए, तब तक यह trend चलता रहेगा
  • जिन इंसानों के साथ मैं काम करता हूं, उन्होंने उन लोगों से सीखा है जो empirical evidence से समर्थित facts बोलते हैं
    वहीं ChatGPT को Reddit और Twitter पर train किया गया है

• लेखक शायद nuance काफी miss कर रहे हैं। यह सही है कि यह कभी-कभी बकवास गढ़ता है, लेकिन अक्सर ऐसा नहीं करता, और बहुत समय बचा सकता है। बेशक कभी-कभी गलत रास्ते पर ले जाता है या पूरी तरह गलत जवाब भी देता है
  उससे कैसे निपटना है, यह user पर निर्भर है। दिए गए results का उपयोग करने की कोशिश कर सकते हैं, या आसानी से verify करने वाले tools set up करके productivity बढ़ा सकते हैं, या फिर रेत में सिर गाड़कर कह सकते हैं कि सब गलत है इसलिए परवाह नहीं
  दोनों valid approaches हैं

  • उल्टा लगता है कि आपने लेखक का nuance miss किया है। “बकवास” “गलत जानकारी” का पर्याय नहीं है, बल्कि इसका अर्थ है सच की परवाह किए बिना बनाई गई चीज़
    AI “कभी-कभी बकवास” नहीं बनाता, वह हमेशा बकवास बनाता है। कभी-कभी output सही होता है क्योंकि initial corpus सही था। लेकिन AI के लिए, किसी demagogue की तरह, यह बिल्कुल मायने नहीं रखता; बस बात credible सुनाई देनी चाहिए
    अगर AI की कही बात verify करना “आसान” है, तो AI को बोलने से पहले verify करना सिखाना भी “आसान” होना चाहिए, और तब AI को बकवास मशीन कहने वाली आलोचना अपने आप खारिज हो जाएगी। असली खतरा यह है कि AI ऐसी बकवास बना सकता है जिसे verify करना मुश्किल हो, और वह यह काम ऐसी speed से कर सकता है कि professional Gish gallop भी शरमा जाए
  • यह कुछ ऐसा लगता है जैसे “drunk driving लोगों को मारती है, लेकिन office time पर पहुंचने में भी मदद करती है, इसलिए नहीं कह सकते कि यह अच्छी है या बुरी”
  • मुझे नहीं लगता कि लेखक ChatGPT output की सामान्य accuracy पर चर्चा कर रहे हैं। बल्कि वे बकवास की भूमिका निभाने वाला content auto-produce करने की क्षमता की बात कर रहे हैं
    bullshit economy में, जैसे कोई bureaucrat ऐसी reports लिखता है जिन्हें कोई नहीं पढ़ता, और वह reports इसलिए लिखता है ताकि manager headcount फुलाकर manager salary बढ़ाई जा सके—ऐसे context में इतना ही काफी है
    यह उस स्थिति से अलग बात है जहां user output की review करता है और expert judgment से उपयोगी चीज़ चुनता है, या basic GUI में भोलेपन से text डालने के बजाय API calls से tool use को refine करता है
  • समस्या यह है कि accuracy verify करने के लिए जितना काम चाहिए, वह शुरू से जवाब खुद पाने के लिए चाहिए काम के लगभग बराबर हो सकता है। तब सवाल उठता है कि फायदा कहां है
  • क्या आपको नहीं पता कि 21वीं सदी में posts पर engagement बढ़ाने के लिए nuance की कमी ज़रूरी है। यह bug नहीं, feature है। और सच कहूं तो बेहद थकाऊ

• क्या यह कहना ठीक नहीं होगा कि “भाषा ही बकवास generator है”? हम जिन भाषाई चीज़ों से रूबरू होते हैं, उनमें से अधिकांश, चाहे इंसान ने बनाई हों या मशीन ने, बहुत संदिग्ध होती हैं—Nietzsche के शब्दों में “रूपक, metonymy और anthropomorphism की चलती-फिरती सेना”
  यही चीज़ भाषा को सफल बनाने वाला तत्व भी है। क्योंकि यह “सच” होने की पाबंदी से स्वतंत्र है। LLM इस गुण का अपने फायदे के लिए इस्तेमाल करते हैं, लेकिन इसका स्रोत वे नहीं हैं

• पहले मैं इस लेख जैसी ही सोच रखता था, लेकिन अब सच में निश्चित नहीं हूं
  चलने वाला और काम करने वाला code, यानी ऐसा code जो सचमुच मांगा गया काम करता है, बिल्कुल “बकवास” नहीं है
  किसी खास corpus के custom sources के references के साथ search, यानी RAG भी बकवास नहीं है
  इसलिए AI कई मायनों में बकवास generator तो है, लेकिन हम भी हैं, और इसे उपयोगी तथा गैर-बकवास तरीकों से भी इस्तेमाल किया जा सकता है

  • devil’s advocate के तौर पर कहूं तो, क्या PR review करते समय आपने कभी नहीं कहा, “हां, यह काम करता है और ticket भी complete है, लेकिन इसे सच में ऐसे नहीं करना चाहिए”?
    optimization महत्वपूर्ण होने वाली दुनिया में, काम करने वाली चीज़ और सही चीज़ के बीच काफी बड़ा फर्क होता है। हमेशा नहीं, लेकिन सख्ती से कहें तो बात सिर्फ algorithmic रूप से देखने की नहीं है; reusability, testability जैसी चीज़ों को भी optimize करना होता है, और GPT-generated code इन पहलुओं को miss कर सकता है

• 9 महीने पहले इस विषय पर एक French YouTuber का अच्छा video था: https://youtu.be/JcFRbecX6bk?feature=shared
  French में baratineur नाम का एक शब्द है जो मुझे ज़्यादा सटीक लगता है। इसका मतलब है ऐसा व्यक्ति जो सच या झूठ की अवधारणा से स्वतंत्र होकर, वही कहता है जो आप सुनना चाहते हैं

• अगर हर कोई सच में यह याद रखे कि LLM को विश्वसनीय-सा दिखने वाला आउटपुट बनाने के लिए डिज़ाइन किया गया है, तो काफी समय बच सकता है। LLM कुछ भी “जानता” नहीं, “reason” नहीं करता, “सोचता” नहीं, और उसकी कोई राय भी नहीं होती। वह बस टेक्स्ट prefix या seed जैसी कोई चीज़ लेकर, इंसानों द्वारा असल में बनाई गई चीज़ों पर हुई training के आधार पर आउटपुट बनाता है
  इस तरह देखें तो सब कुछ काफी साफ हो जाता है
  क्या जवाब पर भरोसा करना चाहिए? बिल्कुल नहीं। उसने बस कुछ generate किया है
  क्या इसे brainstorming के लिए इस्तेमाल कर सकते हैं? बेशक कर सकते हैं। आउटपुट की समीक्षा कर सकते हैं, उसे ले सकते हैं या उससे प्रेरणा ले सकते हैं
  क्या इसे उपयोगी code generate करने के लिए इस्तेमाल कर सकते हैं? बेशक कर सकते हैं। लेकिन code पढ़ना होगा और tools व इंसानों से review कराकर यह पक्का करना होगा कि वह वैसा ही काम कर रहा है जैसा सोचा था
  क्या कर्मचारियों को इससे replace कर देना चाहिए? बिल्कुल नहीं। text suffix generator जटिल समस्याएँ संभाल नहीं सकता या फैसलों की जिम्मेदारी नहीं ले सकता

  • फिर वही “यह तो बस अगला token predict करता है” वाली बात किसी गहरी insight की तरह पेश की जा रही है। असली जादू यह है कि यह ऐसा कैसे करता है, और हमें यह ठीक-ठीक नहीं पता
    इसके अंदर world model हो भी सकता है और नहीं भी। कौन जानता है। हमें बस इतना पता है कि “next token prediction” एक सरल लक्ष्य है, लेकिन आज की तरह इतना अच्छा काम करने के लिए black box के अंदर जबरदस्त complexity चाहिए