यह समझ से परे है कि लोग अब भी LLMs को लेकर bullish क्यों हैं
(twitter.com/skdh)> "मुझे सच में समझ नहीं आता कि कुछ लोग अब भी LLMs को लेकर bullish क्यों हैं।"
- GPT, Grok, Gemini, Mistral जैसे विभिन्न LLMs का रोज़ाना उपयोग कर रहा/रही हूँ
- जानकारी खोजने और सारांश बनाने में समय बचाने की उम्मीद से इस्तेमाल करता/करती हूँ, लेकिन ये अब भी अक्सर स्रोत, उद्धरण और लिंक गढ़ देते हैं
- लिंक पर क्लिक करने पर 404 error आता है, या उद्धृत वाक्य खोजने पर वह वास्तव में मौजूद ही नहीं होता
- वैज्ञानिक papers का हवाला देने पर भी खोजने पर वे अक्सर मौजूद नहीं निकलते
कुछ सुधार हुए हैं, लेकिन विश्वसनीयता अब भी कम है
- DeepSearch या Chain of Thought जैसी तकनीकों के उपयोग से पहले की तुलना में सटीकता थोड़ी बेहतर हुई है
- निजी अनुमान में GPT-4o का DeepResearch फिलहाल सबसे अधिक भरोसेमंद लगता है
- Grok, माँगने पर भी reference links ठीक से नहीं देता, यहाँ तक कि tweet links भी सही तरह से नहीं जोड़ पाता
- Gemini की स्थिति और खराब है; स्रोत खोजने के बजाय बस यह कहता है कि उपयोगकर्ता खुद search करे
साधारण गणना या constants खोजने में उपयोगी, लेकिन सटीकता अब भी समस्या है
- unit conversion या physical constants जैसी चीज़ें तेज़ी से दे देता है, इसलिए समय बचता है
- लेकिन scale estimation जैसी सरल गणनाओं में भी यह अक्सर गलती करता है
- सवाल यह है कि क्या ऐसे कामों के लिए 100 million से अधिक parameters वाले LLM की सच में ज़रूरत है
दस्तावेज़ summary में भी निराशाजनक नतीजे
- एक PDF document अपलोड करके summary माँगी, लेकिन header में साफ़ 2025 लिखा होने के बावजूद उसे 2023 का दस्तावेज़ समझ लिया
- ऐसी गलतियाँ "intelligence" से काफ़ी दूर की चीज़ लगती हैं
knowledge graph भी समाधान नहीं है
- बहुत से लोग उम्मीद करते हैं कि knowledge graph, LLM की समस्याओं का समाधान करेगा, लेकिन वास्तव में यह संभव नहीं है
- तार्किक रूप से सुसंगत वाक्य अब भी वास्तविकता से पूरी तरह असंबंधित हो सकते हैं
- भले ही knowledge graph तार्किक त्रुटियाँ रोक दे, फिर भी तथ्यात्मकता से असंबंधित वाक्य बनते रह सकते हैं
बाज़ार में अतिमूल्यांकन को लेकर चिंता
- कंपनियाँ लगातार LLM को बढ़ा-चढ़ाकर पेश कर रही हैं, और यह एक जोखिम है
- अगर AI का कोई बिल्कुल नया मॉडल आकर LLM से आगे निकल जाता है, तो मौजूदा LLM-केंद्रित कंपनियों का मूल्य तेज़ी से गिर सकता है
- जिस दिन ऐसा होगा, उस दिन शेयर बाज़ार पर बड़ा झटका पड़ने की आशंका है
2 टिप्पणियां
पिछले साल तक मैं भी कुछ ऐसा ही सोचता था, लेकिन प्रगति की रफ्तार देखकर मैं उल्टे और ज़्यादा आशावादी हो गया हूँ।
Hacker News राय
LLMs एक हैरान कर देने वाली तकनीक हैं, जो लंबे समय से कल्पना की गई चीजों को संभव बनाती हैं। गलत स्पेलिंग या सवालों के बावजूद समझती हैं और बातचीत करती हैं, शानदार इमेज बनाती हैं और कोड लिखने में भी मदद करती हैं। लेकिन कुछ लोग शिकायत करते हैं कि ये परफेक्ट सुपरइंटेलिजेंस नहीं हैं। तकनीक की प्रगति की रफ्तार चौंकाने वाली है। कुछ लोग शिकायत करते हैं कि "यह 20 साल के अनुभव वाले सीनियर इंजीनियर की तरह कोड नहीं लिखती"
Claude को मुख्य रूप से इस्तेमाल करने का अनुभव काफी अलग है। मैं ऐसे काम करने की कोशिश नहीं करता जिनमें लगे कि LLMs अच्छी नहीं होंगी। AI इस्तेमाल करने वाले लोग दो तरह के होते हैं: जो असफलता ढूंढते हैं और जो सफलता ढूंढते हैं। आसान scripting कामों में LLMs लगभग परफेक्ट हैं। अगर आप समझ लें कि AI को कैसे काम में लेना है, तो यह एक शक्तिशाली टूल बन सकती है
LLMs की usability अभी भी कमज़ोर है। citations या sources अच्छी तरह नहीं दिए जाते। यह बात कि कंप्यूटर तथ्यों को सटीक रूप से नहीं ढूंढ पाता, कंप्यूटर की पारंपरिक ताकत के खिलाफ जाती है
बहुत से लोग LLMs का गलत इस्तेमाल कर रहे हैं। हाल में इस पर काफी चर्चा हुई है कि क्या language models voice transcription के लिए सबसे उपयुक्त हैं। 10 साल पहले real-time machine transcription नहीं थी, लेकिन अब यह संभव है और लगातार बेहतर हो रही है। AI models की गलतियों के बावजूद, machine transcription कई स्थितियों में उपयोगी है
समझ नहीं आता कि Sabine की राय को कितना महत्व देना चाहिए। LLMs sequence modeling और prediction वाले काम कर सकती हैं। अगर किसी समस्या को sequence modeling में बदला जा सकता है, तो LLMs वह काम कर सकती हैं
LLMs पर की जाने वाली आलोचनाओं में एक समानता है: वे परफेक्ट नहीं हैं। मैं ChatGPT का अक्सर academic research के लिए इस्तेमाल करता हूँ। यह कभी-कभी references गढ़ देता है, लेकिन महत्वपूर्ण research papers ढूंढने में मदद भी करता है। accuracy verify करना आसान है, लेकिन ज्ञान ढूंढना मुश्किल है। नतीजे में इसका प्रभाव बहुत सकारात्मक रहता है
बहुत से लोग तकनीक की ताकत और उस bubble को गड़बड़ा देते हैं जिसमें हम जी रहे हैं। मैं AI को लाखों requests भेजकर अपनी ज़रूरत की चीज़ें हासिल करता हूँ। तकनीक आगे बढ़ रही है और लागत भी बदल रही है। लोगों में यह मान लेने की प्रवृत्ति है कि AI वह भी कर सकती है जो वह नहीं कर सकती
मैं Claude का बहुत उपयोग करता हूँ और health से जुड़े सवालों के लिए programs बनाता हूँ। जटिल सवालों को तार्किक रूप से समझाने और analysis को संशोधित करने की इसकी क्षमता बहुत मूल्यवान है। डॉक्टर से तुलना करें तो ज़िम्मेदारी उपयोगकर्ता की होती है
बहुत से लोग "अपूर्ण" टूल्स को संभालने में कुशल नहीं हैं। LLM एक ऐसा टूल है जिसकी सफलता की संभावना 100% नहीं होती, इसलिए इसके लिए अलग तरीका चाहिए। अगर इसे एक probabilistic oracle की तरह सोचें, तो इसकी उपयोगिता सफलता की संभावना के अनुसार बदलती है
मेरे कई दोस्त हैं जो लोगों के साथ अच्छी तरह नहीं निभा पाते, लेकिन मैं सबके साथ ठीक से रहता हूँ। AI भी कुछ ऐसी ही है: परफेक्ट नहीं, लेकिन हैरान कर देने वाला टूल है। AI के फायदे उसकी गलतियों से कहीं ज़्यादा हैं। AI और इंसानों दोनों के साथ कैसे पेश आना है, यह सीखना 21वीं सदी की सबसे ज़रूरी skills में से एक है