- LLM से लिखे गए लेख, छात्र उत्तरों से लेकर शोधपत्र reviews तक, ऊपर-ऊपर से भले ठीक लगें, लेकिन पढ़ने वाले को कोई नया विचार या अनुभव लगभग नहीं देते — यही इसकी आलोचना है
- लोग LLM को लेखन सौंपते हैं क्योंकि या तो वे उस काम को महत्वपूर्ण नहीं मानते, या मानते हैं कि model उनसे बेहतर लिखेगा, या फिर व्यावसायिक auto-generated text बनाना चाहते हैं
- अगर लेखन का उद्देश्य अपने विचार व्यक्त करना है, तो अपने विचार ही न रखने वाले LLM का output plagiarism से भी अधिक खोखला परिणाम बन जाता है
- class assignments और paper reviews जैसे औपचारिक दिखने वाले काम भी वास्तव में सोच और निर्णय की मांग करते हैं, और LLM सिर्फ text बनाता है, सोचने की प्रक्रिया की जगह नहीं ले सकता
- Gemini से बना 234-शब्दों का उदाहरण बस prompt को लंबा करके दोहराता है और सामान्य बातें जोड़ता है, इसलिए तैयार नतीजे से ज़्यादा मूल prompt पढ़ने लायक है
LLM लेखन में दिखने वाली शैली और सीमाएँ
- छात्र assignments जाँचते समय, जैसे Euler angles की कमियों को समझाने वाले उत्तरों में, लेखक को अक्सर ऐसे लेख मिलते हैं जो ChatGPT output जैसे लगते हैं
- ऐसे उत्तर आम तौर पर लंबे, अस्पष्ट होते हैं, bold bullet style पर अटके रहते हैं, और prompt को दोहराने की प्रवृत्ति रखते हैं
- ChatGPT जैसी शैली इतनी अलग होती है कि उसे पहचाना जा सके, लेकिन लेखक के अनुसार यह honor committee तक मामला ले जाने लायक निर्णायक सबूत नहीं है
- भले आपत्ति उठाई जाए, फिर भी यह स्पष्ट नहीं कि class honesty की रक्षा से मिलने वाला लाभ, इस पर विवाद करने में लगने वाले समय से अधिक है या नहीं
लोग LLM से लेखन क्यों करवाते हैं
-
ऐसा काम जिसे वे महत्वपूर्ण नहीं मानते
- लेखक के अनुसार, classes को degree पाने की राह में बाधाओं की श्रृंखला मानने वाले छात्रों में यह रवैया आम है
- paper reviews में भी ऐसी प्रेरणा बढ़ रही है, और उदाहरण के तौर पर paper reviews का लिंक दिया गया है
- कई researchers reviews को पहले से ही भारी काम के बीच एक अतिरिक्त बोझ मानते हैं और अच्छा review लिखने का समय निकालना कठिन पाते हैं
-
जब वे मानते हैं कि model बेहतर लिखता है
- कुछ सहकर्मी मानते हैं कि LLM उनसे बेहतर लिख सकता है
- लेखक को यह प्रवृत्ति खास तौर पर उन लोगों में अधिक दिखती है जिनकी English दूसरी भाषा है
- programming सीखने की शुरुआत करने वालों में भी ऐसा देखा जाता है, जहाँ coding को याद करके बोल दिए जाने वाले किसी रहस्यमय मंत्र की तरह लिया जाता है
- academic writing में भी इसी तरह का उपयोग देखा गया है, और उदाहरण के तौर पर academic writing का लिंक दिया गया है
-
हितों से जुड़ा auto-generated writing
- astroturfing, customer support chatbots, और online baking recipes की लंबी भूमिका इसके उदाहरण हैं
- लेखक के अनुसार, यह लेखन इंसानों के पढ़ने के लिए नहीं लिखा जाता, और इसमें लेखक की मंशा भी शामिल नहीं होती
- व्यक्तिगत प्रेरणाओं की चर्चा के दायरे में लेखक इस प्रकार पर गहराई से नहीं जाता
लेखन का उद्देश्य और LLM output की खोखलाहट
- इंसान लिखते मुख्यतः इसलिए हैं कि वे मौलिक विचार साझा कर सकें
- वे विचार असाधारण या academic होना जरूरी नहीं; छुट्टियाँ, पालतू कुत्ता, या पसंदीदा रंग भी पर्याप्त विषय हो सकते हैं
- अहम बात यह है कि वह विचार अपना होना चाहिए
- किसी और के शब्द नकल करने पर अपने विचार तो व्यक्त नहीं होते, लेकिन कम-से-कम किसी इंसान का विचार तो पहुँचता है
- LLM की संरचना ही ऐसी है कि उसके अपने विचार नहीं होते, इसलिए उसके output को प्रकाशित करना लेखक के अनुसार लगभग उद्देश्यहीन काम है
जो काम महत्वहीन दिखते हैं, वे भी वास्तव में महत्वपूर्ण हैं
- Reddit post के नीचे computer-generated summary को comment के रूप में डालना लेखक के अनुसार सबका समय बर्बाद करता है
- अगर मूल लेख इतना कमजोर है कि सिर्फ summary ही काफी है, तो उसमें comment करके शामिल होने की कोई कीमत नहीं
- और अगर मूल लेख सचमुच किसी इंसान द्वारा पढ़े जाने की मांग करता है, तो summary निरर्थक है
- class writing assignment का उद्देश्य text output नहीं, बल्कि छात्र को सोचने के लिए मजबूर करना है
- LLM output तो बना सकता है, लेकिन सोचने की प्रक्रिया नहीं बना सकता
- paper review में आधे-अधूरे मन से लिखा गया review, मूल लेखक के लिए सिर्फ अनावश्यक काम बढ़ाता है और editor को उसकी पहले से ज्ञात बातों से अधिक जानकारी नहीं देता
“model बेहतर है” वाले विश्वास का प्रतिवाद
- पेशेवर communication में LLM का उपयोग लेखक मुख्यतः फालतू शब्द जोड़ने या मूल prompt के tone को सुधारने के रूप में देखता है
- इस प्रक्रिया में मूल अर्थ धुंधला हो जाता है और साधारण विचारों पर कई परतों में अनावश्यक भाषा चढ़ जाती है
- कभी-कभी यह गलत नहीं होता, लेकिन लेखक के अनुसार अक्सर यह महत्वपूर्ण details गढ़ देता है या ऐसा लेख बना देता है जिसे समझना मुश्किल हो
- इंसान की कमजोर writing में भी कम-से-कम साझा करने लायक आंतरिक समझ होने की उम्मीद की जा सकती है, लेकिन LLM से ऐसी उम्मीद नहीं की जा सकती
programming और vibe coding
- programmers के प्रति लेखक थोड़ी अधिक सहानुभूति रखता है, लेकिन उसके अनुसार लंबे समय में इसका नुकसान अधिक छिपा हुआ और गंभीर है
- Peter Naur की Programming as Theory Building को याद करते हुए, लेखक कहता है कि पर्याप्त जटिल program लिखने के लिए सिर्फ code output नहीं, बल्कि code के पीछे की तार्किक संरचना का एक सिद्धांत भी चाहिए
- vibe coding को ऐसे तरीके के रूप में परिभाषित किया गया है जिसमें program लगभग पूरी तरह LLM generation पर छोड़ दिया जाता है
- लेखक के अनुसार, यह तरीका बिना किसी सिद्धांत के output पैदा करता है, और नतीजतन code व्यावहारिक रूप से बेकार हो जाता है
- Naur के शब्दों में ऐसा program मृत होता है; यहाँ लेखक कहता है कि वह तो पैदा होते ही मर चुका होता है
- security समस्याओं से जूझते vibe-coded app के उदाहरण के रूप में OpenAI key लीक करने वाला vibe-coded recipe app दिया गया है
Gemini प्रयोग
- लेखक ने निबंध के तर्क को Google Gemini में डालकर, उससे दो छोटे paragraphs में लेख पूरा करने को कहा
- Gemini का output 234 शब्दों का था, और लेखक के अनुसार उसने बस prompt को लंबा करके दोहरा दिया
- उसका tone व्यापक लेकिन अर्थहीन सामान्य बातों तक सीमित था; बड़े शब्दों का उपयोग था, लेकिन शैली में कोई खास नजाकत नहीं थी
- उदाहरण वाक्य “Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence.” इस बात का उदाहरण है कि छोटी-सी बात को बहुत बड़े वाक्य में बदल दिया गया
- वही अर्थ “Perhaps it stems from a desire for efficiency.” तक घटाया जा सकता है, और और निखारें तो “Perhaps people do it for efficiency.” बनता है
- इस प्रयोग से लेखक इस निष्कर्ष पर पहुँचता है कि LLM बेकार की बातें बढ़ाने में तो माहिर है, लेकिन उसके अलावा बहुत अच्छा नहीं है
निष्कर्ष: मैं तो prompt ही पढ़ना पसंद करूंगा
- लेखक कहता है कि images, text, audio, और video सहित किसी भी creative generative model के output को उसने कभी भी मूल prompt से ज़्यादा देखने लायक नहीं पाया
- generated result में prompt से कम वास्तविक सार होता है, और उसके निर्माण में इंसानी दृष्टि मौजूद नहीं होती
- रचना का उद्देश्य अपने अनुभव साझा करना है, और अगर साझा करने के लिए अनुभव ही न हो, तो उसे बनाने की ज़रूरत नहीं
- अंत में लेखक इस निष्कर्ष पर पहुँचता है कि जो लेख लिखने लायक नहीं, वह पढ़ने लायक भी नहीं
1 टिप्पणियां
Hacker News की राय
काम पर LLM से बेहद गैर-ज़रूरी रूप से लंबे-चौड़े लेख बनवाने वाले सहकर्मियों से मैं कई बार कह चुका हूं कि बेहतर होगा वे सिर्फ prompt ही भेज दें
अगर LLM सीमित input से लंबा लेख बना सकता है, तो असल में ज़रूरत सिर्फ उस संक्षिप्त input की है, बाकी सब मनगढ़ंत फालतू भराव है
बहुत सारे brackets और आधे-अधूरे structured stream of consciousness को type या dictate करके summary मांगने पर, कई बार वह मेरी बात को मुझसे बेहतर व्यवस्थित कर देता था
यह Pascal की मशहूर बात से भी जुड़ता है: “अगर मेरे पास समय होता, तो मैं छोटा पत्र लिखता”
संदर्भ के लिए, ऊपर वाले वाक्य को LLM से compress करवाकर देखा तो कुछ ऐसा निकला: “जब धुंधले विचारों को व्यक्त करना मुश्किल हो, तो आधे-अधूरे व्यवस्थित विचारों को लंबा बोलकर या लिखकर LLM से summary मांगने पर, वह मंशा को ज्यादा साफ और प्रभावी ढंग से पकड़ देता है”
अब AI बस एक lossy सुंदर output machine बन जाता है
मुश्किल से संपर्क हो पाया तो उसने माना कि उसने असली requirements ChatGPT में डाल दी थीं और “result review करने का समय नहीं था”; सच में बहुत गुस्सा आया
LLM मेरे बारे में prompt में दी गई जानकारी से ज़्यादा नहीं जान सकता, इसलिए output prompt से ज़्यादा जानकारी नहीं दे सकता
public knowledge से जुड़े सवालों में यह कहीं ज़्यादा उपयोगी है, क्योंकि वह बाहरी सामग्री से नई जानकारी खींच सकता है
लेखक का नजरिया पसंद आया: यह ChatGPT या Gemini जैसे LLM इस्तेमाल करने वाले व्यक्ति पर value judgement नहीं है, बल्कि यह कहना है कि prompt बनाने में लगा विचार LLM output से अनिवार्य रूप से ज़्यादा दिलचस्प, मौलिक और मानवीय होता है
code लिखने में LLM इस्तेमाल करने के अनुभव से, अगर prompt कचरा है तो code objectively कचरा ही होता है
अगर मुझे पता ही नहीं कि मैं क्या चाहता हूं, और न idea है, न structure, न plan, तो वैसा ही code निकलता है
हाल में LLM से academic writing या creative writing करने वालों की आपत्तियां भी सुनना चाहूंगा। personal programming projects में boilerplate या skeleton से आगे बढ़ने के अलावा मैंने recent models ज्यादा इस्तेमाल नहीं किए
आखिरकार garbage in, garbage out का ढांचा बार-बार दोहराता रहता है
कुछ हफ्ते पहले भी मैंने यही कारण बताया था कि मौजूदा LLM Dungeons and Dragons में बेहतरीन campaign creator क्यों नहीं बन सकते
इंसानों को “constraints” की ज़रूरत नहीं होती। किसी सक्षम लेखक से चुपचाप बैठकर नए novel का plot सोचने को कहें, तो वह कर लेगा
https://news.ycombinator.com/item?id=43677863
हालांकि LLM एक शानदार idea sounding board हो सकता है
अगर और सबूत चाहिए, तो temperature 1.0 पर सेट करके किसी भी LLM से पूछें: “DND campaign के लिए, एक standalone dungeon room imagine करो जिसमें ऐसा unique puzzle हो जो पहले न हो। puzzle, solution, room layout आदि विस्तार से लिखो और इसे पूरी तरह नया और imaginative बनाओ”
मेरा दावा है कि 99% वह “The Resonant Hourglass” या “The Mirror of Acoustic Symmetry” जैसे formal physics-based puzzle देंगे
ideas डालना, जो हटाना हो हटाना, tone और conciseness तय करना, और कई drafts चलाना—ऐसा करना पड़ता है
https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
साथ ही, जिन लोगों को ऐसे उपयोग के लिए LLM की सबसे ज़्यादा ज़रूरत है, वही शायद output की कमजोरियां सबसे कम पहचान पाएंगे। जैसे मैं Spanish में लेख नहीं लिख सकता, वैसे ही LLM-made Spanish translation की quality भी evaluate नहीं कर सकता
extreme रूप में देखें तो आज के students LLM पर निर्भर हो सकते हैं, बेहतर जाने बिना उस पर भरोसा कर सकते हैं, और फिर कुछ न जानते हुए हर चीज़ पर भरोसा करने लगेंगे—quality या performance तक evaluate नहीं कर पाएंगे
लेखक से अलग मेरी राय जिस एक क्षेत्र में है, वह coding है। मुझे algorithms पसंद हैं, लेकिन code computer के पढ़ने के लिए लिखा जाता है, और computer द्वारा code लिखे जाने में मुझे कोई बड़ी समस्या नहीं लगती
LLM ने simple functions लिखने में बहुत समय बचाया, जिससे project के boring chores जल्दी पार करके interesting हिस्सों पर focus कर पाया
Miyazaki की बात “इंसानों ने आत्मविश्वास खो दिया है” मुझे सबसे सही लगती है। LLM repetitive और boring काम automate करने का शानदार tool हो सकता है, लेकिन यह सोचना कि वह इंसान के unique perspective को replace कर सकता है, दुखद है
structure बनाने में लगभग मदद नहीं करता। writing का मतलब है समझ को इतना साफ करना कि उसे शब्दों में घटाने के बाद भी दूसरे लोग पकड़ सकें
इस हिस्से में LLM बहुत मददगार नहीं है, इससे सहमत हूं
लेकिन सारी जानकारी prompt के अंदर होनी चाहिए। वरना hallucination करेगा
output सीधे submit करने लायक नहीं होता, पर खाली screen देखने के बजाय शुरू करने और iterate करने के लिए काफी है
methodology section भी इससे लिखवाकर देखना चाहूंगा। क्योंकि हर paper में लगभग वही जानकारी अलग वाक्यों में दोहराने का काम होता है
लेकिन अभी technical details की accuracy पर भरोसा नहीं कर सकता। LLM सिर्फ language model है, उसके पास knowledge या understanding नहीं है
इस तरह लिखें तो LLM reverse-compression algorithm जैसा लगता है। एक सरल idea को LLM फुलाकर बिखरा हुआ बना देता है, और कोई दूसरा व्यक्ति फिर LLM से उसका सार निकलवाकर उसे मूल prompt के करीब वापस ले आता है
इस बेमतलब काम से फायदा सिर्फ Sam Altman और उनके साथियों को होता है, और वे इसे संभव बनाने की कीमत के तौर पर करीब $0.000000001 रख लेते हैं
अपवाद वे repetitive या boilerplate-type text और code हैं, जहां थोड़ी जानकारी को लंबा करके व्यक्त करना पड़ता है
http://prize.hutter1.net/
बस प्रस्तावना और FAQ, और यह बात देखिए कि अब सभी winning entries neural networks हैं
प्रोफेसर की हताशा का जवाब मेरे हिसाब से काफी सरल है। बहुत-से लोग सीखने और अपने मन को विकसित करने के लिए university में नहीं हैं, बल्कि एक क्रूर social-Darwinist economic system में टिके रहने के लिए university में हैं
Euler angles को सचमुच पढ़ने आए लोग पहले भी बेहद कम थे, और बाकी लोग इसे ऐसी नौकरी पाने के लिए पार करनी पड़ने वाली gate समझते हैं जो शायद AI से automate हो जाए
reinforcement की दृष्टि से देखें तो professor को बस उस छात्र के marks काट देने चाहिए जिसने साफ तौर पर cheating की है
सिद्धांततः छात्र या तो छोड़ देंगे, या इतने अच्छे हो जाएंगे कि पकड़े न जाएं। दूसरा विकल्प भविष्य में demand वाली skill भी हो सकती है
माता-पिता का यह कहना अजीब तो है कि “अगर तुम ये gates पार कर लो, तो किसी company में तिल पीसकर हर $1 कमाने पर हम तुम्हें $2 और देंगे”
काम करना और खुद को educate करना ठीक और गरिमापूर्ण बात नहीं है क्या? क्या यह कोई खराब deal है?
कम से कम उसके page पर ऐसा लिखा है: https://claytonwramsey.com/about/
professors भी असल teaching training नहीं लेते, लेकिन ऐसा नहीं लगता कि इस व्यक्ति ने भी proper pedagogy सीखी है
आखिरकार यह व्यक्ति काफी युवा है, और वह लेख काफी हद तक तुरंत आई हुई तीखी प्रतिक्रिया जैसा है। उसे उसी हिसाब से judge करना चाहिए
LLM इस्तेमाल करने के कई तरीके हैं
समस्या उन लोगों में है जो छोटा one-shot prompt डालते हैं और generic, boring output पाते हैं। यानी “garbage in, generic out”
मैं असल में इसका इस्तेमाल इस तरह करता हूं: अपने thoughts उंडेलना और उन्हें organize कराने में मदद लेना, expression और sentence flow पर feedback लेना, non-native speaker के तौर पर tone और style सुधारना लेकिन अपनी individuality बचाए रखने की कोशिश करना, messy sentences को simplify करना, लेख में gaps या problems ढूंढना, आदि
आम तौर पर यह iterative process होता है, और combined prompts की length final result से ज्यादा हो जाती है। feedback भी मैं manually लागू करता हूं
अगर कोई सिर्फ “X पर blog post लिख दो” टाइप करे, तो prompt output से ज्यादा interesting होगा; लेकिन अगर पांच rounds की revision और context हो, तो क्या आप सच में final version के बजाय सारे prompts और drafts पढ़ना चाहेंगे?
चाहें तो यह रहा: https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...
वैसे ChatGPT को दिया गया initial draft यहां post किए गए text से बेहतर है
यह बात छात्रों को समझाना बहुत मुश्किल होता है। जब teacher किसी historical event पर लिखने को कहता है, तो वह degree की ओर जाने वाला कोई ritual नहीं होता
लक्ष्य कई abilities को बेहतर करना है: जानकारी इकट्ठा करना, समझना, absorb करना, पढ़ी हुई चीज की आलोचना करना, और आखिर में अपनी राय बनाना
“thoughts उंडेलना और LLM से organize कराना” सुनकर लगता है कि आपको जानकारी को सच में absorb करने की क्षमता विकसित करने में रुचि नहीं है
मेरे लिए यह इस बात का संकेत लगता है कि आपको interesting इंसान बनने में रुचि नहीं है। मुझे लगता है यह maturity का मामला है, और कभी न कभी समझ में आ जाएगा
लेखक भी आखिर यही कह रहा है। मुझे दिलचस्पी इस बात में है कि जिस विषय की आपको परवाह है उस पर आपके पास कहने को क्या है, न कि इस बात में कि परवाह या जानकारी होने का दिखावा करने के लिए आप क्या कर सकते हैं
अगर आप अपने विचार खुद organize नहीं कर सकते, तो यह मानना मुश्किल है कि आप अभी interesting point तक पहुंचे हैं, और वहां तक पहुंचने के लिए practice चाहिए
लेकिन चिंता यह है कि अगर practice किए बिना LLM का इस्तेमाल करेंगे, तो अंत में interesting इंसान नहीं बन पाएंगे
यह भी हमेशा आसान नहीं होता, इसलिए कभी-कभी “किसी specific region में रहने वाले लोगों की भाषा में translate करो” जैसा कहकर iterate करना पड़ता है
लेखक कुछ जगह सही है। second-language user के तौर पर LLM मुझसे बेहतर writing बना देता है
लेकिन prompts विदेशी भाषा में होते हैं और draft के टुकड़ों से मिले-जुले होते हैं, इसलिए readers के लिए बेकार होंगे; उन्हें share नहीं करूंगा
मुझे यह किसी book draft को editor और translator को सौंपने जैसा लगता है
AI आने के बाद से मैं लगातार prompt-to-output ratio के बारे में सोचता रहा हूँ
हम जिन systems का इस्तेमाल करते हैं उनकी प्रकृति की वजह से हम स्वाभाविक रूप से मान लेते हैं कि prompt output से छोटा होगा, लेकिन आप जो चाहते हैं उसे जितना ज्यादा specific करते जाते हैं, prompt उतना लंबा होता जाता है और output का size वैसा ही रहता है
अगर essay लिखने के बजाय आप essay में आने वाली बातों को समझाएँ, तो वह explanation अनिवार्य रूप से essay से ही लंबी हो जाएगी। क्योंकि जो कहना है उसे समझाने में, सीधे कह देने की तुलना में ज्यादा text लगता है
यह तथ्य कि हम कम मेहनत में ज्यादा मेहनत वापस पाने की उम्मीद करते हैं, दिखाता है कि आखिर में हमें जो मिलता है वह filler ही है
इसलिए prompt ज्यादा दिलचस्प होता है, और कई बार ऐसा हुआ कि मुझे पता नहीं था क्या लिखना है, prompt लिखना शुरू किया और उसी प्रक्रिया में अचानक साफ हो गया कि मैं कहना क्या चाहता था
कुल मिलाकर AI सरल ideas को जटिल बनाकर फैलाने की तुलना में, जटिल ideas को सरल बनाकर compress करने में कहीं ज्यादा उपयोगी है
अगर आप जिस नए system को बनाना चाहते हैं उसे English में इतनी सटीकता से specify कर सकते हैं कि आपको ठीक वही system मिल जाए, तो बेहतर था कि आप code ही लिख लेते
अगर 1 घंटे में 500-word prompt लिखने और table की rows जैसे X अतिरिक्त data जोड़ने पर LLM मुझे X perfect answers लौटा दे, तो यह मायने नहीं रखता कि output ratio मेरे खुद वे characters type करने की तुलना में खराब है
अहम यह है कि उस 1 घंटे और LLM के कुछ मिनटों की processing time में काम ज्यादा जल्दी खत्म हुआ या नहीं
Programming जैसी ही बात है। LLM इस्तेमाल करने का मकसद मेरे खुद लिख सकने वाले code से बेहतर code लिखना नहीं, बल्कि sufficiently good code बहुत तेजी से लिखना है
हालांकि जैसा दूसरों ने कहा, prompt शायद उतना दिलचस्प या repetitive न हो जितना हम सोचते हैं। वह बस “assignment यह है, answer क्या है” भी हो सकता है
लेखक के मुख्य point से मैं पूरी तरह सहमत हूँ, लेकिन degree पाने के साथ आने वाली economic conditions और barriers का खंडन करना मुश्किल है
ज्यादातर लोग degree को अच्छी job पाने का gateway मानते हैं, और economic रूप से यह स्वाभाविक है
दुर्भाग्य से आजकल employers भी इस तरह के copy-paste काम को बढ़ावा दे रहे हैं। देखिए Meta और Google कहते हैं कि नया लिखा जा रहा ज्यादातर code AI-generated है
दुनिया AI के हाथों खा ली जाएगी
पहले सिर्फ सबसे smart या सबसे अमीर लोग university जाते थे, इसलिए university degree intelligence का proxy metric बन गई
अब university graduates को अच्छी jobs मिलती हैं, तो सबको अच्छी jobs देने का तरीका सबको degree देना हो जाता है
अगर ज्यादातर लोगों को degree की बुनियाद वाली learning में दिलचस्पी नहीं और सिर्फ job में दिलचस्पी है, तो आखिर में ऐसे students बनेंगे जिन्हें बस passing line और अंत का certificate चाहिए
अगर लोग सिर्फ game खेलने आए हैं, तो आप उनसे सीखने की उम्मीद नहीं कर सकते
फिर भी 90% लोग सामने का मौका चूक जाएँ, तो 10% उस मौके को पकड़कर पूरा निचोड़ लेंगे
अगर आप university में हैं, तो दिए जा रहे ज्ञान और interaction के मौकों का फायदा उठाने की सलाह दूँगा। University सबके लिए खुली हो सकती है, लेकिन उसके अंदर का सोना देखकर सच में सीखने वाले लोग भाग्यशाली अल्पसंख्यक ही होते हैं
Game सिर्फ final score नहीं है। वहाँ बहुत कुछ और भी उपलब्ध है
डर है कि LLM ने शायद ऐसे developers की पहली पीढ़ी बना दी है जो LLM के बिना काम नहीं कर सकते
काम के कुछ हिस्सों में LLM इस्तेमाल करना ठीक है, लेकिन LLM के बिना भी function कर पाना चाहिए
हर data को AI prompt में नहीं डाला जा सकता, कुछ problems LLM से solve नहीं हो सकतीं, और simple problems में generated code या configuration पर निर्भर रहने से अपनी क्षमता विकसित नहीं होती
Clayton के इस निष्कर्ष से मैं जोरदार असहमति रखता हूँ कि “मैंने कभी ऐसा नहीं चाहा कि generative model के output के बजाय मूल prompt न देखूँ। Output में prompt से कम substance होता है और human vision नहीं होती”
हमने AI से यह बनाया है, और मुझे यकीन है कि अगर आप creator नहीं हैं तो raw input नहीं देखना चाहेंगे
https://www.youtube.com/watch?v=H4NFXGMuwpY
AI users दो तरह के होंगे। वे लोग जो AI को complete end-to-end tool की तरह इस्तेमाल करते हैं, और वे लोग जो इसे अपने मौजूदा काम और creativity को amplify करने वाले tool की तरह इस्तेमाल करते हैं
दूसरा वाला निश्चित रूप से AI का शानदार use case है
शायद यह students को evaluate करने के तरीके में बड़ा बदलाव force कर सकता है। Essay submit करने के बाद teacher को उस topic पर बातचीत करनी पड़ सकती है, ताकि देखा जा सके कि student ने सच में कितना absorb किया है
या फिर ज्यादा संभावना यही है कि LLM सब कुछ बस और खराब कर देगा
यह इसलिए हो रहा है क्योंकि instructor student से ऐसे सवाल पूछ रहा है जिनमें student को बस instructor के text को दोहराना है
ठीक से पढ़ाना हो तो ऐसे करना चाहिए
“Tinkertoys से बना एक छोटा dummy robot arm है। उसमें rotating base, shoulder और elbow नाम के तीन angle joints हैं, और हर joint पर angle देखने के लिए protractor लगा है”
ऐसा करने से समझ में आएगा कि इन problems का असल में मतलब क्या है
मुझे robotics के बारे में बिल्कुल नहीं पता, लेकिन यह काफी common assignment जैसा लगता है, और ऐसा type है जिसमें LLM किसी और का homework दोहरा सकता है
अगर एक student ऐसा करता है तो शायद student की समस्या हो सकती है, लेकिन अगर 90% ऐसा कर रहे हैं तो assignment ही गलत है
LLM आने से काफी पहले भी मैंने पढ़ाया था, और तब भी copy-paste किए हुए कचरा submissions बहुत आते थे
मैं हमेशा 0 अंक देता था, और उसे plagiarism नहीं कहता था। क्योंकि plagiarism के रूप में निपटाने के लिए university की administrative process चाहिए होती थी
इसके बजाय बस यह comment करता था कि “X मांगा था, लेकिन paste की हुई कोई बेतुकी चीज़ जमा की है”
जब तक LLM outputs का स्तर अभी जैसा है, assignments में उनके सचमुच competitive होने का खतरा ज्यादा नहीं है
अगर student इतना ध्यान रखता है कि उसे अपनी आवाज़ में फिर से लिख सके, तो मैं इसे उल्टा success मानूंगा। अगर कोई data labeling outsourcing company द्वारा RLHF से सुधारे गए LLM का कचरा जस का तस जमा करता है, तो बस 0 अंक दे देने चाहिए
Students को blog की 3000 शब्दों वाली भावनात्मक अपील से कोई मतलब नहीं होता, वे सबसे कम resistance वाला रास्ता चुनते हैं
अगर आप पूरे assignment पर लाइन खींचकर बड़े लाल अक्षरों में “ChatGPT की बकवास, 0 अंक” लिखकर वापस करने को तैयार नहीं हैं, तो आपको खुद से पूछना चाहिए कि assignment का मकसद आखिर है क्या
हालांकि बात समझ में आती है। Universities ऐसी व्यवस्था बन चुकी हैं जहां students पैसे देकर degree लेते हैं, और professors administrators के सामने कोई standard या discipline लागू करने की ताकत खो चुके हैं
इसलिए वे बस ChatGPT के कचरे को minimum passing marks दे सकते हैं, और ऐसे blog पर philosophy बघार सकते हैं जिसे students कभी नहीं पढ़ेंगे
यह साफ cheating थी। जैसे गलत code से सही जवाब हासिल करना
लेकिन cheating की शिकायत करने वाली administrative process से गुजरने का इरादा नहीं था, इसलिए बस 0 अंक दे दिए
सही जवाब पर 0 अंक देने से तो successful complaint या appeal होने की संभावना लगती है
लेकिन नए ideas में fail होने की संभावना होती है, इसलिए उनमें से ज्यादातर खास नहीं थे और कम marks मिले
समझ नहीं आ रहा था कि क्या करूं, तो जल्द ही मैंने assigned books पढ़े बिना Wikipedia summaries और दूसरे लोगों के reviews के आधार पर essays लिखना शुरू कर दिया
पहली बार A और A+ मिले, और समझ आया कि औसत स्तर की original writing भी आधे लोगों की समझ से बाहर होती है
Literature में किसी idea को सचमुच intellectual माना जाना हो, तो उसे उन लोगों को भी आकर्षक लगना चाहिए जिन्हें वास्तव में पढ़ी हुई चीज़ याद नहीं रहती
जानकार और बुद्धिमान व्यक्ति के लिए भी मिलती-जुलती जानकारी का समुद्र नजर धुंधला कर देता है
क्लास में writing assignment का मकसद text output बनाना नहीं, बल्कि छात्रों से सोचवाना होना चाहिए। भाषा मॉडल पहला काम कर देते हैं, लेकिन दूसरा नहीं कर पाते
शिक्षा और अकादमिक जगत में इतने सारे समझदार experts और scholars को यह बात न समझते देखना बेहद निराशाजनक है
वे काम को सिर्फ output production की तरह देखते हैं, और यह नहीं सोचते कि उस process से knowledge, skills और experience कैसे बनते हैं
सबसे कम समझ रखने वाले छात्र writing या problem-solving के उद्देश्य और LLM की सीमाओं को समझे बिना LLM के पीछे-पीछे चलते हुए कई साल बर्बाद कर रहे हैं
कभी-कभी वे लाखों डॉलर खर्च करके अपने दिमाग को कमजोर करते हैं और अंत में सिर्फ एक कागज पाते हैं, फिर real world का सामना करते हैं जहां समस्याएं कहीं ज्यादा open-ended होती हैं और LLM की problem-solving quality बहुत गिर जाती है
जो लोग सचमुच खुद समस्याओं से जूझते हैं और सीखते हैं, उन्हें लंबे समय में बहुत बड़ा advantage मिलेगा
अगर हमें सिर्फ वजन इधर-उधर करना है, तो tool इस्तेमाल करना ठीक है
लेकिन यह काम उस असर के लिए किया जाता है जो आप पर पड़ेगा। शिक्षक सवाल इसलिए नहीं पूछता कि उसे जवाब नहीं पता
अगर सीखना और material में डूबना है, तो 60,000 डॉलर बचाकर online मुफ्त में, शायद ज्यादा efficiently, किया जा सकता है
class writing assignment का उद्देश्य university से मुझे degree दिलवाना है
सिर्फ material सीख लेने से degree नहीं मिलती; professors द्वारा बनाए गए gates पार करने और भारी tuition fees देने पर ही यह संभव है
अच्छा होता अगर सच में सीखने के बाद उस बात का valid employability certification पाने की कोई दूसरी system होती, लेकिन जब तक professors उस लुभावने employability certificate के gatekeepers हैं, यह incentive problem बनी रहेगी
बचपन में जब मुझे “The Lord of the Rings में good forces क्यों जीतीं” पर essay assignment मिला था, तो वह असल में यह जांचने का gate था कि मैंने सच में novel पढ़ा है या नहीं
तीन विकल्प थे: novel पढ़कर खुद essay लिखना, पहले से लिखा हुआ essay ढूंढना, या किसी दोस्त का essay template की तरह लेकर फिर से लिखना
internet से पहले पहले से लिखा essay ढूंढना भी आसान नहीं था, लेकिन common topics पर essay books मिलती थीं, और professor द्वारा पकड़े जाने या किसी और के उसी source का इस्तेमाल करने का risk था
A और C कम से कम novel के बारे में सीखने और writing skill सुधारने में मदद करते थे
आज आप ChatGPT से किसी ऐसे novel पर 4-page essay लिखवा सकते हैं जिसके बारे में आपने कभी सुना भी नहीं, और काम खत्म। उस process से कोई value नहीं मिलती
यह simple example है, लेकिन programming पर भी बिल्कुल वैसे ही लागू होता है। beginner programmer कहेंगे कि LLM उन्हें कठिन काम और अनजान languages संभालने की शक्ति देता है, लेकिन उस experience से वे skill या knowledge नहीं पा रहे होते
Google Maps से Prague से Brussels तक रास्ता बताने को कहें तो वह destination तक पहुंचाने वाली turns की list देगा, लेकिन आप यह दावा नहीं कर सकते कि उस process में आपने Germany की geography सीख ली
मैं मानता हूं कि लेखक ने जो स्थिति बताई है वह असंतोषजनक है, लेकिन इसका बड़ा हिस्सा education system और आगे बढ़कर लेखक की जिम्मेदारी है
ऐसे class writing assignments में छात्रों का LLM इस्तेमाल करना स्वाभाविक है। अगर classmates इस्तेमाल कर रहे हैं, तो न इस्तेमाल करना ही मूर्खता होगी
educators को अपने teaching और assessment methods को restructure करना होगा। लेखक को यह न दिखना अजीब है
universities और schools को AI को लेकर अपना संचालन बदलना होगा, वरना वे छात्रों को failure की ओर धकेल रहे हैं
मुझे पता है कि AI से society के लिए कई potential और real problems हैं, लेकिन अगर इसे ठीक से अपनाया जाए तो यह educational experience को positive तरीके से बदलने की संभावना भी रखता है
पहला, छात्र captive audience हैं। वे वहां रहना नहीं चाहते, लेकिन law उन्हें ऐसा करने को मजबूर करता है
compulsory education के बाद भी यही है। inertia के चलते वे higher education में धकेल दिए गए, और उन्हें एहसास ही नहीं हुआ कि उनके पास वास्तविक choices या alternatives हैं
दूसरा, classes में विकसित की जाने वाली कई skills असल में बेकार होती हैं
मैंने second language के रूप में English classes में बहुत समय लगाया, लेकिन सच में भाषा सिखाई internet use ने। बाद की English classes बस busywork थीं
native language classes में भी काफी essays लिखने पड़े, लेकिन उपयोगी चीज सिर्फ उस class की final exam थी
उसके बाद मैंने कभी “real” essay नहीं लिखा। अगर लिखूंगा भी, तो शायद English में लिखूंगा, और forum posts से सीखी हुई कोई अलग style इस्तेमाल करूंगा