Brown परीक्षा में बड़े पैमाने पर AI नकल का आरोप लगाने वाले प्रोफेसर

 (english.elpais.com)
1 पॉइंट द्वारा GN⁺ 6 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Brown University के एडवांस्ड मैथमेटिकल इकोनॉमिक्स कोर्स ECON 1170 में मार्च की मिडटर्म परीक्षा के दौरान कम से कम 50 लोगों द्वारा AI के जरिए नकल करने के आरोप लगे, जिससे अकादमिक भरोसे का मुद्दा बड़ा हो गया
  • परीक्षा take-home closed-book तरीके से थी, और कुछ उत्तरों में ऐसे असामान्य अंश मिले जो प्रश्न ChatGPT में डालने पर मिलने वाले परिणामों से मेल खाते थे
  • मिडटर्म का औसत 96 अंक था और 40 छात्रों ने पूरे अंक पाए, लेकिन जब फाइनल परीक्षा को इन-पर्सन कर दिया गया तो औसत 48 अंक पर गिर गया और 89 में से केवल 59 छात्र उपस्थित हुए
  • Roberto Serrano ने माना कि विश्वविद्यालय की प्रतिक्रिया पर्याप्त नहीं थी, और अगले अकादमिक वर्ष से साप्ताहिक असाइनमेंट को ग्रेड में शामिल न करने और take-home परीक्षाएं बंद करने का फैसला किया
  • Princeton ने भी 1893 से चले आ रहे Honor Code आधारित बिना निगरानी वाले परीक्षा अभ्यास को समाप्त कर दिया है, और AI अमेरिकी एलीट विश्वविद्यालयों की पुरानी मूल्यांकन पद्धतियों को बदल रहा है

Brown ECON 1170 में AI नकल के आरोप

  • Roberto Serrano, Brown University में Economics के Harrison S. Kravis University Professor हैं और एडवांस्ड अंडरग्रेजुएट मैथमेटिकल इकोनॉमिक्स कोर्स ECON 1170 पढ़ाते हैं
  • उन्होंने कहा कि मार्च की मिडटर्म परीक्षा में कम से कम 50 लोगों द्वारा नकल करने के निर्णायक प्रमाण हैं
  • वे इस घटना को Brown और पूरी Ivy League में ज्ञात सबसे बड़े नकल स्कैंडल के रूप में देखते हैं
    • Ivy League में Princeton, Harvard, Yale, Columbia, Cornell, Dartmouth College, University of Pennsylvania आदि शामिल हैं
  • उन्होंने यह मामला Brown के वरिष्ठ अधिकारियों को रिपोर्ट किया, लेकिन कहा कि विश्वविद्यालय की प्रतिक्रिया पर्याप्त नहीं थी
    • President चुप रहे, और Dean ने मामला Academic Code Committee को भेजे जाने के बाद ही “wake-up call” के आशय वाला मेमो भेजा
  • Serrano ने कहा, “Academic integrity is a value worth defending”, और उनका मानना है कि उच्च शिक्षा का भविष्य बचाने के लिए समस्या की गंभीरता को सार्वजनिक रूप से स्वीकार करना और व्यापक चर्चा शुरू करना जरूरी है

परीक्षा का तरीका और असामान्य रूप से ऊंचे अंक

  • इस सेमेस्टर की मिडटर्म और फाइनल परीक्षा, दोनों को take-home, closed-book तरीके से आयोजित करने की योजना थी
    • Ivy League में इस तरह की परीक्षा परंपरा कुछ हद तक अब भी बची हुई है
    • Serrano के अनुसार, छात्रों को लगभग बिना समय-सीमा के काम करने देना, सामान्य से अधिक कठिन प्रश्नों के जरिए उनकी सीमा समझने का एक तरीका है
  • परीक्षा में क्लास में पढ़ाए गए मॉडलों की कुछ assumptions बदली गईं, और नई assumptions के तहत किसी विशेष proposition को सही या गलत साबित करने को कहा गया
  • ECON 1170 आम तौर पर कम छात्रों वाला, कठिन कोर्स है जिसे उत्कृष्ट छात्र लेते हैं
    • पहले कभी एक बार में 30 से ज्यादा छात्रों ने यह कोर्स नहीं लिया था, और कभी-कभी केवल 8 छात्र थे
    • इस सेमेस्टर में, संभवतः नए evaluation method के कारण, 86 छात्रों ने कोर्स के लिए रजिस्टर किया
  • 5 मार्च को हुई मिडटर्म परीक्षा के परिणाम असाधारण रूप से ऊंचे थे
    • औसत स्कोर 100 में से 96 अंक था
    • 40 छात्रों ने पूरे अंक पाए
    • ग्रेडर्स ने कई अनियमितताएं देखीं, और कुछ उत्तरों में ऐसे असामान्य अंश थे जो प्रश्न ChatGPT में डालकर मिले परिणामों से मेल खाते थे

इन-पर्सन फाइनल परीक्षा के बाद सामने आया अंतर

  • Serrano ने मिडटर्म को रद्द नहीं किया, लेकिन छात्रों को बताया कि अंतिम ग्रेड के 50% के बराबर फाइनल परीक्षा इन-पर्सन परीक्षा के रूप में होगी
  • उन्होंने यह भी घोषणा की कि अगर फाइनल परीक्षा के स्कोर का वितरण मिडटर्म जैसा नहीं रहा, तो ग्रेड में केवल फाइनल परीक्षा ही गिनी जाएगी
  • इन-पर्सन फाइनल के परिणाम मिडटर्म से बहुत अलग थे
    • औसत स्कोर घटकर 100 में से 48 अंक रह गया
    • मिडटर्म देने वाले 89 छात्रों में से केवल 59 छात्र फाइनल परीक्षा में उपस्थित हुए
    • फाइनल में नहीं आने वाले 27 छात्रों में से 22 छात्रों ने मिडटर्म में पूरे अंक पाए थे
    • औसत स्कोर तुलना: {b:96,48}
  • Serrano ने कहा कि “नकल के अनुभवजन्य प्रमाण भारी मात्रा में हैं”
  • अगले अकादमिक वर्ष से evaluation method बदलने का फैसला किया गया
    • साप्ताहिक असाइनमेंट AI से किए जा सकते हैं, इसलिए उन्हें अंतिम ग्रेड में शामिल नहीं किया जाएगा
    • चाहे वे कितने भी उपयुक्त क्यों न लगें, take-home परीक्षाएं अब नहीं कराई जाएंगी

कैंपस गोलीबारी का परीक्षा पद्धति पर असर

  • Brown University में पिछले साल 13 दिसंबर को गोलीबारी की घटना हुई थी
    • 48 वर्षीय पूर्व doctoral student Neves Valentes कैंपस में बंदूक लेकर आया और गोलीबारी की
    • 2 लोगों की मौत हुई और 9 घायल हुए, जिनमें कुछ गंभीर रूप से घायल थे
  • गोलीबारी उस classroom में हुई जहां Introduction to Economics की फाइनल परीक्षा की तैयारी के लिए Q&A session चल रहा था
    • इस session का नेतृत्व Serrano की सहकर्मी Rachel Friedberg कर रही थीं
    • 9 घायलों में से 2 Serrano की क्लास के छात्र थे, और कई हफ्तों तक जिंदगी और मौत से जूझने के बाद बच गए
  • मृतकों में से एक Ella Cook उस घटना वाले सप्ताह Serrano के ऑफिस आई हुई छात्रा थी
    • उसने अगले सेमेस्टर में Intermediate Microeconomics लेने की योजना और economics व mathematics के joint major के करियर विकल्पों पर सलाह मांगी थी
  • Serrano ने कहा कि गोलीबारी के बाद वे मानसिक रूप से बहुत कठिन दौर से गुजरे, और घटना के लगभग एक महीने बाद शुरू होने वाले सेमेस्टर में छात्रों का बोझ कम करने के लिए उन्होंने परीक्षा को take-home तरीके से बदलने का फैसला किया
    • कई छात्रों ने कहा कि दिसंबर की घटना के बाद वे कैंपस में असुरक्षित महसूस करते हैं
  • उन्होंने कहा कि 34 वर्षों में उन्होंने एक बार, बेहद जायज कारण से take-home परीक्षा दी, और यह दुखद है कि प्रतिक्रिया बड़े पैमाने पर नकल के रूप में सामने आई

AI से बदलती एलीट विश्वविद्यालयों की evaluation practices

  • AI अमेरिकी एलीट विश्वविद्यालयों की पुरानी अकादमिक मूल्यांकन पद्धतियों को बदल रहा है
  • Princeton ने 133 वर्षों से कायम अभ्यास को समाप्त कर दिया है, और आगे से इन-पर्सन परीक्षाओं में प्रोफेसर निगरानी के लिए मौजूद रहेंगे
    • 1893 में Honor Code लागू होने के बाद से Princeton में छात्र नकल न करने की शपथ लेते थे, और प्रोफेसर पेपर बांटने के बाद कमरे से बाहर चले जाते थे और परीक्षा खत्म होने पर लौटते थे
    • अगर कोई नकल करता, तो किसी दूसरे छात्र को उसकी रिपोर्ट करनी होती थी
  • Stanford से ग्रेजुएट 22 वर्षीय पत्रकार Theo Baker ने The New York Times में लिखा, “A.I. has made deception easier and more remunerative than ever before”
    • वे ChatGPT के पहले version के रिलीज से दो महीने पहले Stanford में दाखिल हुए थे, और चार वर्षों में उन्होंने अपने आसपास छात्रों को AI इस्तेमाल करने के लालच से बच न पाते देखा
    • उन्होंने यह भी लिखा, “I don’t know a single person who hasn’t used A.I. to get through some assignment in college”
  • Serrano भी मानते हैं कि AI छात्रों को नकल करने के लिए ज्यादा बड़ा incentive देता है
  • उनका कहना है कि ऐसी घटनाओं को दबाया नहीं जाना चाहिए, और अगर सच, गरिमा और ईमानदारी को अब नहीं बचाया गया तो अकादमिक दुनिया के लिए अपनी विश्वसनीयता बनाए रखना मुश्किल होगा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 6 시간 전
Hacker News की राय

  • AI के दौर में लगता है परीक्षाओं को आमने-सामने और हाथ से लिखी हुई बनाना पड़ेगा
    इस स्थिति के हिसाब से मैंने अपनी क्लास कैसे बदली, इस पर लिखा है: https://htmx.org/essays/universities-and-ai/
    विडंबना यह है कि बड़े lecture hall और बड़े photocopier जैसी कंप्यूटर-पूर्व infrastructure की वजह से university degree छात्र की बौद्धिक क्षमता का बेहतर संकेत भी बन सकती है

    • हाथ से लिखना अनिवार्य करने की ज़रूरत शायद नहीं है
      पुराने desktop PC, wired LAN card, बाहरी कनेक्शन के बिना उसी कमरे का switch, laser printer, lubuntu और libreoffice writer भर से कम लागत में exam room बनाया जा सकता है
      कम से कम MS Word 2000 स्तर या उससे बेहतर word processor सुविधाओं के साथ essay टाइप करने देना चाहिए
    • university में मैंने Java की एक class ली थी, जहाँ exam में हाथ से लिखा code जमा करना पड़ता था
      लगता है आज भी वह तरीका चल सकता है
    • student के नज़रिए से oral exam या notes के बिना written exam ठीक हैं
      सीखने और जिज्ञासा से आया हूँ, इसलिए ऐसी चुनौती अच्छी लगती है
      degree program में enrolled होकर cheat करने की ज़रूरत क्यों पड़ती है, सच में समझ नहीं आता। जिन classes में रुचि ही न हो उन्हें झेलना यातना जैसा होगा
    • India में CS undergraduate की ज्यादातर classes में हाथ से code लिखना होता था, इसलिए हम पहले से आगे थे
      students भी cheating slips, छिपाए हुए iPad, phone, और exam के दौरान पारंपरिक फुसफुसाहट में आगे थे
    • सहमत हूँ कि शायद यह सबसे कम बोझ वाला समाधान है
      विकल्प के तौर पर exam के दौरान devices को काफी अच्छे से lock करने वाले Safe Exam Browser जैसे तरीके भी हैं
      हितों का खुलासा: मैं एक छोटा startup चलाता हूँ जो teachers को digital exams बनाने और चलाने देता है, और cheating digital exams में teachers की सबसे बड़ी शिकायतों में से एक है, इसलिए हम Safe Exam Browser से integrate कर रहे हैं

  • आखिरी घर से दिया गया exam जो मैंने देखा था वह EE364a: Convex Optimization था, और वह 24 घंटे का exam था, ऊपर से मुझे सर्दी भी थी
    घर में AC नहीं था, इसलिए hotel room लिया और अनुभव वाकई कठिन था। programming problems ज़्यादातर सही किए, लेकिन proofs में केवल कुछ ही सही हुए, और उस exam तथा लगभग सभी assignments का class average 80% से ऊपर था; final grade A- मिला
    Stanford students के लिए शायद यह class इतनी मुश्किल न रही हो, लेकिन अगर लगभग हर assignment का average इतना ऊँचा हो तो cheating का शक होता है। clue office hours थे। जल्दी ही समझ आ गया कि किसी भी class के office hours में जाओ तो line लगी होती थी, और TA अक्सर कठिन problem को आसानी से हल करने के hints छोड़ देता था। जो students attend कर सकते थे, उन्हें unfair advantage मिलता था
    Nepali medical students के बीच USMLE cheating के बड़े scandal की भी याद आती है: https://www.medpagetoday.com/special-reports/features/113627
    मैंने कई बेहतरीन international medical graduates से मुलाकात की है, और उनमें कई लोगों के USMLE scores हैरान करने वाले रूप से ऊँचे थे। यह सच है कि American students medical school के दौरान दो साल से कम समय में तैयारी करते हैं, जबकि international students graduation के बाद कई साल इंतज़ार करके exam दे सकते हैं, इसलिए तैयारी के समय पर कोई सीमा नहीं होती
    उस scandal से पहले मैंने सोचा भी नहीं था कि USMLE में cheating संभव होगी। Prometric test centers बहुत सख्त नियंत्रण में होते हैं, लेकिन तरीका अलग था। पिछले examinees कुछ questions याद करके secret database में जोड़ते गए, और कई सालों बाद लगभग सभी questions जमा हो गए। examinees सभी questions रटने में भारी मेहनत करते थे। American residency का reward जीवन बदल देने वाला होता है, इसलिए cheating व्यापक क्यों हुई, यह समझ आता है

  • Dartmouth CS department में मैंने खुद देखा है कि स्थिति खराब है
    हम नया introductory systems curriculum design कर रहे हैं, और इसे adversarial problem की तरह देख रहे हैं। यानी अगर student लगाए गए effort के बदले best grade optimize करे, तब भी वह learning goals पूरा करे
    इसलिए paper exams के साथ-साथ, submitted assignments को समझते हैं या नहीं यह जांचने के लिए 1:1 interviews भी शामिल कर रहे हैं। “इस library का यह macro क्या करता है?”, “यह function क्या करता है और कैसे काम करता है?” जैसे factual questions और “तुमने इस code को $whatever की जगह इस तरह क्यों structure किया?”, “तुमने कौन से दूसरे solutions try किए?” जैसे conceptual questions, दोनों पूछते हैं
    code generation को रोक नहीं सकते, लेकिन कम से कम generated code को detail में समझना पड़ेगा
    यह खुद code लिखने जितना अच्छा नहीं है, पर कितना ज्यादा खराब है, पता नहीं। math classes में वह gap बड़ा होता है। क्योंकि किसी और के proof को समझना, खुद proof लिखने से कहीं आसान है। programming classes में, बिना ठोस आधार के, मुझे लगता है gap थोड़ा छोटा है
    पिछले अनुभव के आधार पर, अगर ऐसी assessment method शुरू से साफ कर दी जाए तो students उसे anticipate करके ठीक-ठाक निभा लेते हैं या पहले हफ्ते में class drop कर देते हैं। अगर home exam से शुरुआत करके semester के बीच में अचानक paper exam दे दिया जाए, तो article की तरह आधी class पहले ही cheating कर चुकी होती है और recover नहीं कर पाती
    students में सीखने की abstract इच्छा कुछ हद तक होती है, लेकिन वे grades से कहीं ज्यादा motivate होते हैं। कम effort में अच्छा grade पाने का clear path हो तो ज्यादातर वही रास्ता चुनते हैं। undergraduate course review site का नाम literally “Layup List” है, इतना खुल्लमखुल्ला है
    instructor का काम है कि अच्छे grades तक जाने वाले हर path में वास्तविक learning जरूरी हो, या वह सिर्फ सीखने से भी ज्यादा कठिन हो
    students को दोष न देना बेहतर है। students metrics optimize करने में अच्छे हैं, और इसी वजह से वे यहाँ तक पहुँचे हैं। बस assessment metrics को हमारे desired outcomes से बेहतर align करना है

    • “students को दोष न देना बेहतर है” वाली बात से सहमत होना मुश्किल है
      Ivy में जाने का मौका न पाने वाले लोग कहीं ज्यादा हैं। cheating की punishment automatic expulsion होनी चाहिए
      hiring manager के रूप में, अगर school students की honesty नहीं दिखा सकता तो university degree की कोई value नहीं है
    • “किसी और के proof को समझना, खुद लिखने से कहीं आसान है” यह बात graduate level और उससे ऊपर हमेशा सही नहीं होती
      programming में जैसे कभी-कभी “बस खुद X बनाना” आसान होता है, वैसे ही कुछ proof explanations जरूरत से ज्यादा dense होते हैं; ऐसे में खुद 90% निकाल लेना और आखिरी 10% के लिए hints वाली कुछ sentences देखना कम थकाऊ पड़ता है
      LLM की चमकदार लेकिन frustrating explanations या solutions देखकर हार मानने के बाद खुद करने पर मुझे पछतावा नहीं होता। AI के साथ Socratic dialogue कभी-कभी लगाए गए effort के बराबर worth नहीं रखता
    • grades optimize करना बहुत दुखद है
      मेरे पास CS bachelor’s degree है, लेकिन किसी ने कभी grades नहीं पूछे। मैंने learning optimize करने की कोशिश की, और real world में उसका काफी अच्छा reward मिलता है
    • बिना irony के कहूँ तो, क्या voice AI 1:1 interview process को बेहतर manage करने में मदद नहीं कर सकता?

  • अगर शोध क्षेत्र game theory है, तो यह समझना चाहिए था कि ऐसी स्थिति में, जहाँ हर competitor के LLM इस्तेमाल करने की संभावना हो, game-theoretic optimal choice LLM इस्तेमाल करना ही है

    • यह reward function पर निर्भर करता है
      समाज को credentials को reward करना चाहिए, या skills को?
    • मूल लेख में एक और irony भी है: “हम economists वास्तविकता को ऐसे लोगों के समूह के रूप में समझते हैं जो constraints वाले optimization problems पर प्रतिक्रिया देते हैं”
    • Game theory वास्तविक दुनिया में खास उपयोगी नहीं लगती। लोग rational actors नहीं होते, और सचमुच कठिन काम उनके व्यवहार को ठीक-ठीक model करना है
      जहाँ elite degree अपने-आप में लक्ष्य होती है, वहाँ यह बेशक काम नहीं करेगा, लेकिन छोटे और घनिष्ठ liberal arts colleges में honor code काफी अच्छी तरह काम कर सकता है

  • एक university professor के तौर पर, सच कहूँ तो मुझे grading का मतलब समझ नहीं आता
    grades देखकर कौन परवाह करता है? शायद कंपनियों का HR department। तो फिर professors कंपनियों के लिए मुफ्त में screening क्यों करें?
    ऊपर से grade inflation अब इतनी दूर तक पहुँच चुका है कि सबको A दे दिया जाए और कंपनियाँ खुद selection कर लें, तब भी चल सकता है

    • क्या आपको university की reputation की बिल्कुल परवाह नहीं है?
      पहले academia आज की तरह ideological battlefield नहीं बना था, तब मैंने post-secondary CS education में थोड़े समय काम किया था; अगर मैंने ऐसी बात कही होती तो शायद मुझे निकाल दिया जाता
      अगर grade inflation समस्या है, तो grades inflate मत कीजिए। standardized tests भी ठीक इसी तरह की चीज़ों में उपयोगी होते हैं, लेकिन बहुत लोग उनका विरोध शायद इसलिए करते हैं कि वे दिखा देते हैं कि असली स्तर कितना खराब है
      “मछली सिर से सड़ती है”
    • Employer यानी university, customer यानी student को diploma और transcript बेचती है, जो नौकरी पाने में इस्तेमाल होने वाले credentials हैं
      यह मुफ्त में किया जाने वाला काम नहीं है। Grading उस काम का हिस्सा है जिसके बदले UC professor को salary और benefits के रूप में 250,000 dollars से ज़्यादा देती है
      HR department बस मौजूद signals का इस्तेमाल करता है। अगर smart लोगों के पास college degree होने की tendency है तो वे उसे filter की तरह इस्तेमाल करते हैं; अगर किसी खास university से होने की tendency है तो उस list को filter की तरह इस्तेमाल करते हैं; और अगर transcript मौजूद है और smart लोगों को बेहतर grades मिलने की tendency है तो वे transcript माँगते हैं
      HR ने grades या transcripts invent नहीं किए
      आखिरी वाक्य से सहमत हूँ। Grades, यहाँ तक कि graduation खुद का signal भी, मशहूर universities में भी काफी कमजोर हो चुका है
      अगर आप उस स्थिति को सुधारना चाहते हैं, तो UC STEM faculty के इस open letter में अपना नाम जोड़ने से शुरुआत कर सकते हैं: https://docs.google.com/forms/d/e/1FAIpQLSdwvDywR-CAt3t_U3Aw...
    • मुझे याद है कि undergraduate के दौरान एक assignment पर, जिसमें मैंने बहुत मेहनत की थी, distinction मिला था और मैं सचमुच बहुत खुश हुआ था
      बाद में पता चला कि tutor उस assignment को committee के पास ले गया था और high distinction की वकालत की थी, लेकिन मामूली अंतर से असफल रहा; फिर भी उसे उस course के desired output के example के रूप में संभालकर रखा गया
      तब मैं युवा था और effort और reward के रिश्ते को अभी सीख ही रहा था, इसलिए इसका मुझ पर बड़ा असर पड़ा। जिन subjects में मेरी innate talent बहुत ज्यादा नहीं थी, उनमें मैंने काफी मेहनत की थी लेकिन अक्सर average results मिले थे; ऐसे में यह बात आश्चर्यजनक थी कि लगातार मेहनत करके recognition के लायक कुछ बनाया जा सकता है
      इसके उलट, मेरी मौजूदा पत्नी ने उसी institution में diploma subjects किए थे, जहाँ सिर्फ pass/fail दिया जाता था। बहुत लोग confused थे, और “pass” में आने वाली work quality की range बहुत बड़ी थी
    • Grading students को goals देती है। “goal education है” जैसी ऊँची बात नहीं, बल्कि concrete goals
      मानव मन feedback loop के भीतर reward system का इस्तेमाल करता है। अगर personal preference की वजह से आप उसे हटाना चाहते हैं, तो यह मानव होने की reality को नजरअंदाज करना है
    • जब मैं कुछ पढ़ता हूँ, तो यह अच्छा होता है कि मुझे इस बात पर external evaluation मिले कि मैं कितना अच्छा कर रहा हूँ
      इससे overconfidence या impostor syndrome में फँसने से बचा जा सकता है। नए विषय पर काम करते समय अपने project के स्तर को objectively देखना मुश्किल होता है

  • “घर से, closed-book exam” अपने-आप में contradiction है
    मैं दूसरों की इस बात से सहमत हूँ कि AI असली समस्या नहीं है

    • undergraduate classics exam और CS graduate qualifying exams में मेरे सबसे अच्छे exams in-person, handwritten, open-book थे
      समय पर्याप्त था और questions की range भी roughly पता थी। यह memorization के बजाय इस बात को reward करता था कि आपने material सच में master किया है या नहीं
      CS exam के समय कुछ लोग इतने books लेकर आए कि उन्हें physically उठा पाना मुश्किल था, लेकिन मुझे नहीं लगता कि उससे ज्यादा मदद मिली
    • मैंने ऐसा exam दिया है। यह honor code पर छोड़ने वाला तरीका था
      विचार यह था कि regular exams students के knowledge को assess करने के लिए बहुत छोटे होते हैं, और fast students को advantage नहीं मिलना चाहिए
    • Final exam घर से नहीं था, और उसमें बहुत बड़ा gap सामने आ गया
      मैं सहमत हूँ कि घर से exam देकर students से cheating न करने की उम्मीद करने का दौर अब बीत चुका है। शायद कभी ऐसा समय रहा हो जब ज्यादातर students के honestly behave करने की उम्मीद करना ठीक था, लेकिन आज के माहौल में यह बिल्कुल fit नहीं बैठता
      खासकर COVID के बाद, किन वजहों के combination से पता नहीं, students को effort-to-grade ratio को min-max करने के अलावा ज्यादा परवाह नहीं दिखती
      इसलिए students शुरुआत से ChatGPT इस्तेमाल करते रहे और सोचते रहे कि यह चलता रहेगा; फिर पहली ऐसी assignment में, जहाँ cheating नहीं कर पाए, वे पूरी तरह टूट गए
    • सबसे अजीब बात यह है कि game theory expert को यहाँ problem नहीं दिखती
    • आज की reality नहीं जानता, लेकिन 25 साल पहले जब मैं Harvey Mudd में था, closed-book take-home exams काफी common थे। आम तौर पर 3/5/8 घंटे जैसी time limits होती थीं, और किसी के cheating करने के विचार से ही हम shock हो जाते
      हम honor code को बहुत serious लेते थे। मैं भी पहले students को “external materials नहीं” rule वाले open-book take-home exams अक्सर देता था, लेकिन अब निष्कर्ष निकाला है कि यह लगभग असंभव है। यहाँ कोई official honor code भी नहीं है
      खास तौर पर यादगार एक time-limited closed-book math exam था, जिसमें exam paper पर textbook के सिर्फ चार problem numbers लिखे थे। आपको book खोलकर सिर्फ वे problems copy करनी थीं, फिर book बंद कर देनी थी और कुछ और नहीं देखना था
      सच कहूँ तो वह trouble invite करने का तरीका था, और अब जब मैं professor हूँ तो लगता है कि वह professor unreasonable ढंग से lazy था। फिर भी वह spirit अच्छी तरह दिखाता था। ठीक-ठीक कहूँ तो वह Harvey Mudd professor नहीं, बल्कि पास के graduate school का professor था; शायद उसका असर पड़ा हो

  • शीर्ष विश्वविद्यालय के प्रतिस्पर्धी प्रोग्राम में relative grading झेलते हुए, अगर आपको पता हो कि आपके सहपाठी AI से cheating कर रहे हैं, तो वही करने का दबाव बहुत बड़ा होता है
    खासकर नए graduates के लिए jobs मिलना और कठिन हो गया है, और पढ़ाई के दौरान internships और side projects भी ज़्यादा करने का दबाव बढ़ गया है। cheating के बिना मुकाबला करने का कोई तरीका नहीं है

    • 65 साल की उम्र में विश्वविद्यालय में शिक्षा और research science करियर से retire होने के बाद, इस बार हाई स्कूल science पढ़ाने लौटा—मुख्यतः A-grade public high school में AP STEM विषय
      cheating और AI की समस्या अब कोविड से भी बड़ा संकट है। मेरे अनुभव में advanced/AP classes में cheating न करने वाले छात्र बहुत कम हैं, और वजहें ज़्यादातर ऊपर जैसी ही हैं
      classes और exams को इस तरह design करने के लिए कि AI के जरिए cheating मुद्दा न बने, teachers को भारी resources चाहिए। मेरे जानने वाले कई teachers ने लगभग हार मान ली है। teachers के time और energy की मांग पहले ही आसमान छू रही है, ऐसे में cheating को bypass करने की cost और मेहनत बहुत ज़्यादा है
      school administration भी खास मदद नहीं करता। हर स्तर पर software पर बिना आलोचनात्मक सोच के, उत्साह से निर्भरता इसकी वजह है। कुछ मायनों में administration भी समस्या का हिस्सा है
      अमेरिका के बाहर schools में क्या स्थिति है, मुझे नहीं पता, लेकिन यहां यह arms race बन चुका है
    • “विकल्प लगभग नहीं हैं” वाली बात से मैं व्यक्तिगत रूप से कड़ी असहमति रखता हूं
      deontology घर से शुरू होती है
    • विकल्प हमेशा होते हैं
      इस मामले में सही कदम administration, donors और politicians के सामने जोरदार तरीके से मुद्दा उठाना है। जरूरत पड़े तो AI का इस्तेमाल करके भी करना चाहिए
      school द्वारा cheating की सजा देने से इनकार करने की समस्या corporate और politics तक रिस रही है
    • schools को relative grading पर रोक लगानी चाहिए
      उदाहरण के लिए MIT ऐसा करता है। standards absolute होने चाहिए
    • इस तरह का justification बकवास है, और आज अमेरिका की कई institutions में दिख रहे नैतिक और ethical पतन का हिस्सा है
      विकल्प हैं। बस जिम्मेदारी से बचने के लिए ऐसा दिखाया जाता है कि वे नहीं हैं
      इसके अलावा, कुछ उबाऊ finance/quant firms को छोड़ दें, तो किसी ने यह नहीं पूछा कि मेरा college GPA कितना था, न ही उन्हें परवाह थी

  • मैं AI cheating का बिल्कुल समर्थन नहीं कर रहा, लेकिन अनुभव से कह सकता हूं कि कई घंटों की लिखित परीक्षा की invigilation करने से ज़्यादा उबाऊ और आत्मा को कुरेदने वाला काम नहीं है
    उसी काम की वजह से higher education में पढ़ाने से मेरा मन उचट गया
    कई समस्याओं को हल करने के लिए, Ivan Illich के विचारों की तरह https://en.wikipedia.org/wiki/Deschooling_Society शिक्षा को exams और certification नहीं, बल्कि शिक्षा खुद बनाना होगा

    • “शिक्षा को exams और certification नहीं, बल्कि शिक्षा खुद बनाएं” यह पहले आजमाया जा चुका है
      grades नस्लवादी हैं, जैसी बेतुकी लहर भी चली थी, और यह आंशिक रूप से NCLB की प्रतिक्रिया थी
      यह काम नहीं करता। सीखने में कठिनाई और evaluation का सामना करने की प्रक्रिया जरूरी है। अकेले सीखने पर भी यही बात लागू होती है
      exams के बिना learning कैसी दिखती है, यह देखने के लिए उन लोगों को देखिए जो AI से बातचीत करके मानते हैं कि उन्होंने कोई विषय खुद सीख लिया। दस में से नौ को लगता है कि वे कुछ जानते हैं, लेकिन असली problem अकेले solve नहीं कर पाते
    • समझ नहीं आता कि exam invigilation “आत्मा को कुरेदने वाला” काम क्यों है
      students जब exam लिख रहे हों, तब बस चलना या खड़े रहना होता है। grading उबाऊ है, लेकिन invigilation एक neutral experience है

  • “AI युग” कहा जाता है, लेकिन पहले भी लोग बस Google पर सवाल खोजकर जवाब पा सकते थे
    UVA में नकल कम करने वाली चीज़ honor code और हर professor का छात्रों की ईमानदारी पर भरोसा था। सिर्फ वही culture लोगों को नकल न करने के लिए पर्याप्त था
    मेरे हिसाब से समाधान culture पर ध्यान देने में है। नकल हमेशा एक लुभावना विकल्प रहनी चाहिए, और छात्रों को उसी प्रलोभन के बीच अपनी ईमानदारी को तराशना चाहिए। ईमानदारी भी एक मांसपेशी है, इस्तेमाल न हो तो सिकुड़ जाती है

    • नकल के वास्तविक नतीजों का कम हो जाना इसमें बड़ी भूमिका निभाता था
      कॉलेज के समय नकल में पकड़े जाने पर बड़ी मुसीबत हो जाती थी। बार-बार करने वालों को course में fail होने जैसे गंभीर परिणाम झेलने पड़ते थे, और अगर वह अनिवार्य pathway course होता तो graduation देर से हो सकता था। नौकरी शुरू करने में देरी होती, इसलिए वास्तविक आर्थिक लागत जुड़ जाती थी
      आजकल universities नकल के मुद्दे से जैसे किसी भी तरह बचना चाहती हैं। लेख में professor भी शिकायत करते हैं कि नकल के मुद्दे पर ध्यान खींचना कितना मुश्किल था, और अपने department के भीतर भी कोई प्रतिक्रिया नहीं मिली
      छात्र भी यह जानते हैं। जब नकल एक critical mass पार कर जाती है, और नकल करने वालों के साथ कुछ बुरा होता नहीं दिखता, तो जो नकल नहीं करते उन्हें लगने लगता है कि वे पीछे रह जाने का जोखिम उठा रहे हैं। नकल करने वालों को ऊँचे grades मिलते हैं, इस मामले में कई लोगों को 100% मिलता है, और वे material पढ़ने के बजाय party करने निकल जाते हैं। अगर grades curve पर बांटे जाएँ तो यह सच में नुकसानदेह है
      इसलिए प्रलोभन फैलता है। आसपास कुछ युवा लोगों को देखा है जो खुद को यह कहकर धोखा देते हैं कि वे ChatGPT से answers check करके सीख रहे हैं। लेकिन उन्हें एहसास नहीं होता कि ChatGPT का problem ठीक करना और सही जवाब पर नज़र डालना बहुत सतही है
      जब पता हो कि दबाने के लिए एक button है, तो अपने काम को verify करने की मेहनत भी घट जाती है। जब ऐसी स्थिति आती है जहाँ उस button पर निर्भर नहीं रहा जा सकता, तो सब कुछ ढह जाता है
    • मंशा से सहमत हूँ, लेकिन university costs बढ़ने को देखते हुए honor system का क्षरण अपरिहार्य लगता है
      पिछले 20 सालों में कहीं न कहीं university एक luxury good बन गई, और उसी के साथ customers में entitlement की भावना भी स्वाभाविक रूप से आ गई
      इसके साथ classroom teaching, खासकर ऐसे tenured research professors की classes जो पढ़ाने को झंझट समझते दिखते हैं, का workplace skills से बहुत कम संबंध है—यह धारणा भी बढ़ी है
      इसलिए मेरे हिसाब से कुछ हद तक यह समझ में आता है कि छात्रों ने rules को ignore करके checkbox पूरा करने पर ध्यान देना ही smart समझा
    • “culture” ठीक करने की बात से सहमत होने के लिए पहले इस पर सहमति चाहिए कि गलत क्या है
      हम वह सहमति भी नहीं बना पाते, इसलिए ठीक करना भी मुश्किल है
    • culture को “ठीक” करना किसी individual professor के छात्रों को lecture देने से कहीं ज्यादा व्यापक संदर्भ शामिल करता है
      इसके लिए पूरी intergenerational contract, छात्रों का trust जीतना, और उनकी voluntary consent चाहिए। cynicism और mistrust, और बात को सच में स्वीकार न कर पाने से पैदा होने वाला disengagement बहुत है
      यह सिर्फ थोड़ा और डांटकर “नकल बुरी चीज़ है, समझे?” कहने का मामला नहीं है
      एक शुरुआती बिंदु यह गंभीरता से पूछना है कि किसे और क्यों university degree चाहिए, और इस credentialism ने युवाओं के productive सालों को कैसे छीन लिया है
      कम से कम पुराना सौदा यह था कि major से असंबंधित bachelor’s degree भी gatekeeper हो, तब भी middle-class jobs की उम्मीद की जा सकती थी। लेकिन वह सौदा भी अब खराब हो गया है
    • culture संस्थानों और degree की भूमिका से निकलता है
      वास्तविकता में degree की मुख्य भूमिका, चाहे आदर्श रूप में कुछ भी होनी चाहिए, high-paying jobs का gatekeeper होना है
      यहीं समस्या पैदा होती है। मान लीजिए Y job पाने के लिए आप university में X major करते हैं। आपको लगता है कि company degree इसलिए मांगती है ताकि यह साबित हो कि X competency Y काम के लिए जरूरी है
      लेकिन university जाकर पता चलता है कि X degree पाने के लिए जरूरी अधिकांश classes का वास्तव में X से कोई संबंध नहीं है। ऊपर से, सिर्फ exam से ठीक पहले cramming करने वाले और X की वास्तविक knowledge न रखने वाले छात्र भी A लेकर graduate हो जाते हैं
      summer intern के रूप में Y काम करके देखें, तो पता चलता है कि Y काम सीखना school में सीखे X से लगभग असंबंधित है। Y काम बहुत अच्छे से करने वाले managers और company के लोग, जो कभी X majors थे, X के बारे में लगभग सब भूल चुके हैं, बल्कि मुझसे भी कम जानते हैं, फिर भी Y काम शानदार करते हैं
      internship खत्म होने के बाद आपको पता होता है कि आप Y काम पर्याप्त रूप से कर सकते हैं। लेकिन degree नहीं है, इसलिए अभी Y job नहीं मिल सकती। आप Y काम करने वालों से X ज्यादा जानते हैं, और देख चुके हैं कि उन्हें वह काम करने के लिए X knowledge की जरूरत नहीं है, फिर भी school लौटकर X और सीखना पड़ता है
      आखिरकार Y काम पाने के लिए X degree जबरन लेनी पड़ती है, जबकि Y काम में X knowledge वास्तव में जरूरी नहीं है। यहां तक कि X degree का मतलब X की वास्तविक knowledge भी नहीं होता। वैसे भी सभी लोग Y on the job सीखते हैं
      इसलिए जब X exam आता है तो लगता है, “मैं इसमें समय क्यों लगा रहा हूँ?”, और पूरा system गड़बड़ है, इसलिए ChatGPT इस्तेमाल करने का फैसला कर लेते हैं
      यह university में मेरे experience जैसा था। LLM से पहले का समय था, इसलिए ज्यादा कठिन था, और ज्यादा पढ़े बिना भी A मिल सकता था इसलिए मैंने नकल नहीं की, लेकिन जो करते हैं उन्हें दोष देना मुश्किल लगता है
      सच में समझ नहीं आता कि इस system में ईमानदारी कहाँ फिट होती है। जब system में ही ईमानदारी नहीं है, तो उसके भीतर ईमानदार व्यवहार करना कभी-कभी बेवकूफ़ बनने जैसा लगता है
      अगर आप ईमानदारी को बढ़ावा देने के लिए culture बदलना चाहते हैं, तो education और degree का अर्थ किसी arbitrary bureaucratic gate से ज्यादा होना चाहिए

  • अब लगता है घर से दी जाने वाली परीक्षा का दौर खत्म हो गया है
    अंडरग्रेजुएट छात्रों का ऐसा व्यवहार समझ में नहीं आता। शिक्षा पर इतना पैसा खर्च करके शिक्षा वाले हिस्से को ही छोड़ देने का क्या कारण है?

    • बहुत लोगों के लिए विश्वविद्यालय की डिग्री नौकरी पाने के लिए बस एक औपचारिकता है
      विश्वविद्यालय के बाद मेरी पहली नौकरी में, कंपनी के सभी अनुभवी लोग सिर्फ हाई स्कूल डिप्लोमा के साथ आए थे। आज प्रतिस्पर्धी बने रहने के लिए वास्तविक रूप से मास्टर्स डिग्री चाहिए। मैं जहाँ नॉर्वे में रहता हूँ, वहाँ ज़्यादातर आवेदकों के पास 5 साल की मास्टर्स डिग्री होती है, और असल में यह शैक्षिक योग्यता की महंगाई है
      यहाँ मज़ाकिया अंदाज़ में “Mastersyken”, यानी “मास्टर्स बीमारी” कहा जाता है। इसका मतलब है कि बहुत ज़्यादा लोग सिर्फ डिप्लोमा के लिए मास्टर्स डिग्री लेते हैं, नौकरी में ज़्यादा आकर्षक दिखना चाहते हैं, लेकिन आखिर में “सबके” पास मास्टर्स हो जाता है, सब पहले जैसी ही स्थिति में रह जाते हैं और बस छात्र-ऋण और बढ़ जाता है
      सबसे बुरा पल वह होता है जब काम शुरू करने के बाद सचमुच एहसास होता है कि यह काम हाई स्कूल खत्म करते ही भी आराम से किया जा सकता था
    • आप विश्वविद्यालय जाने की प्रेरणा को गलत तरह से देख रहे हैं
      ज़्यादातर लोगों के लिए विश्वविद्यालय का मकसद कागज का वह टुकड़ा पाना है जो ऊँची सैलरी के अवसर खोलता है। इसलिए वे न्यूनतम मेहनत से उस कागज को पाने के लिए जरूरी काम करते हैं
      जब तक डिग्री, खासकर प्रतिष्ठित विश्वविद्यालय की डिग्री, ऐसा साधन बने रहना बंद नहीं करती, यह व्यवहार जारी रहेगा
    • कुछ छात्रों की सचमुच सीखने में रुचि नहीं होती, और वे डिप्लोमा को कोई अर्थपूर्ण प्रमाण-पत्र नहीं बल्कि रोज़ी-रोटी की तरह देखते लगते हैं
      या वे विश्वविद्यालय को सिर्फ networking का अवसर मानते होंगे
      अगर वे शुरू से वहाँ रहना ही नहीं चाहते, या सीखने का मूल्य नहीं देखते, तो आसान रास्ता चुनना हैरानी की बात नहीं है। या शायद वे Brown में प्रवेश लेते समय से ही cheating करते आए हों और वही जारी रख रहे हों
      लेकिन मुझे हमेशा सीखने में रुचि रही है, और मैं समझता था कि cheating सीखने से बचने का तरीका है। Brown जैसी जगह पर मिलने वाले faculty, teaching assistants, lectures, labs, libraries, studios, practice spaces, दिलचस्प speakers, art और cultural events, computing facilities, maker spaces जैसे अद्भुत learning resources को क्यों बर्बाद करना?
    • आप किसी चीज़ को न जानने की स्थिति में हैं
      परीक्षा का सवाल आपको यह बात बताता है
      textbook, LLM, internet या इन सबके रूप में एक oracle मौजूद है
      कौन-सा काम शिक्षा को छोड़ना है? जवाब खोजकर देखना, या जवाब खोजकर न देखना?
    • घर से दी जाने वाली परीक्षाओं में पहले भी cheating बहुत होती थी, और अब शायद यह और खराब हो गई है
      शिक्षकों को सचमुच इसे बंद कर देना चाहिए। लोग कितनी अच्छी तरह धोखा देते और झूठ बोलते हैं, इसे track करने वाले metrics बनाना, और नौकरी पाने के लिए क्योंकि व्यावहारिक रूप से सब ऐसा करते हैं इसलिए तुम्हें भी धोखा देने और झूठ बोलने पर मजबूर करना, बहुत विनाशकारी है