क्या AI डिटेक्टर असरदार हैं? छात्र गलत तरीके से चीटिंग के आरोपों का सामना कर रहे हैं
(bloomberg.com)- असाइनमेंट के मूल्यांकन में AI डिटेक्शन टूल्स का इस्तेमाल बढ़ने से, यदि किसी छात्र की लिखाई को AI-जनित माना जाए तो उसका सीधा असर ग्रेड और अकादमिक बेईमानी के फैसले पर पड़ सकता है
- Moira Olmsted का कहना है कि 2023 में Central Methodist University के एक ऑनलाइन कोर्स में जमा किए गए उनके असाइनमेंट को AI द्वारा बनाया गया संभावित कंटेंट मानकर उन्हें 0 अंक दिए गए
- बताया गया कि प्रोफेसर ने डिटेक्शन टूल के नतीजों का हवाला दिया और कहा कि Olmsted की लिखाई इससे पहले भी कम-से-कम एक बार flag की जा चुकी थी
- Olmsted उस समय फुल-टाइम नौकरी और बच्चों की परवरिश साथ संभालते हुए teacher training program शुरू करने की स्थिति में थीं, जिसके लिए उन्होंने पैसे जुटाए थे
- अगर लगभग दो-तिहाई शिक्षक नियमित रूप से AI-जनित कंटेंट डिटेक्शन टूल्स का इस्तेमाल करते हैं, तो छोटी-सी error rate भी बहुत से छात्रों के लिए बड़े परिणाम ला सकती है
AI डिटेक्शन टूल से 0 अंक पाने वाले छात्र का मामला
- Moira Olmsted ने महामारी की शुरुआत में कॉलेज छोड़ने और परिवार बसाने के बाद फिर से पढ़ाई में लौटने की कोशिश की
- फुल-टाइम काम करने और छोटे बच्चों की देखभाल के साथ उन्होंने remote learning वाले self-paced program की फीस के लिए कई महीनों तक पैसे बचाए
- 2023 में, जब वह अपने दूसरे बच्चे के साथ गर्भावस्था के सातवें महीने में थीं, उन्होंने Central Methodist University के एक ऑनलाइन कोर्स में दाखिला लिया और शिक्षक बनने की पढ़ाई शुरू की
असाइनमेंट जमा करने के बाद आया फैसला
- फॉल सेमेस्टर शुरू होने के कुछ हफ्तों बाद, Olmsted ने एक अनिवार्य कक्षा में writing assignment जमा किया
- यह असाइनमेंट हर हफ्ते किए जाने वाले तीन reading summaries में से एक था
- इसके बाद उन्हें जो ग्रेड मिला, वह 0 अंक था
- Olmsted ने जब प्रोफेसर से पूछा, तो बताया गया कि प्रोफेसर ने कहा AI डिटेक्शन टूल ने इस लिखाई को AI द्वारा बनाए जाने की संभावना वाला बताया है
- यह भी कहा गया कि Olmsted की लिखाई पहले भी कम-से-कम एक बार flag हुई थी
व्यापक उपयोग वाले डिटेक्शन टूल और गलतियों का बोझ
- लगभग दो-तिहाई शिक्षकों ने कहा कि वे नियमित रूप से AI-जनित कंटेंट डिटेक्शन टूल्स का उपयोग करते हैं
- जैसे-जैसे उपयोग का पैमाना बढ़ता है, बहुत छोटी error rate भी तेजी से जमा हो सकती है
- अगर डिटेक्शन के नतीजे असाइनमेंट के ग्रेड और चीटिंग के आरोपों तक पहुंचते हैं, तो गलत फैसला किसी छात्र पर बहुत बड़ा बोझ डाल सकता है
1 टिप्पणियां
Hacker News की राय
मैंने उच्च शिक्षा में 30 साल तक गणित पढ़ाया है और जल्द ही रिटायर होने वाला हूं। क्लासरूम में निगरानी के बिना दिए जाने वाले graded assignments में भारी मात्रा में cheating होती है
Browser lock जैसी चीज़ों से इसे रोका नहीं जा सकता। एकमात्र उपाय है in-person proctored exams अनिवार्य करना और परीक्षा के दौरान किसी भी technology के इस्तेमाल पर रोक लगाना, लेकिन ऐसा करने पर उस course में enrollment के लिए कोई छात्र नहीं बचेगा। मेरे दिमाग में बस यही आता है कि Higher Learning Commission सभी classes में इसे अनिवार्य करे
बड़ा मुद्दा यह है कि छात्र सीखने के लिए ज़रूरी काम करने के आदी नहीं हैं, बल्कि पास होने के लिए ज़रूरी काम करने के आदी हैं। और वह काम धीरे-धीरे cheating बनता जा रहा है। Calculus के छात्रों में भी कुछ ऐसे हैं जो fractions संभाल नहीं पाते। अगर सचमुच cheating रोकने वाला system बनाया जाए, तो यह सामने आ जाएगा कि मौजूदा college students का बहुत बड़ा प्रतिशत असली college education के लिए तैयार ही नहीं है। K-12 को भी बदलना होगा
छात्र के नज़रिए से अगली institution आम तौर पर credits, school, major—इसी क्रम में देखती है। अगर A न पाने की कीमत future opportunities से बाहर हो जाना है, तो छात्र आसान classes लेंगे या cheating करके उस exclusion को ठुकराएंगे
Physics पढ़ते हुए मैंने वे कठिन classes लीं जो मैं लेना चाहता था और cheating नहीं की, इसलिए 2.7 GPA के साथ graduate हुआ। ऐसे choice के वास्तविक परिणाम होते हैं। मेरे हिसाब से समाधान यह है कि ऐसे assessments पर निर्भरता घटाई जाए जो cheating के लिए vulnerable हैं या जिन्हें real world में computer से किया जाएगा
Required courses degree के लिए ज़रूरी होते हैं, इसलिए curriculum में linear algebra है तो “enroll न करना” संभव नहीं। 3 बार fail हुए तो program से निकाल दिए जाते हैं
वजह यह है कि Germany और Europe के ज़्यादातर universities tax से चलते हैं। US में university के नज़रिए से फीस देने वाले students को बनाए रखना ही फायदे का है, इसलिए वह उसी रास्ते पर चलता रहेगा जिसका अभी वर्णन किया। यह एक service है, और structure ऐसा है कि customer degree खरीदता है
University में मैंने Computer Graphics class ली थी, जहां problem sets में bonus problems की वजह से सचमुच हर किसी को 100% से ज़्यादा मिला, और midterm का median 50% से कम था। Exam prep session में जब professor ने questions लिए, तो एक student ने गंभीरता से कहा कि “matrix की पूरी concept फिर से समझा दीजिए”
संदर्भ के लिए, यह 400-level course था और Canada की शीर्ष universities में से एक में था। यह 20 साल से भी ज़्यादा पुरानी बात है, इसलिए अब किसी न किसी तरह और भी खराब हो गया होगा
तर्क यह था कि छात्र वैसे भी ऐसे tricks आज़माएंगे, इसलिए उन्हें allow कर दिया जाए और exam को ऐसा बनाया जाए जो उस advantage के प्रति immune हो। हर exam से पहले वे कहते थे कि tools इस्तेमाल कर सकते हो, लेकिन “study करो; books, notes और calculator तुम्हें बचाने वाले नहीं हैं”
लंबी अवधि में education शायद AI tools के इस्तेमाल को रोकने के बजाय curriculum को इस तरह बदलने की दिशा में जाएगी कि AI tools बड़ा advantage न दे पाएं
Software engineer hiring में interviewer के तौर पर मैंने सैकड़ों technical interviews लिए हैं, और अब भी independent interviewer के रूप में companies की hiring में मदद करता हूं। Cheating बहुत ज़्यादा है। आम companies में कम से कम 30%, और FAANG में 50% से ज़्यादा candidates को मैं cheaters मानता हूं
Private groups और forums में technical tasks share किए जाते हैं, और interview के दौरान किसी न किसी रूप में help लेने वाले बहुत लोग हैं। जानबूझकर complex बनाए गए problems को कुछ ही मिनटों में optimal तरीके से solve होते हुए बार-बार देखना पड़ता है
अब सिर्फ लिखित essay के आधार पर यह आकलन करना प्रभावी नहीं है कि छात्र किसी विषय को कितनी गहराई से समझता है
AI अब रहने वाला है, और छात्रों के प्रदर्शन को परखने के नए तरीकों की जरूरत है। मुझे याद है कि स्कूल में परीक्षा के दौरान calculator इस्तेमाल नहीं करने को कहा जाता था। शिक्षक कहते थे, “यह भरोसा नहीं किया जा सकता कि जब सबसे ज्यादा जरूरत होगी तब तुम्हारे पास हमेशा calculator होगा,” लेकिन विडंबना यह है कि अब हमारी जेब में 24 घंटे “calculator” रहता है
हमें स्वीकार करना होगा कि दुनिया बदल गई है। बस उम्मीद है कि समाज इस बदलाव पर कैसे प्रतिक्रिया देगा, यह हम मिलकर तय कर सकें, न कि हमें जबरन धकेला जाए
student loan देखते समय इस पर सोचने लायक है। उस पैसे से भी हर class में शिक्षक के साथ अलग से 30 मिनट का मूल्यांकन समय नहीं खरीदा जा सका; इसके बजाय छात्रों से लंबा समय writing assignments पर लगवाया गया और grading न्यूनतम वेतन वाले teaching assistants पर डाल दी गई
इसका प्रमुख उदाहरण college admissions essay है। कुछ छात्रों के parents ऐसे अनुभव दिला सकते हैं जो essay में अच्छे लगें, और essay लिखने में “support” देने के लिए tutors भी रख सकते हैं। जैसे Africa education trip, दो instruments की lessons, 1:1 golf coaching वगैरह
AI ने बस उस tutor वाले हिस्से को ज्यादा बड़े वर्ग के लिए accessible और affordable बना दिया है। यह मानना भोलापन होगा कि AI से पहले gray-area essay coaching market और ghostwriting services वाला dark market मौजूद नहीं था। कई मामलों में वह market अब भी AI से बेहतर काम करता है
आम तौर पर यह अदालतों, संसद और बाजार में होने वाला शांतिपूर्ण संघर्ष होता है, लेकिन फिर भी संघर्ष ही है
छात्र अभी evaluate किए जा रहे हैं, इसलिए अगर नए evaluation methods की जरूरत है तो जवाब अभी चाहिए। पुराने oral exams की तरफ लौट सकते हैं, और PhD programs में वे अभी भी इस्तेमाल होते हैं। लेकिन वे बिल्कुल scalable नहीं हैं। शायद human-to-human evaluation के लिए उपलब्ध सीमित समय के हिसाब से higher education को बहुत सख्ती से ration करना पड़े
निजी तौर पर मुझे यह सब अप्रत्याशित और अस्थिर लगता है। अगर AI समर्थक सही हैं—मुझे ऐसा नहीं लगता—तो जिन white-collar और academic fields के लिए छात्र training और evaluation ले रहे हैं, उनमें से ज्यादातर खत्म हो जाएंगी
यह दावा कि calculator उपलब्ध नहीं होगा, तब भी बेतुका था, लेकिन यह observation सही थी कि calculator पर निर्भरता असल में लक्षित मानसिक अभ्यास को छीन लेती है। बस 12 साल के बच्चों को यह समझाना मुश्किल था कि math असल में सुंदर है, और उसके व्यवस्थित सिद्धांत दुनिया को देखने का तरीका मूल रूप से बदल देते हैं
essay के साथ भी यही है। मुझे essay writing से नफरत थी और मैंने कई तरह से rationalize किया कि भविष्य में मुझे essay लिखने की जरूरत नहीं पड़ेगी, लेकिन बाद में समझ आया कि essay ने जिस चीज को मजबूर किया, वह structured thinking थी। essay किसी subject की ability मापने का tool नहीं था, बल्कि सीखने का tool था, और लिखने की क्रिया खुद learning का हिस्सा थी
“बच्चों को दिमाग में calculation करने की जरूरत नहीं” वाली बात यही हिस्सा छोड़ देती है। calculate कर पाने की क्षमता शुरू से इसका एक हिस्सा थी, और यह सीखना कि आप वह calculation method सीख सकते हैं, कम-से-कम उतना ही महत्वपूर्ण था
परेशान करने वाली बात यह है कि छात्रों को यह जानने का अधिकार मिलता नहीं दिखता कि AI ने उनके assignment को क्यों flag किया
कोई भी प्रक्रिया जिसमें computer किसी इंसान पर फैसला करे, उसमें यह नियम होना चाहिए कि algorithm ठीक-ठीक समझा सके कि उसने उस व्यक्ति को क्यों flag किया
ऐसा करने से मौजूदा AI-based solutions व्यावहारिक रूप से खत्म हो जाएंगे। क्योंकि यह समझाने या समझने का कोई तरीका नहीं है कि उसने किसी paper को plagiarized क्यों माना या नहीं माना—लेकिन यह ठीक है
और जानना हो तो Arvind Narayanan और Sayash Kapoor की हाल की किताब AI Snake Oil की सिफारिश करूंगा। यह आलोचनात्मक है, लेकिन संतुलित भी है, और AI hype को ज्यादा साफ तरीके से देखने में मदद करती है
https://press.princeton.edu/books/hardcover/9780691249131/ai...
किस दुनिया में यह fair है? कम-से-कम courts तो ऐसे premise पर नहीं चलते
जब ऐसा हो, तो स्पष्ट explanation मांगने वाला कानून होना चाहिए, ऐसा मुझे लगता है
high school के दिनों में यह समझना ही काफी मुश्किल था कि आप खुद कौन हैं; तब Kafka बस reading assignment था
मैं एक बड़े विश्वविद्यालय अस्पताल में consultant हूं और Dutch हूं। कुछ साल पहले मेरी doctoral thesis पर comment मिला था कि “इसे किसी native speaker से check करवाना चाहिए था”
इसलिए अब मैं ChatGPT से English check करवाता हूं। जो कहना चाहता हूं, उसे पहले खुद लिखता हूं और फिर कहता हूं कि “इसे और concise, business-like, और बहुत ज़्यादा American न लगे ऐसा” सुधार दो। क्योंकि default में यह American waiter की तरह कुछ ज़्यादा ही enthusiastic होता है
10 में से 9 बार यह मेरी बात को मेरे लिखे से बेहतर, कम शब्दों में और बेहतर English में कह देता है। मुझे नहीं लगता कि report लिखने का समय कम हुआ है, लेकिन output उससे कहीं बेहतर हो जाता है जो मैं अकेले बना पाता
AI detector alarm बजा सकता है, लेकिन वह spellchecker detector जितना ही बेकार है। यह large language model है, large fact model नहीं। अगर आप teacher हैं तो nonsense detect करना तो आना चाहिए, है ना
अगर मैं student reports देखता, तो शायद ऐसा feedback देता: कृपया भाषा ChatGPT से check कराएं, लेकिन facts को कृपया किसी और तरीके से verify करें
दोनों classes के लिए यह लगभग free lesson जैसा था, और सच में बहुत मददगार रहा। अगले साल मैंने भी वही काम किया। मुझे यह भी याद है कि उस समय computers अपेक्षाकृत rare थे और typing भी अलग से सीखी जाने वाली skill थी, इसलिए ज्यादातर drafts handwritten थे
पुरानी कहावत है कि अगर किसी topic को सच में सीखना है तो उसे पढ़ाकर देखो। इस तरह का give-and-take अच्छा काम करता है, और समाज का बाकी हिस्सा भी काफी हद तक ऐसे ही चलता है। AI का इस्तेमाल भी कुछ-कुछ वैसा ही होगा, लेकिन मेरे हिसाब से दूसरा इंसान बेहतर है। AI corridor में आपको रोककर यह नहीं कहता, “अरे, तुम्हारे paper के middle part में मैं बिल्कुल खो गया, आखिर बात क्या है,” जबकि कभी-कभी ऐसी बात सच में बहुत मदद करती है
साफ भाषा और अच्छी तरह structured argument से writing को readers के लिए ज्यादा accessible बनाना readers के लिए valuable service है, और जो लोग इसके लिए LLM का इस्तेमाल करते हैं, मैं उन्हें अच्छा मानता हूं। मैं खुद भी ऐसा करता हूं
किसी खास topic पर nonfiction output करने की कोशिश करने वाला model असल में उन claims के patterns ज्यादा देखता है जो संयोग से सच थे, या कम से कम true claims जैसे format में थे और जिनमें कोई स्पष्ट warning signs नहीं थे
बेशक कभी-कभी यह पटरी से उतरकर hallucination बना देता है। जब ऐसा होता है और student output verify नहीं करता, तो उसकी बदकिस्मती है। और अगर cheating की motivations में से एक यह है कि content की पर्याप्त समझ नहीं है, इसलिए properly verify नहीं कर पाता, तो ऐसे students काफी होंगे
मेरे बच्चे के school ने entry पर pass करने के लिए नया weapon detector लगाया है, और कहते हैं कि यह “AI” आधारित है। School उस AI पर काफी भरोसा करता है
लेकिन AI ने school-issued Lenovo laptops को हथियार के रूप में identify कर लिया। इसलिए हर बच्चा flag हो गया। ऐसे बेवकूफ tool का इस्तेमाल बंद करने के बजाय, उन्होंने बच्चों से scanner से गुजरने से पहले laptop बाहर निकालने को कहा
लगता है कि जो लोग पर्याप्त समझदार नहीं हैं, वे “AI” products खरीदते हैं और मान लेते हैं कि यह उनकी चाही हुई चीज कर देगा, जबकि असल में यह काम नहीं करता
Public budget से systems खरीदने वालों को advertised precision और recall के आधार पर expected false positives और false negatives को handle करने की अच्छी plan define करने के लिए बाध्य किया जाना चाहिए
यह काफी पागलपन है कि adults 1–2 साल में किसी भी algorithm पर भरोसा करने लगे हैं। यह कैसे काम करता है, नहीं जानते, समझा नहीं सकते, परवाह भी नहीं करते, बस मान लेते हैं कि यह काम करता है। यानी magic ही है। अगर वह कहे कि यह cheating है, तो cheating हो जाती है, और आप कुछ नहीं कर सकते
मैं इस बात पर जोर देना चाहता हूं कि यह सिर्फ magic में विश्वास करने की समस्या नहीं है; आजकल लोग बेतुकी चीजें बहुत आराम से कर देते हैं और कोई जिम्मेदारी नहीं लेते। पहले school में एक class का homework पहली बार मुझे पसंद आया और मैंने उसे serious होकर किया, तो मुझ पर “cheating” का शक किया गया। यह सुनना अपमानजनक था कि यह तुमने किया हो ही नहीं सकता, लेकिन फिर भी मुझे marks मिले। अगर prove नहीं कर सकते, तो teacher क्या सोचता है इससे फर्क नहीं पड़ता—बस sign करो और निकलो—ऐसा ही था, और उस class का homework मेरे लिए वहीं खत्म हो गया
इसके उलट, अगर इस article की बात सही है, तो अब teachers को कुछ भी prove करने की जरूरत नहीं। Coin heads आया, यही पर्याप्त evidence माना जा रहा है। लगता है सब लोग इसे ऐसे accept कर रहे हैं कि “school में ऐसा system है तो क्या कर सकते हैं।” यह पागलपन है
हमने 30+ साल तक लोगों को train किया है कि computers precise, accurate और reproducible output देते हैं। लेकिन neural network companies ने random symbol generators बना दिए हैं, और वे actively छिपाती हैं कि उस program में programmed randomness मौजूद है
हाल ही में US court में फिर generated text का एक मामला आया, लेकिन इस बार malicious intent नहीं लग रहा था। मुख्य बात यह थी कि plaintiff ने neural network से real estate value की historical financial calculation मांगी और “computer है इसलिए” तुरंत भरोसा कर लिया। Computer हमेशा सही होता है, और neural network computer पर चलता है, इसलिए हमेशा सही है—ऐसी सोच। जल्द ही यह mindset दुनिया के हर घर में फैल जाएगा। तब शायद हमें media की dishonesty और propaganda भी याद आए। कम से कम पहले कुछ हद तक पहचान सकते थे कि source जानबूझकर झूठ बोल रहा है या नहीं
ऐसी ignorance से uncomfortable महसूस करना भी दुर्लभ है, और basics सीखने की इच्छा भी लगभग नहीं होती। कुछ लोगों को तो जरूर जानना चाहिए, पर मेरे लिए यह समझना बहुत मुश्किल है
चाहे वह system witches खोजने वाली inquisition हो, machine हो, या Soviet Gulag हो। System ने guilty कहा, और system गलत हो ही नहीं सकता—बस यही सोच है
Kafka कब्र में करवट लेगा
इस तरीके से हर कोई अपनी position से society को अपनी मर्जी के अनुसार shape कर सकता है। अगर किसी student का sibling troublemaker था, तो “उस family के लोग वैसे ही होंगे, चलो इसे परेशान करते हैं” संभव है। अगर student की race, gender, या sexual orientation पसंद नहीं है, तो “chatGPT” school life को और मुश्किल बनाने का आसान साधन दे देता है
बेटी ने ऑनलाइन स्कूल में एक essay जमा किया, और सिर्फ इसलिए कि स्कूल के software ने ऐसा कहा, उस पर AI से लिखे गए लेख का आरोप लगा। मां ने बेटी को लिखते हुए देखा था
मुझे लगा था कि यह तो common sense है कि text AI-generated है या नहीं, यह तय करना असंभव है, लेकिन लगता है software vendor या तो अनजान है या झूठ बोल रहा है, और school administrators उस पर भरोसा कर रहे हैं
इसके अलावा autism spectrum वाले छात्रों के essays को असंतुलित रूप से flag किए जाने की समस्या भी है, इसलिए यह किसी तरह का civil rights violation भी बन सकता है
वे खुद एक छोटा-सा test करते हैं और अगर वह ज्यादातर काम करता दिखता है, तो कंपनी के दावे को सच मान लेते हैं। समस्या यह है कि वे सारे tests AI से लिखे काम को इंसान द्वारा लिखे जैसा pass कराने की दिशा में होते हैं, उल्टी दिशा में नहीं
ऐसे tools में false positive rate शून्य नहीं होता, इसलिए ऐसा गरीब छात्र ज़रूर होगा जिसने कई हफ्तों तक 20-page term paper पर मेहनत की हो और AI इस्तेमाल करने के आरोप में पकड़ा जाए। उस बच्चे के पास न कोई राहत होगी, न appeal। क्योंकि स्कूल ने AI detector पर बहुत पैसा खर्च किया है और वह मानेगा कि वही सही है
ठीक वैसे ही जैसे हमने पहले ही तय कर लिया है कि calculators की वजह से arithmetic skill की चिंता करने की जरूरत नहीं
अमेरिका में ऐसा हमेशा होता है। address verification system का feedback account owner की मंजूरी के बिना स्वीकार कर लिया जाता है और address मनमाने ढंग से बदल जाता है। customer support को call करें तो वे कहते हैं, “system ने कहा address सही नहीं है।” जैसे system को DMV या house deed से भी ज्यादा पता हो कि मैं 5 साल से कहां रह रहा हूं। error rate काफी कम हो तो अमेरिका में लोग बस मान लेते हैं
फिर यह और खराब हो जाता है। error rate कम नहीं, बल्कि किसी खास subgroup में ज्यादा हो सकता है। तब आपको समाज में अपनी rank दिखती है। 2003–2006 में brown-skinned लोगों से पूछिए कि plane में चढ़ना कितना मजेदार था। New York में अगर surname और zip code का combination गलत match हो जाए, तो public land पर चलने वाली Citibike भी rent नहीं कर सकते
यह मामला भी वैसा ही होगा। जब तक कोई बड़ा ACLU lawsuit जैसी चीज इसे उजागर नहीं करती, नुकसान संभवतः तब तक जारी रहेगा जब तक इसे ठीक नहीं किया जाता। शायद language style की subtle विशेषताएं, शायद अनजाने में, trigger के रूप में इस्तेमाल होंगी। जो “in-group” लोग इससे प्रभावित नहीं होंगे, वे इसे fair system कहेंगे, और बाकी लोग black box के खिलाफ खुद को defend करते हुए proof का burden उठाएंगे
मेरे बच्चे के teachers में से एक ने सभी essays को AI detection software से check करने और पकड़े जाने पर मिलने वाली सजा के बारे में students को warning भेजी
एक classmate ने उस teacher की warning को AI checker में डाला, तो वह AI-generated positive निकली
LLMs ने पहले ही इस तरह का बहुत सारा writing खाया होगा। high school हो या college, requirements को ठीक-ठीक पूरा करने वाली और आम तौर पर अच्छे marks पाने वाली formulaic reports का GPT-style technology से generate होने की संभावना ज्यादा दिखना आश्चर्यजनक नहीं है
LLM ने syllabi और basic teacher documents भी बहुत सीखे होंगे, और छोटी teacher-parent या teacher-student communication उसी writing attractor region से आसानी से बाहर नहीं निकल पाएगी जिसमें LLM लिखता है
मैं इसलिए पूछ रहा हूं क्योंकि यह “AI” text generation समस्या technical problem नहीं, बल्कि 101% human problem है
4% false positive rate अगर fail या expulsion का मतलब हो सकता है, तो हास्यास्पद रूप से ज्यादा है। खासकर इसलिए कि serious cheater “फलां-फलां के style में लिखो” जैसे pre-prompt से 2 मिनट में bypass कर सकता है
यह कुछ ऐसा है: “teacher ने चेतावनी दी कि वह सभी essays को दूसरे students के essays से compare करेगा कि वे same तो नहीं हैं, और पकड़े जाने पर punishment होगी। एक student ने Google search किया तो essay question किसी किताब के example में निकला”
एक तरफ पूरी तरह valid है, दूसरी नहीं। हां, grey areas जरूर हैं। ChatGPT को कुछ कामों के लिए इस्तेमाल करना copying नहीं है, बल्कि कहा जा सकता है कि बच्चे tools इस्तेमाल करना सीख रहे हैं। लेकिन अगर essay का 95% उसी से करवा दिया, तो वह copying है
अगर आप छात्रों के असाइनमेंट देखते हैं या नौकरी के आवेदन पढ़ते हैं, तो AI-generated writing को जल्दी पहचानना बहुत आसान हो गया है
लेखन ऐसा लगता है जैसे वही आम framework इस्तेमाल हो रहा हो और सिर्फ शब्द बदले गए हों। फिर एक चीज़ है जिसे मैं “इस हफ्ते का शब्द” कहता हूं: कोई AI engine किसी खास English word, आम तौर पर किसी असामान्य शब्द, पर अटक जाता है और हर मौके पर उसका इस्तेमाल करता है। यह समझने में देर नहीं लगती कि “यह steroids पर चल रहा autocomplete है” वाली कहावत सही है
लेकिन computer को ऐसा करने के लिए program करना आसान नहीं है। पिछली नौकरी में मैंने plagiarism detector के साथ काम किया था, और जल्द ही समझ गया कि वे tools कितने बेकार हैं। और यह भी कि उन्हें कितनी आसानी से चकमा दिया जा सकता है, लेकिन वह अलग बात है। faculty को भी जल्द ही पता चल गया था कि tool गड़बड़ है, इसलिए plagiarism के आरोप में फंसा छात्र अगर पलटकर जवाब देता, तो आरोप चुपचाप वापस ले लिया जाता था
“किसी technical topic पर लिखो, topic मायने नहीं रखता, 1500 words, grading rubric यहां है” जैसा। Rubric में “paragraph के topic को introduce करने वाला sentence इस्तेमाल किया” जैसी items थीं, और नतीजा बेहद formulaic prose होता था
पता नहीं यह लोगों को बेहतरीन communicator बना पाया या नहीं, लेकिन जो लोग communication में बहुत कमजोर थे उन्हें basic minimum level तक लाने में यह बहुत अच्छी तरह काम करता था, ऐसा मुझे लगता है। कुछ दूसरे writing assignments में भी यह कारगर था, partly इसलिए कि जितना ज्यादा formal होता, overworked PhD grader उतना ही खुश होता
पर्याप्त disciplined छात्र ChatGPT जैसा दिख सकता है, और false accusation की कीमत बहुत बड़ी होती है
मैं अपने लिखे हुए corpus को ChatGPT में डालकर उसे मेरी style में लिखने को भी कह सकता हूं
हालांकि वे कभी-कभी कोई sentence भेजती हैं, तो मैं 100% सही बता पाता हूं कि वह पहले AI से होकर गुजरा है या नहीं। जब आप sentence structure के तरीके से परिचित हो जाते हैं, तो पहचानना बहुत आसान होता है। अगर आप teacher जैसी authority वाली position में हों, तो सबसे मुश्किल हिस्सा शायद इसे prove करना होगा
यहां के ज्यादातर comments समझना मुश्किल है
High school में class के दौरान phone इस्तेमाल नहीं कर सकते थे, इसलिए cheating नहीं कर सकते थे। Worksheets या quizzes तो दूर, multiple-choice, oral और essay exams में भी यही था
लेकिन ऊपर के threads ऐसे बात करते हैं जैसे पूरे school system को redesign करना पड़ेगा, और कई लोग oral exams और proctored exams पर निर्भर रहने की बात कर रहे हैं। Teacher द्वारा यह check करने वाले simple classroom OMR exam से ज्यादा आखिर क्या solve होता है कि students phone इस्तेमाल नहीं कर रहे हैं?
कई जगहों पर, खासकर अमेरिका में, proctored exams बहुत कम होते हैं और कुल grade का काफी बड़ा हिस्सा coursework से बनता है। इसमें education का digitization अटल रूप से आगे बढ़ा, और अब स्थिति यहां तक आ गई है
University level पर पहुंचने पर papers या final reports जैसे projects भी होते हैं जिन्हें classroom के अंदर पूरा करने में बहुत ज्यादा समय लगेगा। ऐसे projects पहले से ही plagiarism से ज्यादा contract cheating के प्रति vulnerable थे, और top universities में भी यह असल में कितना common है, जानकर आप हैरान होंगे। LLM ने बस barrier कम कर दिया और इसे ज्यादा common बना दिया
यह असली problem है, और लोग पहली नजर में जितना लगता है उससे कहीं ज्यादा sophisticated तरीके से cheating करते हैं
Phone cheating का अकेला तरीका नहीं है, बल्कि चोरी-छिपे इस्तेमाल के लिए यह पुराने तरीकों से ज्यादा मुश्किल भी हो सकता है