मिशिगन यूनिवर्सिटी के अध्ययन में पाया गया कि जिन छात्रों के नाम वर्णमाला में बाद में आते हैं, उन्हें कम अंक मिलते हैं

 (record.umich.edu)
1 पॉइंट द्वारा GN⁺ 2024-04-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें

क्रमिक grading bias पर शोध के नतीजे

  • मिशिगन यूनिवर्सिटी के शोधकर्ताओं ने Canvas के 3 करोड़ से अधिक grade records का विश्लेषण किया और पाया कि जिन छात्रों के surname वर्णमाला क्रम में बाद में आते हैं, उन्हें कम अंक मिलने की प्रवृत्ति होती है
    • इसकी वजह sequential grading bias और Canvas में student submissions का default order surname के alphabetical order पर आधारित होना है
  • जिन छात्रों के लिए alphabetical order प्रतिकूल होता है, उन्हें अधिक नकारात्मक और कम विनम्र comments मिलते हैं, और छात्रों की बाद की grade complaints के आधार पर मापी गई grading quality भी कम होती है
  • शोधकर्ताओं ने कहा कि वे grading की fairness और accuracy के बारे में बहुत सोचते हैं, लेकिन data देखने और यह समझने तक कि order ही अंतर पैदा कर रहा है, उन्हें इसका एहसास नहीं था

शोध डेटा और परिणाम

  • 2014 के fall semester से 2022 के summer semester तक Canvas में सभी programs, students और assignments से जुड़ा उपलब्ध historical data एकत्र किया गया
    • इसे university enrollment data के साथ पूरक किया गया, ताकि छात्रों की background, demographics और university में उनकी learning trajectory की विस्तृत जानकारी शामिल हो सके
  • डेटा मिशिगन यूनिवर्सिटी से आया, लेकिन शोधकर्ताओं का कहना है कि learning management systems की आम design समस्या के कारण इसे अन्य संस्थानों और courses पर भी सामान्यीकृत किया जा सकता है
    • इसकी जड़ student assignments को नाम के alphabetical order में sort करने वाली default setting में है
  • उन्होंने एक स्पष्ट pattern पाया कि जैसे-जैसे evaluator अधिक assignments जाँचते हैं, grading quality गिरती जाती है
    • जिन छात्रों के surname A, B, C, D, E से शुरू होते हैं, उन्हें random order में grading होने की तुलना में 100 में 0.3 अंक अधिक मिलते हैं
    • इसी तरह, वर्णमाला के बाद वाले surnames वाले छात्रों को 0.3 अंक कम मिलते हैं, जिससे कुल 0.6 अंक का अंतर बनता है
  • 0.6 अंक का अंतर छोटा लग सकता है, लेकिन ऐसी असंगतियां छात्रों के course GPA को प्रभावित करती हैं और उनके career path में अवसरों पर नकारात्मक असर डालती हैं

शोध की पृष्ठभूमि और सुझाव

  • इस शोध का विचार education technology का अध्ययन करने वाले Wang और AI का अध्ययन करने वाले Fei के बीच चर्चा के दौरान आया
    • उन्होंने ध्यान दिया कि machine learning का बुनियादी काम data labeling भी एक लंबा और उबाऊ sequential task हो सकता है, लेकिन वह random तरीके से किया जाता है
    • एक pilot study के जरिए उन्होंने जाँचा कि क्या grading time के साथ grade imbalance मौजूद है
  • शोधकर्ताओं का अनुमान है कि fatigue इस प्रभाव का एक प्रमुख कारण हो सकता है
    • लंबे समय तक कोई काम करने पर थकान होती है, ध्यान घटता है और cognitive ability कमजोर होती है
  • Canvas और अन्य online learning management systems में assignments को random order में grade करने का विकल्प मौजूद है और कुछ शिक्षक इसका उपयोग भी करते हैं, लेकिन default mode alphabetical order ही है
    • एक सरल समाधान यह है कि default setting को random order बनाया जाए
  • उन्होंने यह भी सुझाव दिया कि academic institutions बड़े classes के लिए अधिक graders नियुक्त करें, workload को अधिक लोगों में बाँटें, या bias को पहचानने और कम करने के लिए प्रशिक्षण दें

GN⁺ की राय

  • यह तथ्य कि sequential grading bias छात्रों के अंकों पर वास्तविक असर डालता है, educational evaluation system की fairness पर गंभीर सवाल उठाता है। चूँकि grades छात्रों के भविष्य पर बड़ा प्रभाव डालते हैं, इसलिए इसमें सुधार की जरूरत तत्काल दिखती है
  • हालांकि यह शोध अंग्रेज़ीभाषी देशों तक सीमित है, इसलिए भारत या अन्य गैर-अंग्रेज़ी संदर्भों में इसकी प्रकृति अलग हो सकती है। स्थानीय भाषाओं में क्रमबद्धता के आधार पर भी क्या ऐसा ही प्रभाव दिखता है, इस पर आगे शोध की आवश्यकता दिखती है
  • यह तथ्य कि evaluator की fatigue grading quality को प्रभावित करती है, संकेत देता है कि शिक्षा क्षेत्र में assessment work के लिए उचित compensation और support की जरूरत है। अत्यधिक workload निष्पक्ष मूल्यांकन में बाधा बन सकता है
  • AI आधारित automated grading systems को एक विकल्प के रूप में देखा जा सकता है। हालांकि bias की समस्या पूरी तरह खत्म होना कठिन होगा, इसलिए evaluation की गुणात्मक गुणवत्ता को मजबूत करने के उपाय भी साथ में जरूरी होंगे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-04-21
Hacker News राय

नीचे Hacker News टिप्पणियों का सारांश दिया गया है:

  • विश्वविद्यालय में परीक्षा जाँचते समय डेस्क पर रखी उत्तरपुस्तिकाओं का क्रम उन्हें इकट्ठा किए जाने के क्रम के अनुसार होता है। जाँचकर्ता एक ही कमरे में किसी खास प्रश्न की जाँच करते हैं ताकि अंकन एकसमान रहे, इसलिए वे उत्तरपुस्तिकाओं को आपस में मिला देते हैं। इस वजह से जाँच का क्रम लगभग रैंडम माना जा सकता है।
  • असाइनमेंट सबमिशन की जाँच करते समय छात्रों के नाम के alphabetical order में जाँच की जाती है, और सभी मानते हैं कि निष्पक्षता के लिए इस क्रम को मिला देना चाहिए। वजह यह है कि (1) शुरुआत में जाँचकर्ता कम थका होता है, (2) अंत में उसे यह सोचकर अच्छा लगता है कि काम लगभग खत्म हो गया है, और (3) शुरुआत में वह आम गलतियों या पैटर्न को ठीक से न पकड़ पाने के कारण कुछ चीजें मिस कर सकता है।
  • एक टिप्पणीकार ने कहा कि प्राथमिक स्कूल में उसका सरनेम छात्र सूची में सबसे पहले आता था, इसलिए उसे अक्सर टिकट संभालने या खेल कक्षा में सबसे पहले मूल्यांकन जैसे खास काम करने पड़ते थे। एक अंतर्मुखी बच्चे के लिए यह परेशान करने वाला था।
  • 80~90 के दशक के स्कूलों में बैठने की व्यवस्था सरनेम के alphabetical order के आगे-पीछे के आधार पर की जाती थी। हाई स्कूल में A~D सरनेम वाले छात्र अक्सर टॉपर होते थे, जबकि U~Z सरनेम वाले छात्र ज्यादा शरारती माने जाते थे। संभव है कि शिक्षक के पास बैठने के कारण उन्हें अधिक ध्यान मिलता हो।
  • जिन लोगों के initials Z और W से शुरू होते हैं, वे alphabetical sorting को लेकर काफी सचेत रहते हैं, लेकिन A और B initials वाले दोस्तों के लिए यह बात उतनी मायने नहीं रखती।
  • विश्वविद्यालयों में महत्वपूर्ण परीक्षाएँ और असाइनमेंट anonymized candidate number के आधार पर संभाले जाते हैं। यह पूरी तरह anonymous नहीं होता, लेकिन सिस्टम में कुछ हद तक integrity लाता है।
  • जाँच करते समय शुरुआत में कोई खास गलती या अप्रत्याशित उत्तर दिखाई नहीं देता, लेकिन बाद में ऐसा मिलने पर पहले से जाँची गई कॉपियों पर वापस जाकर दोबारा जाँच करनी पड़ सकती है।
  • डिफ़ॉल्ट रूप से रैंडम क्रम रखने से पूर्वाग्रह कम करने में मदद मिल सकती है। हालांकि, अंत में जाँचे जाने वाले छात्र को फिर भी कम अंक मिल सकते हैं।
  • एक टिप्पणीकार की पत्नी का सरनेम Y से शुरू होता है, इसलिए उन्हें सूची में पीछे रहना पसंद नहीं था। इस वजह से उन्होंने बच्चों के सरनेम में पति का सरनेम पहले रखा, जो E से शुरू होता है, और उसे hyphen से जोड़ा। बच्चों के नाम भी A और B से शुरू होने वाले रखे ताकि sorting में वे आगे आएँ।
  • Diary of a Wimpy Kid किताब में यह बात आती है कि जिन बच्चों के सरनेम alphabet में पहले आते हैं, वे कक्षा की आगे की सीटों पर बैठते हैं, ज्यादा सवाल पूछे जाते हैं, और वे ज्यादा सीखते हैं।
  • alphabet में पीछे आने वाले सरनेम वाले छात्र के एक पिता ने कहा कि उसके बेटे की कक्षा में शिक्षक जब प्रोजेक्ट review सरनेम के क्रम में करते हैं, तो लगभग 40% मामलों में वे पीछे के छात्रों तक पहुँच ही नहीं पाते। लेकिन सभी छात्र सक्रिय रूप से शिक्षक के पास नहीं जाते, इसलिए उनके अंक कम रह सकते हैं।
  • कुछ लोगों ने यह भी पूछा कि Helen Wang ने इस विषय पर शोध क्यों किया।