मिशिगन विश्वविद्यालय का अध्ययन: वर्णमाला में बाद में आने वाले उपनामों वाले छात्रों को कम ग्रेड मिलते हैं
(record.umich.edu)- मिशिगन विश्वविद्यालय के शोधकर्ताओं ने Canvas के 3 करोड़ से अधिक grading records का विश्लेषण कर यह पाया कि जिन छात्रों के उपनाम वर्णमाला में बाद में आते हैं, उन्हें कम अंक मिलने की प्रवृत्ति होती है
- इसका मुख्य कारण Canvas की default sorting है, जो submissions को उपनाम के आधार पर alphabetical order में दिखाती है, और grader जब assignments को उसी क्रम में जाँचते हैं तो sequential bias पैदा होता है
- A-E उपनाम वाले छात्रों को random grading की तुलना में 100 अंकों के पैमाने पर 0.3 अंक अधिक मिले, जबकि वर्णमाला के बाद वाले उपनामों वाले छात्रों को 0.3 अंक कम मिले, जिससे कुल 0.6 अंकों का अंतर बना
- लगभग 5% graders जब Z से A दिशा में grading करते हैं, तो यह अंतर उल्टा दिखाई देता है, जो इस व्याख्या को समर्थन देता है कि अंतर का कारण उपनाम नहीं बल्कि grading order है
- 0.6 अंकों का अंतर छोटा लग सकता है, लेकिन यह course GPA और करियर अवसरों को प्रभावित कर सकता है, इसलिए random grading को default बनाना और बड़े lectures में grading burden कम करना ज़रूरी है
Canvas की default sorting से बना उपनाम के initials का अंतर
- मिशिगन विश्वविद्यालय की शोध टीम ने 2014 के fall semester से 2022 के summer semester तक Canvas में उपलब्ध सभी programs, students और assignments का historical grading data एकत्र किया
- विश्लेषण का दायरा 3 करोड़ से अधिक grading records का था, और विश्वविद्यालय registrar data से छात्रों की background, demographics और learning pathways की जानकारी जोड़कर इसे समृद्ध किया गया
- जिन छात्रों के उपनाम वर्णमाला में बाद में आते हैं, उन्हें कम अंक मिले, अधिक नकारात्मक और कम विनम्र feedback मिला, और student complaints से मापी गई grading quality भी कम पाई गई
- संबंधित शोधपत्र है 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity, और यह Management Science में समीक्षा के अधीन है
sequential grading bias कैसे काम करता है
- Canvas डिफ़ॉल्ट रूप से student submissions को उपनाम के alphabetical order में sort करता है
- यह default design सिर्फ किसी एक course तक सीमित नहीं है, बल्कि learning management system का उपयोग करने वाली कई संस्थाओं और courses तक फैल सकता है
- graders जितने अधिक assignments जाँचते हैं, grading quality में गिरावट का पैटर्न उतना ही स्पष्ट दिखता है
- Wang के अनुसार A, B, C, D, E से शुरू होने वाले उपनामों वाले छात्रों को random order में grading होने की तुलना में 100 अंकों के पैमाने पर 0.3 अंक अधिक मिले, जबकि वर्णमाला के बाद वाले उपनामों वाले छात्रों को 0.3 अंक कम मिले
reverse grading में दिखा उल्टा प्रभाव
- लगभग 5% graders Z से A क्रम में grading करते हैं
- इस स्थिति में अंतर अपेक्षा के अनुसार उल्टा दिखा
- A-E उपनाम वाले छात्र नुकसान में रहे
- W-Z उपनाम वाले छात्रों को random grading की तुलना में अधिक अंक मिले
- यह अवलोकन इस व्याख्या को और मजबूत करता है कि शुरुआती score gap का कारण उपनाम नहीं बल्कि grading order है
छोटे अंक अंतर का छात्रों पर प्रभाव
- 0.6 अंकों का अंतर छोटा लग सकता है, लेकिन यह छात्रों के course GPA को प्रभावित करता है
- GPA में बदलाव प्रत्येक छात्र के करियर अवसरों पर नकारात्मक असर डाल सकता है
- Wang का कहना है कि graders के स्तर पर अनजाने में होने वाली चीज़ें वास्तविक सामाजिक प्रभाव पैदा कर सकती हैं
शोध विचार और fatigue factor
- यह शोध विचार Wang के education technology research और Pei के artificial intelligence research पर चर्चा के दौरान सामने आया
- Pei ने ध्यान दिया कि machine learning का बुनियादी काम data labeling भी लंबा और उबाऊ sequential task होता है, लेकिन उसमें randomization किया जाता है
- इस अवलोकन से Canvas जैसे education systems में grading time और grade disparity के संबंध को देखने वाला pilot study शुरू हुआ
- लंबे समय तक काम करने पर थकान बढ़ती है और ध्यान व cognitive ability घटती है, इसलिए fatigue इस प्रभाव का एक प्रमुख कारण हो सकता है
सुझाए गए सुधार
- Canvas में assignments को random order में grade करने का विकल्प है, और कुछ educators इसका उपयोग करते हैं
- लेकिन Canvas और अन्य online learning management systems में default mode अभी भी alphabetical order है
- सबसे सरल समाधान random order को default setting बनाना है
- academic institutions के लिए निम्न विकल्प भी सुझाए गए हैं
- बड़े lectures के लिए अधिक graders नियुक्त करना
- grading work को अधिक लोगों में बाँटना
- grading के दौरान bias को पहचानने और कम करने के लिए training देना
1 टिप्पणियां
Hacker News की राय
मैं academia में काम करता/करती हूँ। परीक्षा की grading के समय answer sheets के ढेर का क्रम वही होता है जिसमें वे classroom से इकट्ठी की गई थीं, और आम तौर पर एक कमरे में 5 लोग बैठकर हर कोई किसी खास question को ही संभालता है ताकि consistency बनी रहे।
हर व्यक्ति ढेर उठाकर ऐसी answer sheet ढूंढता और निकालता है जिसमें उसका question अभी grade नहीं हुआ है, इसलिए sheets काफी shuffle हो जाती हैं, और वास्तविक grading order को लगभग random मान सकते हैं।
इसके उलट, semester के दौरान weekly assignments repository में commit होते हैं, और हर student का folder नाम के पहले अक्षर से शुरू होता है। Fairness के लिए हर हफ्ते grading order shuffle करना चाहिए—इस पर सब सहमत थे। शुरुआत में थकान कम होती है, और आखिरी 2 के आसपास “अब बस खत्म होने वाला है” सोचकर mood बेहतर हो जाता है; खासकर शुरुआत में common errors अभी पूरे देखे नहीं होते, इसलिए अंदाजा नहीं बनता और कुछ छूट जाता है, जबकि बाद की submissions में वही तुरंत पकड़ में आ जाता है।
एक और alphabet effect के तौर पर, primary school में मेरा नाम class list में सबसे ऊपर था, इसलिए museum group ticket पकड़ना, कुछ record करना, जो काम कोई पहले नहीं करना चाहता उसे सबके सामने सबसे पहले करना, PE assessment सबसे पहले देना—ऐसी चीजें अक्सर मुझे करनी पड़ती थीं। मैं काफी शर्मीला बच्चा था, इसलिए 1st grade से ही यह irritate करता था।
ऐसा करने से एक जैसी गलती करने वाले students को एक जैसे marks मिलते हैं। हर question खत्म करने पर answer sheets का order भी अपने-आप काफी shuffle हो जाता है।
Simple multiple-choice में इसकी जरूरत नहीं, और लंबे essays पर भी यह ज्यादा fit नहीं बैठेगा, लेकिन computer science और security के technical short-answer questions के लिए यह बहुत अच्छा काम करता था।
वजह यह है कि सभी mistakes एक बार देखने के बाद ही तय कर पाते हैं कि वह गलती असल में कितनी गंभीर है।
लेकिन मुझे बिना किसी note या marking के 80% मिल गया।
पिछले 25 साल से मैं सोचता रहा हूँ कि student assignments असल में कितने check किए जाते हैं।
मैं EdTech में काम करता/करती हूँ, और जब भी student work पर manual teacher review की जरूरत वाला feature जोड़ते हैं, दिखता है कि कुछ teachers बहुत ईमानदारी से करते हैं और कुछ बिल्कुल हाथ भी नहीं लगाते।
पहला लाल pen spelling mistakes या obvious usage errors जैसे single-point issues mark करता है। इस process में overall writing level भी स्वाभाविक रूप से समझ में आ जाता है, और सभी papers जल्दी scan हो जाते हैं।
दूसरा हरा pen mainly margins में उन जगहों को mark करता है जहां अच्छा argument आता है या conclusion तक पहुंचा जाता है, ताकि next step की तैयारी हो सके। यह भी सभी papers पर apply होता है।
तीसरे नीले pen से writing की quality evaluate और critique करता हूँ। Margins में छोटे notes छोड़ता हूँ या essay के अंत में comments लिखता हूँ।
Students सुंदर रंग देखकर कभी-कभी हंसते हैं, लेकिन method और reason समझाने पर वे साफ समझते थे और शायद appreciate भी करते थे।
पता नहीं यह related है या नहीं, लेकिन 80s और early 90s में K-12 school में पढ़ते समय हमें हमेशा surname के alphabetic order में आगे से पीछे तक बैठाया जाता था। A-D के आसपास से शुरू होने वाले बच्चे हमेशा आगे, U-Z के आसपास वाले हमेशा पीछे, और हर class में यही होता था।
मुझे याद है कि मेरे दोस्तों में कई लोगों के surnames मेरे surname के आसपास थे, क्योंकि हम हमेशा पास-पास बैठते थे। High school तक आते-आते A-D surnames वाले high-achieving students साफ ज्यादा लगते थे, और U-Z side पर troublemakers ज्यादा दिखते थे।
क्या यह teachers के करीब बैठने और ज्यादा attention मिलने का नतीजा था? यह कोई experiment नहीं था और control group भी नहीं था, इसलिए पता नहीं।
मेरे दोस्तों में भी glasses पहनने वाले बच्चे बहुत थे, और glasses eyesight को पूरी तरह correct नहीं करते थे, इसलिए वे front seats पसंद करते थे।
बेशक कहा जा सकता है कि week 1 में front से शुरू करने वाले students को फिर भी advantage था, लेकिन शायद वह इतना बड़ा नहीं रहा होगा।
मेरे initials Z और W हैं, इसलिए मैं alphabetical sorting को अक्सर notice करता/करती हूँ। A और B initials वाले दोस्त से पूछा तो उसने कहा कि उसने कभी इस बारे में सोचा ही नहीं।
Grading या ranking में difference महसूस नहीं हुआ, लेकिन “तुम्हारी turn आने से पहले चीजें/time आदि खत्म हो गए” यह बात कहीं ज्यादा बार सुनने को मिली, और इसलिए planning और organization से जुड़ी समस्याओं को लेकर मैं बहुत ज्यादा sensitive हो गया/गई।
मैं alphabet में बिल्कुल last था, और यह किताब चुनते समय भी already problem था। Books choose कर सकते थे, लेकिन order हमेशा alphabetic होता था, इसलिए मेरी turn आने तक कुछ ही books बचती थीं और popular books सब जा चुकी होती थीं।
जब आखिरकार marbles लेने की मेरी turn आई, तब वे भी खत्म हो चुके थे। मैंने पूछा, “मेरे marbles कहाँ हैं?” तो teacher ने कंधे उचकाकर कहा, “खत्म हो गए।” शायद मैं 7 साल का था, बहुत रोया था और लगता है दूसरे बच्चों से कुछ marbles मिले भी थे, लेकिन सच में marbles खुद मुद्दा नहीं थे।
आज भी समझ नहीं आता कि ऐसे परिणाम के अलावा कोई और उम्मीद कैसे की जा सकती थी।
एक दिन teacher ने कुछ ऐसा कहा, “आज order उल्टा करते हैं, लेकिन first name के basis पर भी sort करेंगे।” मेरा first name A से शुरू होता था, इसलिए आखिर में मैं फिर सबसे पीछे हो गया, और सबने खूब मजा लिया।
हमारी यूनिवर्सिटी में लगभग सारी grading pseudonymized होती थी। हर साल की शुरुआत में हमें random exam number मिलता था, और अहम assignments या exams में वही नंबर लिखते थे
कम महत्वपूर्ण class assignments में इतनी सख्ती नहीं होती थी और अक्सर student ID लिखी जाती थी, लेकिन मूल idea वही था
papers और कुछ छोटी assignments, जिनका overall grade पर असर नहीं था, को छोड़कर हम नाम नहीं लिखते थे। anonymity हटाना इतना मुश्किल नहीं था, लेकिन इससे system में थोड़ी और integrity आती थी
यह implement करने में बहुत आसान तरीका है, समझ नहीं आता कि इसका ज्यादा इस्तेमाल क्यों नहीं होता
हमारा virtual learning environment भी शायद assignments को किसी identifier के बजाय submission time order में sort करता था
यह individual bias को हल करता है, लेकिन submissions किस तरह sort हो रहे हैं, उससे जुड़े bias को नहीं
random identifiers के साथ random sort order इस्तेमाल करना सही लगता है
हालांकि blind conference proposals अच्छा idea हैं या नहीं, इस पर मुझे कम भरोसा है। पिछले अनुभव से अगर मुझे पता है कि कोई व्यक्ति लगभग पक्का home run मारेगा, तो उसी topic पर किसी ऐसे random व्यक्ति को चुनना कम आकर्षक लगता है जिसकी clear qualifications न हों। बेशक, committee के दोस्तों को ही चुनना निश्चित रूप से हद से आगे जा सकता है
usernames ऊपर से random लगते थे, फिर भी class discussion board पर कुछ नामों की reputation बनने लगी, और students भी कुछ नाम पहचानने लगे
हालांकि computer science courses में grading criteria काफी objective होते हैं, इसलिए anonymity कितनी महत्वपूर्ण थी, यह मुझे ठीक से नहीं पता
कहा जाता है कि “सरल समाधान है random order को default बनाना”, लेकिन ठीक होने का मतलब यह है कि bias random हो जाएगा। शायद अंत में grade होने वाले students को फिर भी कम marks मिलेंगे
tutor के अनुभव से यह bias निश्चित रूप से मौजूद है। लेकिन यह पूरी तरह गलत answer या बहुत शानदार सही answer को किसी और चीज में नहीं बदल सकता
बाद में मुझे पता चल गया था कि कौन students struggle कर रहे हैं और कौन अच्छे हैं। अगर कोई अच्छा student गलत था, तो कुछ बड़ा गड़बड़ था, इसलिए पहले जल्दी से skim करता था, फिर struggle कर रहे students के problems देखता था, उसके बाद बाकी को received order में grade करता था और अंत में struggle कर रहे और अच्छे students को देखता था। सबसे खराब answers असल में कितने खराब हैं, यह देखने के लिए baseline चाहिए थी। कुछ papers सचमुच एक accidental adventure जैसे थे
इस तरह लिखने पर यह पूरी तरह कठोर और ठंडा लग सकता है, लेकिन exercises में नीचे के एक-तिहाई students पर focus करना और वे कहां अटक रहे हैं यह TA और professor तक पहुंचाना सभी के लिए, खासकर उन students के लिए, बहुत मददगार था। इससे जरूरी basics ठीक से पकड़ में आते थे
कुछ महीने पहले जब मैंने पहली बार grading की, तो मुझे भी यह महसूस हुआ
जिन answers को पहले grade किया, उनमें कुछ खास mistakes नहीं थीं या उन्होंने अपेक्षित तरीके से answer किया था, लेकिन बाद में unexpected answers या mistakes मिलने पर पहले से grade किए answers के scores पर फिर से सोचना पड़ा। उदाहरण के लिए, किसी के answer की वजह से मुझे लगा कि जिसे मैंने गलत माना था, वह असल में उतना गलत नहीं था
class छोटी थी, इसलिए वापस जाकर बदलना संभव था, और submission order पहले से कुछ हद तक mixed था, इसलिए मैंने वैसा ही grade किया, लेकिन अगर ऐसा नहीं होता तो निश्चित रूप से bias पैदा होता
किसी bug को कई बार देखने के बाद ही एहसास होता था कि वह बहुत common है, और पता चलता था कि वह आसानी से हो सकने वाली गलती थी
या कभी कोई नया bug मिलता था जिसके बारे में पहले पता नहीं था और जो काफी common निकला। तब tests update करके सभी पर फिर से run करने पड़ते थे
मैंने काफी thorough रहने की कोशिश की और अंत में अक्सर पूरी stack फिर से देखता था, लेकिन यह सचमुच painful था। चाहूं तो roughly भी कर सकता था, लेकिन students ने उस काम में कई हफ्ते लगाए थे, इसलिए लगा कि honest feedback देना चाहिए
इससे grading के ज्यादा lenient होने की tendency भी थी। अगर lazily सिर्फ कुछ bugs check किए जाएं, तो हर issue पर बहुत marks कटेंगे, जो उन students के लिए fair नहीं है जो संयोग से expected bugs में फंस गए। सभी bugs खोजने पर, सबके scores खराब न हों इसलिए हर bug पर केवल कुछ marks ही काटने पड़ते हैं
मैं भी उसी स्थिति में हूं और वही करता हूं। हाथ से सचमुच random sorting करने का भरोसा नहीं है, इसलिए submission order की बहुत कमजोर randomness पर निर्भर रहता हूं
हमारे बच्चों का surname ऐसा होने की वजह दरअसल यही है
मेरा surname E से शुरू होता है और मेरी पत्नी का surname Y से। परंपरा के उलट, शादी के समय मेरी पत्नी ने surname नहीं बदला, और जब बच्चे हुए तो हमें तय करना था कि उन्हें कौन-सा surname दें। हमने hyphenated surname चुना
historically hyphenated surnames में महिला का surname-पुरुष का surname क्रम होता था। लेकिन मेरी पत्नी को बड़े होते हुए अपना surname alphabet के आखिर की तरफ होना पसंद नहीं था
इसलिए हमने फिर परंपरा तोड़ी और मेरा surname पहले रखा, ताकि alphabetical sorting में बच्चे आगे आएं। साथ ही बच्चों के names भी A और B से शुरू होते हैं, इसलिए first-name sorting में भी वे आगे आते हैं
अगर सचमुच परंपरा तोड़नी है, तो शादी न करें और बस साथ रहें और बच्चा करें
आखिर शादी जितनी traditional चीज और क्या होगी?
मेरा surname alphabet के आख़िरी हिस्से के अक्षर से शुरू होता है, इसलिए मैं ऐसी चीज़ें हमेशा नोटिस करता/करती हूँ। इसी साल की बात है: मेरा बेटा एक high school class ले रहा है जिसमें लंबे project के लिए teacher से लगातार feedback चाहिए
teacher surname के alphabetic order के आधार पर projects review करते हैं, लेकिन करीब 40% मामलों में class के निचले हिस्से तक पहुँच ही नहीं पाते और कहते हैं कि अगर समस्या हो तो school के बाद आकर मिलो। लेकिन project की प्रकृति ऐसी है कि teacher की proactive comments बेहद ज़रूरी हैं
इसलिए मैं अपने बेटे से कहता/कहती हूँ कि कोई problem न भी हो तो teacher के पास जाकर proactive review ले, लेकिन हर बच्चा ऐसा नहीं करता, और नतीजतन कम score मिलने की संभावना बन जाती है
सोच रहा/रही हूँ कि Helen Wang ने इसे research topic के रूप में क्यों चुना होगा
sorting के गंभीर अनचाहे परिणाम याद आते हैं
यह hungry judge effect [1] जैसा है। इसमें कहा जाता है कि judges break से पहले ज़्यादा सख़्त और break के बाद ज़्यादा उदार होने की tendency रखते हैं
[1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect