मार्शमेलो टेस्ट, वयस्क क्षमताओं की भविष्यवाणी में विश्वसनीय नहीं

 (srcd.onlinelibrary.wiley.com)
1 पॉइंट द्वारा GN⁺ 2024-08-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें

विलंबित संतुष्टि और वयस्क परिणाम: मार्शमेलो टेस्ट वयस्क क्षमताओं की विश्वसनीय रूप से भविष्यवाणी नहीं करता

  • अध्ययन का अवलोकन
    • यह अध्ययन Watts et al. (2018) के विश्लेषणात्मक दृष्टिकोण का विस्तार करते हुए विलंबित संतुष्टि की दीर्घकालिक पूर्वानुमान वैधता की जांच करता है।
    • प्रतिभागियों (n = 702; 83% श्वेत, 46% पुरुष) ने 54 महीने की आयु (1995-1996) में मार्शमेलो टेस्ट पूरा किया और 26 वर्ष की आयु (2017-2018) में सर्वे पूरा किया।
    • पूर्व-पंजीकृत विश्लेषण का उपयोग करके पाया गया कि मार्शमेलो टेस्ट का प्रदर्शन वयस्क उपलब्धि, स्वास्थ्य या व्यवहार की मजबूत भविष्यवाणी नहीं करता।
    • शैक्षिक उपलब्धि (r = .17) और बॉडी मास इंडेक्स (r = - .17) के साथ हल्का सहसंबंध पाया गया, लेकिन लगभग सभी regression adjustment coefficients महत्वपूर्ण नहीं थे।
    • विलंबित संतुष्टि और सामाजिक-आर्थिक स्थिति या लिंग के बीच कोई स्पष्ट adjustment pattern नहीं मिला।
    • परिणाम बताते हैं कि मार्शमेलो टेस्ट का प्रदर्शन वयस्क परिणामों की विश्वसनीय रूप से भविष्यवाणी नहीं करता।
    • विलंबित संतुष्टि की क्षमता की पूर्वानुमान और construct validity पर चर्चा की गई है।

डेटा उपलब्धता वक्तव्य

  • यह अध्ययन Open Science Framework (osf.io/67XFN) पर पूर्व-पंजीकृत था।
  • वर्तमान अध्ययन में उपयोग किया गया डेटा (adult wave SECCYD) सार्वजनिक रूप से उपलब्ध नहीं है, इसलिए analysis syntax उपलब्ध कराया गया है।
  • प्रमुख variables की correlation matrix और descriptive statistics प्रदान की गई हैं।
  • SECCYD सैंपल की पहले की data collection waves, Inter-University Consortium for Political and Social Research (icpsr.umich.edu/web/ICPSR/series/233) पर उपलब्ध हैं।

GN⁺ का सार

  • यह अध्ययन दिखाता है कि मार्शमेलो टेस्ट वयस्क उपलब्धि, स्वास्थ्य और व्यवहार की भविष्यवाणी के लिए विश्वसनीय नहीं है।
  • शैक्षिक उपलब्धि और बॉडी मास इंडेक्स के साथ हल्का सहसंबंध है, लेकिन अधिकांश regression adjustment coefficients महत्वपूर्ण नहीं हैं।
  • इसमें विलंबित संतुष्टि की क्षमता की predictive और construct validity पर चर्चा शामिल है।
  • यह अध्ययन विलंबित संतुष्टि टेस्ट की दीर्घकालिक वैधता को लेकर मौजूद मान्यताओं की पुनर्समीक्षा में उपयोगी है।
  • समान विषय पर Moffitt et al. (2011) के अध्ययन की भी सिफारिश की गई है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-08-03
Hacker News की रायें

  • मूल शोध के निष्कर्षों पर बड़े पैमाने के 2018 के अध्ययन में सवाल उठाए गए थे। मूल अध्ययन 90 छात्रों पर था, जबकि follow-up study में 900 लोगों को शामिल किया गया। उसमें वही correlation मिला, लेकिन household income को control करने पर उसका ज्यादातर हिस्सा गायब हो गया
    स्वाभाविक निष्कर्ष यह है कि household income, gratification delay करने की क्षमता और academic achievement—दोनों का predictor है। गरीब परिवार में बड़े होने पर भौतिक संसाधनों तक पहुंच कम स्थिर और कम predictable होती है, इसलिए भविष्य के बड़े reward की बजाय मौजूदा अवसर को पकड़ना तर्कसंगत हो सकता है, और academic support भी कम हो सकता है। यह नया अध्ययन इससे आगे जाकर मानता है कि correlation खुद भी कमजोर है
    [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

    • Household income कई चीजों का predictor होता है। यह postal code से मजबूत रूप से correlated होता है और लगभग उसी तरह काम करता है; इससे race या political inclination तक का काफी अच्छा अनुमान लगाया जा सकता है
      बहुत से लोग भोलेपन में सोचते हैं कि explicit race data हटा देने से model में race गायब हो जाती है, लेकिन असल में वह indirect रूप से बनी रहती है। race या politics ही नहीं, कई factors में ऐसा ही होता है, इसलिए causal statistics एक बहुत अलग और कठिन क्षेत्र बन जाता है। यहां predictor का मतलब cause नहीं, बल्कि correlated होना है; यह शब्द भ्रम पैदा करता है, इसलिए मुझे बहुत पसंद नहीं
    • बच्चों के बारे में तो पता नहीं, लेकिन यह बात समझ में आती है कि गरीब वयस्कों में impulse control कमजोर हो सकता है। चिंताएं ज्यादा होती हैं, उम्मीद करने को कम होता है, और वे 8 घंटे की बजाय 12 घंटे तक काम कर सकते हैं
      ज्यादा काम करने वाले अमीरों में भी कई बुरी आदतें होंगी, लेकिन उनका सफल career होता है, इसलिए उसे coping mechanism जैसा माना जाता है और जीवन के एक हिस्से के रूप में अलग कर दिया जाता है। अगर ऐसे शोध आखिर में researchers और upper middle class की आबादी के overlap की वजह से उसी वर्ग के रुख को rationalize करने की दिशा में दिखें, तो मेरी cynicism बस सही साबित होगी
    • household income को control करने पर correlation का ज्यादातर हिस्सा गायब हो गया—सिर्फ इससे बहुत कुछ साबित नहीं होता। long-term rewards के प्रति attitude पर परिवार के भीतर साझा किए जाने वाले खास cultural factors का असर हो सकता है, और वही factor income और academic achievement दोनों को प्रभावित कर सकता है
      निष्कर्ष निकालने के लिए ऐसा natural experiment खोजना होगा जहां income differences पूरी तरह exogenous हों और shared factors की वजह से न हों
    • Table 3 में white होना 7 मिनट से ज्यादा इंतजार कर पाने के लिए बहुत significant predictor (p=0.007) है, लेकिन Table 7 में race items में white को बिल्कुल report नहीं किया गया है। मुझे आश्चर्य है कि क्या इसका मतलब यह है कि white बच्चों के बीच के differences socioeconomic status और अन्य covariates से पूरी तरह explain हो जाते हैं
      उलटे, अगर इसका मतलब यह है कि black होना ऐसा effect रखता है जिसे अन्य covariates explain नहीं करते, तो यह काफी विवादास्पद है
    • यह इतना obvious conclusion नहीं है। उदाहरण के लिए self-control को प्रभावित करने वाली genetic traits भी हो सकती हैं

  • इस experiment की कई details देखकर social science पर मेरा भरोसा और रुचि काफी कम हो गई। quantitative biology की training वाले व्यक्ति के रूप में ऐसे research को देखते हुए, मुझे factors की लंबी सूची दिखती है जो researcher को hypothesis true है—ऐसा गलत conclusion निकालने पर मजबूर कर सकते हैं
    इस मामले में ऐसा लगता है कि researcher में high-quality research करने की पर्याप्त दिलचस्पी नहीं थी, और उन्होंने moral beliefs या value judgments से शुरुआत की, experiment चलाया, फिर results को अपनी “hypothesis” के समर्थन की तरह interpret किया। social science की प्रकृति के कारण सचमुच honest experiment करना बहुत कठिन है

    • ठीक इसी वजह से अधिकतर social “science” पर 100 साल से ज्यादा की व्यापक और गहन आलोचना पढ़ी जा सकती है। कई लोग यह सीखते हुए बड़े हुए कि physics और chemistry जैसी hard sciences और social sciences तथा biology/medicine की कई subfields जैसी soft sciences के बीच categorical difference है
      लेकिन वह distinction zeitgeist से काफी हद तक गायब हो चुका है, और अब कई लोग “science journal” में छपी किसी भी चीज को sound मान लेते हैं। यह public science literacy में बड़ा regression है, और इससे लोग वास्तविक hard science के conclusions पर भी धीरे-धीरे शक करने लगेंगे—ऐसी जमीन तैयार हो रही है
    • psychology experiments में हमेशा लगता है कि details में ही शैतान छिपा होता है। हो सकता है experimenter ने बच्चे को subtle cues दिए हों, और test सिर्फ यह रहा हो कि बच्चा उन cues को कितना अच्छी तरह पढ़ता है
      बच्चे को offer की गई “deal” की exact wording क्या थी, wording बदलने पर results बदलते हैं या नहीं, वह food scarcity का समय था या abundance का, उस समय बच्चे को “कैसे behave करना चाहिए” इस पर cultural norms क्या थे—ये सब असर डाल सकते हैं। बच्चे की average age 6 महीने ज्यादा या कम हो, तो भी फर्क पड़ सकता है; test location का पानी, हवा, paint भी relevant हो सकते हैं
      ऐसे potential confounding factors के सामने electron पर physics collision experiment से भी ज्यादा statistics और controls की जरूरत लगती है। लेकिन physicists ने सरल और reproducible environment में भी discovery criterion के रूप में strict 5-sigma रखा है, और 3-sigma outliers आते-जाते रहते हैं। psychology में ऐसे standards की कल्पना realistically कठिन है, इसलिए मुझे नहीं लगता कि यह भरोसेमंद empirical science बनना आसान है
    • इस specific experiment पर psychologists और sociologists दोनों ने वर्षों से जो आलोचनाएं लिखी हैं, उन्हें मैंने पढ़ा है। यह ज्यादातर internet पर खुद को “cool nerd” समझने और हर चीज का expert बनने वाले लोगों के बीच ही popular था
      असली scientists की ज्यादा boring writings पढ़ें, तो वे कई साल पहले से आपत्ति जताते आए हैं
    • यहां तक कि Dunning-Kruger effect भी statistics का misuse है। randomly generated samples में भी यह effect दिखता है, क्योंकि data में floor और ceiling होते हैं
      score कम होने पर उससे भी कम estimate करने की गुंजाइश सीमित होती है, इसलिए अपनी क्षमता को overestimate करना आसान होता है; score ज्यादा होने पर उससे भी ज्यादा estimate करने की गुंजाइश सीमित होती है, इसलिए अपनी क्षमता को underestimate करना आसान होता है
    • कई scientists social “science” को diplomatic ढंग से soft science के रूप में classify करते हैं, इसकी वजह है। कम diplomatic scientist Feynmann ने इसे pseudoscience कहा था

  • दिलचस्प बात यह है कि जब लोग पहली बार कोई study करते हैं, तो वे चाहते हैं कि experiment उनकी hypothesis को satisfy करे; और जब वे मौजूदा research पर build करते हैं, तो वे चाहते हैं कि replication सफल हो। लेकिन ऐसे famous results के मामले में उल्टा मन करता है कि वे fail हों, क्योंकि तभी लोग अपने results के बारे में बात करते हैं
    ऐसे experiments पर experimenter की इच्छाओं का unconscious और subtle असर पड़ने के अनगिनत तरीके होते हैं। साथ ही, marshmallow test में एक दिलचस्प confounding factor यह है कि यह इनाम सच में मिलेगा या नहीं, इस पर trust को उतना ही measure करता है जितना इनाम का इंतज़ार करने की क्षमता को। अगर आप unpredictable environment में रहते हैं, तो बस खा लेना ही बेहतर है

    • 90s के Russia में unpredictable environment में रहने वाले के तौर पर, ज़्यादा सही वाक्य होगा: “अगर आप unpredictable environment में रहते हैं, तो predictable environment में move करना बेहतर है”
      मैंने future के लिए बचत करने वाले लोग कहीं ज़्यादा देखे, और उल्टा Canada जैसे predictable environment में इसका reverse ज़्यादा देखकर हैरानी हुई
    • मुझे याद है कि marshmallow test की reproducibility problem को casually explain करने के लिए उस confounding factor का इस्तेमाल हुआ था, लेकिन यह याद नहीं कि असल में किसने उसे verify किया था
      यह article पूरा बकवास है, इसलिए लगता है कि यह दिखाता है कि कोई भी confounding factor गढ़कर explanation दी जा सकती है
    • replication studies के लिए resources finite होते हैं, इसलिए allocation की ज़रूरत होती है। जितना famous result होता है, उतनी ही ज़्यादा संभावना होती है कि वह अच्छे और skeptical replication attempts को attract करे
      यह तरीका हमेशा काफी ठीक लगा है। बस replication में समय लगता है, और कुछ लोग “bad” results के तुरंत correct न होने को disaster की तरह देखते हैं
    • कई बार ऐसा साफ़ तौर पर होता है। जब मैंने Dunning-Kruger को “refute” करने के लिए अक्सर cite किया जाने वाला paper देखा, तो उसकी methodology कितनी खराब थी, यह देखकर हैरान रह गया
      https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

  • High school AP Psychology में पढ़ी गई research लगभग पूरी की पूरी replication में fail हुई, इसमें यह भी शामिल है। पीछे मुड़कर देखें तो वह class अच्छे से अच्छा समय की बर्बादी थी, और बुरे से बुरा life decisions के लिए गलत जानकारी देती थी

    • ऐसे authors की reputation को कीचड़ में घसीटकर नीचे लाना चाहिए। Daniel Kahneman का wiki page उन्हें fraud जैसा नहीं दिखाता, लेकिन उन्होंने उन studies का आत्मविश्वास से ज़िक्र किया जो replicate नहीं हुईं, और दूसरे fraudsters के fake data को भी approval दिया
    • Psychology और psychiatry science नहीं, बल्कि osteopathy या phrenology की तरह philosophy की pseudoscience शाखाएं हैं। controlled और reproducible experiments करने, evidence-based clinical diagnosis करने, या जिन organs का वे इलाज करने का दावा करते हैं उन्हें measure/test करने के बजाय, वे चाय की पत्तियों से भविष्य पढ़ने वाले religious groups के ज़्यादा करीब हैं

  • marshmallow test की एक और interpretation यह है कि यह self-control जितना ही trust को measure करता है। अगर बच्चा researcher पर भरोसा नहीं करता कि वह दो marshmallows देगा, तो वह wait नहीं करेगा

    • researcher पर low trust, low academic achievement motivation को explain कर देगा ;)
    • लगता है इसके लिए repeated test चाहिए। शुरुआती कुछ rounds में बाद में reward न देने जैसा करना चाहिए
    • या फिर यह पूरी तरह predictive power से खाली बकवास हो सकता है, जिसे आप जैसे चाहें interpret कर सकते हैं
    • या शायद दूसरा marshmallow इतना attractive न हो। अगर अभी एक या बाद में दो का offer मिले, तो कोई अभी एक चुन सकता है क्योंकि उसे दो नहीं चाहिए

  • जो बच्चे वादा करने वाले adults पर trust करते हैं, वे gratification delay करने की tendency रखते हैं
    https://pubmed.ncbi.nlm.nih.gov/26799458/
    game theory के perspective से भी यह समझ में आता है। अगर आपके पास एक internal model है कि adults को वादे निभाने में कितना इंतज़ार करना पड़ता है, और उसके लिए normal-distribution prior रखना चाहिए—यानी life में आपका experience रहा है कि ज़्यादातर adults अपने वादे निभाते हैं—तो wait करना rational है
    इसके उलट, अगर experience के आधार पर आपको power-law prior assume करना चाहिए, तो किसी point पर losses cut करना पूरी तरह rational है। इस interpretation का मतलब है कि life success का भरोसेमंद parents से correlation है, जो कुछ हद तक सुंदर है; और time factor को देखते हुए लगता है कि असल में causation भी है

  • Famous psychology tests में ऐसा कोई है जो replicated हुआ हो?

    • Asch conformity experiments शायद replicate होते हैं: https://journals.plos.org/plosone/article?id=10.1371/journal...
      साथ ही, psychology experiments controversial होने की वजह से famous होते हैं, और यह खुद reproducibility के खिलाफ bias पैदा कर सकता है। boring psychology experiments जिनके results बहुत surprising नहीं होते, शायद अक्सर बिना समस्या replicate हो जाते हों
    • “क्या fame या पैसे के लिए बकवास को सच की तरह publish किया जाएगा” वाला test कई fields में कई बार replicate हुआ है, इस पर मुझे काफी यकीन है
    • bystander apathy experiments कई बार replicate हुए हैं, और Milgram experiment भी इसी तरह
    • https://www.bps.org.uk/research-digest/ten-famous-psychology...
      कई मायनों में मुश्किल topic है

  • मेरे आसपास के लोगों के अनुभवों में यह बात सही बैठी। साथ बड़े हुए और स्कूल गए लोगों में जिनके पास तत्काल संतुष्टि को टालने और लंबी अवधि के लक्ष्य रखने की क्षमता थी, वे काफी अच्छा कर गए; और जो बिना योजना के बस बहाव में जीते रहे, वे मुश्किल से गुजारा करने वाली तरफ रहे।
    मेरी अपनी जिंदगी में भी, जब कोई लक्ष्य या vision था और जब बस जैसे-तैसे चल रहा था, तब performance में बड़ा फर्क था। मुझे लगता है कि अहम क्षेत्रों—शौक, partner, career, परिवार, relationships—सबमें लक्ष्य, vision और standards जरूरी हैं

    • अगर आपने बचपन में अपने दोस्तों पर marshmallow test नहीं किया था, तो सच कहूं तो पता नहीं आप वही बात कर भी रहे हैं या नहीं। असली study एक बहुत अजीब और specific phenomenon पर बहुत बड़ी extrapolation लगाने का मामला थी।
      “जिंदगी में अच्छा करना”, “संतुष्टि को टालना”, “लंबी अवधि के लक्ष्य” ऐसी चीजें नहीं हैं जिन्हें specific तौर पर मापी जा सकने वाली traits कहा जा सके। उदाहरण के लिए, कोई व्यक्ति games हमेशा sale तक इंतजार करके खरीदता है, लेकिन food insecurity झेलने की वजह से unhealthy free food भी मना नहीं कर पाता—उसे कैसे देखा जाए? ऐसी traits को assess करने के लिए अनगिनत variables हैं। यह study जो कहती है वह यह है कि छोटे indicators से इतने बड़े conclusions extrapolate करना शायद समझदारी नहीं है
    • अगर ऐसी कोई personality trait मौजूद है, तो यह काफी साफ तौर पर सच है कि सफलता के लिए वह महत्वपूर्ण है। लेकिन साढ़े 4 साल के बच्चे के सामने marshmallow रखने से उस trait को मापा जा सकता है या नहीं, यह पूरी तरह अलग सवाल है
    • मेरे आसपास तो दोनों तरह के मामले देखने को मिले। कोई Ivy League गया और आखिर में एक सामान्य tech job में चला गया, और कोई Ivy League से निकला लेकिन job ढूंढने में संघर्ष करता रहा।
      उल्टा, जो लोग बहाव में जीते थे वे भी उसी तरह की सामान्य tech job तक पहुंच गए, और जो स्कूल में fail हुए और मुश्किल से community college पूरा कर पाए, वे अपनी राह बनाते रहने की वजह से सफल small business चला रहे हैं
    • मुझे नहीं लगता कि यह जरूरी है। मैं ऐसे बहुत लोगों को जानता हूं जो goal-oriented होने के बजाय opportunistic तरीके से चलते हुए भी जिंदगी में काफी अच्छा कर गए। partner, परिवार और relationships के लिए लक्ष्य रखना तो disaster की recipe जैसा लगता है
    • इसलिए इस तरह की घटिया psychology research चालाकी से नुकसानदेह होती है। कोई वास्तविक effect हो सकता है, लेकिन वह baby और marshmallow वाले स्तर का effect न भी हो सकता है

  • कुछ research fields हमेशा science नहीं, बल्कि art ही रहेंगी। साहित्य, कला और human psychology ऐसी ही हैं।
    अच्छे लेखक, कलाकार और therapist सचमुच बड़ा योगदान दे सकते हैं, लेकिन वे कठोर experiments करके सत्य को numbers में स्थापित नहीं कर सकते। और यह ठीक है।
    जो ठीक नहीं है, वह academic psychologists का वह झुंड है जिसे numerical/“hard” disciplines की training नहीं मिली, इसलिए उन्हें यह तक पता नहीं कि वे बकवास कर रहे हैं। यहां hard का मतलब मुश्किल नहीं, बल्कि well-defined है

  • बड़े होते हुए मुझे marshmallow test जैसी स्थितियों से गुजरना याद है, लेकिन उनसे मैंने delayed gratification नहीं सीखा; मैंने यह सीखा कि इंतजार करने या त्याग करने पर आप बेवकूफ बनते हैं।
    “अगर तुम अभी यह छोड़ दोगे, तो बाद में तुम्हें दो मिलेंगे” अक्सर “दूसरा marshmallow है ही नहीं, और पहला भी वापस नहीं मिलेगा” बन जाता था। दूसरे बच्चों को ऐसी चीजें कितनी बार झेलनी पड़ेंगी कि वे delayed gratification न करना सीख जाएं? लोग उसे “impulse control की कमी” कहकर दोष देते हैं, लेकिन मैं उसे experience से सीखा हुआ कहूंगा

    • food scarcity यह बात जल्दी सिखा देती है। निचले wage bands की लगभग सारी employment इसी तरह काम करती है।
      वादा ऐसा होता है कि “इस बड़ी tech company के customer support में काम करोगे तो enterprise department की role में जा सकते हो”, लेकिन असल में ऐसा सफल होने वालों का अनुपात भर्ती हुए लोगों में लगभग 0% के करीब होता है। Reddit की एक अच्छी बात यह है कि उसने retail और service jobs के बड़े हिस्से को चलाने वाली पूरे न किए जाने वाले वादों की system को साफ दिखा दिया है