EEG से पुष्टि: मस्तिष्क दो voice streams को एक साथ encode करता है

• सामान्य सुनने की क्षमता वाले 24 वयस्कों के EEG विश्लेषण से पता चला कि ध्यान बदलते समय नए वक्ता के प्रति neural tracking पुराने वक्ता से अलग होने से पहले शुरू हो जाती है, जिससे थोड़े समय के लिए दोनों आवाज़ें एक साथ represent होती हैं
• दो वक्ताओं की speech envelope और word onset·prediction जानकारी को time response function (TRF) से model किया गया, और 1-second decoding window में भी ध्यान दिए गए वक्ता की पहचान chance level से महत्वपूर्ण रूप से अधिक सटीकता के साथ की गई
• नए वक्ता के प्रति engagement, पुराने वक्ता से disengagement की तुलना में महत्वपूर्ण रूप से पहले शुरू और समाप्त हुआ, और यह engagement-disengagement asymmetry 1·2·4·8·16-second sliding windows में भी बनी रही
• ध्यान बदलने के बाद EEG alpha band power घटी, और इसका lowest point speech encoding switch point से बाद में आया, जो नए वक्ता की tracking और listening effort के बीच समयगत संबंध दिखाता है
• Mistral-7B-v0.1 से चार lexical context strategies की तुलना में, पहले context को छोड़ देने वाले Reset model की entropy ने EEG की सबसे अच्छी भविष्यवाणी की, लेकिन इससे यह निश्चित नहीं कहा जा सकता कि इंसान भी context को reset करते हैं

---

शोध प्रश्न और प्रयोग की रूपरेखा

• कई लोगों के बोलने वाले माहौल में किसी एक वक्ता पर ध्यान बनाए रखते हुए दूसरे वक्ता पर तेज़ी से switch करना पड़ता है, लेकिन अब तक के अधिकांश neurophysiology studies ने sustained attention पर ध्यान दिया है
• ध्यान परिवर्तन को पुराने वक्ता के प्रति neural tracking के कम होने वाले disengagement और नए वक्ता की tracking बढ़ने वाले engagement में बाँटकर, दोनों प्रक्रियाओं के समयगत संबंध की जाँच की गई
• 18~39 वर्ष के 24 अंग्रेज़ी मातृभाषी प्रतिभागी शामिल हुए, जिनकी hearing सामान्य थी, neurological या psychiatric disorder का इतिहास नहीं था, और दृष्टि सामान्य या corrected थी
• 1.5m radius की circular arrangement में 6 speakers लगाए गए
  • सामने बाएँ-दाएँ ±30° पर अलग-अलग TED Talk speech को 60dB SPL पर चलाया गया
  • पीछे के 4 speakers पर 4-4 लोगों को मिलाकर बना 16-speaker babble noise 54dB SPL पर चलाया गया, जिससे foreground के मुकाबले background SNR 3dB रखा गया
• प्रतिभागियों ने 180-second के 20 trials किए और स्क्रीन पर arrow के निर्देश के अनुसार हर trial में 6 बार बाएँ-दाएँ वक्ताओं के बीच ध्यान बदला
  • sustained attention intervals को semi-random तरीके से रखा गया
  • foreground stimuli के लिए 20 पुरुष और 20 महिला वक्ताओं के 40 TED Talk clips इस्तेमाल किए गए
  • हर trial के बाद content comprehension, preferred speaker, और switching difficulty के उत्तर लिए गए

व्यवहारिक परिणाम और attention decoding

• तकनीकी समस्या के कारण एक प्रतिभागी का behavioral data नहीं मिला, इसलिए 23 प्रतिभागियों पर content questions की औसत accuracy 86.3% रही
• बाएँ speech preference का औसत 49.79% था, यानी संतुलन बना रहा, और switching difficulty 1~5 scale पर औसतन 3.1 थी
• 64-channel EEG को 512Hz पर record किया गया, preprocessing के बाद 64Hz पर downsample किया गया, और speech व EEG के बीच delayed linear relation को time response function (TRF) से model किया गया
• backward TRF से EEG से attended speech envelope को reconstruct कर बाएँ और दाएँ speech के साथ correlation की तुलना की गई
  • 1·2·4·8·16·32-second decoding windows का उपयोग किया गया
  • window जितनी लंबी थी, classification performance उतनी बेहतर थी, लेकिन 1-second window सहित सभी conditions 100 बार randomize किए गए labels की chance distribution के 95th percentile से महत्वपूर्ण रूप से ऊपर थीं
• dynamic switching situations में भी EEG की speech envelope reconstruction से attended speaker को reliably track किया जा सका

नया वक्ता engagement, पुराने वक्ता disengagement से तेज़

• forward multivariate TRF में speech envelope, word onset, और word surprisal शामिल किए गए, और वास्तविक EEG तथा predicted EEG के correlation को sliding windows से निकाला गया
• switch से पहले पुराने वक्ता की speech अधिक मज़बूती से track हुई, और switch के बाद नए वक्ता की tracking मजबूत हुई, जो visual attention cue के अनुरूप था
• switch के पहले और बाद 50% से अधिक reliable attention bias दिखाने वाले 21 प्रतिभागियों को time analysis में शामिल किया गया
  • बाहर किए गए प्रतिभागियों में disengagement और engagement के start·end points का अनुमान नहीं लगाया जा सका
  • बाहर किए गए 3 प्रतिभागियों को शामिल करने वाले follow-up analysis में भी engagement के पहले आने का गुणात्मक pattern बना रहा, लेकिन statistical significance नहीं रही
• प्रतिभागी-स्तर EEG prediction correlations पर segment-wise linear regression लागू कर disengagement और engagement के start·end points का अनुमान लगाया गया
  • 4-second window में नए वक्ता का engagement, पुराने वक्ता के disengagement से महत्वपूर्ण रूप से पहले शुरू हुआ
  • engagement का अंत भी disengagement के अंत से महत्वपूर्ण रूप से पहले था
• 1·2·4·8·16-second windows को साथ विश्लेषित करने पर भी engagement-disengagement asymmetry बनी रही
  • लंबी windows में अनुमानित switching time अधिक लंबा था
  • sliding window की temporal smoothing switch को लंबा दिखा सकती है, लेकिन वह इस asymmetry को खुद पैदा नहीं करती
• नए वक्ता की tracking, पुराने वक्ता की tracking के घटने से पहले दिखाई देने वाले छोटे interval में दोनों voice streams एक साथ neural representation में मौजूद थीं

alpha band और listening effort

• attention switch के आसपास 8~12Hz alpha-band event-related spectral perturbation (ERSP) को listening effort के indicator के रूप में इस्तेमाल किया गया
• switch के दौरान alpha power occipital-parietal क्षेत्रों में महत्वपूर्ण रूप से घटी, और switch signal के लगभग 4.5 seconds बाद बड़ा गिराव मापा गया
• 4-second window में alpha ERSP का lowest point, दो वक्ताओं की EEG prediction correlations के crossing वाले encoding switch point से महत्वपूर्ण रूप से बाद में आया
  • कई window lengths में भी यही क्रम बना रहा
  • alpha low point लगभग उस समय से मेल खाता था जब नए वक्ता का engagement पूरा हुआ, और पुराने वक्ता के disengagement completion से पहले था
• यह समयगत संबंध इस संभावना को खुला छोड़ता है कि alpha power नए वक्ता पर फिर से focus करने की मेहनत, नए distractor speaker की active suppression, या दोनों के संयोजन से जुड़ी हो
• जब नए stream का acoustic·linguistic context पर्याप्त जमा हो जाता है, तब tracking आसान होकर cognitive resources मुक्त हो सकते हैं, लेकिन switching difficulty के आधार पर आगे सत्यापन ज़रूरी है

चार lexical context models

• attended target बदलने पर lexical prediction में इस्तेमाल होने वाला semantic context भी बदलता है, इसलिए Mistral-7B-v0.1 से word surprisal और entropy निकाले गए
  • surprisal बताता है कि पहले के context के आधार पर मौजूदा शब्द कितना unexpected है
  • entropy अगले शब्द की prediction में uncertainty को दर्शाती है
• context accumulation की चार strategies की तुलना की गई
  • Oracle: मौजूदा वक्ता की पिछली utterances को, उन पर ध्यान दिया गया था या नहीं, सबको इस्तेमाल करता है और switch को पहचानता नहीं
  • Speaker-Specific: उसी वक्ता के पिछले attended intervals ही इस्तेमाल करता है
  • Attention: वक्ता से अलग, पहले attended सभी intervals का उपयोग करता है
  • Reset: switch से पहले का सारा context छोड़कर केवल मौजूदा attention interval में नया context जमा करता है
• switch के तुरंत बाद Reset model की entropy सबसे अधिक उछली और फिर शब्द आगे बढ़ने के साथ घटी
  • Attention और Speaker-Specific एक-दूसरे से मिलते-जुलते और अधिक stable थे
  • switch को न पहचानने वाले Oracle में switch के पहले और बाद लगभग कोई बदलाव नहीं था
  • overall average में Reset entropy, Oracle से अधिक और Attention व Speaker-Specific से कम, यानी बीच के स्तर पर थी

Reset model के EEG prediction परिणाम

• केवल acoustic features वाले baseline TRF की तुलना में entropy जोड़ने पर Speaker-Specific·Attention·Reset models में prediction में महत्वपूर्ण सुधार दिखा, लेकिन Oracle में सुधार नहीं हुआ
• surprisal का उपयोग करने पर भी Oracle को छोड़कर बाकी तीन models में semantic information encoding की पुष्टि हुई
• अपेक्षा के विपरीत entropy-based Reset model की EEG prediction correlation, Oracle, Speaker-Specific, और Attention से महत्वपूर्ण रूप से अधिक थी
  • 350~550ms की TRF-N400 amplitude, Reset में बाकी तीन models से कम थी
• surprisal-based analysis में Reset, Oracle से अधिक था, लेकिन बाकी models के बीच तुलना महत्वपूर्ण नहीं थी, और TRF-N400 amplitude में भी कोई महत्वपूर्ण अंतर नहीं था
• entropy आने वाले शब्दों की uncertainty दर्शाती है, जबकि surprisal पहले से आए शब्द पर प्रतिक्रिया करता है; यह अंतर परिणामों को प्रभावित कर सकता है
  • प्रतिभागियों को switch signal मिला था, इसलिए वे दूसरी speech आने की अपेक्षा कर सकते थे, लेकिन LLM को यह signal नहीं मिला, इसलिए इंसान और model की surprisal एक जैसी नहीं हो सकती
  • Mistral को अगले शब्द की prediction के लिए optimize किया गया है, neurophysiological validity के लिए नहीं
• परिणाम इस संभावना से मेल खाते हैं कि switch के समय इंसान lexical context को reset कर सकते हैं, लेकिन यह भी संभव है कि इंसान और LLM speech discontinuity को बिल्कुल अलग तरह से process करते हों

सीमाएँ और उपयोग की संभावनाएँ

• sliding windows से निकाले गए engagement·disengagement time, window length पर निर्भर हैं, इसलिए इन्हें absolute neural processing time नहीं बल्कि प्रक्रियाओं के बीच relative time के रूप में समझना चाहिए
• instructed switching task, वास्तविक बातचीत की तुलना में कम natural है, और distractor speech की monitoring को प्रोत्साहित कर सकता है, जिससे sustained attention tasks से अलग strategies बन सकती हैं
• यह asymmetry cognitive load, उम्र, cognitive ability, hearing problems, speech content में रुचि, switching frequency, और task characteristics के अनुसार बदल सकती है
• पहले के context को पूरी तरह छोड़ने के बजाय, story gist की तरह abstract summary के रूप में बनाए रखने की संभावना भी है
  • sentence prediction के लिए optimized Large Concept Model या छोटे token context और पुराने summary को जोड़ने वाले models की तुलना की जा सकती है
• speaker-wise encoding changes को अलग करने का तरीका, साधारण attention classification की तुलना में अधिक सूक्ष्म है, और cognitive-control hearing aid research तथा उम्र·hearing groups की तुलना में उपयोगी हो सकता है
• preprocessed EEG, analysis files, code, और speech stimuli Zenodo पर सार्वजनिक रूप से उपलब्ध हैं

[GN⁺]

Hacker News की रायें

• Richard Feynman की वह कहानी याद आती है जिसमें उन्होंने मन ही मन 60 सेकंड गिनते हुए यह परखा कि एक साथ क्या-क्या किया जा सकता है। Feynman गिनते हुए पढ़ सकते थे, लेकिन बोल नहीं सकते थे; John Tukey इसके उलट बोल सकते थे, लेकिन पढ़ नहीं सकते थे
  ऐसा इसलिए था क्योंकि Tukey संख्या गिनते समय टेप की कल्पना करते थे, जबकि Feynman मन ही मन शब्द बोलते थे। निष्कर्ष यह था कि एक ही संख्या गिनने जैसे काम में भी लोगों की मानसिक प्रक्रिया अलग हो सकती है, और गिनते समय वे क्या कर सकते हैं या नहीं कर सकते, यह देखकर इसे वस्तुनिष्ठ रूप से परखा जा सकता है
  Feynman ने यह भी सोचा था कि शायद वे और उनके छात्र Bessel functions को पूरी तरह अलग तरीके से महसूस करते हों, जैसे वे समीकरणों के अक्षरों को रंगों में देखते थे
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • जब मैं अपनी बेटी को सुलाते समय उसे गोद में लेकर गाना गाते हुए 300 कदम गिनता था, तब मुझे पता चला कि अगर आंतरिक self-talk की जगह संख्याओं को visualize करूँ तो गाना और गिनती साथ-साथ हो सकती है। हालांकि इसमें ज़्यादा एकाग्रता लगती थी, और अब जब बेटी खुद सो जाती है तो कभी-कभी वह समय याद आता है
  • अगर मैं पढ़ नहीं रहा हूँ, तो बिना ज़्यादा ध्यान लगाए भी audiobook की बात समझ सकता हूँ। शायद पढ़ते समय subvocalization होने की वजह से audiobook और पढ़ना एक साथ नहीं हो पाता; और मुझे speed reading से ज़्यादा शब्दों को एक-एक करके महसूस करते हुए पढ़ना बेहतर लगता है
  • यह बात इस तथ्य से जुड़ी लगती है कि बायाँ और दायाँ cerebral hemisphere अलग-अलग cognitive functions और शरीर के उल्टे हिस्से की गतिविधियों को संभालते हैं, और corpus callosum के ज़रिए आपस में संवाद करते हैं। corpus callosum कटे हुए split-brain मरीज़ों में दोनों hemispheres कभी-कभी स्वतंत्र रूप से व्यवहार करते हैं, और Michael Gazzaniga तथा Roger Sperry के प्रयोगों में यह देखा जा सकता है
    Feynman का प्रयोग दिखाता है कि हर व्यक्ति द्वारा विकसित की गई आंतरिक processing शैली को बाहर से सत्यापित किया जा सकता है; और गणितीय प्रतीकों में रंग महसूस करना शायद इस वजह से हो कि दायाँ मस्तिष्क बाएँ मस्तिष्क की तार्किक समस्याओं को अपने अलग identifiers दे रहा हो
  • क्या संगीत सुनते समय काम या पढ़ाई पर ध्यान न लगा पाना भी इसी वजह से होता है, या फिर इसलिए कि संगीत ही पूरा ध्यान खींच लेता है?
  • बच्चे को लोरी गाते हुए पढ़ना तो बहुत आसान है, लेकिन मन में संख्या गिनते हुए बोलने की कोशिश करूँ तो वह दीवार से टकराने जैसा असंभव लगता है

• मैं बच्चों की कहानी की किताब ज़ोर से पढ़ते हुए बिल्कुल अलग तरह के विचार भी साथ-साथ जारी रख सकता हूँ। लेकिन कभी-कभी उन दूसरे विचारों के शब्द पढ़ते समय आ जाते हैं, यानी गलतियाँ पढ़ने में रिसने लगती हैं

  • मेरे भौतिकविद् पिता जब किताब पढ़ते-पढ़ते ऊँघने लगते थे, तो कहानी अचानक बेतुकी हो जाती थी और कठिन physics terms से भर जाती थी, इसलिए हमें तुरंत पता चल जाता था
  • मैं हर शाम बच्चे को किताब पढ़ते हुए करीब 15 मिनट तक किसी और समस्या पर सोच सकता हूँ, लेकिन उस हालत में कहानी का प्लॉट समझ नहीं पाता। जिस क्षण बच्चा पूछे, “पापा, आपने साइकिल क्यों चुराई?”, सारी एक्टिंग वहीं खत्म हो जाती है
  • बच्चों को Enid Blyton की किताबों समेत दर्जनों किताबें पढ़कर सुनाते हुए मैं साथ-साथ काम या घर के कामों के बारे में सोच सकता हूँ। लेकिन कई मिनट तक पढ़ी चीज़ का बिल्कुल ध्यान नहीं रहता, इसलिए फिर से शुरू करना पड़ता है; लगता है कि phonological loop यानी आँख और मुँह का रास्ता, memory/processing/executive cognition वाले रास्ते से स्वतंत्र रूप से चलता है
  • स्कूल में जब पाठ्यपुस्तक को बारी-बारी से ज़ोर से पढ़ा जाता था, तब मैं सिर्फ़ आवाज़ और विराम चिह्नों के हिसाब से intonation पर ध्यान देता था। पैराग्राफ खत्म होने पर अर्थ समझने के लिए उसे चुपचाप फिर से पढ़ना पड़ता था, और आज भी जटिल लेख को समझते हुए ज़ोर से पढ़ने के लिए दोनों processing streams चाहिए होती हैं
  • जब दूसरे विचारों पर ज़्यादा cognitive resources लगने लगते हैं, तो कभी-कभी अचानक एहसास होता है कि मैं बिना कोई सचेत कोशिश किए लगातार ज़ोर से पढ़ता जा रहा था

• एक पायलट और radio operator के रूप में मैं हमेशा दो voice streams को एक साथ process कर पाता था, इसलिए यह नतीजा मुझे चौंकाने वाला नहीं लगता

  • control center और TRACON के controllers दोनों कानों से कई frequencies मॉनिटर करते हैं, और तब भी process करना पड़ता है जब कोई pilot दूसरी frequency की बातचीत पर बोल जाए। handoff के दौरान internal communication भी करना होता है, और बातचीत की content कोई weekend barbecue की बात नहीं होती, बल्कि METAR जितनी information-dense होती है
  • एक शिक्षक के रूप में मैं कभी-कभी कई बच्चों से एक साथ बात करता हूँ। अगर गहरी एकाग्रता की ज़रूरत न हो तो यह संभव है, लेकिन थकाने वाला होता है इसलिए यथासंभव टालता हूँ
  • क्या headset में कई आवाज़ें बीच में या mono की तरह एक साथ सुनाई देती हैं, या वे बाएँ कान और दाएँ कान में अलग-अलग बँटी होती हैं?

• कई mindfulness practices शायद भीतर की आवाज़ को शांत करने के लिए ध्यान को एक साथ दो जगह रखते हैं। George Gurdjieff की The Fourth Way और P. D. Ouspensky के लेखन में बताया गया है कि जब ध्यान का प्रवाह दो वस्तुओं पर केंद्रित करके भर दिया जाता है, तो ध्यानावस्था जैसी चेतना-परिवर्तन की स्थिति बनती है
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • शायद इसी वजह से fugue सुनना इतना आनंददायक लगता है

• कॉलेज के दिनों में मैं पार्टियों में कई बातचीतों में एक साथ शामिल होकर समूहों के बीच आता-जाता रहता था। यह कोई खास क्षमता की वजह से नहीं था, बल्कि इसलिए कि आसपास की सारी बातें सुनाई देती थीं, और जब अलग-अलग समूहों में दिलचस्प बातें चल रही हों तो किसी को छोड़ना नहीं चाहता था, इसलिए लगातार बातचीतों के बीच आना-जाना होता रहता था

• अगर हम कई sensory streams process ही न कर पाते, तो पृष्ठभूमि के ख़तरों पर नज़र रखना या context switching करना संभव नहीं होता। सचेत अनुभव और बैकग्राउंड में होने वाली processing अलग चीज़ें हैं

  • कई streams को process करना और एक ही समय में क्रमवार process करना अलग बातें हैं। जैसे single-core CPU कई threads संभालता है, वैसे ही A और B के बीच बहुत तेज़ी से आते-जाते time-slicing से पहली चीज़ संभव हो सकती है
    लेकिन यह प्रमाण कि मस्तिष्क वास्तव में कई streams को सचमुच एक साथ लगातार process और encode करता है, multitasking के असली mechanism को समझने में मदद देता है; इसलिए नतीजा भले ही सहज लगे, शोध फिर भी क़ीमती है
  • यहाँ बात सामान्य multi-sensory processing की नहीं, बल्कि कई voice streams की processing की हो रही है
  • लेख के अर्थ को समझना और किसी signal में ख़तरे को पहचानना, processing के गुणात्मक स्तर पर भी अलग हैं

• मुझे लगा यह तो पहले से ही अच्छी तरह ज्ञात बात है। मेरी समस्या उलटी है: मैं दूसरों की बात अनसुनी नहीं कर पाता, इसलिए किसी से बात करते हुए भी आसपास की बातचीत का हर शब्द सुन लेता हूँ

• मशहूर है कि Apollo मिशन control team को कई बातचीतों की धाराओं को एक साथ process करने की ट्रेनिंग दी गई थी, लेकिन वे इसे बंद नहीं कर पाते थे, इसलिए cocktail party उनके लिए दुःस्वप्न बन जाती थी

  • हवाई अड्डे के controllers और रेल/मेट्रो जैसी समान भूमिकाओं में काम करने वालों को भी यही कठिनाई होती होगी
  • रिश्तेदारों के साथ खाने पर सब लोग एक साथ बोलते हैं और ज़्यादातर लोग दो बातचीतों में भाग लेते हैं। मेरी छोटी बहन जब कॉलेज के लिए घर से बाहर गई, तो उसे यह आदत फिर छोड़ने में कई हफ्ते लगे, इसलिए घर आने पर वह खाने की मेज़ पर बिल्कुल बोलती ही नहीं थी
  • इस किस्से के स्रोत की पुष्टि करने के लिए कोई लिंक हो तो अच्छा होगा

• Pythagoras की कथित दैवी क्षमताओं में एक bilocation भी था, यानी एक ही समय में दो शहरों में प्रकट होकर पढ़ाना। सामाजिक मौकों पर जब भी मैं एक साथ कई बातचीतों में शामिल होता हूँ, मुझे Pythagoras याद आते हैं

• जब पहली बार animation और sound को जोड़ा गया, तो अगर pendulum के छोर तक पहुँचने के ठीक उसी क्षण “टॉक” जैसी आवाज़ चलाई जाती थी, तो लोगों को वह आवाज़ देर से महसूस होती थी। कहा जाता है कि एक stimulus से दूसरे stimulus पर ध्यान शिफ्ट करने में लगभग 1/16 सेकंड लगता है
  समय की अनुभूति पर और टिप्पणियाँ https://en.wikipedia.org/wiki/Time_perception में देखी जा सकती हैं

  • आवाज़ की actual propagation speed भी धीमी होती है
  • असली घड़ी की टिक-टिक की आवाज़ तो pendulum के छोर तक पहुँचने से पहले ही हो जाती है