- वॉशिंगटन यूनिवर्सिटी की शोध टीम ने Target Speech Hearing सिस्टम विकसित किया है, जो पहनने वाला व्यक्ति किसी बोल रहे इंसान को सिर्फ 3~5 सेकंड तक देखे तो उस वक्ता को रजिस्टर कर लेता है और शोरगुल वाले माहौल में भी उसकी आवाज़ रियल टाइम में सुनाता है
- यह सिस्टम मौजूदा हेडफ़ोन के दोनों तरफ़ के माइक्रोफ़ोन और onboard embedded computer के साथ काम करता है, और उपयोगकर्ता बटन दबाकर वक्ता की दिशा में मुड़ता है तो machine learning software आवाज़ के पैटर्न सीखता है
- रजिस्ट्रेशन के बाद श्रोता या वक्ता के हिलने-डुलने पर भी सिस्टम उस आवाज़ को लगातार ट्रैक करता है, और वक्ता जितना अधिक बोलता है, training data बढ़ने के साथ लक्ष्य वक्ता पर फ़ोकस करने का प्रदर्शन उतना बेहतर होता जाता है
- 21 लोगों पर किए गए टेस्ट में प्रतिभागियों ने रजिस्टर किए गए वक्ता की voice clarity को बिना फ़िल्टर किए गए audio की तुलना में औसतन लगभग दोगुना बेहतर आंका
- अभी एक समय में केवल एक व्यक्ति को ही रजिस्टर किया जा सकता है, और यदि उसी दिशा से कोई दूसरी तेज़ आवाज़ मिल जाए तो रजिस्ट्रेशन मुश्किल हो जाता है, इसलिए earbuds·hearing aids विस्तार भविष्य का कार्य बना हुआ है
Target Speech Hearing कैसे काम करता है
- वॉशिंगटन यूनिवर्सिटी का Target Speech Hearing एक AI सिस्टम है जो noise-cancelling हेडफ़ोन में उपयोगकर्ता को किसी खास व्यक्ति की आवाज़ चुनकर सुनने देता है
- उपयोगकर्ता माइक्रोफ़ोन लगे मौजूदा हेडफ़ोन पहनता है, बोल रहे व्यक्ति की ओर सिर घुमाता है और फिर बटन दबाता है
- लक्ष्य वक्ता की ध्वनि तरंगें हेडसेट के दोनों माइक्रोफ़ोन तक एक साथ पहुँचना चाहिए
- स्वीकार्य त्रुटि सीमा 16 डिग्री है
- हेडफ़ोन एकत्रित सिग्नल को onboard embedded computer तक भेजते हैं, और machine learning software इच्छित वक्ता के आवाज़ पैटर्न सीखता है
- रजिस्ट्रेशन पूरा होने के बाद सिस्टम आसपास की दूसरी आवाज़ों को कम करके सिर्फ रजिस्टर किए गए वक्ता की आवाज़ रियल टाइम में चलाता है
- श्रोता और वक्ता के हिलने पर भी यह रजिस्टर की गई आवाज़ को लगातार ट्रैक करता है
- वक्ता बोलता रहता है तो training data बढ़ता है, जिससे सिस्टम लक्ष्य वक्ता पर और बेहतर फ़ोकस कर पाता है
- शोध टीम ने 14 मई को ACM CHI Conference on Human Factors in Computing Systems में नतीजे प्रस्तुत किए
- इस proof-of-concept डिवाइस का कोड LookOnceToHear पर सार्वजनिक है
- यह सिस्टम अभी व्यावसायिक उत्पाद नहीं है
प्रयोग के नतीजे और मौजूदा सीमाएँ
- 21 लोगों पर किए गए टेस्ट में प्रतिभागियों ने रजिस्टर किए गए वक्ता की clarity को बिना फ़िल्टर किए गए audio की तुलना में औसतन लगभग दोगुना बेहतर आंका
- यह शोध पहले के semantic hearing शोध पर आधारित है, जिसमें उपयोगकर्ता जिस तरह की आवाज़ सुनना चाहता था उसे चुनने पर बाकी पर्यावरणीय ध्वनियाँ हटा दी जाती थीं
- पिछला सिस्टम पक्षियों या आवाज़ जैसी किसी खास sound class को चुनने के तरीके पर काम करता था
- TSH ध्वनि श्रेणी नहीं बल्कि एक रजिस्टर किए गए वक्ता पर फ़ोकस करता है
- अभी TSH एक समय में सिर्फ एक ही वक्ता को रजिस्टर कर सकता है
- यदि लक्ष्य वक्ता की ही दिशा से कोई दूसरी तेज़ आवाज़ आए तो वक्ता को रजिस्टर नहीं किया जा सकता
- अगर उपयोगकर्ता audio quality से संतुष्ट न हो, तो वही रजिस्ट्रेशन प्रक्रिया उसी वक्ता के लिए दोबारा चलाकर clarity बेहतर की जा सकती है
- शोध टीम आगे चलकर इस सिस्टम को earbuds और hearing aids तक विस्तार देना चाहती है
1 टिप्पणियां
Hacker News की रायें
अगर इसका आकार घटकर छोटे earplug जितना हो जाए, तो सुनने में अक्षम न होने के बावजूद मैं भी इसे इस्तेमाल करना चाहूँगा
कम-से-कम diagnosis के हिसाब से तो कहा गया कि मुझे hearing impairment नहीं है, लेकिन अब समझ नहीं आता कि test करने का तरीका ही खराब है, या मैं normal हूँ और बाकी लोग बस सुनने का दिखावा मुझसे बेहतर करते हैं
दोस्तों या gatherings में अक्सर शोरगुल वाले restaurant या bar में जाना पड़ता है, और न सुन पाने पर दोबारा बोलने को कहने पर वे उसी धीमी आवाज़ में दोहराते हैं और मैं फिर नहीं सुन पाता—यह हमेशा frustrate करता है
joke या कोई passing remark छूट जाना और भी परेशान करता है; हालत ऐसी हो जाती है कि “किस बात पर हँस रहे हो, मैंने सुना नहीं, क्या लगभग तीन बार फिर से बता दोगे?”
लेकिन जितने भी audiologist के पास गया, सबने कहा कि hearing normal है, और आखिरकार बड़े metro area के सबसे अच्छे माने जाने वाले specialist से appointment ली, 1 साल की waiting के बाद
पूरे दिन tests के बाद specialist ने कहा कि उनके पास “अच्छी खबर, बुरी खबर, और अच्छी भी-बुरी भी खबर” है; अच्छी खबर यह थी कि मेरी hearing 5 साल के बच्चे के स्तर जितनी बहुत अच्छी है, और बुरी खबर यह थी कि मैं इतना ज्यादा सुनता हूँ कि sounds को अलग-अलग distinguish नहीं कर पाता
बात यह नहीं थी कि hearing खराब हुई है, बल्कि brain की sounds को अलग करने की क्षमता घटी है; और अच्छी भी-बुरी भी खबर यह थी कि आखिरकार बाकी सबकी तरह मेरी hearing भी कम होगी, इसलिए कुछ सालों तक public places में मैं बेहतर सुन पाऊँगा
मुझे लगता है कि इस समस्या के और बढ़ने की एक वजह यह है कि restaurants और public spaces design करने वाले लोग अब sound environment की परवाह नहीं करते
पिछले 15 सालों में खुले ज्यादातर bars cement floor वाले हैं, जिनमें sound absorption लगभग नहीं है, और लगता है वे इस premise पर design किए गए हैं कि अगर कान न बजें तो मज़ा ही नहीं आया
सचमुच बातचीत जारी रखना असंभव हो जाता है, इसलिए मैं अब ऐसी जगहों पर जाता ही नहीं
device से solve करने के बजाय, समस्या को जैसी है वैसी देखकर “मैंने कुछ भी नहीं सुना, और तुम लोगों ने भी शायद नहीं सुना होगा। यह बेवकूफी है, चलो बाहर चलते हैं” जैसे पारंपरिक तरीके से हल करना बेहतर है
ऐसी जगहें अक्सर इस तरह design की जाती हैं कि अगर आप लगातार चिल्लाएँ नहीं या आसपास के प्रति numb न हों, तो आपको तकलीफ हो
समझ नहीं आता लोग वहाँ जाकर पैसे भी क्यों खर्च करते हैं; मुझे पैसे दिए जाएँ तब भी शायद मैं न जाऊँ
मैं एक-दूसरे की सीमाओं का सम्मान करने को AI device से replace नहीं करना चाहता
कान खुले रखते हुए headset की आवाज़ सुनी जा सकती है, और जब ज्यादा साफ सुनना हो, जैसे भीड़ में call पर बात करते समय, तो उंगली से कान बंद कर सकते हैं
इससे कान के अंदर speaker cabinet जैसा effect बनता है, bone conduction की sound quality ज्यादा rich हो जाती है, और बाहरी noise भी block हो जाता है
अगर पूरी headphone quality चाहिए, तो earplugs लगा लें; ये छोटे भी होते हैं और कम noticeable भी
यह perfect नहीं है, लेकिन “कान खुले रखते हुए headset सुनने” से “sound block करके headset को बहुत साफ सुनने” तक सिर्फ उंगली या earplug से smooth transition कर पाना अच्छा लगता है
अगर बगल में shotgun mic लगा दिया जाए तो यह सचमुच शानदार होगा—अगर संकरे direction angle वाले mic को यही कहते हैं तो
https://www.flareaudio.com/pages/earhd
अगर होंठ दिखें, तो lip-reading न कर पाने के बावजूद बात को कहीं ज्यादा सही समझने में मदद मिलती है
जब भी मैंने इसे search किया, बात autism या ADHD से association तक पहुँचती थी, और 2008 में diagnosis से पहले मैं इस विचार को कुछ हद तक ignore करता था
अब मुझे AuDHD diagnosis मिल चुका है
HN पाठकों को यह जानना चाहिए कि hearing aids कितने महंगे और खराब होते हैं
कीमतें देखें तो बुनियादी “आवाज़ को तेज़ करने” वाले hearing aids भी बेहद महंगे हैं
इससे भी बुरी बात यह है कि कान में दखल देने की वजह से सुनने को “steer” करने की क्षमता खोना आसान हो जाता है
यानी दूसरी बातचीतों या शोर वगैरह को फ़िल्टर करना मुश्किल हो जाता है
Facebook ने व्यावहारिक और आम उपयोग वाले AR की तलाश में, शायद लगभग व्यर्थ कोशिशों पर अरबों डॉलर झोंकने की प्रक्रिया में, जो एक अच्छा उप-उत्पाद निकाला है वह https://www.projectaria.com/glasses/ है
यह AR-जैसी क्रियाओं के साथ प्रयोग करने के लिए अपेक्षाकृत सस्ता platform है, और इसमें eye tracking, microphone array, और front camera है, इसलिए इसे steerable microphone में काफी आसानी से बदला जा सकता है
मेरे Phonak hearing aids कुछ हद तक अपने-आप programs बदलते हैं, और companion app से fine-tuning भी की जा सकती है
शोरगुल वाले माहौल में भी ये कुछ हद तक काम करते हैं और बातचीत भी की जा सकती है, जो करीब 10 साल पहले के hearing aids से असंभव होता—इसके लिए मैं सचमुच आभारी हूँ
एक pair की कीमत लगभग 2000 dollar है, और सौभाग्य से national healthcare system में cover हो जाता है, इसलिए करीब हर 5 साल में सिर्फ 50 dollar देने पड़ते हैं। बेशक, यह tax से भी चुकाया ही जाता है
उम्मीद है कि “AI” में प्रगति से सिर्फ amplification और filtering से आगे जाकर, शोरगुल वाले माहौल में आवाज़ों को अलग और मजबूत किया जा सकेगा या फिर reconstruct किया जा सकेगा
दूसरी तरफ, cafés, restaurants और bars में music को लगातार और तेज़ बजाने का चलन खत्म हो जाए तो अच्छा होगा। खासकर hearing loss वाले लोगों के लिए, और बाकी लोगों के लिए भी, यह accessibility nightmare है
0: https://www.socialstyrelsen.se/en/about-us/healthcare-for-vi...
1: https://www.vox.com/2018/4/18/17168504/restaurants-noise-lev...
एक छोटा cartel supply पर नियंत्रण रखता है, इसलिए बेहतर technology से competition करने के बजाय profit maximize करने की ही incentive बनती है
(0) https://www.thebignewsletter.com/p/silencing-the-competition...
तभी आपको अपने लिए अच्छा fit होने वाला, सबसे सस्ता और भरोसेमंद hearing aid मिल पाएगा
वरना sensory loss की वजह से ऊपर बताई गई attention filtering वाली समस्या शुरू होने लगती है
सुनाई कम होना शुरू होने के बाद जितनी देर तक आप hearing correction से बचते रहेंगे, उसे फिर compensate करने के लिए उतने ही ज्यादा complex और महंगे hearing aids चाहिए होंगे
क्योंकि महंगे hearing aids उन कामों का अधूरा approximation करते हैं जो sensory loss से पहले आपका brain और auditory cortex कर रहे होते थे
रुकिए, मुझे hearing test की appointment book करनी है
जब वे जीवित थीं, family events या public places में उनसे बात करते हुए मैंने भी कुछ ऐसा बनाने के बारे में सोचा था
महंगा होने की वजह शायद medical/healthcare companies के साथ संबंध और compliance के कारण लागत बढ़ना है
जैसे वही display अगर medical facility में इस्तेमाल के लिए certified हो जाए, तो कई गुना महंगा हो जाता है
मेरे Widex hearing aids बेहतरीन हैं। सामान्य परिस्थितियों में sound quality शानदार है
मेरी बस एक असली शिकायत है कि ये पूरी तरह waterproof नहीं हैं, इसलिए बारिश में बाहर जाने पर थोड़ा पहले से plan करना पड़ता है
सुनने में अक्षम व्यक्ति के तौर पर, ऐसी capability सचमुच भगवान का भेजा वरदान लगती है
इसे जितनी जल्दी हो सके hearing aids में integrate किया जाना चाहिए। चुप रहो—नहीं, असल में बोलते रहो, मैं पैसे दूंगा
अगर अलग-अलग व्यक्तियों की आवाज़ें चुनी जा सकें, तो उन्हें speech recognition में भेजकर वास्तविक बातचीत पर subtitles भी लगाए जा सकते हैं। सुनने की क्षमता और खराब होने या बिल्कुल न होने पर यह उपयोगी होगा
लेकिन cloud round-trip latency उपयोगिता को बहुत घटा सकती है या बेकार बना सकती है, इसलिए ऐसा mobile device सचमुच चाहिए जो local processing कर सके
यह discontinued है, लेकिन refurbished units मिल जाते हैं
wearable glasses बताए गए use case के लिए काफी promising हैं, क्योंकि किसी से बात करते समय headphones पहनने की bulky और असभ्य दिखने वाली feeling से बचा जा सकता है
इसका और advanced रूप मेरे tinnitus में भी काफी मदद कर सकता है
जब एक व्यक्ति बोलता है तो वह धीमे बोले या दूर हो, तब भी मैं ठीक सुन लेता हूँ, लेकिन कई लोग बोल रहे हों या music हो तो कुछ भी सुनाई नहीं देता
शोर वाले bar में बैठूं तो सबसे पास के दो लोगों को छोड़कर बाकी क्या कह रहे हैं, यह सुनना लगभग असंभव होता है
सामान्य माहौल में बातचीत में आम तौर पर समस्या नहीं होती
इसलिए मैं जिस व्यक्ति को देख रहा हूँ, उसकी आवाज़ को boost करने वाली सुविधा हो तो सचमुच शानदार होगा
Apple AirPods में पहले से environment और mode के हिसाब से sound adjustment है, और अगर phone को बोलने वाले के सामने रखा जाए तो specific voice enhancement भी support करता है
इस research की तरह directional voice enhancement अगर सीधे AirPods के अंदर support हो जाए, तो शोरगुल वाली जगहों पर social interaction में बहुत मदद मिलेगी
code: https://github.com/vb000/LookOnceToHear
उल्टे इस्तेमाल में इसके commercially सफल होने की संभावना ज्यादा लगती है
कल्पना कीजिए कि पार्टी में चिढ़ाने वाली आवाज़ में जरूरत से ज्यादा जोर से बोलने वाले बस उस एक इंसान को mute किया जा सके
कॉन्सर्ट में लोग कान खराब न हों इसलिए अक्सर earplugs लगाते हैं; कल्पना कीजिए कि उनकी जगह ऐसे in-ear headphones हों जो सिर्फ कॉन्सर्ट और परिवार/दोस्तों की आवाज़ें रहने दें और बाकी सब filter कर दें
Volume भी adjust हो, जैसे spouse बोले तो उसकी आवाज़ बाकी आवाज़ों के ऊपर बढ़ जाए, crowd noise माहौल के लिए बनी रहे लेकिन आसपास के लोगों की आम बातचीत हट जाए
मैं machine learning या AI का expert नहीं हूं, लेकिन मेरी समझ में मौजूदा तकनीक से यह असंभव नहीं है
Battery और power की सीमाएं होंगी, लेकिन कॉन्सर्ट के लिए ऐसे headphones भी समझ में आते हैं जिनका band सिर के पीछे से जाकर उन्हें fix रखे और गिरने पर भी खोने न दे
“तुम्हारी आवाज़” की training चाहिए होगी, लेकिन अगर Alexa इसे 10 सेकंड में कर सकती है तो phone app भी कर सकता होगा
अगर यह सिनेमाघरों के लिए 200 यूरो से कम में आए, तो मैं अभी खरीद लूंगा, और शायद फिर से सिनेमाघर जाना शुरू कर दूं
क्या लोग पार्टियों में headphones पहनते हैं?
ऐसे व्यक्ति को filter करने का कोई तरीका हो तो मैं निश्चित रूप से आभारी रहूंगा
मैं पहले Sonos में काम करता था, मौजूदा app update disaster और headphones launch से काफी पहले
पहले बंद कर दिए गए headphones product development attempt के दौरान, हमने इसी तरह active noise cancellation chipset के जरिए किसी खास व्यक्ति की आवाज़ को selectively pass-through करने वाला concept feature देखा था
DSP वाली टीम ने ठीक कौन-सा approach इस्तेमाल किया था, यह याद नहीं है। मैं active noise cancellation hardware के ज्यादा करीब था
लेकिन वे practically जिस चीज़ को अलग कर पाए थे, वह सिर्फ पहनने वाले की अपनी आवाज़ थी, क्योंकि वह signal बाकी सभी आवाज़ों से ज्यादा strong था
यह सच में शानदार है। Headphones से और कौन-सी दिलचस्प चीज़ें की जा सकती हैं, यह जानने की उत्सुकता है
Active noise cancellation chipsets बेहद शक्तिशाली हैं, और मुझे लगता है कि उनकी क्षमता का पूरा इस्तेमाल होने में अभी काफी समय बाकी है
अभी तक कोई सही product नहीं मिला
Listener side की noise reduction तो isolation और active noise cancellation से हल होती दिखती है, लेकिन अगर receiver को सिर्फ मेरी आवाज़ अलग करके noise block करने वाला hardware-software combo मिल जाए, जिससे असली remote work संभव हो, तो बहुत अच्छा होगा
Sonos products में कुल मिलाकर basic functionality की समस्याएं हैं; जैसे Wi-Fi कटकर वापस आने पर भी reconnect नहीं कर पाते, और बीच में Wi-Fi channel बदल जाए तो खास तौर पर बुरा होता है
“Technical” solution plug निकालकर reboot करना है, जो remotely भी नहीं किया जा सकता
Wi-Fi से connected होने और Sonos का Spotify Connect बेहूदा तरीके से bug-ridden होने के कारण जब reboot करना चाहो तब भी संभव नहीं होता
esp या किसी मिलते-जुलते TI module जैसी चीज़ से भी Wi-Fi connection बनाए रखा जा सकता है और हमेशा reconnect कराया जा सकता है, तो Sonos firmware developers के लिए इतनी basic चीज़ करना इतना मुश्किल है क्या?
यह अब भी इस condition पर निर्भर है कि target speaker की location पर कोई competing sound या voice नहीं होनी चाहिए
Open source code https://github.com/vb000/LookOnceToHear पर है, और paper https://arxiv.org/abs/2405.06289 पर है
इसलिए कई popular science articles की तरह यह पूरी तरह दूर की बात नहीं भी हो सकती
अगर कोई इसे independently चला कर देख सके, तो results सुनना चाहूंगा
किसी busy room में किसी की बात सुनना मुश्किल होता है, शायद इसलिए कि दिमाग सभी आवाज़ों को पकड़ने की कोशिश करता है, इसलिए यह मेरे लिए सच में बहुत मददगार हो सकता है। शायद इसकी वजह ADHD है
अगर conversation partner की आवाज़ के अलावा बाकी आवाज़ें बहुत कम करने का तरीका हो, तो कमाल होगा
उम्मीद है AirPods खुद कभी यह कर पाएंगे, यह सिर्फ समय की बात हो
ऐसा feature मेरे लिए वरदान होगा
छोटी beep आवाज़ सुनने वाले hearing test में मैं ठीक निकलता हूं, लेकिन खासकर भीड़भाड़ वाले माहौल में लोग क्या कह रहे हैं, उसे process करने में मुझे बड़ी दिक्कत होती है
मेरे पिता को भी यही समस्या है
यह एक ऐसी संभावित feature है जिसकी जरूरत है, यह मुझे पता ही नहीं था
घर पर मैं हमेशा active noise cancellation headphones पहनता हूं, और अगर partner की आवाज़ अपने आप pass-through हो जाए तो सच में बहुत उपयोगी होगा
शायद partner नहीं होगा, लेकिन शायद…
अगर partner की आवाज़ हल्की सुनाई देती है और कान तक ठीक से नहीं पहुंचती, तो शायद इसकी वजह headphones की passive isolation है
या फिर हो सकता है कि आप जो music सुन रहे हैं, वही आवाज़ को mask कर रहा हो
Active noise cancellation partner की आवाज़ को तभी block करता है जब वह आवाज़ background noise जैसी pitch और volume में मिलकर white noise या colored noise जैसी हो गई हो, और active noise cancellation उस पूरे मिश्रण को suppress कर सके