मुंह-आधारित टचपैड MouthPad, पैरालिसिस वाले मरीजों को कंप्यूटर इस्तेमाल करने में मदद करता है

 (news.mit.edu)
2 पॉइंट द्वारा GN⁺ 2024-06-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • जिन लोगों के लिए हाथों का उपयोग कठिन है, उनके लिए मौजूदा voice assistive devices हमेशा उपयुक्त नहीं होते, और Augmental का MouthPad मुंह के अंदर की हरकतों को smartphone·computer·tablet input में बदलता है
  • तालू को छूने वाला pressure-sensing touchpad और 2 motion sensors जीभ·सिर के gestures को Bluetooth के जरिए cursor movement, scroll और click से जोड़ते हैं
  • spinal cord injury वाले users पहले से ही MouthPad का रोजाना उपयोग कर रहे हैं, और quadriplegia वाला एक college student library में पढ़ाई और equations लिखने जैसी स्थितियों में इसका उपयोग करता है, जहां voice मुश्किल होती है
  • product user के oral scan पर आधारित 3D model से custom design किया जाता है, जिसमें dental material retainer को 3D print करने के बाद electronic components जोड़े जाते हैं
  • Augmental अगले 1 साल के भीतर FDA approval लेकर wheelchair·robotic arm control और insurance reimbursement तक विस्तार करना चाहता है, और speech organs की अधिक सूक्ष्म हरकतों को पहचानने वाला अगला version भी develop कर रहा है

जिन लोगों के लिए हाथों का इस्तेमाल कठिन है, उनके लिए input device

  • Augmental एक startup है जो movement disabilities वाले लोगों को personal computing devices के साथ अधिक स्वाभाविक तरीके से interact करने में मदद करता है
  • इसका पहला product MouthPad users को जीभ और सिर की हरकतों से computer, smartphone और tablet control करने देता है
  • लक्ष्य यह है कि गंभीर hand function disability वाले लोग भी हाथों का इस्तेमाल करने वालों की तरह phone या tablet को कुशलता से use कर सकें

मुंह के अंदर की हरकतों को cursor और click में बदलने का तरीका

  • MouthPad का pressure-sensing touchpad उस जगह रखा जाता है जहां वह तालू को छूता है
  • touchpad और 2 motion sensors जीभ·सिर के gestures को Bluetooth के जरिए real-time input signals में बदलते हैं
    • जीभ को सरकाने से ऊपर·नीचे·बाएं·दाएं scroll किया जा सकता है
    • suction gesture से right click किया जा सकता है
    • तालू को दबाने से left click किया जा सकता है
  • जिन users के लिए जीभ control करना कठिन है, वे bite, clench या दूसरे gestures का उपयोग कर सकते हैं
  • जिन users के पास neck control ज्यादा है, वे head tracking से screen पर cursor चला सकते हैं
  • Augmental हर user की शारीरिक स्थिति के अनुसार multimodal interface बनाना चाहता है

जीभ को input medium के रूप में चुनने की वजह

  • जीभ की position control करने में brain का बड़ा क्षेत्र शामिल होता है
  • जीभ 8 muscles से बनी होती है, और muscle fibers का अधिकांश हिस्सा आसानी से नहीं थकने वाले slow-twitch fibers होता है
  • Vega ने माना कि इस गुण का उपयोग computer interaction में किया जा सकता है और मुंह को input medium के रूप में experiment किया
  • MIT के आखिरी semester में, कई sensors लगे “lollipop” आकार के prototype से इसकी संभावना की पुष्टि की

वास्तविक users और use cases

  • spinal cord injuries वाले लोग MouthPad का रोजाना उपयोग करके अपने पसंदीदा devices के साथ independently interact कर रहे हैं
  • quadriplegia वाला और university में mathematics और computer science पढ़ने वाला एक user MouthPad से equations लिखता है और library में पढ़ाई करता है
    • उस स्थिति में voice-based assistive devices उपयुक्त नहीं थे
    • वह इसका उपयोग class notes लेने और दोस्तों के साथ games खेलने में भी कर पाने लगा
  • वर्तमान users में काफी लोग spinal cord injury वाले हैं; कुछ अपने हाथ नहीं हिला सकते और कुछ अपना सिर नहीं हिला सकते
  • gamers और programmers भी MouthPad का उपयोग करते हैं
  • सबसे ज्यादा इस्तेमाल करने वाले users दिन में अधिकतम 9 घंटे MouthPad के साथ interact करते हैं

custom manufacturing तरीका और MIT से शुरुआत

  • Augmental user के oral scan के आधार पर 3D model बनाता है, और उसी model से MouthPad design generate करता है
  • team dental material से retainer को 3D print करती है और फिर electronic components जोड़ती है
  • Vega की मुलाकात UC Berkeley में पढ़ते समय co-founder Corten Singer से हुई, और बाद में वे MIT Media Lab के Fluid Interfaces research group में शामिल हुए
  • MIT में उन्होंने microfabrication, signal processing और electronics की classes लीं, और online information access, sleep improvement और emotion regulation में मदद करने वाले wearable devices develop किए
  • शुरुआती development के दौरान Venture Mentoring Service, MIT I-Corps program, E14 Fund जैसे MIT resources का उपयोग किया गया
  • Augmental आधिकारिक रूप से तब शुरू हुआ जब Vega ने 2019 के आखिर में MIT से graduation किया

brain-machine interface के बजाय चुना गया approach

  • Vega की कभी brain-machine interface में रुचि थी, लेकिन Neuralink internship के बाद वे दूसरा solution खोजने लगे
  • brain implants में भविष्य में लोगों की मदद करने की बड़ी संभावना है, लेकिन development timeline लंबी होना एक सीमा है
  • Vega पहले ही ऐसे कई लोगों से मिल चुके थे जिन्हें तत्काल solutions की जरूरत थी, और MIT में वे ऐसा तरीका बनाना चाहते थे जिसमें brain implant जैसी संभावना हो, लेकिन उसकी सीमाओं से बचा जा सके

FDA approval और अगला version

  • Augmental अगले 1 साल के भीतर अमेरिकी FDA approval प्राप्त कर wheelchair और robotic arm control जैसे use cases को support करना चाहता है
  • FDA approval insurance reimbursement को संभव बनाकर product की accessibility बढ़ा सकता है
  • कंपनी ऐसा अगला version develop कर रही है जो whispering और internal speech organs की अधिक सूक्ष्म हरकतों पर respond करे
  • यह feature उन शुरुआती customers के लिए महत्वपूर्ण है जिनकी lung function चली गई है या damaged है
  • Vega AI agents और संबंधित hardware की प्रगति को भी सकारात्मक रूप से देखते हैं, और चाहते हैं कि Augmental हमेशा उपलब्ध, robust और private intelligent interface बने

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-06-15
Hacker News की रायें

  • 10–15 साल पहले ऐसा कुछ क्यों नहीं था? लगता है कि assistive technology को तब तक पर्याप्त लोग बनाते या उस पर ध्यान नहीं देते, जब तक उसका असर सीधे उन पर न पड़े

    • विश्वविद्यालय की लैब में दिव्यांग संगीतकारों के लिए assistive music control device बना रहे हैं। अब तक थोड़े समय में जो देखा है, उसमें ऐसे कई projects research क्षेत्र से निकलकर वास्तव में टिकाऊ business तक अच्छी तरह नहीं पहुंच पाते
      शारीरिक और neurological विशेषताएं बहुत विविध होती हैं, इसलिए assistive devices को अक्सर खास user के हिसाब से customization, tuning और support की जरूरत होती है, और इसी वजह से कीमत भी ज्यादा हो जाती है
    • लगता है इसके कुछ कारण हैं। पहला है technology gap: जिस व्यक्ति को assistive technology की जरूरत हो गई है, उसे शायद पता ही न हो कि इसे खुद बनाना कैसे शुरू करें। दूसरा है नजरिए का फर्क: एक non-disabled technologist के लिए समस्या को ठीक से समझना मुश्किल हो सकता है, इसलिए सही चीज बनाना कठिन होता है
      तीसरा है communication: जरूरतमंद व्यक्ति को अपनी जरूरत समझा पाने में सक्षम होना चाहिए, और इसके लिए introspection और कुछ हद तक technical समझ चाहिए हो सकती है। आखिरी है पैसा: ऐसे project पर, जिसमें महीनों या सालों लगाने के बाद भी कमाई होने की संभावना कम हो, कितने लोग टिके रह सकते हैं
    • आंखों की movement से typing: https://www.optikey.org/
      head pointer से typing: https://www.alimed.com/adjustable-head-pointer.html
      एक हाथ से typing: कई keyboard layouts हैं https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      speech recognition, text-to-speech और Windows accessibility features भी हैं। Products सच में develop और launch होते रहे हैं, लेकिन अभी और काम की जरूरत है, और यह product भी एक स्वागतयोग्य अतिरिक्त विकल्प है
    • करीब 9 साल पहले कोशिश की थी, और solution को open source के रूप में भी जारी किया था। उस समय लगा कि market पर्याप्त बड़ा नहीं है, इसलिए इसे खुला छोड़ने का फैसला किया ताकि कोई भी research results के आधार पर बना सके
      http://pallette.io/instructions.html
    • सही है। दुनिया का इस तरह चलना अफसोसनाक है, लेकिन उम्मीद है कि MouthPad^ उस पुराने pattern को बदल पाएगा
      universal design सिर्फ extreme situations में रहने वाले लोगों के लिए नहीं, बल्कि सभी के लिए फायदेमंद है, इसलिए सभी को इसमें रुचि लेनी चाहिए। छोटे उदाहरण के तौर पर फुटपाथ के curb cuts का इतिहास देख सकते हैं

  • यह उन सभी के लिए मददगार लग सकता है जिन्होंने computer use से होने वाली overuse injury झेली है। गंभीर tendonitis की वजह से mouse या trackpad इस्तेमाल करना बहुत दर्दनाक था, और अगर ऐसा device एक और विकल्प के रूप में मौजूद होता तो सचमुच अच्छा होता

    • हैरानी है कि अब तक कोई पैर से चलने वाला mouse क्यों नहीं बेच रहा। दोनों हाथों से typing करने वाले सामान्य users के लिए भी यह काफी practical होगा

  • हाल में launch हुए Vision Pro और eye tracking भी अपेक्षाकृत niche लेकिन highly accessible input method देते हैं। इन्हें पहले से इसी context में इस्तेमाल किया जा रहा है

    “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

    • eye tracking iPhone और iPad में भी आने वाली है। यह Vision Pro hardware जितनी अच्छी तरह काम नहीं करेगी, लेकिन जिन लोगों के लिए headset अकेले पहनना और उतारना मुश्किल है, उनके लिए विकल्प होना ही अच्छी बात है
      https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...

  • इसे games में extra control option के रूप में इस्तेमाल करना चाहूंगा। लगता है tongue से aim करने में skilled हुआ जा सकता है। brain से tongue की दूरी brain से हाथ की दूरी से कम है, तो क्या reaction time भी तेज होगा? शायद tongue control esports पर राज कर ले ;) RGB mouthguard जल्द ही आने वाला लगता है

    • RockyNoHands नाम का एक streamer है। वह Warzone पूरी तरह मुंह से खेलता है
      controller में tubes लगे हैं जिनमें हवा फूंककर या खींचकर character control किया जाता है। उसे highly competitive game live खेलते देखना सचमुच impressive है
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • औसत gamer की tongue endurance या tongue dexterity कितनी होती होगी? इसे सच में useful स्तर तक बढ़ाने के लिए कितनी practice चाहिए होगी?
      इसे अच्छी तरह संभालना काफी मुश्किल लगता है
    • article में tongue mouse की तस्वीर rendering हो सकती है, लेकिन मोटे तौर पर 16dpi जैसी दिखती है, इसलिए दुनिया को rotate कराने वाले auxiliary mouse के रूप में ठीक लगेगी। अगर बहुत छोटे pixels पर click करना हो, तो शायद scaling adjustment जैसे feature वाला device चाहिए होगा

  • दिव्यांग लोगों के लिए assistive technology भले ही मुंह से input का ज़्यादा अहम उपयोग हो, लेकिन action sports के लिए play, pause, next/previous जैसे media playback controls वाला एक साधारण Bluetooth mouthguard भी अच्छा होगा

    • मेरे दिमाग में कुछ ऐसा आता है: तालू पर एक बार tap करने से play/pause, ऊपर के बाएं/दाएं दांतों की अंदरूनी तरफ tap करने से previous/next, दांतों की अंदरूनी तरफ जीभ खिसकाने से playback position बदलना, तालू पर जीभ आगे-पीछे खिसकाने से volume control
      यह काफी intuitive लगता है, और अभी इस्तेमाल होने वाले finger gestures से कहीं ज़्यादा precise हो सकता है। चिंता बस पहनने में आराम, गलत inputs, और बोलने पर असर को लेकर है। फिर भी, लोग दांतों के ornaments भी पहनते हैं, तो यह बहुत बुरा नहीं लगता
    • ऐसे उपयोग के कुछ उदाहरण दिए जा सकते हैं?

  • काश brolylegs इतना जी पाता कि इसे देख पाता :( वह regular controller इस्तेमाल कर रहा था
    वैसे Microsoft के पास भी disabled gamers के लिए कुछ अच्छे विकल्प हैं। Adaptive Controller है, और उसने Byowave और जल्द आने वाले Proteus Controller पर भी साथ काम किया है
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • थोड़ा अलग मुद्दा है, लेकिन समझ नहीं आता कि keyboard/mouse layers ज़्यादा व्यापक रूप से क्यों नहीं अपनाए गए। कुछ साल पहले UHK[1] को Kickstarter पर back करने के बाद से मैंने mouse बिल्कुल इस्तेमाल नहीं किया
    इसकी आदत पड़ने में थोड़ा समय लगता है, लेकिन keyboard से mouse control करना वाकई शानदार है
    [1] Ultimate Hacking Keyboard

  • नाम भी कितना perfect है, इस पर बात होनी चाहिए। MouthPad ऐसा सुनाई देता है जैसे MouthPad मुंह में दबाए कोई व्यक्ति “mouse pad” बोलने की कोशिश कर रहा हो। खूबसूरत

  • बहुत पहले मैंने इसी तरह की technology के बारे में पढ़ा था। शायद यह वही था
    https://www.researchgate.net/publication/224648269_Tongue_dr...