HN लॉन्च: 6DoF को सपोर्ट करने वाला ओपन सोर्स डिजिटल stylus

 (github.com/Jcparkyn)
1 पॉइंट द्वारा GN⁺ 2023-11-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें

D-POINT: optical-inertial tracking का उपयोग करने वाली डिजिटल pen

  • D-POINT एक ओपन सोर्स डिजिटल stylus है जो camera tracking और inertial measurement का उपयोग करके 6DoF (6 degrees of freedom) input को संभव बनाता है.
  • यह low latency, pressure sensing, और sub-millimeter accuracy प्रदान करता है, सभी समतल सतहों पर इस्तेमाल किया जा सकता है, और consumer webcams के साथ compatible है.
  • यह project electrical engineering undergraduate graduation thesis का हिस्सा है, और इसका code व design files ओपन सोर्स के रूप में जारी किए गए हैं ताकि यह दूसरों के लिए उपयोगी हो सके.

डिज़ाइन

  • stylus के मुख्य parts 3D printing से बनाए जाते हैं, और इसमें force sensor, USB-C से charge होने वाली lithium-ion battery, Bluetooth, और logic के लिए Arduino-आधारित development board शामिल है.
  • visual pose estimation के लिए stylus के पीछे 8 printed ArUco markers लगाए गए हैं.

visual pose estimation (VPE)

  • VPE process 4 मुख्य चरणों में होता है:
    1. marker detection: OpenCV का उपयोग करके stylus पर मौजूद प्रत्येक ArUco marker के corners detect किए जाते हैं.
    2. rolling shutter correction: एक सरल 2D motion model का उपयोग करके rolling shutter के observed corner positions पर प्रभाव का अनुमान लगाकर उसे correct किया जाता है.
    3. Perspective-n-Point (PnP): इन corner positions से PnP algorithm का उपयोग करके camera के सापेक्ष stylus की pose estimate की जाती है.
    4. coordinate transform: camera और drawing surface के सापेक्ष calibrated stylus pose का उपयोग करके drawing surface के सापेक्ष stylus tip की position और orientation की गणना की जाती है.

inertial fusion

  • Extended Kalman Filter (EKF) का उपयोग करके VPE estimates को accelerometer और gyroscope के inertial data के साथ fuse किया जाता है, और Rauch-Tung-Striebel (RTS) algorithm का उपयोग करके real time में estimates को refine किया जाता है.
  • camera frames की time delay को ध्यान में रखने के लिए negative-time measurement update algorithm का उपयोग किया जाता है.
  • EKF को NumPy और Numba का उपयोग करके implement किया गया है, और inertial measurements का उपयोग करने से केवल camera इस्तेमाल करने की तुलना में latency काफी कम होती है, साथ ही fast motion के लिए accuracy और report rate बेहतर होते हैं.

GN⁺ की राय

  • D-POINT उन्नत तकनीक और innovative design के माध्यम से डिजिटल stylus की नई संभावनाएँ प्रस्तुत करता है.
  • ओपन सोर्स के रूप में उपलब्ध होने से यह तकनीक में रुचि रखने वाले लोगों को इसे स्वतंत्र रूप से उपयोग और बेहतर बनाने का अवसर देता है.
  • यह तकनीक consumer webcams के साथ compatible है और सभी समतल सतहों पर इस्तेमाल की जा सकती है, इसलिए यह user experience को बेहतर बनाने में महत्वपूर्ण भूमिका निभा सकती है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-11-13
Hacker News प्रतिक्रियाएँ

  • प्रोजेक्ट के प्रति प्रशंसा

    "यह वाकई एक शानदार प्रोजेक्ट है। जिस चीज़ की मैंने सिर्फ कल्पना की थी, उसे इसने सच में बना दिया। जब मैं 'Elite: Dangerous' खेलता था, तो HOTAS (हाथ से चलाया जाने वाला throttle और joystick) और pedals का इस्तेमाल करता था, लेकिन मुझे लगता था कि स्पेसशिप को इससे बेहतर तरीके से नियंत्रित किया जा सकता है। मैं चाहता था कि हाथ में पकड़े हुए स्पेसशिप मॉडल को जिस तरह हिलाऊँ, गेम के अंदर का स्पेसशिप भी उसी तरह हिले। यह प्रोजेक्ट ऐसा संभव बना सकता है। thrust को दूसरी हाथ से इसी तरह नियंत्रित किया जा सकता है। ऐसे नए या अजीब input model सच में अद्भुत होते हैं, और ऐसी क्षमता के साथ कल्पना को खुलकर इस्तेमाल किया जा सकता है।"

  • प्रोजेक्ट का अकादमिक महत्व

    "यह प्रोजेक्ट इलेक्ट्रिकल इंजीनियरिंग के undergraduate graduation thesis का हिस्सा था। एक undergraduate छात्र ने! अगर इस प्रोजेक्ट को सबसे ऊँचा ग्रेड नहीं मिला, तो फिर न्याय नाम की कोई चीज़ नहीं है।"

  • webcam के भविष्य पर दिलचस्प विचार

    "webcam का उपयोग दिलचस्प है। सोचता हूँ क्या भविष्य में मौजूदा single ~78° FOV webcam की जगह dual (stereo) fisheye webcam ले लेंगे। ऐसे webcam नए UX interaction (जिसमें eye tracking gestures भी शामिल हैं) संभव बना सकते हैं, नए peripheral interaction (जैसे यह stylus, racing game के लिए steering wheel आदि) संभव बना सकते हैं, और VR presence सहित कहीं अधिक लचीली webcam meetings के लिए 3D 180° capture दे सकते हैं। कंप्यूटर display के सामने पूरे 3D space को input method के रूप में इस्तेमाल करने का विचार अब नज़दीक आता लग रहा है, और webcam के इस्तेमाल का यह तरीका उस दिशा में एक कदम जैसा महसूस होता है।"

  • rolling shutter compensation तकनीक की समझ

    "rolling shutter compensation काफ़ी शानदार है, और सोचता हूँ कि क्या उन्हें शुरू से पता था कि यह समस्या बनेगी, या सिस्टम बनाने के बाद पता चला।"

  • input device के प्रति रचनात्मक दृष्टिकोण

    "खासतौर पर fusion technology प्रभावशाली है। 'laptop keyboard... hand shape, 3D stylus, touch' को देखते हुए मेरे मन में कुछ विचार आए। अगर इसमें button जोड़ दिए जाएँ तो यह 3D mouse बन सकता है, लेकिन camera coverage समस्या हो सकती है। laptop की body ज़्यादातर खाली होती है (battery भी पतली बनाई जा सकती है), और marker लगे stylus को पकड़े हुए typing करना संभव है। बड़ा tip ThinkPad keyboard के ऊपर आसानी से फिसल सकता है, और कम घने force sensor तथा अतिरिक्त tip marker के लिए जगह दे सकता है। पतली silicon ribbon cable बहुत लचीली हो सकती है, और मुझे बस stylus को Arduino से जोड़ना होगा। साथ ही, मुझे यह भी जिज्ञासा है कि inertial sensor किसी metal clicker जैसी चीज़ को कैसे पहचानेगा।"

  • 6DOF (6 degrees of freedom) controller के प्रति उत्साह और प्रोजेक्ट के software पहलू की प्रशंसा

    "मुझे 6DOF को लेकर बहुत उत्साह है! hardware और computer vision pose work बढ़िया है, लेकिन घूम सकने वाली software surface को render करना शायद उससे भी ज़्यादा प्रभावशाली है। इसे किसी तरह के physical user interface control के साथ इस्तेमाल किया जा सकता है, और वही असर देने के लिए finger slider जैसी चीज़ भी हो सकती है। problem-solving skills के लिए यह एक बेहतरीन प्रोजेक्ट लगता है। बहुत अच्छा काम, ब्रावो!"

  • प्रोजेक्ट के प्रति प्रशंसा और Kalman filter के उपयोग का व्यावहारिक उदाहरण

    "बहुत शानदार प्रोजेक्ट है। documentation मददगार है। Kalman filter के उपयोग का अच्छा वास्तविक उदाहरण है!"

  • प्रोजेक्ट के प्रति प्रशंसा और खुद बनाना चाहने की इच्छा

    "यह सच में प्रभावशाली प्रोजेक्ट है! मुझे बहुत पसंद आया, मैं इसे ज़रूर कभी बनाना चाहूँगा।"

  • robotics/VR में उपयोग की संभावना और तकनीकी प्रश्न

    "सच में शानदार! यह robotics/VR में भी उपयोगी हो सकता है। webcam से one-hand tracking का क्या? सवाल: क्या gyro+accelerometer का उपयोग करके pressure track किया जा सकता है? कम-से-कम 'tap' तो? एक और सवाल: इसकी लागत कितनी है? खासकर pressure sensor की लागत कितनी है?"

  • camera आधारित external tracking के प्रति जिज्ञासा और तकनीक को लेकर अफ़सोस

    "camera का उपयोग करके external tracking करना एक ऐसा शानदार विचार है जिसके बारे में मैंने नहीं सोचा था। दुख की बात है कि Valve/HTC द्वारा इस्तेमाल की जाने वाली lighthouse technology की सस्ती नकल पर किसी ने अच्छा काम नहीं किया।"