Project Gameface का Android वर्ज़न लॉन्च

 (developers.googleblog.com)
6 पॉइंट द्वारा xguru 2024-05-18 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Google I/O 2023 में घोषित Project Gameface open source
    • यह hands-free gaming 'mouse' है, जो सिर की हरकतों और चेहरे के gestures का उपयोग करके कंप्यूटर cursor को नियंत्रित करने देता है
    • लोग भौंहें उठाकर click और drag कर सकते हैं, या मुंह खोलकर cursor को move कर सकते हैं, जिससे gaming accessibility बेहतर होती है
  • यह प्रोजेक्ट video game streamer Lance Carr की कहानी से प्रेरित होकर शुरू हुआ, जो मांसपेशियों की बीमारी के कारण quadriplegia का सामना कर रहे हैं
    • Lance के साथ मिलकर Project Gameface को वास्तविकता में बदला गया

प्रोजेक्ट का उपयोग

  • अब और अधिक code को open source किया जा रहा है ताकि developers ऐसे applications बना सकें जो सभी Android devices को अधिक accessible बनाएं
  • डिवाइस के camera के जरिए चेहरे के हाव-भाव और सिर की हरकतों को सहज रूप से track करके उन्हें intuitive और personalized controls में बदला जाता है
  • Developers अब ऐसे applications बना सकते हैं जिनमें users चेहरे के expressions, gesture size, cursor speed आदि को customize करके अपना अनुभव सेट कर सकें

Android के लिए Project Gameface बनाते समय तीन मुख्य सिद्धांत

  1. विकलांग लोगों को Android devices चलाने के लिए एक नया अतिरिक्त माध्यम देना
  2. ऐसा cost-effective solution बनाना जिसे scale किया जा सके
  3. पहले Gameface लॉन्च से मिली सीख और दिशानिर्देशों का उपयोग करके user-friendly और customizable product विकसित करना

Android devices पर cursor implementation

  • Android devices चलाने के लिए एक नया तरीका लॉन्च
    • Project Gameface पर मिले सकारात्मक feedback के आधार पर पता चला कि developers और users सिर की हरकतों से cursor को move करने और चेहरे के expressions से actions करने के विचार को बहुत महत्व देते हैं
  • Android devices पर नया virtual cursor लाने के लिए उसी विचार को दोहराया गया
    • Android accessibility service का उपयोग करके नया cursor बनाया गया और MediaPipe के Face Landmarks Detection API का उपयोग कर इसे इस तरह program किया गया कि cursor user के सिर की हरकतों के अनुसार move करे
  • API के भीतर 52 चेहरे के blendshape values हैं, जो बाईं भौंह उठाने या मुंह खोलने जैसे 52 facial gestures की अभिव्यक्ति को दर्शाती हैं
    • इनमें से कुछ values का उपयोग करके कई तरह की सुविधाओं को प्रभावी ढंग से map और control किया गया, जिससे customization और control के लिए अधिक संभावनाएं मिलती हैं
    • साथ ही blendshape coefficients का उपयोग करके developers को यह सुविधा दी गई कि वे हर specific expression के लिए अलग threshold सेट कर सकें, ताकि अनुभव को customize किया जा सके

Project Gameface visualization

  • Android accessibility service की बेहतरीन क्षमताओं को Project Gameface में लाया गया
  • मोबाइल actions
    • Windows वर्ज़न के Project Gameface में users सामान्य click actions को दोहरा सकते हैं
    • लेकिन Android में users को कहीं अधिक तरह के functions की जरूरत होती है
    • इसमें OS में भेजे जाने वाले touch events और "Back", "Multitasking switch", "Home" जैसे global action events शामिल हैं
    • Android accessibility API का उपयोग करके यह तय किया गया कि users को कौन-कौन से actions दिए जा सकते हैं
    • फिलहाल Android के लिए Project Gameface GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS को support करता है
  • camera feed
    • Camera feed user experience को काफी बेहतर बनाता है, जिससे सही threshold सेट करना और gestures को बेहतर समझना संभव होता है
    • यह users को स्पष्ट रूप से बताता है कि camera सक्रिय रूप से उनके सिर की हरकतों और gestures को समझने के लिए उपयोग हो रहा है
    • सिर्फ camera feed को overlay के रूप में बनाने से Android Settings जैसे महत्वपूर्ण sections तक पहुंचना संभव नहीं रहता
    • Project Gameface के साथ Android accessibility service का उपयोग करके camera को Android Settings और अन्य महत्वपूर्ण sections में भी तैरता हुआ बनाए रखा गया
  • 'drag function' संभव
    • Android accessibility service में फिलहाल ऐसा कोई आसान तरीका नहीं है जिससे user real-time में interact करते हुए screen drag कर सके
    • लेकिन product को upgrade करके drag function शामिल किया गया, ताकि users start और end points को define कर सकें
    • परिणामस्वरूप, तय किए गए path के अनुसार drag action सहज रूप से पूरा होता है
  • उम्मीद और openness
    • Project Gameface की संभावनाओं को लेकर उत्साह है, और उम्मीद है कि developers और कंपनियां इसका उपयोग करके नए experiences बनाएंगी
    • Gameface का code अब Github पर open source के रूप में उपलब्ध है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.