HN सवाल: ब्राउज़र mic input से internal audio को कैसे isolate करता है

 (news.ycombinator.com)
2 पॉइंट द्वारा GN⁺ 2024-07-11 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • Chrome और Chromium में एक दिलचस्प फीचर मिला

    • internal audio को mic input से अलग करने की क्षमता है
    • उदाहरण के लिए, जब एक tab में Google Meet call चल रही हो और दूसरे tab में YouTube video maximum volume पर चल रहा हो, तब video का audio Google Meet तक नहीं पहुँचता
    • अगर अलग-अलग browser इस्तेमाल किए जाएँ (जैसे Google Meet Chrome में और YouTube Chromium में), तो यह separation नहीं होता

  • जिज्ञासा है कि Chrome और Chromium इस audio separation को कैसे implement करते हैं

    • चूँकि Chromium open source है, इसलिए codebase के उस specific हिस्से के बारे में जानना चाहेंगे जो इस फीचर को handle करता है
    • technical details या insights मिलें तो आभारी रहेंगे

GN⁺ का सारांश

  • यह लेख Chrome और Chromium के audio separation फीचर पर एक दिलचस्प खोज को कवर करता है
  • यह फीचर user experience बेहतर बनाने वाला एक महत्वपूर्ण तत्व है, खासकर जब कई काम एक साथ किए जा रहे हों
  • open source Chromium के codebase के ज़रिए इसके technical implementation को समझने का अवसर मिलता है
  • यह भी खोजने लायक है कि क्या दूसरे browser या software भी ऐसा ही फीचर देते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-11
Hacker News राय

  • माइक्रोफ़ोन इनपुट से म्यूज़िक हटाने के लिए voice capture और playback के बीच latency की तुलना करने का तरीका

    • माइक्रोफ़ोन और स्पीकर के बीच latency ढूँढकर उसकी तुलना करके म्यूज़िक हटाया जाता है
    • एक ही process के भीतर, कुछ सौ milliseconds तक चलाया गया audio रखा जाता है और माइक्रोफ़ोन इनपुट से तुलना करके correlation खोजकर उसे हटाया जाता है
    • असंबंधित processes के बीच, OS capture API दे सकता है या loopback stream का उपयोग करके इसे हटाया जा सकता है
    • अगर ये तरीके उपलब्ध न हों, तो audio output को सीधे mix करके हटाया जाता है

  • Acoustic Echo Cancellation (AEC)

    • यह WebRTC में शामिल Chrome में implement किया गया है
    • यह FIR filter का उपयोग करके स्पीकर से आने वाली आवाज़ को माइक्रोफ़ोन इनपुट से जितना संभव हो उतना हटाता है
    • Chromium source में "CHROME_WIDE_ECHO_CANCELLATION" compile flag खोजने पर संबंधित जानकारी मिल सकती है

  • Chrome की simultaneous recording और playback समस्या

    • Chrome simultaneous recording और playback को अच्छी तरह handle नहीं कर पाता
    • एक साइट है जो इस समस्या को साफ़ तौर पर दिखाती है chrome-please-fix-your-audio.xyz

  • Acoustic Echo Cancellation की सामान्य समस्याएँ

    • यह signal processing में अक्सर आने वाली समस्या है
    • टेलीफ़ोन जैसे सरल devices में भी यह होती है

  • Google Meet की source separation तकनीक

    • यह neural network का उपयोग करके speech को non-speech से अलग करती है और दूसरे speakers को भी अलग करती है
    • 2021 से semi-supervised learning methods विकसित होने के बाद यह तकनीक काफ़ी बेहतर हुई है

  • echo cancellation के side effects

    • browser यह जानता है कि कौन-सा audio चल रहा है और माइक्रोफ़ोन इनपुट से उसका correlation ढूँढकर उसे हटाता है
    • headphone का उपयोग न होने पर feedback को दबाने के लिए यह ज़रूरी होता है

  • Chrome और Chromium की internal audio blocking क्षमता

    • Google Meet call के दौरान, दूसरे tab में YouTube video चलाने पर भी Meet उसे पहचानता नहीं है
    • Chromium open source है, इसलिए code में तकनीकी details देखी जा सकती हैं

  • echo cancellation algorithms की दिलचस्प बात

    • अगर external speaker को कंप्यूटर के माइक्रोफ़ोन से थोड़ा दूर रखा जाए, तो algorithm गड़बड़ कर सकता है

  • मीटिंग के दौरान echo cancellation की ज़रूरत

    • यह सुनिश्चित करने के लिए ज़रूरी है कि meeting data फिर से feedback न हो
    • PulseAudio और Pipewire में echo cancellation modules मौजूद हैं