Triforce - Apple Silicon लैपटॉप के लिए Beamformer

 (crates.io)
1 पॉइंट द्वारा GN⁺ 2025-03-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Triforce, Apple Silicon लैपटॉप के microphone array के लिए Minimum Variance Distortionless Response adaptive beamformer को implement करता है
  • समर्थित मॉडल: MacBook Pro/Air M1 और उससे ऊपर के मॉडल
  • ऊपर दिए गए Apple Silicon लैपटॉप में त्रिकोणीय या सीधी रेखा में व्यवस्थित microphones होते हैं
  • Apple, background noise से इच्छित signal को अलग करने के लिए user space में adaptive beamformer implement करता है
  • beamforming के बिना array बहुत अधिक sensitive और omnidirectional होता है, इसलिए उपयोगी नहीं रहता
  • macOS के बाहर उपयोगी रूप से इस्तेमाल करने के लिए beamformer की आवश्यकता होती है
  • समर्थित मॉडलों की सूची
    • MacBook Pro 13" (M1/M2)
    • MacBook Air 13" (M1/M2)
    • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
    • MacBook Air 15" (M2)

अपेक्षाओं का प्रबंधन

  • DSP से जुड़े विषयों, खासकर broadband adaptive beamforming पर आसानी से समझ आने वाला साहित्य ढूँढना बहुत कठिन है
  • यह project प्रथम वर्ष engineering mathematics स्तर के ज्ञान और web pages तथा PDF से प्राप्त सिद्धांतों के आधार पर beamformer बनाने का एक प्रयास है
  • फिलहाल यह उम्मीद नहीं करनी चाहिए कि यह Apple के implementation से बेहतर होगा
  • सुधार के लिए patches हमेशा स्वागतयोग्य हैं

ज्ञात सीमाएँ

  • nalgebra स्पष्ट SIMD optimization नहीं करता और LLVM auto-vectorization पर निर्भर करता है
  • matrix math routines का performance और efficiency अच्छे नहीं हैं
  • अतिरिक्त computational overhead के कारण broadband decomposition नहीं किया जाता
  • SIMD/NEON support के बिना यह real-time audio plugin के रूप में बहुत धीमा है
  • output केवल mono को support करता है
  • stereo output का आभास देने के लिए अतिरिक्त matrix processing computational रूप से बहुत महँगी है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-03-25
Hacker News राय

  • 20 साल पहले, Toshiba Tablet PC के convertible मॉडल में beamforming microphone array था। सॉफ़्टवेयर से रिकॉर्डिंग की दिशा तय की जा सकती थी

    • लेक्चर में यह उपयोगी था, और प्रोफ़ेसर की दिशा में beam सेट करके रिकॉर्ड किया जा सकता था
    • इसके बाद ऐसा फीचर फिर कभी नहीं देखा

  • अधूरी master's thesis इस बारे में थी कि smartphone के microphones का उपयोग करके 3D में speakers की स्थिति पता की जाए और उन्हें अलग किया जाए

    • डिवाइसों के बीच sampling rate थोड़ा अलग होता है
    • consumer-grade microphones की spectral characteristics काफ़ी अलग-अलग होती हैं
    • आवाज़ हर जगह से reflect होती है, खासकर concrete दीवारों से
    • कार आसानी से उपलब्ध anechoic chamber जैसी होती है
    • Gaussian का Fourier transform भी Gaussian होता है, जो frequency estimation में उपयोगी है

  • यह एहसास हुआ कि Apple Silicon Mac पर Linux चलाने के लिए बहुत काम करना पड़ता है

    • built-in microphones का लगभग उपयोग नहीं होता
    • Apple की हर चीज़ आसान नहीं होती

  • सस्ते laptop hardware पर भी software DSP techniques से हैरान करने वाले नतीजे मिल सकते हैं

    • Asahi का audio काम सामान्य laptops पर भी लागू हो सकता है
    • Bankstown bass harmonic synthesis plugin और convolution EQ का उपयोग करके प्रभावशाली नतीजे मिले

  • SIMD optimization के लिए faer पर विचार किया जा सकता है

    • pulp library का अनुभव अच्छा नहीं था, लेकिन अगर मुख्य लक्ष्य linear algebra operations को accelerate करना है, तो यह अच्छा काम कर सकती है
    • Rust SIMD पर blog post और podcast की योजना है

  • Apple Silicon laptops के microphone array के बारे में सवाल

    • यह जानने की जिज्ञासा है कि M2/M3 models में भी ऐसा ही microphone array है या बस उसका परीक्षण नहीं हुआ
    • Linux और MacOS में support होने को लेकर भी सवाल है

  • लगता है Apple speakers की तरह microphones में भी ज़रूरत से ज़्यादा जटिल तरीका अपनाता है

    • MBP user के रूप में speaker implementation से प्रभावित था
    • driver array के अलावा ज़्यादा जानकारी नहीं है, लेकिन लगता है कि छोटे speakers से performance निकालने के लिए tricks इस्तेमाल हो रही हैं

  • हाल की Asahi Linux progress report पर सामान्य चर्चा

    • PDM microphones बहुत omnidirectional और sensitive होते हैं
    • beamforming ज़रूरी है
    • speaker output पर किया गया पिछला काम microphone input के लिए फिर से इस्तेमाल हुआ
    • PipeWire और WirePlumber की वजह से microphones के लिए DSP chain जोड़ना आसान था

  • अच्छा होगा अगर इसे इस तरह implement किया जाए कि दूसरे manufacturers भी आसानी से microphone arrays बना सकें