Apple SpeechAnalyzer API, Whisper और पुराने API की तुलना का बेंचमार्क

 (get-inscribe.com)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Apple M2 Pro पर 5,559 LibriSpeech ऑडियो को एक ही production code से प्रोसेस करने पर SpeechAnalyzer ने साफ़ ऑडियो में 2.12% और अधिक शोर वाले ऑडियो में 4.56% word error rate (WER) के साथ टेस्ट किए गए सभी engines से बेहतर accuracy दिखाई
  • पुराने SFSpeechRecognizer का WER क्रमशः 9.02% और 16.25% था, जबकि नए API ने उसी ऑडियो पर errors को 3.5~4 गुना तक घटाया और punctuation व capitalization भी लागू किया
  • SpeechAnalyzer Whisper Small से अधिक accurate था और लगभग 3 गुना तेज भी, लेकिन इसका support लगभग 30 locales और OS 26 या उससे ऊपर के Apple platforms तक सीमित है
  • M2 Pro पर सभी engines realtime से लगभग 12~40 गुना तेज चले और 1 घंटे के ऑडियो को 1.5~5 मिनट में प्रोसेस किया, लेकिन development work साथ में चलने के कारण engine-वार सटीक speed numbers प्रकाशित नहीं किए गए
  • अगर अभी iPhone या Mac पर अंग्रेज़ी को on-device transcribe करना है, तो SpeechAnalyzer पहली पसंद हो सकता है, और Inscribe ने भी default setting बदलकर supported languages में SpeechAnalyzer और बाकी में Whisper का उपयोग शुरू किया

सटीकता बेंचमार्क के परिणाम

  • Word error rate (WER) वह अनुपात है जिसमें engine शब्दों को गलत तरीके से बदलता है, छोड़ देता है, या नए शब्द बना देता है; जितना कम, उतनी अधिक accuracy
  • सभी engines Apple M2 Pro 32GB और macOS 26.5.1 पर पूरी तरह on-device चलाए गए
  • LibriSpeech के दो evaluation datasets का उपयोग किया गया
    • test-clean: साफ़ पढ़े गए 2,620 ऑडियो
    • test-other: अधिक कठिन और शोर वाले 2,939 ऑडियो
  • engine-वार WER और model size इस प्रकार थे
    • Apple SpeechAnalyzer: test-clean 2.12%, test-other 4.56%, system model
    • Whisper Small: 3.74%, 7.95%, लगभग 460MB
    • Whisper Base: 5.42%, 12.51%, लगभग 140MB
    • Whisper Tiny: 7.88%, 17.04%, लगभग 40MB
    • Apple SFSpeechRecognizer: 9.02%, 16.25%, system model
  • Apple ने iOS 26 और macOS 26 में SFSpeechRecognizer को SpeechAnalyzer·SpeechTranscriber से बदल दिया, लेकिन accuracy numbers प्रकाशित नहीं किए
  • Inscribe दोनों Apple engines और तीन Whisper models साथ में देता है, इसलिए एक ही कंप्यूटर, ऑडियो और production code path पर पाँच engines की तुलना संभव हुई

SFSpeechRecognizer से migrate करने के कारण

  • SpeechAnalyzer ने उसी ऑडियो पर पुराने API की तुलना में WER को 3.5~4 गुना कम किया
    • साफ़ ऑडियो: 9.02% से 2.12% तक कमी
    • अधिक शोर वाला ऑडियो: 16.25% से 4.56% तक कमी
  • सिर्फ accuracy ही नहीं, यह punctuation और capitalization के साथ text बनाता है, इसलिए पुराने engine की तुलना में output अधिक व्यवस्थित रहता है
  • वही 1 घंटे का transcription करने पर पुराने API में SpeechAnalyzer की तुलना में लगभग 4 गुना अधिक शब्द गलत पहचाने जाते हैं
  • अगर app voice commands की बजाय लंबे audio को प्रोसेस करता है, तो सिर्फ accuracy का अंतर ही migration के लिए पर्याप्त कारण बन सकता है

SpeechAnalyzer और Whisper के बीच चयन के मानदंड

  • SpeechAnalyzer ने दोनों datasets में टेस्ट किए गए models में सबसे बड़े Whisper model Whisper Small से भी कम WER दर्ज किया
  • audio के प्रति 1 सेकंड का compute time भी Whisper Small का लगभग एक-तिहाई था, इसलिए accuracy और speed दोनों में यह आगे रहा
  • Apple hardware पर अंग्रेज़ी प्रोसेस करते समय, टेस्ट किए जा सकने वाले on-device engines में SpeechAnalyzer ने सबसे मजबूत परिणाम दिखाए
  • Whisper के पास अब भी दो फायदे हैं
    • SpeechTranscriber जहाँ लगभग 30 locales को support करता है, वहीं यह उससे कहीं अधिक भाषाओं को support करता है
    • यह OS 26 या उससे ऊपर के Apple platforms तक सीमित नहीं है और कई environments में चल सकता है
  • Inscribe के Auto engine को measurement results के आधार पर बदल दिया गया ताकि supported languages में SpeechAnalyzer और बाकी भाषाओं में Whisper को प्राथमिकता दी जाए

प्रोसेसिंग speed और measurement constraints

  • पाँचों engines M2 Pro पर realtime से लगभग 12~40 गुना तेज चले
  • 1 घंटे के audio को on-device लगभग 1.5~5 मिनट में transcribe किया जा सका
  • SpeechAnalyzer, Whisper Small से लगभग 3 गुना तेज था और साथ ही इसका WER भी कम था
  • accuracy measurement के दौरान उसी कंप्यूटर पर development work भी चल रहा था, इसलिए engine-वार processing time में noise शामिल हो गई
    • इस workload का WER पर कोई प्रभाव नहीं पड़ा
    • सटीक engine-वार speed table को dedicated idle environment में दोबारा मापने के बाद जोड़ा जाएगा

reproducibility और public data

  • Whisper measurements, OpenAI द्वारा प्रकाशित LibriSpeech results के काफ़ी करीब थे, जिससे benchmark harness की consistency की पुष्टि हुई
    • Whisper Tiny test-clean: measured 7.88%, OpenAI 7.6%, अंतर +0.28%p
    • Whisper Base test-clean: 5.42%, 5.0%, +0.42%p
    • Whisper Small test-clean: 3.74%, 3.4%, +0.34%p
    • Whisper Tiny test-other: 17.04%, 16.9%, +0.14%p
    • Whisper Base test-other: 12.51%, 12.4%, +0.11%p
    • Whisper Small test-other: 7.95%, 7.6%, +0.35%p
  • सभी measurements थोड़ा अधिक आने का कारण अधिक सख्त text normalizer और CoreML quantization था
  • वही corpus, normalizer और scorer Apple engines पर भी लागू किए गए, इसलिए Whisper results के साथ मेल Apple measurements को validate करने का आधार बना
  • sentence-वार recognition results, reference text और sentence-वार WER प्रकाशित किए गए हैं ताकि अलग normalization method से दोबारा scoring की जा सके

WER measurement method और on-device verification

  • हर engine को प्रयोगात्मक settings से नहीं, बल्कि Inscribe users द्वारा वास्तव में उपयोग किए जाने वाले production code path और buffering settings के साथ चलाया गया
  • LibriSpeech reference text uppercase में है, उसमें punctuation नहीं है, और numbers शब्दों में लिखे गए हैं, जबकि आधुनिक engines punctuation और numbers सहित output देते हैं
    • दोनों texts पर एक ही normalizer लागू किया गया जो capitalization, punctuation, number-to-word conversion और contractions को संभालता है
    • ताकि बेहतर formatting देने वाले engine को नुकसान न हो, raw source text को सीधे score नहीं किया गया बल्कि OpenAI की English normalization method अपनाई गई
  • छोटे sentences का असर ज़्यादा न हो, इसके लिए sentence-वार WER average की बजाय corpus WER का उपयोग किया गया, जिसमें total errors को total reference words से divide किया जाता है
  • SFSpeechRecognizer डिफ़ॉल्ट रूप से audio को Apple servers पर भेज सकता है, इसलिए on-device recognition को force किया गया
    • अगर यह अपने-आप cloud पर switch हो जाता, तो तुलना अमान्य हो जाती; इसलिए harness को इस तरह configure किया गया कि वह ऐसे run को reject करे
    • यह privacy product में 5,559 audios को server पर upload होने से रोकने का उपाय भी था
  • जहाँ result वापस नहीं आया, उन मामलों को छिपाया नहीं गया और उस sentence का WER 100% माना गया
    • कुल 27,795 transcriptions में यह एक बार हुआ, और वह SFSpeechRecognizer के test-other case में था

बेंचमार्क में मिले product bugs

  • Inscribe के Apple engine file import feature में audio को SpeechAnalyzer तक भेजने और input stream बंद करने के बाद भी finalizeAndFinishThroughEndOfInput() नहीं बुलाया गया था
  • इस call के बिना analyzer final result नहीं देता, जिससे file import अनिश्चित समय तक अटका रहता है
  • Auto setting पहले तक Whisper को प्राथमिकता देती थी, इसलिए यह bug सामने नहीं आया था
  • बेंचमार्क के दौरान समस्या की पुष्टि हुई और fix उसी दिन deploy कर दिया गया

सीमाएँ और वास्तविक उपयोग का दायरा

  • चूँकि केवल अंग्रेज़ी पढ़ी गई आवाज़ का evaluation हुआ, इसलिए परिणामों को उन 100 से अधिक भाषाओं पर लागू नहीं किया जा सकता जिन्हें Whisper support करता है लेकिन SpeechTranscriber नहीं
  • LibriSpeech तुलना के लिए एक standard corpus है, लेकिन यह meeting audio नहीं है
    • accent वाली आवाज़, दूर से रिकॉर्ड की गई आवाज़, और कई speakers वाली meetings अगली evaluation के विषय हैं
  • measurement सिर्फ एक M2 Pro और macOS 26.5.1 मशीन पर किया गया
    • accuracy के अन्य Apple Silicon पर भी बने रहने की उम्मीद है, लेकिन speed chip के अनुसार बदल सकती है
  • Whisper को Inscribe द्वारा वास्तव में उपलब्ध कराए जाने वाले WhisperKit CoreML quantized model पर चलाया गया
    • reference GPU implementation में results थोड़ा अलग हो सकते हैं, और OpenAI published values से अंतर reproducibility table में दिखाया गया है
  • अगर अभी iPhone या Mac पर अंग्रेज़ी transcribe करनी हो, तो measurement के आधार पर operating system में built-in SpeechAnalyzer सबसे accurate on-device विकल्प था
  • Inscribe supported languages में SpeechAnalyzer और बाकी में Whisper का उपयोग करता है, और सारा processing device के भीतर करता है, audio upload नहीं करता

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • Whisper तुलना के लिए उचित baseline नहीं है, अभी Nvidia के Nemotron·Parakeet, Mistral के Voxtral, Cohere Transcribe जैसे बेहतर नए मॉडल मौजूद हैं
    वहीं Whisper को बस wrap करके बनाए गए कई paid apps को झटका लग सकता है। अगर Apple macOS के लिए रिकॉर्डिंग ऐप जैसा native GUI ला दे, तो आजकल vibe coding से बनने वाले ज़्यादातर wrapper apps गैर-ज़रूरी हो जाएंगे

    • इस टेस्ट ने केवल English का मूल्यांकन किया, लेकिन दूसरे models की ताकत यह है कि वे भाषा पहले से specify किए बिना कई भाषाओं को पहचान लेते हैं। रोज़मर्रा में तीन भाषाओं में dictation करते समय तीन-तीन shortcuts रखने की ज़रूरत नहीं पड़ती
    • Parakeet वाकई state-of-the-art model है या नहीं, इस पर संदेह है। अगर कोई हकलाते हुए “m-m-m-map” कहे, तो Parakeet उसे वैसे ही “m m m map” लिख देता है, जो use case के हिसाब से फायदा भी हो सकता है और नुकसान भी। Whisper ऐसा नहीं करता, और Cohere Transcribe मुझे काफी पसंद है
    • Apple का Voice Memos पहले से macOS 15 और iOS 18 से automatic transcription support करता है
    • इन models में 1 अरब parameters से कम वाला केवल Parakeet है, और यह Apple model से बेहतर दिखता है लेकिन built-in नहीं है। latency और efficiency की तुलना कैसी होगी, यह जानना चाहूंगा
    • Apple keyboard के बेहद खराब voice input feature को भी replace कर दें तो अच्छा होगा। यह software सच में सहन करना मुश्किल है

  • Mac recording के लिए Willow recommend करता हूं। यह content को organize करते हुए भी लगभग तुरंत process कर देता है, मेरे लिए यह ‘perfect transcription से भी बेहतर’ स्तर का है; Superwhisper भी पसंद था, लेकिन अंतर बड़ा था इसलिए Willow पर shift हो गया
    यह इतना अच्छा है कि लगता है इसमें और बेहतर होने की गुंजाइश है भी या नहीं, और speech recognition अब solved problem लगती है या ज्यादा से ज्यादा 5 साल में solved हो जाएगी। संबंधित कंपनियां लंबे समय तक बचेंगी या नहीं, पता नहीं, लेकिन consumers के लिए यह शानदार है, और 2030 का Apple SpeechAnalyzer अगर काफी अच्छा हो गया तो third-party software की ज़रूरत नहीं रहेगी

  • मेरे मुख्य use case, यानी maths lectures के subtitles बनाने में, Whisper-Large-V2 से तुलना की तो यह काफी तेज था और accuracy थोड़ी कम थी। real-time transcription के लिए काफी usable है, लेकिन subtitles तुरंत बनाने की ज़रूरत नहीं है, इसलिए फिलहाल Whisper इस्तेमाल करता रहूंगा

    • मैं इसे पिछले आधे साल से develop कर रहे podcast app में use कर रहा हूं, और यह सच में बहुत तेज है। audio को कई segments में बांटकर और concurrent decoding streams limit पार न होने देते हुए चलाएं तो जबरदस्त speed मिलती है; segment boundaries के कुछ हिस्से खो भी जाएं तो podcast use के लिए पर्याप्त है
      iPhone 17 Pro पर 1 घंटे का audio 1 मिनट में process हो जाता है
    • अगर यह तेज है लेकिन quality कम है, तो शायद इसकी तुलना छोटे Whisper models से करना ज्यादा सही होगा

  • Voxtral से तुलना करना ज्यादा उपयुक्त होगा। मेरी meeting transcriptions में public और private models मिलाकर भी इतने कम acronym error rate (AER) वाला कोई model नहीं मिला, और यह काम में आने वाली तरह-तरह की technical terminology को समझ या infer कर लेता है, इसलिए लगभग corrections की ज़रूरत नहीं पड़ती। Whisper बेहद खराब था

    • इसी वजह से मैं Apple products में आम तौर पर autocorrect बंद कर देता हूं। improved voice model से सावधानी के साथ उम्मीद है, लेकिन डर है कि यह technical jargon को common words में ‘correct’ कर देगा

  • Whisper small·tiny·base लगभग 4 साल पुराने models हैं और Whisper v2 या v3 में भी update नहीं हुए, इसलिए अब बेहतर comparison targets होने चाहिए, ऐसा लगता है

    • options बहुत हैं और https://artificialanalysis.ai/speech-to-text/non-streaming पर streaming support और open weights के आधार पर भी search·filter किया जा सकता है। फिलहाल Voxtral और Nvidia Nemotron सबसे अच्छे दिख रहे हैं
    • models बहुत सारे हैं, और हाल में याद आने वालों में Parakeet ने independent lightweight implementation तक आने की वजह से ध्यान खींचा

  • प्रभावशाली है। Apple ने कहा था कि उसने 27 में model को improve किया है, इसलिए beta version के measurement results भी जानने की उत्सुकता है

  • क्या यह वही नया dictation engine है जिसे 1 साल पुराने regular iPhone 17 पर सिर्फ Pro न होने की वजह से run नहीं किया जा सकता?

  • Spokenly को Nvidia model और offline-only mode के साथ इस्तेमाल करता हूं। सारी processing local होती है और यह पूरी तरह free है, इसलिए strongly recommend करता हूं

  • अच्छा होगा अगर Whisper large और large v3 turbo को भी benchmark करें। ये पुराने MacBook पर भी आराम से चलते हैं और real-time factor (RTF) 1 से कम है, और automatic speech recognition leaderboard के उलट actual dictation में Parakeet family से कहीं ज्यादा accurate हैं

    • कुछ दिन पहले आए MOSS-Transcribe-Diarize को try करने की सलाह दूंगा। इसके results उन Whisper models से बेहतर हैं, यह बहुत तेज और छोटा है, और noisy audio के लिए भी ज्यादा suitable है

  • Whisper large v3 turbo latest iPhone पर भी locally अच्छे से चलता है, इसलिए comparison से इसका गायब होना अजीब है