HN परिचय: ईबुक्स के लिए ओपन सोर्स, self-hostable सिंक्ड नैरेशन प्लेटफ़ॉर्म

 (smoores.gitlab.io)
3 पॉइंट द्वारा GN⁺ 2023-12-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Storyteller: ऑडियोबुक और ईबुक ऑटो सिंक प्लेटफ़ॉर्म

  • Storyteller ऑडियोबुक और ईबुक को अपने-आप सिंक करने वाला एक self-hosted प्लेटफ़ॉर्म है.
  • यह प्लेटफ़ॉर्म EPUB 3 मानक का पालन करने वाली ईबुक फ़ाइलें बनाता है, जिन्हें EPUB media overlays को सपोर्ट करने वाले किसी भी ईबुक रीडर (सॉफ़्टवेयर या हार्डवेयर) में पढ़ा जा सकता है, या फिर समर्पित Storyteller मोबाइल ऐप का उपयोग किया जा सकता है.
  • Storyteller पूरी तरह self-hosted है, और सभी किताबें उपयोगकर्ता के अपने हार्डवेयर पर संग्रहीत रहती हैं, इसलिए ज़रूरत के अनुसार उन्हें स्थानांतरित, कॉपी और बैकअप करना स्वतंत्र रूप से संभव है.

GN⁺ की राय

  • Storyteller महत्वपूर्ण है क्योंकि यह उपयोगकर्ताओं के पढ़ने के अनुभव को बेहतर बनाने के लिए ऑडियोबुक और ईबुक को आसानी से सिंक करने वाला प्लेटफ़ॉर्म प्रदान करता है.
  • ऐसा self-hosting फ़ीचर, जिसमें उपयोगकर्ता अपने डेटा पर पूरी तरह नियंत्रण रख सकते हैं, गोपनीयता और डेटा स्वामित्व को लेकर आज की चिंताओं के अनुरूप है.
  • EPUB 3 मानक का अनुपालन संगतता और accessibility बढ़ाने में मदद करता है, क्योंकि इससे उपयोगकर्ता अलग-अलग डिवाइस और सॉफ़्टवेयर पर किताबें पढ़ सकते हैं.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-25
Hacker News पर राय

  • कमाल है। कुछ साल पहले मैंने इसी तरह का ebook-audiobook alignment tool, https://github.com/r4victor/syncabook बनाया था
    उस समय मुझे लगा था कि text alignment वाले तरीके, जिनमें machine learning आधारित तरीके भी शामिल थे, computation में बहुत भारी हैं और लंबे texts के लिए पर्याप्त नहीं हैं, इसलिए मैंने text को speech में synthesize करने के बाद दो audio sequences को align करने का तरीका चुना
    Storyteller text को align करने वाला तरीका अपनाता दिखता है; जानना चाहूंगा कि एक किताब sync करने में कितना समय लगता है
    साथ ही audio और text versions अक्सर काफी अलग होते हैं। उदाहरण के लिए audio में ऐसा introduction हो सकता है जो text में नहीं है। यह भी जानना चाहूंगा कि Storyteller ऐसे मामलों को कितनी अच्छी तरह handle करता है, क्या manual audio/text editing चाहिए होती है या differences अपने-आप handle हो जाते हैं

    • syncabook बेहतरीन है, और Storyteller ने forced alignment में लगभग उलटा approach अपनाया है
      docs में sync algorithm को विस्तार से लिखा है, लेकिन broadly flow यह है। Storyteller audio को text में transcribe करने के लिए Whisper इस्तेमाल करता है, और यही step computation cost में सबसे बड़ा है
      उसके बाद Levenshtein distance आधारित fuzzy search से text में हर chapter ढूंढता है। यह audio और text versions के differences को ध्यान में रखने वाला हिस्सा है
      हर chapter के लिए फिर पूरे transcription result में fuzzy search करके sentence-level start/end timestamps ढूंढता है
      कुल मिलाकर यह काफी अच्छा काम करता है, लेकिन क्योंकि ebook को reference data माना जाता है, अभी audiobook के introduction या ending हिस्से छूट सकते हैं। ऐसे हिस्सों को explicitly trigger करने का support roadmap में है
    • docs में लिखा है कि आम तौर पर किताब और hardware के हिसाब से 1–4 घंटे लगते हैं: https://smoores.gitlab.io/storyteller/docs/syncing-books
      docs में audio और text differences को अपने-आप handle करने वाले algorithm की भी विस्तार से व्याख्या है

  • वाकई शानदार। मैंने पहले इस बारे में सोचा नहीं था
    commute में audiobook सुनना शुरू करता हूं, और रात में किताब पढ़ता हूं। अभी मैं audiobookshelf[0] से ebooks सुन रहा हूं, और यह ebooks भी support करता है
    Storyteller जो EPUB बनाता है उसे audiobookshelf पढ़ सकता है या नहीं, इस discussion में मैंने comment[1] छोड़ा है
    [0]: https://www.audiobookshelf.org/
    [1]: https://github.com/advplyr/audiobookshelf/issues/189#issueco...

    • commute में audiobook सुनना और रात में पढ़ना—2 साल से ज्यादा पहले यह काम शुरू करने की लगभग बिल्कुल वही वजह थी
      मैं audiobook और उसके text version के बीच freely switch करना चाहता था। उस discussion में Storyteller का ज़िक्र करने के लिए धन्यवाद, मुझे खुद जाकर देखना चाहिए

  • मुझे यह सच में पसंद आया। बस मेरी पत्नी और बच्चे सभी Kobo ebook reader पर EPUB पढ़ते हैं, इसलिए अच्छा होगा अगर last read page को Kobo से Storyteller में sync किया जा सके ताकि बाद में audiobook से वहीं से आगे सुन सकें
    अगर sync के लिए ज़रूरी हो तो सभी Kobo पर KOReader install करना भी ठीक है। लगता है KOReader EPUB3 media overlay support नहीं करता, लेकिन sync feature है

    • server-side reading position sync और KOReader integration दोनों असल में roadmap में हैं। यह request कई बार आ चुकी है
    • Amazon के पास अब text books और Audible audio दोनों हैं, फिर भी किसी भी तरह का sync feature नहीं है—यह समझ से बाहर है
      उल्टा, इससे लोग किताब दोनों formats में खरीद सकते हैं। जब ebook पढ़ते-पढ़ते driving के दौरान आगे जारी रखना हो, तो audio version में seamless “handoff” मिल जाए—ऐसी जरूरत बहुत बार महसूस होती है

  • थोड़ी देर नज़र हटाई और response बहुत बड़ा हो गया। अगर कोई इसे set up कर रहा हो, तो Gitter channel (https://smoores.gitlab.io/storyteller/docs/say-hi) में आकर hello कहे, support मांगे, या feedback छोड़े तो अच्छा होगा

  • और जानकारी होती तो अच्छा होता। जैसे iOS app link या screenshots, और project कौन-कौन से features देता है
    जानना चाहता हूं कि यह audiobookshelf जैसी sync वाली ebook/audiobook library है, या सिर्फ sync करने का tool: https://www.audiobookshelf.org/

    • बात सही है, मैं ऐसी जानकारी और जोड़ने की कोशिश करूंगा। docs से App Store page पर link करना चाहता था, और अभी update करके शामिल कर दिया है
      Storyteller sync सहित पूरी ebook/audiobook library है। हालांकि अब तक focus library management experience की तुलना में reading experience पर कहीं ज्यादा रहा है
      library management experience सुधारने पर भी जल्द काम करने वाला हूं
    • app ढूंढना बहुत आसान नहीं था। mobile app page पर link दे दें तो अच्छा होगा
      https://apps.apple.com/us/app/storyteller-reader/id647446772...

  • वाकई शानदार project है
    अगर आप पहले से AI से transcription कर रहे हैं, तो TTS से AI voice generation भी हो सके तो बहुत अच्छा होगा
    मैंने Audible कुछ बार subscribe करके छोड़ा है, क्योंकि high-quality audiobooks बहुत कम थीं। author द्वारा खुद पढ़ी किताबें भी कई बार खास नहीं होतीं, और ज्यादातर professional narrator नहीं होते
    अच्छा AI कई घंटों तक बिना थके वही energy, intonation और pace बनाए रखे तो बेहतरीन लगेगा

  • काफ़ी दिलचस्प है
    पहले मैंने ईबुक/ऑडियोबुक कॉम्बिनेशन से custom LJSPEECH dataset बनाने के लिए कुछ ऐसा ही लिखा था, जिससे coqui-tts और VITS model के साथ पसंदीदा narrator की आवाज़ synthesize करके उन किताबों को “publish” किया जा सके जो audiobook के रूप में नहीं आई थीं
    मैं किताब के content को timestamps के साथ sync कर पाया, audio को sentence-level chunks में बांट पाया, और उस combination से LJSPEECH dataset बना पाया
    मैंने aeneas[1] इस्तेमाल किया था और setup थोड़ा tricky था, लेकिन समय के साथ English के अलावा दूसरी languages—मेरे case में German—को भी 80% से ज़्यादा accuracy के साथ map कर पाया
    यह काफ़ी अच्छे से काम करता था और LJSPEECH dataset भी ठीक था, लेकिन उस समय TTS technology अभी कमज़ोर थी। शायद XTTS जैसे नए modeling approaches के साथ इसे फिर से revive करने का समय हो सकता है
    [1]: https://www.readbeyond.it/aeneas/

    • कुछ साल पहले मैंने बिल्कुल यही सोचा था, लेकिन इसे implement करने की technical क्षमता नहीं थी
      जैसा आपने कहा, अच्छी किताबें तो बहुत हैं, लेकिन उससे भी ज़्यादा गंभीर समस्या वे बेहतरीन किताबें हैं जिनकी narration/production quality औसत है। उदाहरण के लिए Audible पर A Song of Ice and Fire सच में बहुत खराब है, और Andy Weir की The Martian शानदार है
      क्या Will Wheaton या Greg Tremblay को GOT में transplant किया जा सकता है? क्या कई characters को अलग-अलग voices में पढ़वाया जा सकता है? अगर संभव हो, तो इसे फिर से आज़माना अच्छा रहेगा

  • link छूट गया: https://smoores.gitlab.io/storyteller/
    यह बहुत अच्छा दिखता है, और अगला step किताबों के management के लिए fully synchronized ecosystem बनाना है

    • क्या आप Audiobookshelf[0] जैसे system की बात कर रहे हैं? मैं व्यक्तिगत रूप से इसे बहुत recommend करता हूं। अब तक इस्तेमाल की गई किसी भी paid service से ज़्यादा reliably चला है
      [0] https://www.audiobookshelf.org/
    • हां, यही goal है। library management और reader app पहले से हैं, लेकिन खासकर library management side में अभी बहुत काम बाकी है

  • नए machine learning era से मैं सच में जो चाहता हूं, वह है self-hostable human-level TTS और STT
    अच्छा होगा अगर text ebooks को सुना जा सके, और बड़े podcasts या video/audio lecture courses को text में convert करके search और quoting आसान हो जाए
    सोच रहा हूं कि क्या यह वही चीज़ है। अब तक जो मिले हैं वे इंसानों से काफ़ी पीछे थे या महंगी online services थीं

  • शानदार। मैं कई सालों से ऐसा कुछ चाहता था। अच्छा होगा अगर Libby इसे integrate कर दे ताकि borrowed books पर भी इस्तेमाल हो सके
    App Store के app link को भी जोड़ दें तो अच्छा होगा

    • मैं बार-बार इसे भूल जाता हूं। link यहां है: https://apps.apple.com/us/app/storyteller-reader/id647446772...
      इसे तुरंत docs में शामिल करने के लिए बदलाव भेजूंगा
    • जानना चाहूंगा कि आप इसे किस use case के लिए इस्तेमाल करना चाहते हैं