Show HN: 1 सेकंड से कम latency वाला रियल-टाइम AI वीडियो एजेंट

• Tavus का फोकस response latency को 1 सेकंड से कम करने पर है, ताकि ऐसा AI वीडियो इंटरफेस बनाया जा सके जो लोगों से प्राकृतिक तरीके से बातचीत करे
• तेज बातचीत में utterances के बीच का अंतर लगभग 250ms ही होता है, इसलिए वीडियो एजेंट में कम latency के साथ conversation context awareness भी होना चाहिए
• शुरुआती Phoenix-1 को हर बातचीत के लिए एक H100 चाहिए था, जिससे cost और scalability की सीमाएँ थीं; Phoenix-2 का लक्ष्य Gaussian Splatting पर स्विच करके कम-स्पेक hardware पर 70fps से अधिक generation हासिल करना है
• पूरे pipeline में vision, ASR, LLM, TTS और वीडियो generation सभी को कम किया गया, और LLM में tokens per second से ज्यादा time-to-first token वास्तविक bottleneck था
• अगर सिर्फ silence duration से utterance के अंत का पता लगाया जाए, तो बीच में काटने और response delay की समस्या आती है; इसलिए end-of-turn detection और input prediction से 3~5 सेकंड की latency को 1 सेकंड से कम, और तेज स्थिति में 600ms तक घटाया गया

---

Tavus का लक्ष्य: इंसानों जैसा महसूस होने वाला response speed

• Tavus 2020 से digital twin या avatar के लिए AI वीडियो मॉडल बनाने वाली AI research company और video API developer platform है
• डेमो के तौर पर यह Hassaan के digital twin से बात करने के लिए hassaanraza.com और “demo twin” Carter के साथ tavus.io उपलब्ध कराता है
• Conversational video कंप्यूटर के साथ अधिक प्राकृतिक interaction का तरीका बन सकता है, लेकिन इसके लिए low latency और बातचीत के context को दर्शाने वाली awareness चाहिए
• लक्ष्य latency 1 सेकंड से कम है
  • दोस्तों के बीच तेज बातचीत में utterances के बीच का अंतर लगभग 250ms होता है
  • ज्यादा जटिल विषयों या अनजान लोगों के साथ बातचीत में अतिरिक्त “thinking” time होता है
  • 1000ms से कम होने पर बातचीत काफी हद तक वास्तविक महसूस होती है

latency, scalability और cost को साथ लेकर बना implementation

• Architecture को latency, scalability, cost तीनों को एक साथ संतुलित करना था, और इसके लिए शुरुआत से low-latency system के रूप में फिर से approach किया गया

• वीडियो मॉडल और hardware cost

  • शुरुआती development चरण में Phoenix-1 मॉडल को 30fps से तेज चलाने के लिए सभी components और model weights को GPU memory में लोड करना पड़ता था, और हर बातचीत के लिए अलग H100 चाहिए होता था
  • इस तरीके को scale करना मुश्किल था और cost भी ज्यादा थी
  • Phoenix-2 एक नया मॉडल है जिसमें inference speed सहित कई सुधार शामिल हैं
    • NeRF-आधारित backbone से Gaussian Splatting पर स्विच किया गया
    • कम-स्पेक hardware पर real-time से तेज 70fps+ frame generation को requirement बनाया गया
    • GPU memory और core usage को optimize करके इसे कम स्पेक वाले hardware पर भी चलाने पर फोकस किया गया
    • Streaming का उपयोग और batch processing की जगह parallelization भी time और cost बचाने में इस्तेमाल किया गया

• LLM और end-of-turn detection

  • Utterances के बीच latency को 1 सेकंड से कम करने के लिए vision, ASR, LLM, TTS और वीडियो generation हर हिस्से को आक्रामक रूप से optimize किया गया
  • सबसे बड़ा bottleneck LLM था
    • Tokens per second तेज होने से ज्यादा time-to-first token वास्तविक महसूस होने वाली latency के लिए महत्वपूर्ण था
    • Groq जैसी services में tokens per second ऊंचा था, लेकिन time-to-first token धीमा था, इसलिए वे जरूरत के मुताबिक नहीं थीं; ज्यादातर providers बहुत धीमे थे
  • अगला bottleneck यह पता लगाना था कि user ने बोलना बंद किया है या नहीं
    • अगर silence के बाद के समय से रुकने का निर्णय लिया जाए, तो अतिरिक्त delay पैदा होता है
    • Threshold बहुत छोटा हो तो AI एजेंट user की बात काट देता है, और बहुत लंबा हो तो response देर से आता है
    • Conversation signals के आधार पर end-of-turn को सटीक रूप से detect करने और input का अनुमान लगाकर पहले से तैयारी करने वाले dedicated model की जरूरत थी
  • इन optimizations से 3~5 सेकंड की latency को 1 सेकंड से कम, और तेज स्थिति में 600ms तक घटाया गया, साथ ही इसे कम-स्पेक hardware पर भी चलाया गया

डेमो और use cases

• Tavus के ग्राहकों में Delphi जैसी कंपनी शामिल है; Delphi एक platform है जो expert coach और विशेषज्ञों की replicas उपलब्ध कराता है, और उसके users digital twin के साथ कुछ मिनटों से लेकर 1 घंटा, यहां तक कि 4 घंटे तक की बातचीत करते हैं
• डेमो देखने के बाद API आज़माना चाहने वाले users tavus.io पर मुफ्त में sign up कर सकते हैं

[GN⁺]

Hacker News की राय

• वेबसाइट और dial-up की आवाज़ पसंद आई, cowboy hat भी अच्छा लगा
• दोनों avatars के साथ chat experience अच्छा नहीं था, बार-बार टूट रहा था और उलझाऊ था
• image recognition अच्छा है, avatar के धीरे प्रतिक्रिया देने पर भी वह चीज़ों को पहचान पा रहा था
• खास मुश्किलें साझा करने के लिए धन्यवाद, आगे चलकर यह और बेहतर होगा
• Hassan version बेहतर था, उसने background को पहचाना और दीवार पर लगे model के बारे में बात की
  • LEGO set के बारे में बातचीत की
• बाथरूम में camera towel की तरफ़ था, फिर भी उसने कहा "काफ़ी cozy bathroom है"
• ऐसा लगा जैसे किसी असली इंसान से बात कर रहा था, इसे code की तरह treat नहीं कर पाया
  • इससे लोगों से बात करते समय किए जाने वाले सचेत प्रयास के बारे में सोचने लगा
  • Google search करते समय मैं केवल minimum keywords ही इस्तेमाल करता हूँ
  • चिंता है कि क्या यह तकनीक लोगों को इसी तरह व्यवहार करने के लिए train करेगी
• अगर low-latency, multimodal AI में रुचि है, तो Tavus 19-20 अक्टूबर को SF में hackathon sponsor कर रहा है
  • एक remote track भी है
• demo capabilities: 9.5/10
  • डरावनापन: 10/10
• GPU deployment का अनुभव नहीं है, लेकिन यह महँगा लगता है और allocation पाना कठिन है
  • सोच रहा हूँ कि cloud GPU resources को बड़े पैमाने पर कैसे संभालते हैं
  • क्या हर websocket connection पर GPU allocate करते हैं, क्योंकि ऐसा है तो यह बहुत महँगा होगा
• तकनीकी रूप से बहुत प्रभावशाली है, Carter avatar थोड़ा nervous लगता है
  • मुँह/दाँत में कुछ अजीब है, लेकिन response तेज़ है
  • Zoom में इससे ज़्यादा latency देखी है
  • लगता है यह call center का भविष्य है, अगर avatar ज़्यादा expressive हो जाएँ तो CSAT और ऊँचा होगा
• तकनीकी रूप से हैरान कर देने वाला काम, 1 सेकंड से कम response time बहुत प्रभावशाली है
  • FaceTime पर किसी नकली इंसान से बात कर पाना डरावना है
  • जानना चाहता हूँ कि social impact के बारे में क्या सोचते हैं
  • आज इंसानी जुड़ाव की कमी के कारण loneliness crisis है
• ChatGPT को बातचीत में विराम पहचानने में दिक्कत होती है
  • यह हमेशा बीच में टोक देता है