OpenAI ने GPT‑Live पेश किया

 (openai.com)
2 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ChatGPT Voice को ज्यादा प्राकृतिक, real-time बातचीत के करीब बनाने के लिए GPT‑Live‑1 और GPT‑Live‑1 mini पेश किए गए
  • full-duplex आर्किटेक्चर के जरिए सुनने और बोलने को साथ-साथ प्रोसेस करता है, जिससे छोटी प्रतिक्रियाएं, तेज़ बातचीत और यूज़र के सोचने पर इंतज़ार करने जैसे व्यवहार सपोर्ट होते हैं
  • मौजूदा cascade-style और turn-based voice तरीकों में latency, जानकारी के नुकसान और अप्राकृतिक interrupt की समस्याएं थीं; GPT‑Live लगातार interaction के जरिए इन सीमाओं को कम करना चाहता है
  • Search, reasoning और जटिल कामों को पीछे से GPT‑5.5 जैसे latest models को सौंपा जाता है, जबकि GPT‑Live इस दौरान बातचीत जारी रखता है
  • iOS, Android और ChatGPT.com पर rollout होगा; Go·Plus·Pro के लिए GPT‑Live‑1 और Free के लिए GPT‑Live‑1 mini ChatGPT Voice का default model बनेगा

GPT‑Live आवाज़ी बातचीत की संरचना कैसे बदलता है

  • GPT‑Live AI voice conversations को असली लोगों के बीच बातचीत के और करीब लाने के लिए नई पीढ़ी का voice model है
  • इसका core है बातचीत के दौरान एक साथ सुनने और बोलने वाला full-duplex आर्किटेक्चर
    • यूज़र के बोलते समय “mhmm”, “yeah” जैसी छोटी प्रतिक्रियाओं से यह दिखा सकता है कि वह सुन रहा है
    • तेज़ back-and-forth बातचीत को संभालता है
    • जब यूज़र को सोचने के लिए समय चाहिए, तो चुपचाप इंतज़ार कर सकता है
  • यह आर्किटेक्चर ChatGPT Voice को ज्यादा natural बनाता है और लंबे समय में ज्यादा complex और ज्यादा समय लेने वाले agentic tasks में भी voice जोड़ना संभव करता है

मौजूदा ChatGPT Voice तरीके की सीमाएं

  • शुरुआती ChatGPT Voice जैसे cascade-style voice systems एक utterance को प्रोसेस करने के लिए कई models को क्रम से जोड़ते हैं
    • original ChatGPT Voice ने speech-to-text model, response बनाने वाला large language model और text-to-speech model को आपस में जोड़ा था
    • इससे frontier AI model से voice में बातचीत संभव हुई, लेकिन models के बीच जानकारी खो सकती थी और responses धीमे या रूखे हो सकते थे
  • ChatGPT Advanced Voice Mode जैसे turn-based voice models ने एक ही model के अंदर audio को process और generate करके latency घटाई
    • फिर भी यह turn structure में चलता है, जिसमें response यूज़र के बोलना बंद करने के बाद ही आता है
    • क्योंकि turn detection silence पर आधारित है, छोटी रुकावटें या background noise गलती से turn end समझे जा सकते हैं
    • ऐसे में model अप्राकृतिक समय पर बीच में बोल सकता है

लगातार interaction और task delegation

  • GPT‑Live अलग-अलग messages को क्रम से process करने के बजाय input को लगातार स्वीकार करते हुए output generate करता है
  • Model प्रति सेकंड कई बार interaction decisions लेता है
    • बोलना है या नहीं
    • सुनते रहना है या नहीं
    • थोड़ी देर रुकना है या नहीं
    • बीच में बोलना है या नहीं
    • tool call करना है या नहीं
  • यह तरीका ज्यादा natural back-and-forth, बेहतर time sense और real-time translation को संभव बनाता है
  • गहरे काम GPT‑Live से अलग handle किए जाते हैं
    • Search, reasoning और ज्यादा agentic capabilities की जरूरत वाले सवाल GPT‑5.5 जैसे दूसरे models को delegate किए जा सकते हैं
    • पीछे कई tasks process होते रहने के दौरान भी GPT‑Live बातचीत जारी रखता है
    • यह latest models और agents का उपयोग करते हुए natural voice interaction को जोड़ने वाला आर्किटेक्चर है

Model versions और rollout योजना

  • OpenAI ने GPT‑Live‑1 और GPT‑Live‑1 mini के दो versions दुनिया भर के ChatGPT users के लिए चरणबद्ध तरीके से rollout करना शुरू किया है
  • API availability भी planned है, और developers व enterprises form में notification के लिए sign up कर सकते हैं
  • Launch के समय GPT‑Live background में GPT‑5.5 का उपयोग करता है
    • GPT‑Live‑1 instant और GPT‑Live‑1 mini GPT‑5.5 Instant model का उपयोग करते हैं
    • GPT‑Live‑1 Medium और GPT‑Live‑1 High क्रमशः medium और high reasoning effort के साथ GPT‑5.5 Thinking model का उपयोग करते हैं
  • OpenAI की योजना है कि नए frontier models आने पर GPT‑Live द्वारा उपयोग किए जाने वाले background model को लगातार update किया जाए

Evaluation results

  • OpenAI ने बातचीत के आनंद और flow को मापने के लिए नया human evaluation बनाया
  • 5–10 मिनट की matched conversations में GPT‑Live‑1 और GPT‑Live‑1 mini को Advanced Voice Mode की तुलना में मजबूत preference मिली
    • Overall preference
    • Turn-taking
    • Interruptions
    • Conversation flow
    • Interaction की naturalness
  • GPT‑Live‑1 ने कई benchmarks में Advanced Voice Mode से बेहतर results दिखाए
    • GPQA: Biology, chemistry और physics में expert-level science reasoning test करता है, और GPT‑Live‑1 काफी आगे रहा
    • BrowseComp: Agentic web search और मुश्किल-से-मिलने वाली जानकारी खोजने की क्षमता test करता है, और GPT‑Live‑1 ने बड़ा सुधार दिखाया
    • τ³-Voice Telecom: वास्तविक multi-turn telecom support tasks में voice agents को test करने वाला internal variant है, और GPT‑Live‑1 ने बेहतर performance दी
  • τ³-Voice Telecom evaluation latest reasoning model से संचालित custom user model का उपयोग करता है

ChatGPT Voice में अनुभव कैसे बदलेगा

  • हर हफ्ते 150 मिलियन से अधिक लोग Voice और Dictation जैसी features के जरिए ChatGPT से बात करते हैं
  • Users hands-free रोजमर्रा की मदद, language practice, bedtime stories और commute के दौरान बातचीत के लिए voice का उपयोग करते हैं
  • Voice button दबाने पर GPT‑Live based experience लागू होगा
    • ज्यादा natural बातचीत
    • ज्यादा smart जवाब
    • बेहतर listening
    • Visual responses
  • Users सवाल पूछते हुए बीच में बोल सकते हैं, अपने विचार व्यवस्थित करने के लिए रुक सकते हैं, या ChatGPT से धीरे बोलने को कह सकते हैं
  • ChatGPT “mhmm”, “got it” जैसी प्रतिक्रियाओं से दिखा सकता है कि वह यूज़र की बात follow कर रहा है
  • ChatGPT की 9 unique voices को GPT‑Live के लिए remaster किया गया है
  • Users reasoning level चुन सकते हैं
    • Instant: तेज़ response
    • Medium और High: ChatGPT को ज्यादा देर सोचने देता है
  • ChatGPT Voice यूज़र के थोड़ी देर सोचने पर बीच में बोले बिना इंतज़ार कर सकता है
  • अगर यूज़र चुपचाप सुनने के लिए कहे, तो वह वैसा कर सकता है
  • गुजरती गाड़ियों या आसपास की बातचीत जैसे background noise के बावजूद यूज़र की आवाज़ पर बेहतर focus करता है
  • Weather, stocks, sports जैसे कुछ topics बातचीत के दौरान rich visual cards के रूप में दिखाए जा सकते हैं
  • Voice search, memory, images और file uploads को support करना जारी रखता है

Safety measures और monitoring

  • GPT‑Live latest models की safety improvements पर आधारित है, और voice-specific safety training व नए safeguards जोड़ता है
  • OpenAI ने वास्तविक voice use cases को बेहतर reflect करने के लिए audio-based evaluations का विस्तार किया
  • Advanced Voice Mode से मिली सीख के आधार पर generated audio का उपयोग करने वाली synthetic evaluations भी बनाई गईं
  • Internal experts ने voice-specific risks को target करके red-team testing की
  • Tests में GPT‑Live ने evaluate किए गए लगभग सभी areas में Advanced Voice Mode जैसा या उससे बेहतर performance दिया
  • Detailed tests और safeguards GPT‑Live system card में देखे जा सकते हैं
  • चूंकि voice conversations real time में होती हैं, इसलिए model के बोलते समय भी काम करने वाले safeguards जोड़े गए हैं
    • Potentially unsafe output detect होने पर इसे safer response की ओर guide करता है
    • अतिरिक्त safety message या resources दिखा सकता है
    • ज्यादा high-risk situations में voice conversation समाप्त कर सकता है
  • Self-harm से जुड़ी बातचीत के लिए ChatGPT के support flow को voice के लिए adjust किया गया है, जिसमें expert review से गुजरा crisis helpline support शामिल है
  • Teen users के लिए अतिरिक्त protections भी design किए गए हैं
    • Age-appropriate behavior को सीधे model में train करके inappropriate responses के risk को घटाया गया है
    • Parents Parental Controls में teen के ChatGPT Voice use को enable/disable कर सकते हैं
    • Connected parents को संभावित self-harm या suicidal intent के संकेतों वाली high-risk situations में notifications मिल सकते हैं
  • Emotional dependence पर focused long-term measurements और post-launch monitoring भी चल रही है
    • यह पिछले affective use and emotional well-being study पर आधारित है
    • Emotional रूप से sensitive interactions में नए patterns पहचानने और response methods सुधारने में उपयोग होता है
  • GPT‑Live बातचीत के लिए model है, voice impersonation के लिए नहीं
    • ChatGPT की predefined voice set का उपयोग करता है
    • असली लोगों की आवाज़ की नकल रोकने के लिए safeguards रखता है

Support coverage और मौजूदा limitations

  • GPT‑Live iOS, Android और ChatGPT.com पर दुनिया भर के ChatGPT users के लिए rollout हो रहा है
  • GPT‑Live‑1 Go, Plus और Pro users के ChatGPT Voice का default model बनेगा
  • GPT‑Live‑1 mini Free users का default model बनेगा
  • अधिक detailed availability Help Center में देखी जा सकती है
  • GPT‑Live ChatGPT में खूब इस्तेमाल होने वाली कुछ languages के लिए optimized है
    • कुछ languages में non-native accents या fluency में gaps हो सकते हैं
    • OpenAI कई languages में experience बेहतर करने पर काम कर रहा है
  • Launch के समय ChatGPT में voice-based video या screen sharing support नहीं है
    • OpenAI इन features को जल्द लाने पर काम कर रहा है
    • Standard और Advanced Voice Mode जैसे मौजूदा ChatGPT Voice versions में ये features continue available रहेंगे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • मैंने इसे कुछ हफ्तों तक पहले से इस्तेमाल किया, और यह काफ़ी अच्छा था। कुत्ते को घुमाते समय मैंने एक घंटे लंबी बातचीत की, और मेरे एक प्रोजेक्ट पर काफ़ी अच्छी brainstorming भी हुई।
    सबसे अच्छी बात यह है कि बैकग्राउंड में सवालों को GPT-5.5 को delegate किया जा सकता है, इसलिए अब कई साल पीछे रह गए voice model से बंधे नहीं रहना पड़ता।
    मैंने एक मज़ेदार bug भी रिपोर्ट किया था: मैं अभी बोल ही रहा होता था और यह बीच में टोककर ऐसे बातों पर हँस देता था जिनका मज़ाक का इरादा नहीं था। शुक्र है, लगता है वह व्यवहार कम कर दिया गया है; उस समय यह थोड़ा रूखा और condescending लगा था।

    • मुझे जिज्ञासा है कि यह personality settings पर कितना अच्छा respond करता है। मुझे नकली AI girlfriend जैसी चीज़ बिल्कुल नहीं चाहिए, लेकिन voice mode में मुझे काफ़ी value मिल रही है।
      इसे आज़माने की उत्सुकता है, बस उम्मीद है कि यह Sesame की तरह डरावना, ज़रूरत से ज़्यादा staged mess न हो। मुझे लगता है कि मैं जिस दिशा की चाहत रखता हूँ, उससे engagement बहुत नहीं बढ़ेगा, इसलिए शायद वे आख़िरकार नकली AI girlfriend वाली दिशा में ही धक्का देते रहेंगे।
    • बैकग्राउंड में GPT-5.5 को delegate कर पाना बिल्कुल वही दिशा है जिसकी मैं उम्मीद कर रहा था।
      commute या workout के दौरान brainstorming के लिए मैं ChatGPT voice mode इस्तेमाल करना चाहता था, लेकिन उसके अतीत में अटके होने जैसा एहसास मुझे उसे कम इस्तेमाल करने पर मजबूर करता था।
    • मैं तो बस टहलने का आनंद लेने की ज़ोरदार सिफारिश करूँगा।
    • क्या यह मौजूदा voice model की तरह धीमा किया गया GPT वर्ज़न है? कम से कम फ़्रेंच में तो अभी का GPT voice mode बेकार है, इसलिए मैं सिर्फ dictation mode ही इस्तेमाल करता हूँ।
      आप सवाल पूछते हैं, तो यह कुछ ऐसा जवाब देता है, “दिलचस्प सवाल है। मैं आपकी मदद कर सकता हूँ। क्या आप X के बारे में जानना चाहते हैं?” और फिर दोबारा पूछने पर भी उसी तरह का बिना-जवाब वाला जवाब मिलता है।
    • मुझे voice mode का user experience पसंद है, लेकिन voice model खुद मुझे हमेशा नापसंद रहा है।
      खासकर Gemini हर बार किसी अजीब सवाल पर ख़त्म हो जाता है, और prompt से भी उसे भरोसेमंद तरीके से रोका नहीं जा सकता, इसलिए आख़िरकार मैंने अपने असली workflow के लिए एक खुद का client बना लिया जो सिर्फ STT → model → TTS करता है। STT और TTS दोनों अपने-आप में भी उपयोगी हैं।
      model का तेज़ी से और थोड़ा अधिक nuanced जवाब देना कुछ हद तक मूल्यवान हो सकता है, लेकिन बहुत ज़्यादा नहीं। मैं जवाब पूरा होने तक इंतज़ार कर सकता हूँ, और चाहूँगा कि वह बस सच में उपयोगी हो। मैं कोई digital friend नहीं ढूँढ रहा।
      delegation feature की वजह से orchestration जैसी खूबियों में voice model की थोड़ी value दिखती है, लेकिन सिर्फ इसलिए कि communication medium बदल गया, मुझे अलग capabilities और quirks वाले model से बात करनी पड़े, यह मुझे पसंद नहीं, और लोग इसे क्यों पसंद करते हैं, यह भी मैं ठीक से नहीं समझता।

  • यह AI को जिस दिशा में जाना चाहिए, उसकी बिल्कुल उलटी दिशा है। मानवीय संबंध हमारे पास सबसे मूल्यवान चीज़ हैं, लेकिन technology स्वाभाविक रूप से उनके बीच mediation करना चाहती है और अब तो उन्हें replace करने लगी है।
    मैं Catholic नहीं हूँ, लेकिन AI को इंसान जैसा बातचीत का साथी मानने के ख़िलाफ़ एक दिलचस्प तर्क इस podcast में है: https://newpolity.com/podcasts-hub/debate-chatbots

    • AI जो ज़्यादातर काम कर रहा है, वह पहले से ही ग़लत दिशा में है। यह सिर्फ़ लोगों के बीच interaction ही नहीं, बल्कि सोच, रचना, इंद्रिय अनुभूति और प्रतिक्रिया तक छीन रहा है।
      लोग इसे इंसानों की मदद कहना पसंद करते हैं, लेकिन मुझे यह इंसानों से उनकी इंसानियत चूस लेने जैसा लगता है।
      नुकसान होने के बाद बड़ी कंपनियाँ बस कंधे उचकाकर कहेंगी, “हम तो सिर्फ़ कारोबारी प्रतिस्पर्धा का जवाब दे रहे थे।” कारोबार इंसान नहीं होता, इसलिए उसे इंसानियत का पता नहीं। कंपनियाँ और मशीनें इंसानों को चारे की तरह देखती हैं, और इंसानों ने ही उन्हें यह मानकर बनाया कि यही प्रगति है। हम इसे प्रगति कहते हैं क्योंकि इसके लिए बौद्धिक क्षमता चाहिए थी और इसने हमें दूसरी प्रजातियों पर हावी होने में मदद की, लेकिन डॉल्फ़िन शायद हम पर हँस रही होंगी।
    • बात वाजिब है, लेकिन लगता है कि यहाँ दो सही मगर अलग चीज़ें मिलाई जा रही हैं।
      अगर बात AI voice mode की है जो इंसानी मेलजोल या बातचीत को replace करे, तो मुझे भी वह cringe लगता है और मैं पूरी तरह सहमत हूँ। यह text हो या voice, दोनों में समान है।
      लेकिन अगर यह tool के रूप में AI के साथ interact करने का एक alternative interface है, तो मुझे यह शानदार idea लगता है। ऐसे पल आए हैं जब मैं इतना थका होता हूँ कि typing मुश्किल हो जाती है, या मैं ज़्यादा आज़ाद तरीके से brainstorming करना चाहता हूँ, और तब अच्छा voice mode उपयोगी होता।
      जाहिर है, अभी AI को personality की तरह इस्तेमाल करना है या tool की तरह, यह पूरी तरह user पर निर्भर है। मैं दूसरे वाले उपयोग को बहुत चाहता हूँ, और अगर कोई पहले वाले तरीके से इस्तेमाल करना चाहता है तो वह मेरी समस्या नहीं है। बस अफ़सोस यह है कि आख़िरकार इस feature का आकलन शायद उसके tool वाले फ़ायदों से ज़्यादा इस आधार पर होगा कि औसत लोग इसे कितने regressivе और reductive तरीक़े से इस्तेमाल करते हैं।
    • chatbot पर text या voice में बिताया गया हर 1 मिनट वह 1 मिनट है जो वरना किसी दूसरे इंसान से बात करने में जाता। जीवन में जो एकमात्र सच में महत्वपूर्ण चीज़ है, हर मूल्य की बुनियाद, स्वयं की पहचान का निर्माण, वह दूसरे इंसानों के साथ संचार से आता है।
    • मुझे लगता है voice तरह का नहीं, बल्कि स्तर का फ़र्क है। मैं भी AI से ऐसे बात करता हूँ जैसे वह इंसान हो, और यह भी कहा जा सकता है कि AI का user experience खुद इंसानों की नकल करता है।
      इंसानों के साथ हमारी काफ़ी interaction भी text के ज़रिए ही होती है। उदाहरण के लिए यह पोस्ट भी।
    • मैं सहमत नहीं हूँ। तरल और स्वाभाविक conversational AI किसी भी ऐसे interface से कहीं ज़्यादा productive है जिससे LLM के साथ काम किया जाता है।
      हाँ, यह तर्क दिया जा सकता है कि इसे और robot-जैसा बनाया जाना चाहिए। StarTrek की तरह। सच कहूँ तो काम के लिए शायद वह बेहतर भी हो। ठंडा, शुद्ध efficiency वाला कोई “काम निपटाओ mode” जैसा।

  • इस घोषणा में जो चीज़ छूट गई, वह है connectors और tool use की क्षमता। यह ठीक से समझ नहीं आता। Claude, ChatGPT, Gemini, Grok जैसे अग्रिम पंक्ति के assistants में voice mode में tools या connectors इस्तेमाल कर सकने वाला एक भी नहीं है
    यह तो बहुत स्वाभाविक लगता है, लेकिन बातचीत करते हुए जानकारी खोजना, documents खोलना, notes छोड़ना, और उत्पादक काम करना चाहूँगा। हर बार जब किसी app या service से जुड़ना हो, तो voice mode खत्म नहीं करना चाहता
    अजीब बात यह है कि पुराने Claude voice mode में tools का इस्तेमाल किया जा सकता था, लेकिन redesign के बाद उसने वह क्षमता खो दी और अब Haiku पर fixed है
    आखिरकार ऐसा voice mode आया है जो frontier model पर आधारित है और जिससे Grok voice जितना अच्छा होने की उम्मीद की जा सकती है, यह खुशी की बात है, लेकिन voice mode में अब भी tool use न दिखना निराशाजनक है
    मैंने अभी तक खुद इसे इस्तेमाल नहीं किया है, सिर्फ घोषणा पढ़ी है

    • Sam Altman के उस viral clip पर प्रतिक्रिया वाला एक TikTok है जिसमें कोई Voice से 1 mile दौड़ का समय नापने की कोशिश करता है और मज़ेदार तरीके से fail हो जाता है
      Sam की प्रतिक्रिया थी: “हाँ, इसके पास timer जैसे tools की access नहीं है। यह एक known issue है, और लगभग 1 साल के भीतर आ जाएगा।”
      clip यहाँ है: https://www.youtube.com/shorts/Py2YgJe8fqQ
    • gpt-realtime-2 का इस्तेमाल करने पर low-latency streaming के साथ similar results मिल सकते हैं, और ऐसा लगता है जैसे assistant कमरे में साथ मौजूद हो
      एक जगह है जहाँ tool use जोड़कर gpt-realtime-2 model को test करने लायक सेट किया गया है: https://sippet.ai/?enabler=hn
    • मैं कंपनी चलाने और दिन का schedule plan करने वाले personal assistant में gpt-realtime-1 का इस्तेमाल कर रहा हूँ, और यह काफ़ी अच्छा काम करता है। यह tool calls भी करता है
      हालांकि multimodal processing की वजह से अजीब events, messages और audio sequences के बीच race conditions को debug करना काफ़ी पड़ा। फिर भी कुल मिलाकर यह काफ़ी शानदार है
      आज बाद में इसे इस model पर migrate करने वाला हूँ और फिर नतीजे साझा करूँगा
    • tools का latency unpredictable होता है, इसलिए शायद उसका संबंध हो सकता है। फिर भी अगर पहले से 5.5 के साथ background handoff हो रहा है, तो लगता है उसी context में इसे बस enable किया जा सकता है
    • क्या सच में frontier assistants voice mode में tools और connectors इस्तेमाल नहीं कर सकते? मेरा एक दोस्त Gemini के साथ अक्सर brainstorming करता है, और मेरी जानकारी में वह शायद Android phone पर conversation-related tasks वास्तव में perform करता है और notes में चीज़ें भी जोड़ता है
      वैसे भी, कभी भी pi के साथ vibe coding करके एक बना सकते हो

  • कई AI features की तरह यह शानदार भी है और थोड़ा डरावना भी। मैंने पहले कभी Siri या Google वाली, या TV जैसी voice interfaces का इस्तेमाल नहीं किया, इसलिए शायद मैं target user नहीं हूँ, लेकिन यह सुधार जैसा लगता है
    डरावना हिस्सा यह है कि हम ऐसे दौर में जी रहे हैं जहाँ लोग पहले से कहीं ज़्यादा एक-दूसरे से कटे हुए हैं। क्या अब बातचीत भी replace करनी है? demo video में बुज़ुर्ग महिलाओं का दिखना कुछ संकेत देता है; मुझे लगता है कि समाज पहले से ही बुज़ुर्गों के साथ जैसा व्यवहार करता है और बुज़ुर्गों के अकेलेपन की एक बड़ी समस्या मौजूद है। जब मैं कल्पना करता हूँ कि लोग उन machines के क़रीब हो रहे हैं जो वास्तव में सोचती नहीं हैं, तो उसमें उदासी है और साफ़ असहजता भी महसूस होती है

  • मैं OpenAI का Atty हूँ
    GPT-Live-1 नई पीढ़ी के model का पहला version है, और मेरा मानना है कि full-duplex architecture और delegation capabilities इंसान-AI interaction के बिल्कुल नए तरीके संभव बनाती हैं
    feedback सुनना चाहूँगा

    • यह थोड़ा अजीब सवाल हो सकता है, लेकिन अगर यह loneliness epidemic और समाज के atomization को और बदतर बना दे, तो क्या आपको लगेगा कि आप इसे अपने ऊपर ले पाएँगे?
      5 साल बाद अगर सुनने को मिले कि teenagers अपना समय सिर्फ आपके chatbot के साथ बिता रहे हैं, तो आप कितनी personal responsibility महसूस करेंगे, या बिल्कुल नहीं करेंगे?
    • क्या इसे मेरी technology या tools से जोड़ा जा सकता है? उदाहरण के लिए, मेरी कंपनी में knowledge base और event logs हैं, और मुझे एक brainstorming साथी चाहिए जो इस knowledge तक पूरी पहुँच रखे, बातचीत कर सके, और repository में मौजूद technology या tools को call कर सके
    • अगर यह gcal जैसे दूसरे apps से connect नहीं कर सकता, तो “उस feature का समर्थन नहीं है” कहने के बजाय standard GPT client इस्तेमाल करने का सुझाव देना चाहिए
      ऐसा कहने से यह misleading हो सकता है, क्योंकि लोग समझ सकते हैं कि सामान्य client में भी वह feature नहीं है
    • क्या एक समय में सिर्फ एक agent को delegate कर सकते हैं, या कई tasks के लिए multiple sub-agents बनाए जा सकते हैं?
    • क्या यह गा सकता है? क्या यह end-to-end multimodal model है?

  • यह देखकर गुस्सा आता है कि शायद मैं ChatGPT को फिर से subscribe कर लूँ। LLM से पहले अगर कोई कहता कि मैं voice features का इतना इस्तेमाल करूँगा, तो शायद मैं यक़ीन नहीं करता, लेकिन अभी ChatGPT के पास सबसे अच्छा voice interface है
    मेरे हिसाब से Grok interface उसके बाद है, और फिर Claude

    • मेरा भी यही हाल है। मैं voice features लगातार इस्तेमाल करता हूँ, इसलिए शायद Gemini से वापस ChatGPT पर लौट जाऊँ
      मेरी पसंदीदा use cases में से एक है drive करते समय random topics पर बात करना और सीखना

  • यह पहले की तुलना में बहुत बेहतर है, लेकिन फिर भी सीधे chat से काफ़ी कमज़ोर है
    उदाहरण के लिए, मैंने पूछा: “आप अक्सर कहते हैं कि vector magnitude ज़्यादातर उपयोगी जानकारी encode नहीं करती, तो फिर LLM attention को cosine similarity की जगह dot product क्यों इस्तेमाल करना चाहिए?”
    voice जवाब सही दिशा में था, लेकिन उसमें details की कमी थी और थोड़ा गोलमोल लगा
    उसी सवाल पर text chat का जवाब quality में काफ़ी बेहतर था
    voice response में इसने “सोचने दीजिए…” कहा, इसलिए विज्ञापन के मुताबिक़ यह शायद 5.5 को call कर रहा है, लेकिन साफ़ तौर पर कमज़ोर है
    दोनों तरफ reasoning setting एक ही रखी थी

    • इसे काफ़ी हद तक tune किया जा सकता है। अभी की personality brainstorming और बातचीत के लिए optimized है, लेकिन custom instructions के ज़रिए आप इसे और गहराई में जाने, ज़्यादा information-dense, या और technical जवाब देने के लिए कह सकते हैं
    • इंसान सुनने से कहीं ज़्यादा text पढ़ सकता है। अगर voice answer बहुत लंबा हो जाए तो धैर्य जल्दी टूटता है
      इसलिए अगर text ज़्यादा हो, तो उसे screen पर दिखाना बेहतर है
    • स्वाभाविक रूप से यह मानने का मन होता है कि background thinking level को न्यूनतम कर दिया गया है। यह एक तरह की halting problem है, और text 5.5 में maximum thinking पर छोड़ दें तो एक सवाल पर 5–10 मिनट भी लगा देता है
      ऐसी बातचीत काफ़ी अटपटी हो जाएगी

  • PersonaPlex के अलावा कोई सार्वजनिक open source full-duplex model है या नहीं, यह जानने की जिज्ञासा है। चीन की तरफ़ के public models में Fun Audio chat जैसा कोई नाम वाला model full-duplex version लाने वाला था, ऐसा लगता है, लेकिन उसने सच में रिलीज़ किया या नहीं, पता नहीं।
    मेरा सपना है ऐसा open source full-duplex model जिसमें function calling या बहुत बुनियादी text output हो। PersonaPlex अब भी दिलचस्प है, लेकिन output handling संभालने या उसे आसानी से बेकाबू होने से रोकने के लिए fine-tuning की ज़रूरत लगती थी

    • Standard Intelligence ने 2 साल पहले एक जारी किया था
      https://si.inc/posts/hertz-dev/
      यह सिर्फ 8.5B है, और पूरी तरह conversational जैसा नहीं लगता
    • मैं भी यह जानना चाहता/चाहती हूँ। क्योंकि मैं local AI assistant से बात करने वाला एक smart speaker जैसा कुछ साधारण रूप से बनाकर देखना चाहता/चाहती हूँ
      अभी तो मैं सब कुछ iMessage से करता/करती हूँ, लेकिन रसोई में हाथ व्यस्त होने पर अगर मैं आवाज़ से shopping list में सामान जोड़ने को कह सकूँ तो अच्छा होगा। अगर mic और speaker में क्या चुनना ठीक रहेगा इस पर भी सलाह मिले तो अच्छा होगा, और दिमाग़ वाली तरफ़ के लिए इधर-उधर पड़ा Raspberry Pi दोबारा इस्तेमाल करने की योजना है
    • https://duplexio.ai पर वे यह काम कर रहे हैं, और public weights के साथ non-commercial use मुफ़्त होने वाला है। साथ काम करना हो तो anders@duplexio.ai पर email भेज सकते हैं

  • Gemini live यह काम पहले ही 1 साल से ज़्यादा समय से कर सकता था। फ़ोन पर बस इसे चालू करो, और यह सच में हैरान कर देने जितना अच्छा काम करता है, खासकर interruption handling में।
    मैंने 95 साल की अपनी डच दादी के साथ इसका टेस्ट किया था, और यह अंग्रेज़ी और डच के बीच बहुत सहजता से आता-जाता रहा, उनकी कमज़ोर सुनने की क्षमता को भी अच्छी तरह संभाला, और दोहराने के अनुरोध भी ठीक से स्वीकार किए।
    OpenAI को यहाँ इस तरह catch up करते देखना थोड़ा हैरान करने वाला है

    • computer vision की तरफ़ भी Gemini live काफ़ी अच्छा है। मैंने साइकिल और कार की मरम्मत करते समय इसे कुछ बार इस्तेमाल किया, और इसने फ़ोन कैमरा पर खास screws और parts को घेरा बनाकर या highlight करके दिखाया।
      अगर फ़ोन को tripod पर रख दिया जाए, तो यह पूरी मरम्मत step-by-step गाइड कर सकता है
    • ChatGPT के पास भी यह 1 साल से ज़्यादा समय से था। यह बस एक बेहतर model है
    • Simon ने एक बात सही पकड़ी कि आम तौर पर real-time voice models की capability frontier models जितनी अच्छी नहीं होती।
      इस model की खास बात यह है कि बातचीत करते हुए यह काम frontier model को delegate कर सकता है
    • क्या Gemini live वही चीज़ है जो मेरे OnePlus 15 के app में है? वह full-duplex नहीं लगता
    • समझ नहीं आया कि आपका मतलब क्या है। OpenAI के पास पिछले साल अगस्त से real-time voice model था। यह बस बेहतर performance वाला नया model है

  • सबसे खराब स्थिति यह होगी कि लोग हमेशा सहमति जताने वाले AI से बात करने के इतने आदी हो जाएँ कि वे अपने से अलग नज़रिए रखने वाली, या उनके अहं को सहलाने वाली प्रतिक्रिया न देने वाली इकाइयों से बातचीत करने की क्षमता ही खो दें