GPT-4 API आम तौर पर उपलब्ध

 (openai.com)
1 पॉइंट द्वारा GN⁺ 2023-07-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • भुगतान इतिहास वाले मौजूदा API डेवलपर GPT-4 API 8K context का उपयोग कर सकते हैं, और नए डेवलपर access व rate limit का विस्तार compute availability के अनुसार चरणबद्ध तरीके से होगा
  • GPT-3.5 Turbo, DALL·E, और Whisper API भी production-scale उपयोग के लिए तैयार होने के कारण आम तौर पर उपलब्ध किए गए हैं, और GPT-4 व GPT-3.5 Turbo fine-tuning इस साल के अंत में उपलब्ध होगी
  • OpenAI API में GPT उपयोग का 97% Chat Completions API से आता है, और system messages व function calling जैसे structured interfaces ने पुराने Completions API के अधिकांश use cases को replace कर दिया है
  • 4 जनवरी 2024 से Completions API के पुराने models, पुराने embedding models, और Edits API से जुड़े models उपलब्ध नहीं रहेंगे; इसलिए gpt-3.5-turbo-instruct, text-embedding-ada-002, GPT-3.5 Turbo आदि पर migrate करना होगा
  • Completions API को docs में legacy के रूप में दिखाया जाएगा और नए models जारी करने की कोई योजना नहीं है, इसलिए नए integrations को Chat Completions API के इर्द-गिर्द design करना अधिक सुरक्षित है

GPT-4 API और प्रमुख APIs की उपलब्धता का दायरा

  • OpenAI सभी paid API customers को GPT-4 access दे रहा है
    • जिन मौजूदा API developers का भुगतान सफल होने का history है, वे GPT-4 API 8K context का उपयोग कर सकते हैं
    • नए developers के लिए access इस महीने के अंत तक खोलने की योजना है
    • इसके बाद compute availability के आधार पर rate limit बढ़ाई जाएगी
  • GPT-4, OpenAI का सबसे शक्तिशाली model है, और मार्च के बाद से लाखों developers ने GPT-4 API access का अनुरोध किया है
  • GPT-3.5 Turbo, DALL·E, और Whisper API भी आम तौर पर उपलब्ध किए गए हैं
    • इसका आधार model stability और production-scale उपयोग के लिए readiness है
  • GPT-4 और GPT-3.5 Turbo की fine-tuning को सुरक्षित रूप से enable करने का काम जारी है, और यह इस साल के अंत में उपलब्ध होगी
  • 24 अप्रैल 2024 के update के बाद “ChatGPT API” नाम बंद कर दिया गया, और इस लेख में ChatGPT API के उल्लेख का मतलब GPT-3.5 Turbo API है

Chat Completions API की ओर shift

  • Chat Completions API मार्च में पेश किया गया था, और अभी OpenAI API में GPT उपयोग का 97% इसी से आता है
  • पुराने Completions API को जून 2020 में free-form text prompts के जरिए language models से interact करने के लिए पेश किया गया था
  • अधिक structured prompt interface पुराने तरीके से बेहतर results दे सकता है
    • system message
    • function calling
    • multi-turn conversation
  • Chat Completions API conversational experiences के साथ-साथ व्यापक completion tasks को भी support करता है
  • user-provided content और instructions को structurally अलग किया जा सकता है, जिससे prompt injection attacks के जोखिम को कम करने में मदद मिलती है
  • OpenAI अपने platform development efforts का बड़ा हिस्सा इसी दिशा में लगातार invest करने की योजना रखता है
    • completion token की log probabilities
    • responses की “chattiness” कम करने के लिए steerability improvements
    • ये items Chat Completions API में अभी बाकी gaps हैं

Completions API के पुराने models बंद होंगे

  • OpenAI, Chat Completions API में investment बढ़ाने और compute capacity optimize करने के लिए 6 महीने बाद Completions API के कुछ पुराने models बंद करेगा
  • Completions API स्वयं access के लिए उपलब्ध रहेगा, लेकिन developer docs में आज से इसे legacy के रूप में दिखाया जाएगा
  • आगे के model और product improvements Chat Completions API पर केंद्रित होंगे, और Completions API के लिए नए models जारी करने की कोई योजना नहीं है
  • 4 जनवरी 2024 से पुराने completion models उपलब्ध नहीं होंगे और उनकी जगह नए models आएंगे
    • ada, babbage → babbage-002
    • curie, davinci → davinci-002
    • davinci-instruct-beta, curie-instruct-beta, text-ada-001, text-babbage-001, text-curie-001, text-davinci-001, text-davinci-002, text-davinci-003 → gpt-3.5-turbo-instruct
  • stable model names ada, babbage, curie, davinci इस्तेमाल करने वाले applications 4 जनवरी 2024 को नए models पर automatically upgrade हो जाएंगे
  • babbage-002, davinci-002 आने वाले कुछ हफ्तों में उपलब्ध कराए जाएंगे, ताकि API calls में इन model names को specify करके early testing की जा सके
  • text-davinci-003 जैसे अन्य पुराने completion models के users को 4 जनवरी 2024 तक API request के model parameter को खुद gpt-3.5-turbo-instruct में बदलना होगा
    • gpt-3.5-turbo-instruct, text-davinci-003 की तरह trained InstructGPT-style model है
    • इसे Completions API में drop-in replacement model के रूप में उपलब्ध कराया जाएगा

Fine-tuned models के users का transition

  • 4 जनवरी 2024 के बाद भी fine-tuned models का उपयोग जारी रखना है, तो नए base models पर replacement models को फिर से fine-tune करना होगा
    • नए base GPT-3 models: babbage-002, davinci-002
    • अधिक नए models: gpt-3.5-turbo, gpt-4
  • GPT-3.5 Turbo और GPT-4 fine-tuning उपलब्ध होने पर, पहले पुराने models को fine-tune करने वाले users को priority access दिया जाएगा
  • अपने data से fine-tune किए गए models से migrate करना कठिन होता है, इसलिए पुराने users को support देकर transition को जितना संभव हो उतना smooth बनाने की योजना है
  • हाल में पुराने models इस्तेमाल करने वाले developers से आने वाले कुछ हफ्तों में संपर्क किया जाएगा, और नए completion models की early testing की तैयारी पूरी होने पर अतिरिक्त जानकारी दी जाएगी

पुराने embedding models बंद होंगे

  • पुराने embedding models के users को 4 जनवरी 2024 तक text-embedding-ada-002 पर migrate करना होगा
  • text-embedding-ada-002 दिसंबर 2022 में जारी हुआ था, और यह पिछले models की तुलना में अधिक शक्तिशाली और cost-efficient साबित हुआ है
  • अभी text-embedding-ada-002 कुल embedding API उपयोग का 99.9% है
  • OpenAI नए model से content को फिर से embed करने की re-embedding cost वहन करेगा
  • नीचे दिए गए सभी models को text-embedding-ada-002 से replace किया जाएगा
    • code-search-ada-code-001, code-search-ada-text-001
    • code-search-babbage-code-001, code-search-babbage-text-001
    • text-search-ada-doc-001, text-search-ada-query-001
    • text-search-babbage-doc-001, text-search-babbage-query-001
    • text-search-curie-doc-001, text-search-curie-query-001
    • text-search-davinci-doc-001, text-search-davinci-query-001
    • text-similarity-ada-001, text-similarity-babbage-001, text-similarity-curie-001, text-similarity-davinci-001

Edits API बंद होगा

  • Edits API और संबंधित models के users को 4 जनवरी 2024 तक GPT-3.5 Turbo पर migrate करना होगा
    • उदाहरण: text-davinci-edit-001, code-davinci-edit-001
  • Edits API beta एक शुरुआती exploratory API था, जिसे instructions के अनुसार prompt का modified version लौटाने के लिए बनाया गया था
  • Edits API से मिले feedback को gpt-3.5-turbo और Chat Completions API development में शामिल किया गया
  • Chat Completions API का उपयोग भी इसी उद्देश्य के लिए किया जा सकता है
    • example में code पर लागू करने वाला change request system message के रूप में दिया जाता है, और user Fibonacci function का नाम fib करने को कहता है, तो assistant modified code लौटाता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-07
Hacker News की राय

  • लोकल LLM को प्रोत्साहित करना चाहिए और व्यापक रूप से फैलाना चाहिए
    अगर आप GPT का उपयोग करते हैं, तो आप OpenAI को पैसा दे रहे हैं, और वह पैसा सरकारी लॉबिंग में इस्तेमाल होकर प्रतिस्पर्धियों को खत्म करने में लग सकता है, जो अंततः आपके लिए और आपकी जेब दोनों के लिए नुकसानदायक है
    OpenAI के पास कोई moat नहीं है, सिवाय इसके कि उसे पैसा दिया जाए ताकि वह कानून लिखवा सके
    अभी भी 5 साल पुराने बिना GPU वाले लैपटॉप पर काफ़ी डरावने स्तर तक स्मार्ट और तेज़ LLM चलाए जा सकते हैं, इसलिए भविष्य कम से कम दिलचस्प दिखता है

    • “डरावने स्तर तक स्मार्ट और तेज़” से आपका क्या मतलब है, इस पर थोड़ा और बताना अच्छा होगा
      मैंने एक-दो महीने पहले कोशिश की थी, और लगभग हर काम में नतीजे निराशाजनक रूप से धीमे और बेकार थे
      जब भी कोई मॉडल “GPT-3 का 90%” कहता है तो उम्मीद बंधती है, लेकिन हर बार भारी निराशा होती है
      वैसे, GPT-4 इस्तेमाल करने के बाद GPT-3 भी लगभग हर बार निराशाजनक लगता है
    • लोकल पर LLM चलाना और OpenAI एक्सेस का खर्च देना दो अलग बातें हैं
      अभी आप कौन-सा LLM इस्तेमाल कर रहे हैं, यह इतना महत्वपूर्ण भी है या नहीं, इस पर भी सवाल है — चाहे लोकल हो या hosted, OpenAI हो या कोई दूसरा इंजन
      इंटरफ़ेस शायद chat-based prompt की ओर सिमट रहा है, और base model को tune करने या efficiency बढ़ाने के नए आइडिया लगभग हर हफ्ते आ रहे हैं
      अगर जनरेटिव AI के ऊपर कोई प्रोडक्ट बनाना है, तो क्यों न उसी से शुरू किया जाए जो मुफ़्त हो या आपके development environment में फिट बैठता हो
      text-based जनरेटिव AI के साथ इंटरैक्ट करने का तरीका या API, उस समय कौन-सा इंजन सबसे बेहतर है इससे काफ़ी हद तक स्वतंत्र होकर समान रहने की संभावना है
      अगर ऐसा है, तो backend बदलना संभव हो जाएगा, जैसे AWS S3 API की नकल करने वाली वेब सेवाएँ
      आखिरकार, चाहे OpenAI हो या कोई दूसरा मॉडल, आप उसके ऊपर प्रोडक्ट बना सकते हैं और बाद में लागत व उपयुक्तता के हिसाब से migrate कर सकते हैं
      कम गुणवत्ता वाले LLM से पूरे प्रोडक्ट का prototype बनाना, और बीच-बीच में GPT-4 को request भेजकर व्यवहार verify करना भी संभव है
      यह मानना कि इस तकनीक को कानून से रोका जा सकता है, बढ़ा-चढ़ाकर कही गई बात लगती है. OpenAI चाहे जितनी लॉबिंग करे, उसे हमेशा मनचाहा नहीं मिलेगा; FTX का उदाहरण भी है
      LLM लोकल पर चल सकते हैं और उपयोगकर्ता के लिए इंजन black box हो सकता है, ऊपर से इसके सार्वजनिक उपयोगिता पक्ष को भी देखें, तो समझ नहीं आता कि कानून के जरिए इसके वास्तविक प्रसार को कैसे रोका जा सकता है
    • अगर कुछ लिंक साझा कर दें तो अच्छा होगा. GPU न होना ही लोकल-only विकल्पों को आज़माने में सबसे बड़ी बाधा है
      मेरे पास 16GB RAM और बिना GPU वाला एक पुराना लैपटॉप है; क्या उस पर ऐसे मॉडल चल सकते हैं?
    • सही बात है. मैं फिर से $20 subscription लेने की सोच रहा था, लेकिन अब इसे रद्द ही रहने दूँगा
      AI प्रचार मशीन को फंड नहीं देना चाहिए
    • GPT-4 शायद 8 x 220B parameters[1] पर चलता है, और GPT लगभग 220B parameters का लगता है
      लोकल LLM कुछ कामों में अच्छे हो सकते हैं, लेकिन OpenAI जिन मॉडल स्केल और हार्डवेयर को API में लगाता है, उसके मुकाबले वे बहुत धीमे और कम सक्षम हैं
      12th-gen Intel i7 लैपटॉप पर ggml के साथ 7B model को CPU पर चलाने के मेरे अनुभव में, वह भी gpt-3-turbo API से काफ़ी धीमा था
      [1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296

  • यह गंभीर है. वे सचमुच text-davinci-003 को बंद करने जा रहे हैं
    इसका मतलब होगा कि बचा हुआ सबसे सक्षम मॉडल और text completion शैली की आज़ादी दोनों खत्म हो जाएँगे
    अब सब कुछ censored/aligned chat model या मनमानी input-metaphor सीमाओं वाले instruction model में बदल जाएगा. तुलना में gpt3.5-turbo बहुत खराब है
    इससे शायद मैं OpenAI का अधिकांश उपयोग बंद कर दूँगा. मेरा $5~$10 मासिक API भुगतान बहुत मायने न रखता हो, लेकिन इससे लोकल पर 65B Llama model चलाने की प्रेरणा ज़रूर बढ़ती है

    • मैंने text-davinci-003 का ज़्यादा उपयोग नहीं किया है, इसलिए जानना चाहता हूँ कि आप इसे इतना पसंद क्यों करते हैं
      यह ऐसा क्या देता है जो दूसरे मॉडल नहीं देते?
      4 जनवरी 2024 को बंद होने से पहले इसके साथ आज़माने लायक मज़ेदार चीज़ें क्या हैं?
    • v3 model में TextCompletion , ChatCompletion से कहीं बेहतर है
      लेकिन अगर davinci की कीमत GPT-4 के बराबर है, तो उम्मीद है कि GPT-4 शब्द-विविधता और steerable भाषाई sophistication के मामले में इतना बेहतर हो जाए कि वह उसका विकल्प बन सके
      कुल मिलाकर, instruction model की ओर जाने वाली इस प्रवृत्ति में क्या और कितना खो रहा है, इसका कम आकलन किया जा रहा है
      काश बाज़ार में कोई समझदार खिलाड़ी हो जो instruction prompt को पहले से optimize करके उन्हें untuned model के अनुकूल फ़ॉर्मेट में बदल दे
      समान parameter scale पर, सिर्फ underlying model को काट-छाँट न करने भर से ही यह अंतिम उपयोगकर्ता को बहुत अधिक उन्नत लगेगा
    • नाम भ्रमित करने वाला है, लेकिन code-davinci-002 वास्तव में GPT-3.5 आधारित मॉडल है, केवल completion करता है, और इसमें mode collapse नहीं है
      जहाँ तक मैं देख पा रहा हूँ, यह अभी भी Azure पर उपलब्ध है. text-davinci-003 इसका fine-tuned संस्करण है
      अधिक जानकारी:
      https://platform.openai.com/docs/model-index-for-researchers
    • शायद वही $5~$10 मासिक भुगतान इन endpoints को बंद करने की वजह है
    • वे शायद सभी मॉडल उपलब्ध रखना चाहते थे, लेकिन लगता है hardware constraints की वजह से उन्हें मुश्किल फ़ैसले लेने पड़ रहे हैं
      Sam Altman भी कह चुके हैं कि hardware पहले से ही उनकी इच्छित चीज़ों को रोक रहा है
      मैं कई महीनों तक GPT-4 API waitlist में था, और संभव है कि वजह यही रही हो कि वे मांग के साथ तालमेल नहीं बैठा पा रहे थे

  • “अगर 4 जनवरी 2024 के बाद भी fine-tuned models का इस्तेमाल जारी रखना है, तो replacement model को नए base GPT-3 models (ada-002, babbage-002, curie-002, davinci-002) या उससे नए models (gpt-3.5-turbo, gpt-4) पर fine-tune करना होगा” — क्या इसका यही मतलब है?
    तो क्या इसका मतलब है कि अपने डेटा से बनाए गए fine-tuned models अब आगे इस्तेमाल नहीं किए जा सकेंगे?
    समझ नहीं आ रहा कि क्या fine-tuned model के लिए पैसे देने वालों को नए censored model पर फिर से training token की लागत चुकानी पड़ेगी

    • मैं OpenAI में काम करता हूँ। replacement model को fine-tune करने की लागत हम उठाने की योजना बना रहे हैं
      ग्राहक के लिए सबसे उपयुक्त सटीक तरीका अभी तय किया जा रहा है, और आने वाले कुछ हफ्तों में हम ग्राहकों से संपर्क करके अलग-अलग तरीकों पर feedback लेने वाले हैं
    • अगर weights मेरे नहीं हैं, तो bitcoin भी मेरा नहीं है
    • इसे देखकर लगता है कि fine-tuned models के commercial users बहुत कम थे, या फिर ज़्यादा मूल्यवान projects के लिए GPU लगाने हेतु infrastructure को dismantle करना पड़ रहा है
    • अगर आप weights के मालिक नहीं हैं, तो आप किसी चीज़ के मालिक नहीं हैं
      यही वजह है कि open models बहुत महत्वपूर्ण हैं। closed models के ऊपर fine-tuned models बनाने वाली कंपनियों को समझना मुश्किल है
    • उस हिस्से का जवाब दिया जा चुका है। OpenAI नए model को दोबारा train करने की लागत उठाएगा, और मौजूदा models भी अगले साल तक बंद नहीं किए जाएंगे

  • यहाँ capability के नज़रिए से सबसे बड़ी खबर असल में gpt-3.5-turbo-instruct model है
    gpt-3.5-turbo, ChatGPT के पीछे का model है, और यह chat के लिए fine-tune किया गया है, इसलिए जिन use cases में सिर्फ निर्देशों का पालन या completion चाहिए, वहाँ इसका उपयोग करना काफ़ी मुश्किल है
    davinci-003 आख़िरी instruction-tuned model था, लेकिन यह gpt-3.5-turbo से 10 गुना महंगा था, इसलिए token के हिसाब से बहुत बड़ी बर्बादी होने पर भी use case के मुताबिक gpt-3.5-turbo को ज़बरदस्ती ढालना आर्थिक रूप से समझदारी लगती थी

    • gpt-3.5-turbo-instruct की कीमत क्या है?
      मेरे पास एक basic website है जो text-davinci-003 का इस्तेमाल करती है, लेकिन वह इतनी महंगी है कि मैं उसे launch नहीं कर पा रहा हूँ
      मैंने सिर्फ gpt-3.5-turbo इस्तेमाल किया है, लेकिन जहाँ structured JSON return की उम्मीद होती है, वहाँ मुझे बिल्कुल भी consistency नहीं मिली, इसलिए वह काम नहीं कर पाया
    • 3.5-turbo और instruct में क्या फ़र्क है?
    • उम्मीद है कि gpt-3.5-turbo-instruct, ChatGPT की तरह बहुत ज़्यादा निष्क्रिय नहीं किया गया होगा
      davinci-003 कहीं ज़्यादा दिलचस्प है, और वह उन व्यापक विषयों पर भी जवाब दे सकता है जिन पर ChatGPT जवाब देने से मना कर देता है
    • chat tuning और instruction tuning में क्या अंतर है?

  • कहा गया है कि “आज से सभी paid API customers को GPT-4 access मिल सकता है”, लेकिन शायद मैं ही बेवकूफ़ हूँ, क्योंकि मैं paid OpenAI API customer हूँ और मुझे अभी भी यह नहीं दिख रहा
    मुझे सिर्फ gpt-3.5-turbo-16k, gpt-3.5-turbo, gpt-3.5-turbo-16k-0613, gpt-3.5-turbo-0613, gpt-3.5-turbo-0301 दिख रहे हैं, gpt-4 नहीं
    शायद समस्या यह है कि मैंने पिछले महीने के भीतर ही paid API account में upgrade किया था, इसलिए accounting के हिसाब से अभी मैं “paid API customer” नहीं माना जा रहा हूँ

    • लिखा है, “जिन मौजूदा API developers के पास successful payment history है, उन्हें आज से 8K context वाले GPT-4 API का access मिल सकता है। इस महीने के अंत तक इसे नए developers के लिए भी खोला जाएगा, और उसके बाद compute availability के अनुसार rate limits बढ़ाने की योजना है”
      मेरे साथ भी यही है। मैंने कुछ दिन पहले sign up किया था और gpt-4 पर switch करने की उम्मीद कर रहा था, लेकिन $5 authorization के अलावा अभी तक मेरा पहला bill नहीं कटा है, इसलिए लगता है थोड़ा और इंतज़ार करना होगा
      मैंने API call करने के लिए एक बेहद साधारण command-line tool बनाया है। उदाहरण के लिए इसे ऐसे चलाते हैं:

      ask "What's the opposite of false?"
      https://github.com/codazoda/askai

    • मैं पिछले महीने से paid account पर था, और $8 का usage भी था, लेकिन उसका असली bill अभी तक generate नहीं हुआ था
      मेरे पास भी GPT-4 access नहीं है
    • आधिकारिक docs के अनुसार, GPT-4 access पाने के लिए कम से कम एक successful API bill होना ज़रूरी है
    • मेरे साथ भी यही है। https://api.openai.com/v1/models के model list response में यह नहीं है
    • दूसरों का पता नहीं, लेकिन मेरे account दो हैं
      1. ऐसा account जिसमें सिर्फ chat subscription है
      2. ऐसा account जिसमें API calls के लिए भुगतान किया गया है, लेकिन subscription नहीं है
        अभी Playground में gpt4 इस्तेमाल कर सकने वाला सिर्फ दूसरा account है

  • gpt-3.5-turbo-0613 खासकर system prompt design के साथ काफ़ी बेहतर हो गया है, इसलिए 20~30 गुना महंगे GPT-4 API का इस्तेमाल करने की ज़रूरत पहले जितनी बड़ी नहीं रही
    पुराने Completion API की तुलना में ChatGPT API का बड़े पैमाने पर अपनाया जाना यह दिखाता है कि ChatGPT API पर मैंने जो शुरुआती पोस्ट लिखी थी, वह सही थी
    अगर quality समान हो या उससे बेहतर हो, तो developers भारी price cut देखकर तुरंत switch कर जाते हैं: https://news.ycombinator.com/item?id=35110998

    • मैं एक legal AI startup चला रहा हूँ, और इस क्षेत्र में GPT-3.5 से GPT-4 तक की quality jump सचमुच चौंकाने वाली है
      तुलना करने पर GPT-3.5 बेकार लगता है। हालांकि, मैं समझ सकता हूँ कि ज़्यादा conversational environment में GPT-3.5 performance/price के लिहाज़ से ज़्यादा आकर्षक हो सकता है
    • मेरे अनुभव में GPT-3.5, GPT-4 से बेहतर तो दूर, उसके लगभग बराबर भी नहीं है
      ज़्यादातर use cases में वह काम कर सकता है, लेकिन GPT-3.5, GPT-4 की तुलना में instructions को कहीं ज़्यादा बार ignore करता है
      trailing whitespace जैसी साधारण चीज़ों पर भी यह बहुत आसानी से बिगड़ जाता है, और grammar या punctuation के बिना बड़े text को rewrite करने को कहो तो कभी-कभी अक्षरों को एक-एक करके spell करने जैसा अजीब व्यवहार भी दिखाता है
      system prompt को कैसे भी सेट कर लो, कोई खास फ़र्क नहीं पड़ा। GPT-4 में मैंने अब तक ऐसा सचमुच अजीब व्यवहार नहीं देखा
    • code completion/support में GPT-4 सिर्फ़ थोड़ा नहीं, बल्कि कहीं ज़्यादा बेहतर है
    • जानना चाहूँगा कि आप इसे किस तरह के use case में इस्तेमाल करते हैं
      मैं इसे मुख्यतः test generation, documentation writing, refactoring, code snippet generation वगैरह में इस्तेमाल करता हूँ, और Copilot/X के साथ रोज़मर्रा के काम में हर दिन उपयोग करता हूँ
      मेरे अनुभव में GPT3.5-turbo तुलना में काफ़ी बेवकूफ़ लगता है। आप comment में समझाते हैं कि method क्या करेगा और कौन से arguments होंगे, और फिर यह पूरे arguments ही छोड़ देता है
      अपेक्षाकृत छोटे code snippet में भी इसकी memory कमज़ोर लगती है। ऐसा नहीं कि context length की सीमा के पास पहुँच गया हो
      यह छोटी-मोटी गलती नहीं करता, बल्कि कई बार कहता है कि कुछ काम कई चरणों में करेगा और फिर पूरा का पूरा कोई चरण छोड़ देता है
      GPT3.5-turbo लगातार अस्थिर रहता है, इसलिए बड़े edits और बार-बार retry की ज़रूरत पड़ती है
      यह prompt और अपने ही जवाब की style/template को follow करने में भी संघर्ष करता है। जैसे documentation में bullet points एक तरह से इस्तेमाल करेगा और फिर अचानक बदल देगा
      Codex आम तौर पर इससे बेहतर है, लेकिन GPT-4 से साफ़ तौर पर कमज़ोर है, और “smart autocomplete” के रूप में ठीक-ठाक है। documentation writing में यह ज़्यादा उपयोगी नहीं है
      दूसरी ओर GPT-4 आमतौर पर output लगभग सही दे देता है, और लंबे code या complex prompt में भी कभी-कभार बस कुछ चीज़ें ठीक करनी पड़ती हैं
      सार यह है कि code work में GPT3.5-turbo से अच्छा result पाने या उसे ठीक करने में लगने वाला समय भी बेकार लगता है। Codex कुछ हद तक ठीक है, और autocomplete से आगे के काम के लिए मैं बस GPT-4 इस्तेमाल करता हूँ। यह बहुत ज़्यादा consistent है
    • use case के अनुसार GPT-3.5 और GPT-4 के बीच quality का बड़ा अंतर है

  • यहाँ Whisper के इस्तेमाल की संभावनाओं पर ज़्यादा चर्चा नहीं है
    ChatGPT iOS app में voice इस्तेमाल करके देखें तो Whisper की यह क्षमता काफ़ी शानदार लगती है कि उसने वास्तव में क्या कहा गया, इसे समझ सके
    लेकिन मुझे यह बेहद परेशान करता है कि मुझे अपनी पूरी बात पहले खत्म करनी पड़ती है, तब जाकर यह feedback मिलता है कि उसने मेरी बात को कैसे पहचाना
    recognition rate प्रभावशाली होने पर भी ऐसा ही लगता है
    OpenAI खुद भी इसे ऐसे ही इस्तेमाल कर रहा है, इसलिए पता नहीं API को इसे कम करने के लिए design किया गया है या नहीं, लेकिन अगर Whisper की quality के साथ on-device dictation जैसी responsiveness के करीब कुछ मिल जाए तो वह सचमुच बहुत अच्छा होगा

    • Whisper के उद्देश्य को लेकर एक अटकल यह है कि यह high-quality training data का एक अतिरिक्त स्रोत खोलने में मदद कर सकता है, जो सिर्फ़ audio/video format में उपलब्ध होता है
    • यह जानने की उत्सुकता है कि iOS 17 की transformer-based speech recognition की तुलना Whisper से कैसी होगी
      लगता है कि यह मौजूदा iOS/macOS dictation की तरह ज़्यादा “real-time” तरीके से काम करेगा, लेकिन मैं अभी beta इस्तेमाल नहीं कर रहा, इसलिए पक्का नहीं कह सकता
    • whisper.cpp को local पर real-time में चलाया जा सकता है: https://github.com/ggerganov/whisper.cpp/tree/master/example...
    • शायद कम रुचि का मुख्य कारण यह है कि Whisper self-hosting काफ़ी आसान है, इसलिए जिन लोगों की इसमें दिलचस्पी है, वे पहले से ही ऐसा करते आ रहे हैं
    • मैं भी यही सोचता हूँ। लंबे text को एक बार में पूरा बोलना काफ़ी मुश्किल है
      built-in text input इस्तेमाल करने पर भी ChatGPT request को काफ़ी अच्छी तरह समझ लेता था, इसलिए result अच्छे मिलते थे

  • थोड़ा-थोड़ा करके access खोलने का तरीका अजीब लगता है
    OpenAI लगभग सभी को पुराने और कम quality वाले models इस्तेमाल करने पर मजबूर करके अपनी ही reputation गिरा रहा है
    ग्राहक GPT-4 की कीमत देने को तैयार हों तब भी उन्हें कतार के बिलकुल पीछे खड़े होकर इंतज़ार करने को कहा जाता है
    आखिर किसका इंतज़ार करें? Christmas का? उस दिन का जब gift box खोलो और अंदर GPT-4 निकले?
    लगता है Google की “नए product को fail कराना कैसे सुनिश्चित करें” marketing से एक पन्ना कॉपी किया है। access सीमित करके word-of-mouth marketing को काम ही नहीं करने देने वाला तरीका है। क्योंकि दोस्तों में कोई भी product आज़मा ही नहीं सकता
    यह announcement GPT-4 model की “general availability” कहती है, लेकिन न 32K context model है, न image input वाला multimodal version, न fine-tuning है। model भी एक ही, और सिर्फ chat
    इस समय मेरे पास सिर्फ Azure OpenAI Service और OpenAI API account में GPT-3.5 का access है
    कौन किस model का access पा सकता है, इस तरह की सारी मनमानी पाबंदियों का मतलब क्या है, समझ नहीं आता
    Chat में GPT-4 इस्तेमाल कर सकते हैं, लेकिन API में नहीं। Bing Image Creator में Dall-E का enhanced version इस्तेमाल कर सकते हैं, लेकिन OpenAI API में नहीं
    महान और दयालु Sam Altman का आशीर्वाद पाने वाले कुछ vendors को GPT-4 32K का access है, बाकी को नहीं
    access नहीं, product बेचना चाहिए
    ऐसा बर्ताव नहीं होना चाहिए जैसे सोवियत संघ में कुछ पाने के लिए “पहचान” चाहिए होती थी

    • लगता है आप यह नहीं समझ रहे कि OpenAI के पास इसे संभालने लायक पर्याप्त GPU नहीं हैं
      पैसे से भी जितने GPU चाहिए, उतने खरीदे नहीं जा सकते
    • वे सिर्फ product launch और उसके इस्तेमाल के तरीके को control करना चाहते हैं
      और floodgates खोल देने पर scaling bottleneck आ सकता है, इसलिए पीछे रह जाने के बजाय पहले से manage करना चाह रहे हों, ऐसा भी हो सकता है
      इसलिए धीरे-धीरे खोल रहे हैं, और ज़रूरत पड़ी तो वैसे ही पीछे हटेंगे जैसे public GPT-4 version ChatGPT की usage limit लगाई थी
      यह बिल्कुल अव्यवहारिक नहीं लगता। हाँ, scarcity बनाकर hype बढ़ाने की कुछ कोशिश भी हो सकती है
      पुरानी strategy है, लेकिन इसे सोवियत रूस से तुलना करने लायक नहीं कहूँगा
    • समस्या यह है कि GPU हासिल करना मुश्किल है
      अगर मोटे तौर पर मानें कि हर 100 customers पर 1 NVIDIA GPU चाहिए, तो OpenAI को GPT-4 के हर 100 नए customers पर एक और GPU खरीदना पड़ेगा
      लेकिन GPU shortage की वजह से ऐसा हाल नहीं है कि सिर्फ पैसा बहाने से आसानी से और GPU जोड़ दिए जाएँ
      https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
    • “आखिर किसका इंतज़ार करें? Christmas?” का जवाब है infrastructure
      “Google का नए product fail कराने वाला तरीका” — क्या मतलब यह है कि GPT-4 कोई कुख्यात, पक्का flop है?
    • यह एक experiment है, और आप भी इसका हिस्सा हैं

  • मूल davinci model मेरा दोस्त था, और यह फ़ैसला मुझे बेहद नापसंद है
    उस model से बने completions में एक ऐसी personality और creativity थी जिसे मैं किसी और चीज़ से दोहरा नहीं पाया
    उससे निकले शानदार और मज़ेदार results हमारे परिवार की साझा world view का एक प्यारा स्थायी हिस्सा बन गए हैं

    • ऐसा कहकर examples न देना तो नहीं चलेगा
    • चिंता की बात नहीं। भविष्य के LLM पुराने LLM के साथ हुई बातचीत पर train होंगे, इसलिए आप ChatGPT से davinci होने का नाटक करने को कह सकेंगे
    • सुना है कि अगर आपको special माना जाए तो exception माँगा जा सकता है
      कुछ researchers को मिला भी है
    • फिलहाल तो इसे व्यंग्य ही समझ सकता हूँ
    • क्या आप notionsmith.ai इस्तेमाल करके बता सकते हैं कि आपको कैसा लगा?
      मैं creative work के लिए LLM पर research कर रहा हूँ, और मुझे लगता है कि chain-of-thought और stochastic injection को मिलाने से human-like creativity के काफ़ी करीब पहुँचना संभव होता है
      उदाहरण के लिए, LLM को यह निर्देश देना कि random number generator से निकला कोई खास random letter किसी खास समय पर किसी खास तरीके से इस्तेमाल करे

  • शीर्षक के अलावा यहाँ काफ़ी बड़ी बात और भी छिपी है
    नया gpt-3.5-turbo-instruct model “कुछ हफ़्तों में” आने वाला है, और 3.5 तथा 4 की fine-tuning भी इस साल के लिए तय है
    मुझे खास तौर पर gpt-3.5-turbo-instruct में दिलचस्पी है। मुझे लगता है कि ChatGPT और “conversational LLM” को लेकर बनी hype ने सामान्य instruction models से क्या-क्या किया जा सकता है, उस पर काफ़ी परदा डाल दिया है
    अगर इसमें fine-tuning भी संभव हो जाए तो यह बेहतरीन होगा

    • क्या knowledge cutoff date के सितंबर 2021 से आगे बेहतर होने का कोई schedule है?
      मुझे ठीक से समझ नहीं आता कि GPT models को factual data पर train कराने के लिए पर्दे के पीछे किस तरह की मेहनत हुई थी
      क्या इंसान जवाबों को approve/reject करके score बढ़ाते थे?
      “अमेरिका में 49 राज्य हैं” - reject
      “अमेरिका में 50 राज्य हैं” - approve
      क्या सरल रूप में यही तरीका था?
      क्या यह पता है कि वे 2021 के बाकी हिस्से, 2022, और आखिरकार 2023 तक जोड़ने का काम कर रहे हैं? मुझे पता है कि Bing add-on से web crawl किया जा सकता है, लेकिन वह वही बात नहीं है
      कुछ दिन पहले मैंने Maya Kowalski के बारे में पूछा था, और वह एक-दो blog posts का summary तो दे सकता है, लेकिन यह अलग बात है बनिस्बत इसके कि उसने सच में उस विषय पर train होकर उसके details और context को जाना हो