OpenAI DevDay: नए मॉडल और डेवलपर प्रोडक्ट्स

 (openai.com)
1 पॉइंट द्वारा GN⁺ 2023-11-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI ने DevDay में API प्लेटफ़ॉर्म के केंद्रीय मॉडल को GPT‑4 Turbo तक बढ़ाया, और Assistants API, multimodal capabilities व price cuts भी पेश किए, जिससे उसके डेवलपर प्रोडक्ट्स का दायरा काफी बढ़ा
  • 128K context और अप्रैल 2023 तक के ज्ञान वाला GPT‑4 Turbo, GPT‑4 की तुलना में input tokens के लिए 3 गुना और output tokens के लिए 2 गुना सस्ती कीमत पर उपलब्ध है
  • नई Assistants API Code Interpreter, Retrieval, function calling और बिना length limit वाले persistent threads को जोड़ती है, ताकि ऐप्स के अंदर goal-oriented AI assistants बनाए जा सकें
  • API में vision input, DALL·E 3 और text-to-speech (TTS) जोड़े गए हैं, और GPT‑3.5 Turbo default 16K context, JSON mode और parallel function calling को support करता है
  • paid GPT‑4 customers के tokens-per-minute limits 2 गुना बढ़ेंगे, और Copyright Shield ChatGPT Enterprise व developer platform की generally available features के लिए copyright infringement claims में defense और costs cover करता है

GPT‑4 Turbo और GPT‑3.5 Turbo अपडेट

  • GPT‑4 Turbo को GPT‑4 के next-generation model preview के रूप में लॉन्च किया गया
    • सभी paid developers API में gpt-4-1106-preview pass करके इसे इस्तेमाल कर सकते हैं
    • stable production-ready model कुछ हफ्तों में लॉन्च करने की योजना है
    • 128K context window के साथ एक single prompt में 300 pages से ज्यादा के बराबर text डाला जा सकता है
    • world knowledge अप्रैल 2023 तक शामिल है
  • कीमत GPT‑4 से कम हो गई है
    • GPT‑4 Turbo input tokens: $0.01/1,000 tokens
    • GPT‑4 Turbo output tokens: $0.03/1,000 tokens
    • input GPT‑4 से 3 गुना, और output 2 गुना सस्ता है
  • function calling अब एक message में कई functions call करने देता है
    • उदाहरण के लिए “कार की खिड़कियां खोलो और AC बंद कर दो” जैसी request पहले की तरह कई round trips के बिना single message में process की जा सकती है
    • GPT‑4 Turbo के सही function parameters return करने की संभावना ज्यादा हो गई है
  • JSON mode model response को valid JSON तक सीमित करता है
    • नए API parameter response_format से syntactically correct JSON object generation enforce किया जा सकता है
    • यह उन developers के लिए उपयोगी है जो function calling के बाहर Chat Completions API से JSON generate करते हैं
    • GPT‑4 Turbo “हमेशा XML में जवाब दें” जैसे specific format instructions follow करने वाले tasks में पिछले models से बेहतर perform करता है
  • reproducible outputs और log probabilities भी जोड़ी गई हैं
    • seed parameter ज्यादातर cases में consistent completion return कराकर reproducible outputs support करता है
    • इसका उपयोग request replay debugging, ज्यादा comprehensive unit tests और model behavior control में किया जा सकता है
    • GPT‑4 Turbo और GPT‑3.5 Turbo के सबसे likely output tokens के लिए log probabilities return करने की capability कुछ हफ्तों में लॉन्च होने वाली है
    • यह search experience में autocomplete जैसी capabilities बनाने में उपयोगी है
  • नया GPT‑3.5 Turbo default 16K context window support करता है
    • API में इसे gpt-3.5-turbo-1106 से access किया जा सकता है
    • instruction following improvements, JSON mode और parallel function calling support करता है
    • internal evaluation में JSON, XML, YAML generation जैसे format-following tasks में 38% सुधार हुआ
    • मौजूदा gpt-3.5-turbo-0613 model 13 जून 2024 तक access के लिए उपलब्ध रहेगा
    • gpt-3.5-turbo नाम इस्तेमाल करने वाली applications का automatic upgrade अब नहीं किया जाएगा

Assistants API, Retrieval, Code Interpreter

  • Assistants API को developers को applications के अंदर agent-like experiences बनाने में सक्षम करने के पहले कदम के रूप में लॉन्च किया गया
    • assistant एक goal-oriented AI है जिसके पास specific instructions होते हैं, जो additional knowledge का उपयोग करता है, और tasks perform करने के लिए model व tools call करता है
    • यह natural-language-based data analysis apps, coding assistant, AI travel planner, voice-controlled DJ, smart visual canvas जैसे use cases को target करता है
    • यह OpenAI के नए GPTs product को संभव बनाने वाली custom instructions, Code Interpreter, Retrieval, function calling जैसी capabilities पर बनाया गया है
  • मुख्य बदलाव persistent और बिना length limit वाला thread है
    • developers thread state management OpenAI को सौंप सकते हैं
    • यह context window constraints को bypass करने के लिए मौजूदा thread में नए messages जोड़ने के तरीके से काम करता है
  • Assistants API कई tools call कर सकती है
    • Code Interpreter: sandboxed execution environment में Python code लिखता और run करता है, graphs और charts generate करता है, और अलग-अलग data व formats की files process करता है
    • Retrieval: proprietary domain data, product information, user-provided documents जैसे model के बाहर के knowledge से assistant को augment करता है
    • Retrieval इस्तेमाल करने पर developers को document embedding storage, chunking और search algorithms खुद implement करने की जरूरत नहीं होती
    • Function calling: assistant developer-defined functions call कर सकता है और function response को messages में reflect कर सकता है
  • API के जरिए भेजा गया data और files OpenAI models की training में इस्तेमाल नहीं किए जाते, और developer उन्हें उचित समझने पर delete कर सकते हैं
  • Assistants API beta में सभी developers के लिए उपलब्ध है, और बिना code के Assistants playground में test की जा सकती है
  • Assistants API और tools की कीमतें OpenAI pricing page पर उपलब्ध हैं

API में जोड़ी गई vision·image·voice capabilities

  • GPT‑4 Turbo with vision Chat Completions API में images को input के रूप में ले सकता है
    • caption generation, real-world image detail analysis, images वाले documents पढ़ने जैसे use cases support करता है
    • BeMyEyes इस technology का इस्तेमाल visually impaired और low-vision users के product identification, store navigation जैसे daily tasks support करने में करता है
    • developers इसे gpt-4-vision-preview से access कर सकते हैं
    • vision support stable release के हिस्से के रूप में main GPT‑4 Turbo model में शामिल किया जाएगा
    • कीमत input image size पर निर्भर करती है, और 1080×1080 image 1 को GPT‑4 Turbo में भेजने की cost $0.00765 है
  • DALL·E 3 को Images API में dall-e-3 model specify करके apps और products में integrate किया जा सकता है
    • Snap, Coca-Cola, Shutterstock customers और campaigns के लिए images व designs programmatically generate करने में DALL·E 3 का इस्तेमाल करते हैं
    • पिछले DALL·E versions की तरह API में misuse रोकने में मदद करने वाली built-in moderation शामिल है
    • format और quality options उपलब्ध हैं, और कीमत per generated image $0.04 से शुरू होती है
  • text-to-speech (TTS) API text से human-level speech generate करती है
    • नया TTS model 6 preset voices प्रदान करता है
    • model variants दो हैं: tts-1 और tts-1-hd
    • tts-1 real-time use cases के लिए, और tts-1-hd quality के लिए optimized है
    • कीमत प्रति 1,000 input characters $0.015 से शुरू होती है

Model customization

  • OpenAI GPT‑4 fine-tuning के लिए experimental access program बना रहा है
    • early results के अनुसार GPT‑4 fine-tuning में, GPT‑3.5 fine-tuning से मिले बड़े improvements के विपरीत, base model की तुलना में meaningful improvements पाने के लिए ज्यादा work की जरूरत है
    • GPT‑4 fine-tuning की quality और safety सुधरने पर, GPT‑3.5 fine-tuning का actively इस्तेमाल करने वाले developers को fine-tuning console में GPT‑4 program के लिए apply करने का option मिलेगा
  • Custom Models program उन organizations के लिए है जिन्हें fine-tuning से ज्यादा customization चाहिए
    • यह खास तौर पर कम से कम अरबों tokens के पैमाने वाले बहुत बड़े proprietary datasets रखने वाले domains पर लागू होता है
    • चुनी गई organizations OpenAI researchers की dedicated group के साथ specific domain के लिए custom GPT‑4 train कर सकती हैं
    • additional domain-specific pre-training से लेकर specific domain के अनुरूप custom RL post-training तक, model training process के सभी stages modify किए जा सकते हैं
    • organizations को अपने custom model तक exclusive access मिलता है
    • custom model दूसरे customers को provide या share नहीं किया जाएगा, और दूसरे models की training में भी इस्तेमाल नहीं होगा
    • custom model training के लिए दिया गया proprietary data दूसरे contexts में reuse नहीं किया जाएगा
    • शुरुआत में यह बहुत सीमित और costly program के रूप में शुरू होगा

Price cuts और rate limit विस्तार

  • OpenAI ने platform के कई क्षेत्रों में कीमतें घटाईं
    • सभी कीमतें 1,000 tokens basis पर हैं
  • GPT‑4 Turbo pricing
    • GPT‑4 8K: input $0.03, output $0.06
    • GPT‑4 32K: input $0.06, output $0.12
    • GPT‑4 Turbo 128K: input $0.01, output $0.03
  • GPT‑3.5 Turbo pricing
    • existing GPT‑3.5 Turbo 4K: input $0.0015, output $0.002
    • existing GPT‑3.5 Turbo 16K: input $0.003, output $0.004
    • new GPT‑3.5 Turbo 16K: input $0.001, output $0.002
    • नई कीमत केवल आज introduce किए गए नए GPT‑3.5 Turbo पर लागू होती है
    • existing GPT‑3.5 Turbo 4K users के लिए input token price 33% कम हो जाएगी
  • GPT‑3.5 Turbo fine-tuning pricing
    • existing GPT‑3.5 Turbo 4K fine-tuning: training $0.008, input $0.012, output $0.016
    • new GPT‑3.5 Turbo 4K·16K fine-tuning: training $0.008, input $0.003, output $0.006
    • input tokens 4 गुना, और output tokens 2.7 गुना सस्ते हो गए
    • नए GPT‑3.5 Turbo model में 4K जैसी ही कीमत पर 16K context fine-tuning support है
    • नई कीमत fine-tuned gpt-3.5-turbo-0613 models पर भी लागू होती है
  • rate limit भी बढ़ाई गई
    • सभी paid GPT‑4 customers का tokens-per-minute limit 2 गुना बढ़ता है
    • नई rate limit, rate limit page पर देखी जा सकती है
    • automatic rate limit increases तय करने वाले usage tiers public किए गए
    • account settings में usage limit increase request की जा सकती है

Copyright Shield और open-source releases

  • Copyright Shield एक व्यवस्था है जिसमें customer को copyright infringement से जुड़े legal claims मिलने पर OpenAI defense करेगा और incurred costs bear करेगा
    • coverage ChatGPT Enterprise और developer platform की generally available features पर लागू है
    • OpenAI systems में built-in copyright safeguards के जरिए customers की protection करने की अपनी position बनाए रखता है
  • Whisper large-v3 release किया गया
    • यह OpenAI के open-source automatic speech recognition model ASR का next version है
    • कई languages में performance improved है
    • OpenAI निकट भविष्य में API में Whisper v3 support करने की योजना बना रहा है
  • Consistency Decoder भी open source के रूप में release किया गया
    • यह Stable Diffusion VAE decoder का drop-in replacement है
    • Stable Diffusion 1.0+ VAE के साथ compatible सभी images को improve करता है
    • text, faces और straight lines में बड़े improvements देता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-11-07
Hacker News की रायें

  • घोषित किए गए ज़्यादातर products और कीमतों में कटौती OpenAI API platform पर निर्भरता बढ़ाने की दिशा में लगते हैं, और competition बढ़ चुका है इसलिए यह चौंकाने वाला नहीं है
    खासकर GPTs/GPT Agents और Assistants demo किसी ऐसी black box के अंदर black box जैसे लगे जिन्हें कहीं और ले जाना संभव नहीं है
    घोषणा पर प्रतिक्रियाएं मिली-जुली हैं, और अभी-अभी updated API docs की details और देखनी होंगी: https://platform.openai.com/docs/api-reference
    pricing page भी update हो गया है: https://openai.com/pricing
    खास तौर पर DALL-E 3 API image के हिसाब से $0.04 है, जो इस क्षेत्र की दूसरी services से लगभग एक order of magnitude महंगा है
    keynote में ज़िक्र न की गई नई pricing structure की एक दिलचस्प बात यह है कि fine-tuned ChatGPT 3.5 अब basic ChatGPT 3.5 की 3x cost तक नीचे आ गया है। पहले 8x था, वहां से कम होकर fine-tuning अब ज़्यादा दमदार विकल्प बन गया है

    • अच्छी strategy है। moat से बचना हो तो quality को बहुत घटाकर आखिरकार किसी दूसरी company के moat में जाना पड़ेगा, या quality बहुत घटाते हुए कहीं ज़्यादा पैसा खर्च करना पड़ेगा
      खुद पता करने पर लगा कि अपने LLM को पूरी तरह own करने के लिए सबसे practical end-to-end setup यही है कि consumer motherboard में कुछ 3090 cards लगाकर 24/7 चलाए जाएं, लेकिन operating cost काफी है, performance भी पर्याप्त नहीं है और यह काफ़ी महंगा पड़ता है
      थोड़ा और खर्च करें तो 128GB/192GB Apple Silicon setup खरीदकर quality और operating cost बेहतर की जा सकती है, लेकिन यह OpenAI की “Turbo” service से बहुत-बहुत धीमा है
      OpenAI से दूर जाने की मेरी सबसे बड़ी वजह यह महसूस होना था कि chat experience को API की तुलना में कहीं ज़्यादा subsidy दी जा रही है, लेकिन इस announcement ने उस gap को काफी हद तक बराबर कर दिया लगता है
      सीधे शब्दों में कहें तो OpenAI इतने आकर्षक terms दे रहा है कि उन्हें ignore करना मुश्किल है, और यह बड़े पैमाने पर subsidized service है। आगे का switching cost, अभी मिल रहे फायदे से ज़्यादा होगा ऐसा नहीं लगता
    • यहां निर्भरता वाले तर्क को मैं ठीक से नहीं समझ पा रहा। अगर competitor आ जाए तो दोबारा सीखना पड़ेगा, इसलिए switching cost तो होगी, लेकिन code के नजरिए से यह बस एक key और अपेक्षाकृत छोटे API के functions हैं
      नई regulation न हो तो, किसी specific use case में Anthropic को प्रभावी ढंग से इस्तेमाल करना सीखने की cost के अलावा OpenAI से Anthropic जैसी जगह पर जाने से रोकता क्या है, यह समझ नहीं आता
      ऐसा भी नहीं है कि OpenAI के पास database से data निकालने के लिए कोई अलग export feed हो
    • “Assistants demo ऐसा black box के अंदर black box है जिसे दूसरी जगह ले जाया नहीं जा सकता” वाली राय को मैं उल्टा देखता हूं
      OpenAI admin screen का नया Threads interface black box effect को कम करने के लिए ठीक-ठीक दिखाता है कि input और output को कैसे interpret किया जा रहा है
      Source: https://platform.openai.com/docs/api-reference/runs/listRunS... देखें तो chain किन steps से गुजरती है, यह ठीक-ठीक पता चलता है। पहले से ज़्यादा visibility है
    • Mistral पर community 2 हफ्ते काम करे तो शायद हो सकता है। उतना अच्छा नहीं होगा, लेकिन private तौर पर free use संभव होगा, और performance शायद OpenAI से 6~12 महीने पीछे रहेगी
    • फिर भी product खुद कमाल का है। alternatives इस्तेमाल करके देखे हैं, लेकिन Claude भी ChatGPT जितना अच्छा नहीं था
      Claude हर दो जवाबों में एक बार ethics lecture दे देता है, जिससे हर बार cost लगती है, और उसे product में embed करने का मन मुश्किल से बनता है

  • 29 नवंबर 2022 को, Wikipedia के हिसाब से ChatGPT launch से एक दिन पहले, अगर किसी का समाज से कोई संपर्क नहीं था और वह आज लौटकर OpenAI keynote देखता, तो शायद उसका दिमाग घूम जाता
    इन products की progress की speed और usefulness सचमुच हैरान करने वाली है

    • ChatGPT आने के समय मैं jail में था। CNN पर एक बहुत तेज़ी से गुजरती headline में ही देखा, और दोस्त को phone करके पूछा, “Chat OPT आखिर है क्या?”
      संयोग से मैंने अभी-अभी The Singularity is Near दूसरी बार पढ़कर खत्म की थी
    • मुझे समझ नहीं आ रहा कि यहां कौन सा breakthrough feature देखा गया
      code interpreter और function calling तो कोई भी advanced LLM पहले से कर सकता था, अगर वह instructions को इतना अच्छे से follow कर सके कि strictly parsable format में tokens output करे। उस output को parser में डालकर result फिर LLM में डालना होता। ChatGPT जैसी online API से करना cumbersome था, पर पूरी तरह possible था
      custom chatbots भी पहले से बनाना आसान था, और Poe.com जैसी creation services भी मौजूद थीं
      JSON output के लिए भी बस ऐसा AI चाहिए जो token probabilities दे सके और instructions अच्छे से follow करे, और एक schema validator जो schema के मुताबिक JSON बनने के लिए tokens चुने
      GPT-4 128k revolutionary लगता है, लेकिन Claude 100k पहले से था, और LLM evaluation context size के साथ square में बढ़ता है, इसलिए शायद वे context expansion के लिए कोई trick इस्तेमाल कर रहे होंगे। मुझे नहीं लगता वे “complete” tokens होंगे। अगर मैं गलत हूं तो खुशी से मानूंगा
      बड़ा context useful है, लेकिन coding में किसी specific symbol के लिए 2~3 level recursive “go to definition” results context में भरकर सही context दिया जाए तो 8k context से भी कुछ हद तक काम हो सकता है
      DALL-E 3 सबसे innovative लगता है, लेकिन इस्तेमाल करने पर SD से composition ability काफी बेहतर होने के बावजूद कभी-कभी अब भी टूट जाता है
      कुल मिलाकर आज की announcement पिछले साल के धमाकेदार breakthrough के ऊपर की polishing और refinement जैसी लगती है
    • उस रात Twitter खोला तो जिन tech लोगों को follow करता था, वे एक छोटे हरे icon के साथ हुई बातचीत के ढेर सारे screenshots share कर रहे थे
      मैंने सोचा, “ओह, फिर वही 5 मिनट इस्तेमाल करके छोड़ देने वाला chatbot trend,” लेकिन मैं पूरी तरह गलत था
    • क्या दूसरों को भी यह अजीब लगता है कि ChatGPT आए 1 साल भी नहीं हुआ? ऐसा लगता है जैसे यह बहुत लंबे समय से है
    • मैं समाज से लगातार contact में था, फिर भी अब तक दिमाग घूमने जैसा लग रहा है

  • Whisper V3 आ गया है: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
    लगता है यह large मॉडल का नया checkpoint है। अच्छा होगा अगर छोटे मॉडल भी update हों, लेकिन Whisper V2 का इस्तेमाल करने वाली चीज़ों में इसे integrate करना आसान होना चाहिए
    इसे अपने local voice AI में भी जोड़ने का सोच रहा हूँ, इसलिए उत्साहित हूँ: https://www.microsoft.com/store/apps/9NC624PBFGB7
    लगता है ChatGPT voice पहले से ही Whisper V3 इस्तेमाल कर रहा होगा, लेकिन फिर भी typical Whisper hallucination “Thank you for watching!” दिखा। यह कोई क्रांतिकारी बदलाव नहीं, बल्कि incremental improvement जैसा लगता है

    • क्या silence वाले हिस्सों में भी ऐसी hallucination आती है?
      training data में subtitles वाले बहुत सारे videos थे, कुछ video/audio कटे हुए थे और subtitles में आखिरी line वैसे ही बची रह गई थी, इसलिए लगता है कि अब silence को TV program की closing greeting जैसा समझने लगा है
      निजी तौर पर, अभी voice में bottleneck उसके आसपास का infrastructure है। जैसे speech की शुरुआत और अंत कैसे detect करें, sound या voice play करते हुए भी user को बोलने के लिए ready कैसे रखें
      ये जरूरी components हैं, लेकिन कुल मिलाकर अच्छे से काम नहीं करते, और hardware/software integration की सच में जरूरत है
    • अच्छा लगा कि Sama ने 45 मिनट की presentation में Whisper पर सचमुच सिर्फ 16 सेकंड खर्च किए: https://app.reduct.video/o/eca54fbf9f/p/250fab814f/share/9d9...
    • क्या अभी भी speaker diarization है?
    • अफसोस है कि Whisper API को अभी upgrade नहीं किया गया। इसे जल्दी https://whispermemos.com पर इस्तेमाल करने लायक बनाना चाहता हूँ

  • 128,000 token context, Assistants API, JSON mode, April 2023 तक का knowledge cutoff, GPT-4 Turbo, कम कीमतें, custom GPTs—कुल मिलाकर announcements काफी ज्यादा थे
    https://openai.com/pricing

    • मुझे लगा था GPT-4 अब internet access कर सकता है

  • अब [1] custom gpt-n model pretraining के लिए 2 से 3 मिलियन डॉलर दे सकते हैं। इस पर ज्यादा ध्यान नहीं गया, लेकिन यह काफी अच्छा लगता है
    अगर कोई startup इतना पैसा खर्च कर सकता है, तो यह निश्चित रूप से competitive advantage दे सकता है
    [1] https://openai.com/form/custom-models
    link भूल गया था, इसलिए जोड़ दिया

    • शायद ऐसा नहीं होगा। क्योंकि जिस model के लिए तुमने पैसे दिए, उसे वे इस्तेमाल करेंगे और तुम्हारे customers ले जाएंगे
    • वाह, यह short term में हमारी company पर सीधे असर डाल सकता है। हम सब कुछ internally करने की कोशिश कर रहे थे, लेकिन सफलता लगभग नहीं मिली
      करीब 3 मिलियन डॉलर भी एक आकर्षक option लग सकता है
    • अगर आप OpenAI के final customer हैं, तो अपने business के लिए gpt-n model pretrain कराना ठीक हो सकता है
      लेकिन अगर आप दूसरे customers के लिए gpt-n model pretrain करने वाले OpenAI middleman हैं, तो समझ नहीं आता कि आप क्यों सोचते हैं कि OpenAI आखिरकार आपको bypass नहीं करेगा
      APIs और platforms के ऊपर बनी startups को देखें, तो हर success story के बदले API और platform rule changes की वजह से बनी कब्रें भरी पड़ी हैं

  • comments में skeptics से कहना चाहूँगा कि कमरे में मौजूद वह elephant जिसे हर कोई मानना नहीं चाहता, यह है कि GPT-4 अभी भी बाकी सब से काफी बेहतर है

    • मैंने GPT-4 subscription cancel कर दिया। code के लिए Claude ज्यादा useful था, और Chinese से जुड़े कामों के लिए Qwen बेहतर था
      average में यह बेहतर हो सकता है, लेकिन मुझे नहीं लगता कि हर task में बेहतर है
      दूसरे models भी बेहतर होते रहेंगे
    • GPT-4 के साथ supplement के तौर पर मैं सिर्फ Phind इस्तेमाल करता हूँ, और सिर्फ वही भी काफी impressive है
    • क्या कोई promising चीज़ है?
      crowdsourced training अभी भी feasible नहीं है?
      मुझे याद है diffusion model world पहले साल में कितनी तेजी से आगे बढ़ा था, लेकिन Midjourney के बाद DALL-E 3 से तुलना करें तो कुछ हद तक ठहराव जैसा लगता है। क्या text models के साथ भी वही स्थिति है?
    • Grok? मजाक कर रहा हूँ

  • OpenAI जिस playbook को follow कर रहा है, वह AWS जैसी है। text generation, image generation जैसी raw capabilities से शुरू करके EC2, S3, RDS की तरह foundation बनाना, और उसके ऊपर Assistants API जैसी value-added services जोड़ना
    इस मामले में यह AWS और दूसरे competitors से काफी आगे है

    • Amazon की तरह यह अपने customers से compete करेगा। इस मामले में भी यह पहले से काफी आगे है। असल में यह लगभग सभी की digital property लेकर उसे resale करने जैसा है
    • “काफी आगे है” कहना सही होगा या नहीं, पता नहीं
      AWS के पास practically 7 साल तक कोई competition नहीं था, और आज के बाकी बड़े clouds सब reality को ignore कर रहे थे
      OpenAI के पास पहले से ही कई competitors हैं। हो सकता है अभी leaderboard में वे कम अच्छे हों, लेकिन यह ऐसा case नहीं है कि उन्होंने कई सालों तक इस field को ignore किया और फिर देर से catch up कर रहे हों

  • ऐसे टूल इस्तेमाल करने के अनुभव से, क्या ये codebase maintenance में भी मददगार रहे हैं? सीधे तौर पर, या फिर ज़्यादा पढ़ने योग्य और बेहतर व्यवस्थित code के ज़रिए परोक्ष रूप से—यह जानना चाहूंगा।
    ये टूल नया code लिखने में बेहतरीन लगते हैं। मेरे अनुभव में, एक developer जितना code maintain कर सकता है उसकी एक ऊपरी सीमा होती है। आखिरकार आप सब कुछ दिमाग में नहीं रख पाते, और किसी चीज़ को समझने के लिए रुकना पड़ता है, जिससे maintenance और कठिन हो जाता है।
    अगर ऐसा टूल ज़्यादा code लिखने में मदद करता है लेकिन maintenance में मदद नहीं करता, तो मुझे हैरानी है कि क्या ऐसी स्थिति आएगी जहां बहुत सारा नया code बहुत तेज़ी से लिखा जा चुका होगा, फिर कोई भी उसकी सामग्री को गहराई से नहीं समझेगा और सब कुछ ठप हो जाएगा।

    • मेरा open source AI coding tool aider इस मायने में अलग है कि इसे मौजूदा codebase के साथ काम करने के लिए design किया गया है। आप किसी मौजूदा git repository में जाकर तुरंत बदलाव, नए feature वगैरह मांग सकते हैं।
      https://github.com/paul-gauthier/aider
      यह पूरे repository code के abstract syntax tree का विश्लेषण करके “repository map” बनाता है, और इसके ज़रिए GPT को बड़े codebase समझने में मदद करता है।
      यह सब tree-sitter से बनाया गया है, वही tool जो GitHub और कई लोकप्रिय IDEs में code search और navigation को power करता है।
      https://aider.chat/docs/repomap.html
    • सही। LLM से junior developers को “augment” करने वाली कंपनियों को positive coverage तो खूब मिलेगी, लेकिन देखना होगा कि market इस व्यवहार को लगातार कितना reward करता है।
      Consumers शायद तुरंत पहचान लेंगे, और B2B side कुछ सालों तक झांसे में रह सकती है, लेकिन आखिरकार churn करके उन ज़्यादा quality वाले traditional competitors की ओर जा सकती है जो senior talent hire करते हैं।
      हालांकि, ऐसा model भी आ सकता है जो consistent codebase को बढ़ाने और maintain करने में सक्षम हो। अभी हम जहां हैं, उसे देखते हुए यह असंभव task नहीं लगता। लेकिन जैसा आपने कहा, अभी यह काफी दूर है।
    • मैं कुछ समय से इसे दो नज़रियों से सोच रहा हूं।
      पहला, traditional software engineer का दौर खत्म होकर debugger का दौर आ सकता है। Human debuggers दिन भर breakpoints set करेंगे और LLM द्वारा बनाए गए code के समंदर में bugs खोजेंगे।
      दूसरा, hiring Leetcode problems से बदलकर “debugger निकालिए और बताइए इस code में क्या गलत है” हो जाएगी।
    • IntelliJ और VS Code के लिए ठीक-ठाक CodeGPT plugins हैं। मूल रूप से आप code select करके criticism, refactoring, optimization, bug finding, documentation, explanation वगैरह मांग सकते हैं।
      बड़े context का मतलब संभावित रूप से पूरा codebase डाल पाना है। ज़्यादातर लोगों के लिए छोटे codebase की details भी दिमाग में रखना मुश्किल होता है।
      अगला कदम tools के साथ और गहरा integration है, ताकि आप जो भी बदलें, tests pass हों और code compile हो—यह सुनिश्चित किया जा सके। Tests लिखना भी उन कामों में से एक है जो यह tool कर सकता है।
      इसलिए ऐसे legacy codebases को AI सहायता से rescue करना संभव हो सकता है, जिन्हें सामान्य तौर पर आर्थिक रूप से संभालना कठिन होता।
      मुझे उम्मीद है कि अगले कुछ सालों में AI-assisted developer productivity काफी बढ़ेगी। निजी तौर पर लगता है कि यह statically typed languages में बेहतर काम करेगा, क्योंकि tool के लिए reasoning करना कहीं आसान होता है।
    • अभी हम API testing के लिए यही कर रहे हैं। हमारी website देखना अच्छा रहेगा।
      https://ai.stepci.com

  • “आने वाले कुछ हफ्तों में हम GPT-4 Turbo और GPT-3.5 Turbo द्वारा generated सबसे संभावित output tokens की log probabilities लौटाने की सुविधा भी launch करने की योजना बना रहे हैं, जो search experience में autocomplete जैसी functionalities बनाने के लिए उपयोगी होगी।”
    यह काफी चौंकाने वाला है। क्या उन्हें इस बात की चिंता नहीं कि लोग सिर्फ GPT-4 output से सीखकर model capabilities चुराने के अलावा, बाकायदा logit knowledge distillation करने लगेंगे?
    सबको लगता था कि शुरुआत में logit access रोकने की वजह यही थी।

    • model को reverse engineer करने के लिए कितने GB logits चाहिए होंगे? और अगर वे कई models का ensemble इस्तेमाल कर रहे हैं, तो यह dead end बन जाएगा।
    • मेरे मन में भी यही आया। मेरा अनुमान है कि उन्होंने काफी analysis किया होगा और इसे पर्याप्त safe माना होगा।
      “सबसे संभावित” का मतलब सचमुच बस कुछ ही tokens हो सकते हैं, और पूरे distribution के अनुपात में यह बहुत थोड़ा cover कर सकता है।
    • उनकी नज़र में शायद executive order उस problem को solve कर देता है—open models को illegal बनाने के तरीके से।
      शायद उनका वह आकलन सही भी हो सकता है।