500 मिलियन GPT टोकन ट्रेन करने के बाद मिली सीखें

GPT इस्तेमाल में संक्षिप्त प्रॉम्प्ट बेहतर नतीजे देते हैं

• GPT उन बातों को प्रॉम्प्ट में जरूरत से ज्यादा स्पष्ट लिख देने पर, जिन्हें वह पहले से सामान्य ज्ञान के रूप में जानता है, उलझ सकता है
• उदाहरण के लिए, टेक्स्ट में उल्लेखित state को वर्गीकृत करने के काम में 50 states की सूची देने की बजाय केवल state name माँगना अधिक सटीक परिणाम देता है

केवल OpenAI की chat API से भी काफी विविध और शक्तिशाली फीचर बनाए जा सकते हैं

• Langchain जैसे अतिरिक्त टूल के बिना, सिर्फ chat API का उपयोग करके JSON extraction जैसी जरूरी क्षमताएँ सरलता से लागू की जा सकती हैं
• GPT मॉडल अपग्रेड होने पर भी codebase में सिर्फ एक string बदलनी होती है
• OpenAI API की error handling और input length limit जैसी चीजों के लिए बस कुछ सरल logic जोड़ना पर्याप्त है

जब GPT को कुछ भी नहीं मिलता, उस स्थिति को संभालना कठिन है

• "अगर कुछ न मिले तो empty value return करो" जैसे प्रॉम्प्ट में GPT अक्सर मनगढ़ंत चीजें बना देता है या आत्मविश्वास खो देता है
• इसका समाधान यह है कि input खाली होने पर GPT को प्रॉम्प्ट ही न भेजा जाए

GPT सीमित लंबाई का ही output बना सकता है

• GPT-4 की input limit 128k tokens है, लेकिन output limit केवल 4k tokens है
• JSON objects की सूची माँगने पर GPT के लिए 10 से अधिक items को स्थिर रूप से बनाना कठिन होता है

vector database और RAG/embedding सामान्य उपयोग में बहुत मददगार नहीं हैं

• search के अलावा दूसरे उपयोगों में RAG अच्छा काम नहीं करता
• relevance तय करने की कठिनाई, data isolation की समस्या, और user satisfaction में गिरावट जैसी वजहों से इसकी व्यावहारिक उपयोगिता कम हो जाती है
• सामान्य search के लिए GPT का उपयोग करने वाला faceted search या complex query generation अधिक उपयुक्त है

GPT वास्तव में hallucination नहीं बनाता

• दिए गए टेक्स्ट से जानकारी extract करने वाले कामों में GPT बहुत भरोसेमंद परिणाम देता है
• लेकिन जब टेक्स्ट में जानकारी मौजूद न हो, तब यह मनगढ़ंत चीजें बना सकता है
• इसलिए पर्याप्त context देना और GPT के जवाबों को सही तरह से संभालना महत्वपूर्ण है

GN⁺ की राय

• ऐसा लगता है कि केवल transformer models, web data, और large-scale infrastructure से AGI तक पहुँचना कठिन होगा
• GPT-4 निश्चित रूप से उपयोगी है, लेकिन उससे आगे बढ़ने के लिए model architecture में ही नवाचार जरूरी लगता है
• OpenAI के अलावा विकल्प अभी GPT के स्तर तक पहुँचते नहीं दिखते, इसलिए अंततः GPT के अगले version upgrades पर ध्यान देना होगा
• अनुमान है कि GPT-5 का प्रदर्शन GPT-4 की तुलना में क्रांतिकारी स्तर का नहीं होगा। लगता है कि cost-benefit की सीमा करीब आ गई है
• इसलिए फिलहाल GPT-4 का उपयोग करके optimal prompt design और applications पर ध्यान देना अधिक व्यावहारिक विकल्प लगता है

[GN⁺]

Hacker News राय

• एक टीम हर महीने 5 अरब से अधिक tokens प्रोसेस कर रही है, और इसे मैनेज करने वाले engineering manager ने अपना अनुभव साझा किया।
  • Langchain जैसी कई abstractions समय से पहले की गई चीज़ें हैं, और prompts असल में सिर्फ API calls हैं, इसलिए उन्हें किसी खास चीज़ की तरह ट्रीट करने के बजाय सामान्य code के रूप में लिखना ज़्यादा आसान है।
  • summarization मज़बूत है, लेकिन reasoning कठिन है, खासकर जब LLM के लिए context समझना और यह बताना मुश्किल हो कि उसे भरोसा नहीं है।
  • यह game changer है, लेकिन दुनिया का अंत नहीं; कुछ नौकरियों पर इसका बड़ा असर पड़ेगा, लेकिन यह internet जितना क्रांतिकारी नहीं है और ज़्यादातर ताकत को amplify करने का काम करेगा।
• एक व्यक्तिगत writing app में OpenAI models इस्तेमाल करने का अनुभव साझा किया गया।
  • हाल के 2 सालों के draft notes में Haskell का ज़िक्र ढूँढने जैसे intelligent search features लागू करने की कोशिश की गई, लेकिन ChatGPT से structured JSON data लौटाने के लिए कहना सिर्फ आंशिक रूप से काम करता है।
  • इसके बजाय data को SQLite database में डालकर ChatGPT को schema भेजना और उससे मनचाही चीज़ लौटाने वाली query लिखने के लिए कहना बेहतर काम करता है।
• बेहतर prompts इस्तेमाल करने पर सस्ते models का उपयोग किया जा सकता है।
  • LLM को एक soft exit दिया जाता है (अगर sufficient information न हो तो वह hypothesis बना सकता है, लेकिन उसे यह स्पष्ट रूप से बताना होगा और evidence व logical basis देना होगा), फिर उससे अपने ही response का मूल्यांकन करने के लिए कहा जाता है।
• यह सवाल उठाया गया कि JSON mode की ज़रूरत क्यों नहीं है।
• prompt को इस तरह test किया गया कि अगर rules text पर लागू न हों तो original text बिना किसी बदलाव के लौटाया जाए, लेकिन ChatGPT ने literal string "The original text without any changes" लौटा दी।
• GPT बहुत शानदार है, लेकिन इस व्याख्या से कड़ा असहमत है कि जितनी अधिक अस्पष्टता होगी, उतनी गुणवत्ता और generalization बेहतर होगी।
  • natural language GPT के लिए सबसे संभावित output है, और developers ने सिर्फ उसी पर अधिक निर्भर किया है जिसमें GPT अच्छा है।
  • सरल tasks से भी GPT को fail कराया जा सकता है, और यह विचार कि GPT mapping को "समझता" है, अपने आप में high-order pattern matching का संकेत देता है।
• GPT-4 एक साल पुराना model होने के बावजूद दूसरे LLMs की तुलना में कहीं बेहतर performance दिखाता है; usage pattern के अनुसार hallucination कम होती है, और जब उसे पता होता है कि वह सही है तो वह ज़्यादा अड़ा रहता है।
• company names निकालते समय, अगर text में कोई company न हो तो मनमानी company बता देने वाली null hypothesis की समस्या होती है।
  • पहले "क्या यह text किसी company का उल्लेख करता है?" पूछने और फिर यदि हाँ, तो "इस text में company names की सूची दो" कहने वाला 2-step approach ज़रूरी है।
• GPT का 10 से अधिक items को स्थिर रूप से वापस न कर पाना सिर्फ prompt की समस्या है; JSON keys का उपयोग करने पर यह 200 items तक सही क्रम में लौटा सकता है।
• 'null' समस्या हल करने के लिए टिप्स:
  • "कुछ भी वापस मत करो" कहने के बजाय "XYZ का default value लौटाओ" कहें, और फिर राज्य के नाम खोजने की तरह उस default value (XYZ) पर text search कर लें।
  • system prompt का उपयोग करके LLM को X role निभाने के लिए कहा जा सकता है।
• token-based truncation के लिए एक micro package पेश किया गया।