OpenAI की Prompt Engineering Guide

• बड़े language models (जिन्हें GPT models भी कहा जाता है) से बेहतर परिणाम पाने की रणनीतियाँ और तकनीकें साझा करने वाली एक guide
• यहाँ बताए गए तरीके कभी-कभी साथ मिलाकर और भी बड़ा प्रभाव दे सकते हैं, और सबसे उपयुक्त तरीका खोजने के लिए प्रयोग करने की सलाह दी जाती है
• example prompts को देखकर यह सीखा जा सकता है कि model क्या कर सकता है

बेहतर परिणाम पाने के लिए छह रणनीतियाँ

स्पष्ट निर्देश लिखें

• model मन नहीं पढ़ सकता, इसलिए जो चाहिए उसे स्पष्ट रूप से माँगना चाहिए।
• अधिक प्रासंगिक उत्तर पाने के लिए विवरण शामिल करें, model से किसी खास व्यक्ति की भूमिका निभाने को कहें, या input के अलग-अलग हिस्सों को स्पष्ट दिखाने के लिए delimiters का उपयोग करें।
• task पूरा करने के लिए आवश्यक steps बताएँ, examples दें, और output की इच्छित लंबाई निर्दिष्ट करें।

संदर्भ text प्रदान करें

• language models खासकर कठिन विषयों या quotations, URL माँगे जाने पर आत्मविश्वास के साथ गलत उत्तर गढ़ सकते हैं।
• model को निर्देश दें कि वह संदर्भ text का उपयोग करके उत्तर दे, या संदर्भ text से उद्धृत करके उत्तर दे।

जटिल tasks को सरल sub-tasks में बाँटें

• जैसे software engineering में जटिल systems को modular components में तोड़ना अच्छी प्रथा है, वैसे ही language model को दिए गए tasks के लिए भी यही लागू होता है।
• जटिल tasks में error rate अधिक होती है, और उन्हें अक्सर सरल tasks के workflow के रूप में दोबारा परिभाषित किया जा सकता है।
• intent classification का उपयोग करके user query के लिए सबसे प्रासंगिक निर्देश पहचानें, और बहुत लंबी बातचीत की ज़रूरत वाले conversational applications में पिछली बातचीत को summarize या filter करें।
• लंबे documents को हिस्सों में summarize करें और recursive तरीके से पूरा summary तैयार करें।

model को "सोचने का समय" दें

• अगर model को उत्तर देने से पहले "chain of thought" माँगा जाए, तो जल्दबाज़ी में उत्तर देने की बजाय वह अधिक विश्वसनीय उत्तर दे सकता है।
• model को पहले अपना समाधान तैयार करने के लिए कहें, और model की reasoning process छिपाने के लिए internal monologue या queries की एक श्रृंखला का उपयोग करें।
• model से पूछें कि क्या पिछली pass में उससे कुछ छूट गया था।

बाहरी tools का उपयोग करें

• model की कमजोरियों को पूरा करने के लिए दूसरे tools के outputs model को दें।
• embedding-based search का उपयोग करके efficient knowledge retrieval लागू करें, code execution से अधिक सटीक गणना करें, या external API calls करें।
• model को किसी विशेष function तक पहुँच की अनुमति दें।

बदलावों का व्यवस्थित परीक्षण करें

• performance improvement तब आसान हो जाता है जब उसे मापा जा सके।
• यह जाँचने के लिए कि बदलाव का overall performance पर सकारात्मक प्रभाव पड़ रहा है या नहीं, एक comprehensive test suite (या "eval") परिभाषित करना आवश्यक है।
• मूल्यांकन के लिए model output की तुलना gold-standard answers से करें।

GN⁺ की राय

• सबसे महत्वपूर्ण बिंदु: prompt engineering language model के performance को optimize करने का एक मुख्य तरीका है, जो user intent को सटीक रूप से समझने और मनचाहा परिणाम पाने के लिए ठोस निर्देश प्रदान करता है।
• दिलचस्प होने का कारण: ये रणनीतियाँ AI language models के उपयोग को अधिक प्रभावी बनाती हैं, और खासकर GPT-4 जैसे नवीनतम models में और बेहतर performance हासिल करने में मदद करती हैं।
• ध्यान देने योग्य बात: यह guide ठोस examples और रणनीतियाँ देकर उन सामान्य समस्याओं को हल करने में मदद करती है जिनका सामना शुरुआती software engineers को language models का उपयोग करते समय हो सकता है, और इस तरह वास्तविक काम में models का अधिक प्रभावी उपयोग करने के तरीके सुझाती है।

[ninebow]

OpenAI की GPT best practices: अवलोकन. बेहतर जवाब पाने के लिए prompt लिखने की 6 रणनीतियाँ

[GN⁺]

Hacker News राय

• ChatGPT system prompt पर चर्चा

  • जटिल नियमों को संभालने में ChatGPT के नवीनतम मॉडल प्रभावी हैं।
  • अनुभव के अनुसार, system prompt इस्तेमाल करने की तुलना में अधिक सख्त निर्देश देना बेहतर है।
  • function calling और structured data support, prompt engineering का एक रूप हैं, और केवल system prompt इस्तेमाल करने की तुलना में कहीं अधिक शक्तिशाली हैं।
  • system prompt और structured data results की तुलना करने वाला एक दिलचस्प demo उदाहरण है।

• स्पेनिश में cheeseburger ऑर्डर करने का अनुभव

  • ChatGPT और Google Translate द्वारा सुझाए गए स्पेनिश अनुवाद पर server ने अजीब प्रतिक्रिया दी।
  • अनुवाद को बेहतर बनाने में रुचि होने के कारण, Mexican-American लोगों के लिए अनुकूलित Spanish translation मांगा गया।
  • अगले दिन जब Cheeseburger sin pepinillos वाक्यांश के साथ ऑर्डर किया गया, तो server ने कहा कि यह बेहतर है।

• LLM (Large Language Models) की विशेषताओं पर चर्चा

  • input और instruction के बीच लगभग कोई भेद नहीं होता, इसलिए उपयोगकर्ता का input prompt का हिस्सा माना जाता है।
  • इसी कारण ज्ञात prompt injection vulnerability उत्पन्न होती है, लेकिन यह इसलिए है क्योंकि मॉडल स्वभावतः instruction और input में अंतर नहीं करता।
  • prompt और input का संयोजन ही program का पूरा input बन जाता है, और इसी वजह से program के behavior पर भरोसा करना कठिन होता है।
  • यही कारण है कि LLM अभी तक जटिल कार्यों के लिए पर्याप्त रूप से विश्वसनीय नहीं हैं।

• prompt लिखना सीखने को लेकर झिझक

  • नए versions और अलग-अलग LLM अलग तरह से प्रतिक्रिया देते हैं, इसलिए prompt writing को पूरी तरह सीखने में बहुत समय लगाने को लेकर झिझक है।
  • system के अधिक smart होने पर शायद जटिल prompts की आवश्यकता ही न रहे।

• prompt engineering और Google advanced search queries की तुलना

  • बुनियादी सवालों के लिए chatbot अच्छी तरह काम करता है, लेकिन जैसे-जैसे मांगी गई जानकारी अधिक जटिल होती है, सटीक जानकारी पाना कठिन हो जाता है।
  • Google search में भी बुनियादी जानकारी आसानी से मिल जाती है, लेकिन जब कम स्पष्ट परिणाम चाहिए होते हैं, तो advanced search operators का उपयोग किया जाता है।

• Google search prompts और LLM prompts की तुलना

  • लोग इंटरनेट से अपनी जरूरत की चीज़ पाने के लिए Google में साधारण keywords टाइप करने के आदी हो गए हैं।
  • अब जटिल वाक्य लिखने पड़ना समय लेगा, और यह एक अस्थायी चरण हो सकता है।

• मानव-मानव संचार विफलता और LLM की सीमाएँ

  • इंसानों के बीच संचार अक्सर विफल होता है, और अधिकांश लोग प्रभावी communicator नहीं होते।
  • यह उम्मीद करना भी कठिन है कि मशीनें इंसानी मन और इरादों को समझने में बेहतर होंगी।
  • prompt engineering का अस्तित्व इंसानों के बीच संचार कौशल सुधारने के लिए होना चाहिए।

• prompt engineering शब्द की आलोचना

  • यह राय दी गई कि engineering शब्द का अत्यधिक दुरुपयोग हो रहा है।

• LLM द्वारा इंसानों को स्पष्ट संचार सिखाने की भूमिका

  • LLM के माध्यम से इंसान अधिक स्पष्ट रूप से संवाद करना सीख रहे हैं।

• LLM-आधारित chat app implementation की सहजता

  • सैद्धांतिक प्रगति के बिना भी LLM-आधारित chat app को implement करने में कई फायदे हैं।
  • अभी से बेहतर परिणाम पाने के लिए developers के प्रयास की आवश्यकता है।