HN परिचय: एक सरल ChatGPT प्रॉम्प्ट जनरेटर

 (mitenmit.github.io)
1 पॉइंट द्वारा GN⁺ 2024-02-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह एक सरल वेब पेज है जहाँ खाली जगहें भरकर ChatGPT प्रॉम्प्ट तैयार किया जाता है
  • टेम्पलेट में क्रम से role, आवश्यक output, काम करने का तरीका, शर्तें, अनुरोध, और अंतिम output format दर्ज कराया जाता है
  • उदाहरण वाला हिस्सा भी इसी संरचना को दोहराकर तैयार प्रॉम्प्ट का रूप दिखाने के लिए बनाया गया है
  • फिलहाल वास्तविक उदाहरण खाली है और सिर्फ “builder का उपयोग करके prompt बनाइए” जैसी सूचना दिखाई देती है
  • अभी जो फीचर पुष्टि के साथ दिखता है, वह जटिल सेटिंग्स नहीं बल्कि prompt builder के लिए वाक्य टेम्पलेट के ज्यादा करीब है

खाली जगहों पर आधारित प्रॉम्प्ट संरचना

  • पेज पर LLM Prompting शीर्षक के नीचे, उपयोगकर्ता वाक्यांशों को जोड़कर प्रॉम्प्ट बनाता है
  • इनपुट का प्रवाह निम्न वाक्यांशों से बना है
    • Act like a ,
    • I need a ,
    • you will ,
    • in the process, you should ,
    • please ,
    • input the final result in a ,
    • here is an example:

वर्तमान प्रदर्शित स्थिति

  • वही प्रॉम्प्ट संरचना उदाहरण क्षेत्र में भी दोहराई जाती है
  • वास्तविक उदाहरण की सामग्री अभी भरी नहीं गई है
  • अंत में [Empty prompt, use the builder to create a prompt] संदेश दिखाई देता है
  • उपलब्ध सामग्री के आधार पर, इसका मुख्य फीचर खाली जगहों पर आधारित प्रॉम्प्ट जनरेशन टेम्पलेट है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-02
Hacker News की राय

  • सोच रहा हूँ कि आजकल लोग अब भी custom prompts अक्सर इस्तेमाल करते हैं या नहीं
    पहले इनके नतीजे काफी बेहतर होते थे, इसलिए मैं prompt engineering और custom prompts लिखने में काफी गहराई से लगा हुआ था, लेकिन हर update के साथ ChatGPT का ध्यान प्रभावी ढंग से steer करने का तरीका बदलता गया और यह धीरे-धीरे झंझट भरा हो गया
    अब कभी-कभी custom ChatGPT इस्तेमाल करता हूँ, लेकिन ज्यादातर default ChatGPT ही इस्तेमाल करता हूँ, और लगता है कि quality का फर्क भी कम हो गया है
    लंबे prompts से response time बहुत बढ़ जाता है, इसलिए धीमे लेकिन बेहतर जवाब की बजाय तेज़ काफी अच्छा जवाब पसंद आने लगा है। एक बार में perfect जवाब पाने की कोशिश करने के बजाय, अगर कुछ कमी रह जाए तो follow-up सवाल पूछना आसान लगता है

    • अब मुझे लगता है कि इसे “prompt engineering” से ज्यादा prompt की समझ बनाना मानना चाहिए। असली prompt engineering, जैसे evaluation के साथ A/B tests, हैरान करने वाली हद तक कम है, और कई बार तो शुरुआत से ही यह सही सोचने का तरीका भी नहीं होता
      ChatGPT के बारे में intuition विकसित करना और ChatGPT बेहतर काम करे इसके लिए उसे क्या चाहिए, इसे theory of mind की तरह सोचना ज़रूरी है
      ज्यादातर लोग सिर्फ prompts edit करना सीख लें तो ChatGPT अच्छे से इस्तेमाल कर सकते हैं। यह असल में एक hidden feature जैसा है, और app में अब भी इस्तेमाल नहीं किया जा सकता
      AI से interact करना सीखने के लिए होशो-हवास में रहना शायद optimal न हो, इसलिए strong cocktail या marijuana की भी सिफारिश करना चाहूँगा, लेकिन इस आखिरी दावे के लिए controlled experiment चाहिए
    • मेरा भी यही अनुभव है। वे असली users की chats से model को लगातार fine-tune कर रहे होंगे, इसलिए चलते-फिरते लिखे गए rough prompts भी यह धीरे-धीरे बेहतर समझने लगा है
    • यह दिलचस्प है कि input जितना लंबा होता है, response उतना धीमा हो जाता है। मुझे तो speed में कोई गिरावट महसूस नहीं हुई, सोच रहा हूँ कि क्या यह सिर्फ ChatGPT free plan में होता है
    • जब ChatGPT4 ने Bing access करने की feature बंद न की जा सकने वाली बना दी, तब मैंने account cancel कर दिया
    • मुझे नहीं लगता कि आप “prompt engineering” में गहराई से शामिल थे। मेरे हिसाब से prompt engineering पहले भी, अब भी, और आगे भी कोई वास्तविक field नहीं है

  • इस field में अभी-अभी आने वाले व्यक्ति के लिए इसे बहुत उपयोगी बनाने के लिए कुछ चीज़ें चाहिए। अच्छी बात है कि इनमें से कुछ पहले से implement हैं
    pre-instructions और post-processing prompts दोनों के लिए कई templates देना अच्छा होगा। जैसे output को JSON, list, limited CSV जैसे किसी खास format का जितना हो सके पालन करवाने वाले proven prompts, या main prompt में basic jailbreaks को जितना हो सके रोकने वाले input templates
    रोज़ ChatGPT के साथ काम करने वाले लोगों ने जो optimal warm-up तरीके या unexpected output runaway रोकने के तरीके पहले ही खोज लिए हैं, उन्हें शुरुआत से सीखने में काफी समय लगता है, इसलिए भरोसेमंद templates beginners के लिए शानदार होंगे

    • valid JSON चाहिए वाले API responses को JSON mode में request किया जा सकता है: https://platform.openai.com/docs/api-reference/chat/create#c...
    • response को valid JSON के रूप में पाना हो तो इस तरह की strong instruction काफी अच्छी चली
      “नतीजे में सारी सामग्री शामिल होनी चाहिए और वह valid JSON होना चाहिए। किसी भी हालत में इस format से बाहर न जाएँ। सभी values complete होनी चाहिए और एक भी छूटनी नहीं चाहिए। JSON result के अलावा कोई text न जोड़ें।”
      सिर्फ valid JSON माँगने पर हमेशा उम्मीद के मुताबिक नहीं होता था, उदाहरण के लिए GPT-4 API formatting जोड़ देता था, इसलिए instructions धीरे-धीरे और ज्यादा detailed करनी पड़ीं

  • अभी ChatGPT से जुड़े काम में काफी गहराई से लगा हूँ और हर हफ्ते 1–2 apps बना रहा हूँ, इसलिए शायद थोड़ा biased हो सकता हूँ
    अगर expected target user वह है जो prompt-based large language models से परिचित नहीं है, तो उसके लिए problem भी और solution space भी पर्याप्त रूप से स्पष्ट define नहीं हैं
    उदाहरण के लिए predefined options कम हैं और “खुद define करें” बहुत ज्यादा है। दिए गए selectors का मतलब भी opaque है; जैसे “you will Detect” user की कैसे मदद करेगा, यह समझना मुश्किल है
    नतीजतन choices का output पर क्या असर होगा यह unclear हो जाता है, और tool chicken-and-egg problem बन जाता है। यह system को समझने में मदद करने का दावा करता है, लेकिन इसे effective ढंग से इस्तेमाल करने के लिए system को समझना पड़ता है
    इस स्तर पर तो शायद ChatGPT से ही effective prompt बनवाना आसान होगा

    • मैंने माना था कि target user prompt-based large language models के बारे में थोड़ा जानता है और उसे थोड़ी guidance चाहिए। ऐसा हो तो यह skill बढ़ाने के लिए एक बढ़िया और simple framework लगता है
    • मैंने कुछ महीनों से छोटी project कभी नहीं की, इसलिए सोच रहा हूँ कि आधे हफ्ते में बन सकने वाली app किस तरह की होती है। क्या share करने के लिए कोई link है

  • जब हम ऐसे bots से बात करते हैं, तो आखिर हम किससे बात कर रहे होते हैं?
    https://medium.com/@colin.fraser/who-are-we-talking-to-when-...
    इस technology को anthropomorphic chat interface, यानी इंसान की पोशाक जैसा दिखने वाले रूप में पेश करना एक deliberate choice है। अगर हमारे अंदर कहीं बंद general-purpose AI हो, तो chat interface से interact करना natural लग सकता है
    लेकिन उल्टा भी आसान है: chat interface से interact करने वाली technology को ही general-purpose AI मान बैठना। Playground में large language model को सीधे इस्तेमाल करके देखें, तो chat सिर्फ smoke and mirrors की एक layer है, जो बातचीत के साथी होने का भ्रम मजबूत करती है

    • GPT सबसे बढ़कर एक improv actor है। इसे दिए गए text को जितना हो सके natural तरीके से आगे बढ़ाने के लिए train किया गया है, इसलिए जब इसे नहीं पता होता कि आगे क्या आना चाहिए, तो यह कुछ plausible गढ़ लेता है
      फिर इस universal improv actor को एक खास role, यानी सवालों के जवाब देने वाले व्यक्ति, की acting करने के लिए train किया जाता है। लेकिन अगर इसे किसी भी सवाल का जवाब देने दें तो harmful advice भी आ सकती है, इसलिए इसे harmless advice देने वाले question-answerer के रूप में train किया जाता है
      model से काम करवाने के लिए यह जानना पड़ता है कि उसे कौन-सा role निभाना चाहिए। “सवाल का जवाब देने की कोशिश करने वाला व्यक्ति” वाला role flexible है और responses को ज्यादा customized बनाने देता है
      यानी conversational interface आधा इसलिए है कि यह self-explanatory UI है, और आधा इसलिए कि model को useful role निभाने के लिए steer किया जा सके

  • यह ChatGPT से खास तौर पर जुड़ा हुआ नहीं दिखता। यह बस टेक्स्ट ब्लॉक्स पर क्लिक करके उन्हें जोड़ने वाला एक फॉर्म है, और लगता है कि इसे किसी भी बड़े भाषा मॉडल के साथ इस्तेमाल किया जा सकता है
    मुझे लगता है कि किसी एक proprietary provider के बड़े भाषा मॉडल पर अटके रहना इस क्षेत्र की प्रगति में मददगार नहीं है

    • सही है। यह निश्चित रूप से सिर्फ ChatGPT के लिए नहीं है; यह वाक्य के हिस्सों को भरने वाले फॉर्म जैसा है। हालांकि ChatGPT सबसे आसानी से पहचाने जाने वाले नामों में से एक है, और लगता है कि यह कई फॉर्मैट्स में आउटपुट बेहतर देता है
      यह prompt builder किसी भी बड़े भाषा मॉडल के साथ इस्तेमाल किया जा सकता है

  • अच्छा होता अगर इस बात का वास्तविक analysis होता कि हर prompt feature response को कैसे बेहतर बनाता है

    • थोड़ा प्रचार करूं तो, शायद ऐसा टूल मौजूद हो :) https://github.com/agenta-ai/agenta
      हम prompts और अधिक जटिल बड़े भाषा मॉडल workflows का मूल्यांकन करने के लिए एक platform बना रहे हैं
      users को देखकर लगता है कि prompt results बहुत probabilistic होते हैं। इन्हें generalize करना मुश्किल है; उदाहरण के लिए, sales assistant tool बना रहे एक user ने पाया कि prompt में वाक्यों का क्रम भर बदलने से accuracy काफी बढ़ गई
    • पिछले महीने के blog post के footnote में मैंने लिखा था कि system prompt में “अगर अच्छा जवाब दोगे तो मैं 500 डॉलर tip दूंगा” लिखने से model performance बेहतर होती है, लेकिन Hacker News पर लोग बहुत नाराज हुए और इसे pseudoscience कहा: https://news.ycombinator.com/item?id=38782678
      मैं इस effect को थोड़ा अधिक academic तरीके से दिखाने वाला नया लेख तैयार कर रहा हूं
    • दुर्भाग्य से, दो कारणों से यह बेहद मुश्किल है
      पहला, input space लगभग अनंत है। मनमाना natural language input, optional data sources, और मनमाने use cases—सब संभव हैं, इसलिए किसी वास्तविक use case पर लागू करने से पहले यह पहले से जानना बहुत मुश्किल है कि response “बेहतर” हो सकता है या नहीं
      दूसरा, output space को भी मापना कठिन है। उपयोगिता की परिभाषा हर व्यक्ति के लिए अलग हो सकती है, और खासकर जब “बेहतर search engine” से आगे बढ़कर GPT से creative outputs बनाने लगते हैं, तो यह और जटिल हो जाता है

  • मैंने कभी नहीं समझा कि “prompt engineering” का मतलब क्या है। आखिर यह “क्या आप जिस समस्या को हल करना चाहते हैं या जो काम कराना चाहते हैं, उसे साफ और सटीक तरीके से समझा सकते हैं” से आगे कभी गया भी है या नहीं। यह basic communication skill जैसा लगता है
    मैंने ऐसा कोई rigorous data नहीं देखा कि “तुम B हो, C करते हो और तुम्हें D करना है” जैसे किसी खास format का prompt, दूसरी साफ और concise instructions से बेहतर होता है
    आश्चर्य है कि जिसे पहले अच्छी communication skill कहा जाता था, उसे नया नाम दे दिया गया है; लेकिन शायद engineers लिख नहीं पाते वाला पुराना stereotype सच्चाई के ज्यादा करीब हो

  • सोच रहा हूं कि “~की तरह व्यवहार करो” वाला pattern अब भी जरूरी है या नहीं
    GPT-4 में मैंने इसे इस्तेमाल करना बंद कर दिया है। default “persona” ज्यादातर prompts का काफी अच्छा जवाब दे देती है, और “...के expert की तरह व्यवहार करो” कहने से noticeably बेहतर results नहीं आते
    मुझे असल में ऐसा tool चाहिए जो छोटे बदलावों वाले कई prompts को हल्के लेकिन प्रभावी ढंग से test और compare कर सके, ताकि अंदाजा लग सके कि कौन-सा बेहतर है। सोच रहा हूं कि क्या किसी ने ऐसा अच्छा tool देखा है

    • सोच रहा हूं कि क्या आप कई prompts को question set के against test करना चाहते हैं। मुझे ठीक इसी उद्देश्य का tool नहीं मिला, और prompts compare करते समय मैंने एक छोटे script से questions और prompts को बार-बार चलाया
      ऐसा tool बनाना मजेदार होगा जिसमें बस test करने वाले prompts जोड़ने हों, लेकिन सबसे पहले जो चुनौती सामने आती है वह इस्तेमाल करने के लिए question set बनाना है
      यह भी जानना चाहूंगा कि यहां prompt testing से आपका मतलब question set पर system prompts test करना है, या एक ही question को कई तरीकों से पूछकर test करना है
    • मुझे लगता है वह pattern अब ज्यादा उपयोगी नहीं है
      और ऐसा tool बनाकर तैयार होने पर Twitter पर DM करूंगा

  • आम तौर पर लगता है कि instructions की list जितनी लंबी होती है, ChatGPT द्वारा हर instruction को follow करने की संभावना उतनी कम हो जाती है। ध्यान बंटने जैसा लगता है—अगर सिर्फ “A करो” कहें तो वह A करता है, लेकिन “A भी करो और B भी करो” कहें तो दोनों करता है, पर हर एक को केवल आंशिक रूप से
    मेरा सबसे अच्छा अनुभव short या medium-length prompt देने और फिर one-shot या few-shot examples इस्तेमाल करने का रहा है। खासकर जब एक साथ कई काम करवाने हों, few-shot अच्छा काम करता है