GN⁺: GPT-Prompt-Engineer - GPT प्रॉम्प्ट इंजीनियर

 (github.com/mshumer)
13 पॉइंट द्वारा xguru 2023-07-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • प्रॉम्प्ट इंजीनियरिंग किसी रसायनविद्या जैसी है: यह अनुमान लगाने का कोई स्पष्ट तरीका नहीं है कि सबसे प्रभावी क्या होगा
  • सबसे उपयुक्त प्रॉम्प्ट खोजने के लिए लगातार प्रयोग करते रहना ही एकमात्र रास्ता है
  • gpt-prompt-engineer एक ऐसा टूल है जो इन प्रयोगों को बहुत आसान बना देता है
  • अगर आप काम के बारे में बताएं और कुछ सरल टेस्ट केस दें, तो सिस्टम कई प्रॉम्प्ट बनाता है, उनकी टेस्टिंग और मूल्यांकन करता है, और सबसे अच्छा प्रॉम्प्ट ढूंढ देता है
  • उपलब्ध फीचर
    • प्रॉम्प्ट जनरेशन : GPT-4 और GPT-3.5-Turbo का उपयोग करके विभिन्न प्रॉम्प्ट बनाना
    • प्रॉम्प्ट टेस्टिंग : हर प्रॉम्प्ट को टेस्ट केस के आधार पर टेस्ट किया जाता है, उसका प्रदर्शन निकाला जाता है, और ELO रेटिंग सिस्टम से उसकी रैंकिंग की जाती है
    • ELO रेटिंग सिस्टम: हर प्रॉम्प्ट 1200 ELO रेटिंग से शुरू होता है, फिर एक-दूसरे से प्रतिस्पर्धा करते हुए प्रदर्शन के अनुसार बदलता है। इससे यह देखा जा सकता है कि कौन-सा प्रॉम्प्ट सबसे बेहतर है
    • Classification वर्जन: वर्गीकरण कार्यों के लिए डिज़ाइन की गई नोटबुक। यह हर टेस्ट केस की सटीकता का मूल्यांकन करती है और हर प्रॉम्प्ट का स्कोर तालिका में दिखाती है
    • Weights & Biases Logging: temperature, max tokens, system/user prompts, test cases, final ELO ratings जैसी वैल्यूज़ की logging का समर्थन

GN⁺ द्वारा संक्षेपित सामग्री

  • प्रॉम्प्ट इंजीनियरिंग प्रयोग-केंद्रित रसायनविद्या जैसी है।
  • gpt-prompt-engineer एक ऐसा टूल है जो प्रॉम्प्ट इंजीनियरिंग को एक नए स्तर पर ले जाता है।
  • यह GPT-4 और GPT-3.5-Turbo का उपयोग करके use case और test cases के आधार पर प्रॉम्प्ट बनाता है।
  • सिस्टम ELO रेटिंग सिस्टम का उपयोग करके प्रॉम्प्ट की टेस्टिंग और रैंकिंग करता है।
  • ELO रेटिंग सिस्टम के जरिए सबसे प्रभावी प्रॉम्प्ट को आसानी से देखा जा सकता है।
  • gpt-prompt-engineer में classification tasks को संभालने वाला एक classification वर्जन भी है।
  • यह test cases की accuracy का मूल्यांकन करता है और हर प्रॉम्प्ट के लिए स्कोर देता है।
  • Weights & Biases के लिए वैकल्पिक logging के जरिए configuration और ranking को ट्रैक किया जा सकता है।
  • gpt-prompt-engineer का उपयोग करने के लिए Google Colab या लोकल Jupyter notebook में notebook खोलनी होती है।
  • OpenAI API key जोड़ें और उपयुक्त model version चुनें।
  • use case और test cases को परिभाषित करें।
  • बनाए जाने वाले प्रॉम्प्ट की संख्या चुनें।
  • प्रॉम्प्ट बनाने और टेस्ट करने के लिए उपयुक्त function को कॉल करें।
  • अंतिम ELO रेटिंग या स्कोर तालिका में दिखाया जाता है।
  • प्रोजेक्ट में योगदान का स्वागत है।
  • इस प्रोजेक्ट पर MIT license लागू है।
  • अधिक जानकारी के लिए Matt Shumer से संपर्क करें।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-13
Hacker News राय
  • यह वास्तविक मॉडल प्रतिक्रियाओं के आधार पर benchmark नहीं करता, बल्कि इस आधार पर रैंक करता है कि GPT4 किसी prompt के प्रदर्शन की कितनी अच्छी तरह कल्पना कर सकता है।
  • AI developers के बीच इस टूल की लोकप्रियता LLMs द्वारा LLMs का मूल्यांकन करने के आकर्षण की वजह से हो सकती है, लेकिन वास्तविक applications में performance evaluation के लिए कोई shortcut नहीं है।
  • Prompt engineering को पारंपरिक engineering क्षेत्रों जैसी exact science नहीं माना जाता।
  • GPT-4 और इस टूल के उपयोग की लागत और कठिनाई को लेकर चिंता है, साथ ही यह भी कि optimal prompt मिल जाने के बाद prompt बदलना कितना मूल्यवान है।
  • Prompt engineering के लिए prompts बनाना meta engineering का एक रूप माना जा सकता है।
  • GPT-Engineer द्वारा user data collection और उसके पीछे की मंशा को लेकर चिंता है।
  • कुछ लोग human input को और कम करने के लिए prompts बनाने में GPT के इस्तेमाल का सुझाव देते हैं।
  • लेख में prompts की ranking कैसे की जाती है, यह समझाया नहीं गया है.