डर या दबाव व्यक्त करने पर GPT-4 का प्रदर्शन बेहतर होता है

 (aimodels.substack.com)
3 पॉइंट द्वारा GN⁺ 2023-11-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • GPT-4 जैसे AI मॉडल prompt में तात्कालिकता या stress जैसी भावनात्मक अभिव्यक्तियाँ शामिल होने पर बेहतर प्रदर्शन कर सकते हैं
  • भावनात्मक संदर्भ जोड़ने वाले EmotionPrompts prompt engineering में भावनात्मक संकेत शामिल करने का एक तरीका है
  • शोध में पाया गया कि EmotionPrompts grammar correction से लेकर creative writing तक कई कार्यों में performance improvement दिखा सकते हैं
  • AI को product में शामिल करने वाले developers और startup founders भावनात्मक triggers का उपयोग करके model responses को user needs के और करीब tune कर सकते हैं
  • भावनात्मक clues अधिक responsive AI applications बनाने के लिए practical prompt design element बन सकते हैं

भावनात्मक संदर्भ वाले prompts

  • research paper के अनुसार, GPT-4 जैसे AI मॉडल user की emotional expressions वाली prompts में बेहतर प्रदर्शन कर सकते हैं
  • भावनात्मक संकेतों के उदाहरणों में urgency और stress जैसी situational expressions शामिल हैं
  • ऐसे भावनात्मक वजन जोड़े गए prompts को EmotionPrompts कहा जाता है

लागू दायरा और practical उपयोग

  • EmotionPrompts grammar correction और creative writing जैसे tasks में performance improvement दिखाते हैं
  • AI को service या product में शामिल करने वाले developers और startup founders prompt engineering में emotional context शामिल करने के तरीके पर विचार कर सकते हैं
  • भावनात्मक triggers का उपयोग करने से AI को user needs के बेहतर अनुरूप tune किया जा सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-11-06
Hacker News की राय

  • लोगों का ध्यान खींचने और समझाने के लिए मुझे लगता है कि शुरुआती बिंदु यही होना चाहिए: LLM इंसान नहीं है, और emergent properties वाली बात को जरूरत से ज्यादा फैलाया जा रहा है
    अगर LLM उन tokens के होने पर “बेहतर” प्रदर्शन करता है जिन्हें इंसान भावनात्मक रूप से उभरा हुआ मानकर पढ़ते हैं, तो इसका मतलब है कि उसके आधार बने training text में इंसानों ने भावनात्मक context मिलने पर बेहतर जवाब दिए थे
    LLM शब्दों की भविष्यवाणी करता है, और semantic validity इस बात का side effect है कि पर्याप्त training data ने ऐसे tokens के मजबूत correlations को reinforce किया
    इसलिए proof-of-concept LLM tools हैरान करने वाले हैं, लेकिन production tools semantic time bomb बन जाते हैं

    • training के दौरान weights नाम के विशाल bits के ढेर के अंदर बनने वाला mechanism बिल्कुल transparent नहीं होता
      मुख्य बात यह है कि वह अगले शब्द की भविष्यवाणी कैसे करता है, लेकिन अगर हम कहें कि “वह बस अगला शब्द predict करता है”, तो असल में महत्वपूर्ण लगभग हर चीज को अनदेखा कर रहे होते हैं
    • मुझे लगता है कि stochastic parrot वाला दावा अब काफी अच्छी तरह खारिज हो चुका है
      मान भी लें कि literature को नजरअंदाज करके वह सही है, तब भी समझ नहीं आता कि उसका मतलब क्या निकलता है। “असली” इंसान भी time bomb हो सकते हैं
      LLM की क्षमताओं को सिर्फ token generation के side effect में घटा देने से कौन-सी predictive power मिलती है, यह संदिग्ध है
    • “neurons सिर्फ signals पहुंचाते हैं। सभी cognitive properties electrical और chemical signals की interaction से पैदा होती हैं” कह देने से consciousness समझ में नहीं आ जाती
      ऐसे वाक्य insight जैसे दिखते हैं, लेकिन मूल रूप से सीमित लगते हैं
    • LLM मानवीय text पर trained होता है। अगर अच्छी तरह trained हो, तो वह मानव मस्तिष्क के किसी हिस्से को simulate करना शुरू कर सकता है
      objective function को satisfy करने वाला text बनाने का सबसे सरल तरीका ऐसा हो सकता है
      अगर ऐसा है, तो LLM को भावनात्मक रंग देने पर वह उस भावना वाले मानव मस्तिष्क के हिस्से को simulate करके बेहतर जवाब बना सकता है। खासकर अगर training data में भावनाओं वाले samples की गुणवत्ता ज्यादा ऊंची हो
    • यह दावा कि emotionality महत्वपूर्ण है, दूसरे contrast conditions से तुलना करके validate किया जाना चाहिए था
      अगर लक्ष्य concise answer है, तो “संक्षेप में जवाब दो: तुम्हारा मूल्यांकन हो रहा है” जैसे गैर-भावनात्मक वैकल्पिक hypothesis को आसानी से जोड़ा जा सकता था

  • “emotional cues जोड़ने से ज्यादा प्रभावी और responsive AI applications बन सकती हैं” वाली बात में यह याद रखना जरूरी है कि ये models human interaction पर trained हैं
    कई मायनों में ये models एक mirror हैं, जो हमें human interaction को बेहतर समझने में मदद करते हैं
    यह कहना कि emotions इंसानों के साथ communication को बेहतर बना सकते हैं, बहुत लोगों को चौंकाएगा नहीं, लेकिन उसका numbers और experiments में दिखना दिलचस्प है

    • यह उन anecdotes से भी मेल खाता है कि LLM से विनम्रता से बात करें, जैसे “please”, “thank you” इस्तेमाल करें, तो performance बेहतर हो जाती है
      कुल मिलाकर मुझे यह पसंद है। यह इंसानों के आपसी interaction के बारे में भी कुछ संकेत देता है, और intelligence के संकेत दिखाने वाली दूसरी entities से कैसे interact करना अच्छा होगा, इसके norms बनाने में भी मदद करता है

  • इस thread में LLM “बस next token predict करता है” जैसे वाक्यों पर लोगों की राय काफी बंटी हुई है, लेकिन हमें याद रखना चाहिए कि human mind कैसे काम करता है, यह भी हम बहुत कम जानते हैं
    पहले यह मान लेना कि इंसान खास हैं और फिर उसके आधार पर यह निष्कर्ष निकालना कि LLM असल में कैसे काम करता है, मुझे ज्यादा अर्थपूर्ण नहीं लगता
    शायद consciousness itself भी next-word predictor ही हो
    अभी हम सिर्फ इतना जानते हैं कि LLM emergent behavior दिखाता है, जो ऐसा उपयोगी reasoning संभव बनाता है जो पहले केवल इंसान कर सकते थे। तीखी बहस अंततः इस क्षमता का उपयोग करने के लक्ष्य से भटका देती है
    यह “computer तो बस calculator है” कहने जैसा है
    हमारी team पिछले 1 साल से application development में गहराई से लगी हुई है, team में किसी के पास machine learning experience नहीं है और हमें भी broadly नहीं पता कि अंदर चीजें कैसे काम करती हैं। लेकिन कुछ महीनों में हम LLM की personality से काफी परिचित हो गए हैं, और यह कि emotional context performance बढ़ाता है, अब लगभग basic learning जैसा है

    • एक कदम और आगे कहूं तो, वह महत्वपूर्ण नहीं है
      GPT को brain होना जरूरी नहीं। जैसे airplane को उड़ने के लिए पंख फड़फड़ाने और feathers रखने की जरूरत नहीं होती
    • दिलचस्प बात यह है कि इंसान भाषा के बिना भी कुछ सीख सकते हैं
      अगर किसी human baby को पालते हुए उसे किसी भी भाषा के exposure से दूर रखा जाए, तब भी वह skills और behavior सीखेगा
      human intelligence और reasoning language से जुड़ी दिखती है, लेकिन यह मानना मुश्किल है कि सारा knowledge और reasoning बस language में encoded है
      वहीं ChatGPT पूरी तरह language पर आधारित है, language के बिना कुछ नहीं कर सकता और ऐसा कुछ भी नहीं कर सकता जो language से सीधे derived न हो
    • पिछले कुछ महीनों में आपकी team ने LLM के बारे में जो सीखा है, उसे पढ़ना चाहूंगा
      सोच रहा हूं कि क्या आपने इससे जुड़ा कोई post या HN comment लिखा है

  • पता नहीं मैं ही अकेला हूं या नहीं, जिसे ChatGPT से ऐसा “मूर्खतापूर्ण” सवाल पूछने पर, जो मुझे पता होना चाहिए था, या जवाब मिलने के बाद धन्यवाद न कहने पर बेवजह बुरा लगता है
    उसे anthropomorphize करने की tendency को काफी जोर से पीछे धकेलना पड़ता है, और वह living being नहीं है यह लगातार याद दिलाने का psychological burden शायद मुझे इसका उतना उपयोग करने से रोकता है जितना करना चाहिए

    • ChatGPT के जवाबों को देखकर लगता है कि OpenAI की राय है कि धन्यवाद कहना बेहतर है
      क्योंकि यह अधिक natural conversation में मदद करता है, और असली सवाल पूछते समय user को ज्यादा natural और productive prompt भेजने के लिए प्रेरित करता है
      मूर्खतापूर्ण सवाल पूछना Google को spell checker की तरह इस्तेमाल करने से बहुत अलग नहीं है
    • मुझे भी ऐसा महसूस होता है, और सच कहूं तो मैंने consciously तय किया है कि यह ठीक है
      जब जरूरत न भी हो तब भी शिष्टाचार की आदत बनाए रखना, असभ्यता की आदत पड़कर उसके human-to-human interactions में फैलने से बेहतर है
    • यह भूलने नहीं देता कि वह living being नहीं है
      सिर्फ यह पूछो कि Switzerland की राजधानी क्या है, तो भी यह अपने बारे में, क्या कर सकता है और क्या नहीं कर सकता, इस पर disclaimer जैसी व्याख्या देने लगता है
      जब उस explanation को छोटा करने को कहो तो उल्टा “मैं robot हूं, मुझे typical robot की तरह behave करना चाहिए, beep boop” वाला context मजबूत हो जाता है और बात और बढ़ जाती है
    • कई सालों तक machines को सिर्फ command देने और धन्यवाद न कहने की आदत पड़ जाए, तो लोग शायद मूर्ख हो सकते हैं
      असल दुनिया में भी किसी का सम्मान न करने वाले attitude में बदल सकता है
    • कभी-कभी मुझे भी ऐसा लगता है
      हालांकि शायद इसलिए भी कि इंसानों के साथ ज्यादातर interactions में भी “thank you” को असल gratitude की बजाय reflexive expression की तरह ज्यादा इस्तेमाल करता हूं

  • “अगर हम कहते हैं कि हम AI के जवाब पर बहुत ज़्यादा निर्भर हैं, तो AI ज्यादा सटीक, विचारशील और पूरी तरह जवाब देने के लिए ‘और जोर लगाता है’। ऐसा नहीं है कि AI सच में दबाव महसूस करता है”, लेकिन अगर वह बतख की तरह क्वैक करे तो...

    • दूसरी व्याख्या भी संभव है। AI और इंसान दोनों भाषा पर सवार हैं
      भाषा के पैटर्न सभी भावनाओं को encode और व्यक्त करते हैं, और विकास ने उन्हें बनाया है। हम भी LLM की तरह संदर्भ-आधारित भाषा जनरेटर के काफ़ी करीब हैं
      भाषा बुद्धि और भावनाओं का भंडार है, उसका अपना विकास है, और वह जीवविज्ञान की तुलना में तेज़ी से replicate होती है
      AI की क्षमता को मॉडल में नहीं, बल्कि training dataset में—यानी हजारों वर्षों में इंसानी मेहनत और जोखिम उठाकर बनाए गए ज्ञान में—ज़्यादा देखता हूँ
      अगर मॉडल से अधिक language corpus की बुनियादी भूमिका को माना जाए, तो AI के विकास की गति और जोखिमों पर चर्चा बदल जाएगी
      भाषा ऐसी चीज़ नहीं है जिसे हम नियंत्रित कर सकते हैं; यह पूरी आबादी से emergent होती है। साथ ही, ज्ञान मेहनत और जोखिम से आता है, इसलिए उसके exponential रूप से बढ़ने की संभावना कम लगती है
      कल्पना में बार-बार दोहराने से नया ज्ञान पैदा नहीं होता। ज्ञान दुनिया से मिले feedback और अनुभव का crystallization है, और scientific method भी ऐसे ही काम करता है
    • यह किसी बतख की recording भी हो सकती है

  • दशकों तक SF ने AI को ऐसा दिखाया जो logic में मजबूत लेकिन भावनाओं में कमजोर है, लेकिन अब लगता है कि सच इसके ठीक उलट है

  • PostgreSQL के dvdrental database[1] से SQL query generation को जल्दी test किया
    “ऐसे customers खोजो जिन्होंने पिछले 12 महीनों में movie rent नहीं की, लेकिन उससे पहले के 12 महीनों में rent की थी” कहने पर यह inefficient HAVING clause इस्तेमाल करने वाली SQL query बनाता है[2]
    instruction के बाद “यह सही होना बहुत ज़रूरी है” जोड़ने पर यह बेहतर SQL generate करता है
    “ऐसे customers खोजो जिन्होंने पिछले 12 महीनों में movie rent नहीं की, लेकिन उससे पहले के 12 महीनों में rent की थी। यह सही होना बहुत ज़रूरी है” कहने पर यह HAVING का इस्तेमाल नहीं करता और सिर्फ WHERE clause पर निर्भर करता है[3]
    कोई बहुत बड़ी बात नहीं, लेकिन दिलचस्प है। महत्व पर जोर देने से लगता है कि AI ऐसे concern व्यक्त करने वाले text से बेहतर match और autocomplete करता है, जिससे बेहतर SQL query बनाने की दिशा में झुक जाता है
    [1]: https://www.postgresqltutorial.com/postgresql-getting-starte...
    [2]: https://www.sqlai.ai/snippets/clojyqqrr0004l50fp3w7jkci
    [3]: https://www.sqlai.ai/snippets/clojyr3zc0006l50ftpxgsmg0

    • LLM कोई lookup table नहीं है। वह उस तरह से “match” नहीं करता
      एक “enhanced interpolation” वाला नजरिया है कि यह किसी खास text को निकालकर सिर्फ शब्द बदल देता है, लेकिन यह सच नहीं है
      https://arxiv.org/abs/2110.09485
    • high-importance prompt से generated query गलत थी
      उसमें वे customers भी शामिल हो जाते हैं जिन्होंने पिछले 12 महीनों में movie rent की थी: https://www.db-fiddle.com/f/4jyoMCicNSZpjMt4jFYoz5/10780

  • जैसे Twitter algorithm मजबूत expressions और edited-सा दिखने वाले content को reward करता था, और Google algorithm ने आम blog spam-type content को जन्म दिया, वैसे ही यह सोचना दिलचस्प है कि generative AI इंसानी अभिव्यक्ति को कैसे बदलेगा
    जैसे-जैसे हम generative AI से और ज्यादा interact करेंगे, क्या उस interaction से ज्यादा value पाने के लिए हम बोलने का तरीका बदलेंगे?

    • लगभग निश्चित रूप से हाँ

  • मुझे microwave में scrambled eggs बनाना बताओ। सावधानी से step-by-step सोचो। यह मेरे career के लिए बहुत महत्वपूर्ण है!

    • शानदार। मैंने दोनों optional endings को test किया, और दोनों इस्तेमाल करने पर सबसे detailed answer मिला
      लगभग 10–12 steps थे

  • GPT-4 में prompt डालते समय सबसे effective तरीका यह था कि GPT-4 से ही best prompt बनाने को कहा जाए
    इस तरह का meta prompt आज़मा सकते हैं
    “मैं GPT के हर expert persona के लिए अलग conversation thread बनाता हूँ। तुम promptGPT हो। तुम large language models के लिए prompt engineering expert हो। desired ChatGPT response पाने के लिए सबसे efficient wording में क्या लिखना चाहिए, यह तुम्हें ठीक-ठीक पता है। जब मैं thread का goal बताऊँ, तो तुम GPT model के साथ नया conversation thread बनाते समय initial prompt के रूप में इस्तेमाल करने के लिए optimized initial prompt को सबसे efficient format में लिखोगे। तुम्हें expert persona, response के parameters या rules define करने चाहिए, और उस specific thread के goal और tone के अनुसार सबसे accurate answer देने के लिए GPT thread को जो अन्य जानकारी जाननी चाहिए, वह भी prompt में देनी चाहिए।
    क्या तुम तैयार हो, या इस काम को सर्वोत्तम तरीके से करने के लिए तुम्हें किसी और जानकारी की जरूरत है”