- वास्तविक Hacker News कमेंट डेटा के आधार पर बनाए गए 1,903 AI पर्सोना का उपयोग करके पोस्ट शीर्षकों के वायरल होने की संभावना का अनुमान लगाया गया, और 60% सटीकता हासिल की गई
- यह रैंडम अनुमान से 20% बेहतर प्रदर्शन था, जिससे पारंपरिक market research के विकल्प की संभावना भी खुली, लेकिन साथ ही यह भी सामने आया कि social diffusion dynamics भविष्यवाणी को कठिन बनाने वाला मुख्य कारण है
- असफल भविष्यवाणी के मामलों के विश्लेषण से यह पुष्टि हुई कि शुरुआती कुछ upvotes पूरे नतीजे को बदल सकते हैं, यानी luck और timing का प्रभाव बहुत बड़ा है
- यह नतीजा संकेत देता है कि AI व्यक्तिगत पसंद को अच्छी तरह मॉडल कर सकता है, लेकिन वायरल सफलता की भविष्यवाणी में उसकी सीमाएँ हैं
- लेखक का सुझाव है कि AI market research सटीक भविष्यवाणी से ज़्यादा दिशा खोजने में उपयोगी है, और इसे relative evaluation तथा repeated simulation के केंद्र में रखकर इस्तेमाल करना चाहिए
प्रयोग का सार और परिणाम
प्रयोग की विधि: AI से बना वर्चुअल Hacker News समुदाय
- 12 मार्च 2025 को पोस्ट किए गए 1,147 Hacker News पोस्ट शीर्षक एकत्र किए गए
- वास्तविक यूज़र कमेंट्स के आधार पर 1,903 AI पर्सोना बनाए गए, और हर पर्सोना से पूछा गया कि "क्या वह इस शीर्षक को upvote करेगा"
- वास्तविक top posts और low-performing posts को मिलाकर दिखाया गया, फिर भविष्यवाणी की सटीकता मापी गई
- भविष्यवाणी की सफलता दर 60% रही, जो रैंडम (50%) की तुलना में अर्थपूर्ण रूप से बेहतर थी
भविष्यवाणी विफल होने के उदाहरण और सीमाएँ
- “Gemma 3: Google’s new multimodal models” को AI ने वायरल होने वाला माना, लेकिन वास्तव में उसे केवल 4 upvotes मिले
- वहीं उसी विषय पर “Gemma 3 Technical Report [pdf]” ने 1,324 upvotes दर्ज किए
- इसी तरह, “TSA finds live turtle in man’s pants” जैसे उत्तेजक शीर्षक को भी AI ने सफल माना, लेकिन वास्तविकता में वह असफल रहा
कारणों का विश्लेषण
- वायरल होना सामग्री की व्यक्तिगत गुणवत्ता से अधिक शुरुआती exposure, upvote count, timing जैसे सामाजिक संदर्भ पर निर्भर करता है
- Princeton के एक शोध में, एक ही गानों की सूची को अलग-अलग समूहों में अलग तरह से दिखाया गया, तो कुछ गाने कहीं बहुत बड़े हिट बने और कहीं पूरी तरह विफल रहे
- निष्कर्ष: "अच्छा कंटेंट सफल होता है" से ज़्यादा, "जिस कंटेंट को किस्मत से शुरुआती exposure मिलता है वही अधिक सफल होता है" — network effects का यही दबदबा है
व्यावहारिक संकेत: AI market research का उपयोग कैसे करें
- AI पर्सोना-आधारित भविष्यवाणी परफेक्ट नहीं है, लेकिन 'काम लायक सटीकता (60%)' देती है
- अन्य AI market research टूल्स द्वारा दावा की जाने वाली 90%+ सटीकता survey data पर आधारित होती है, इसलिए वह वास्तविक वायरल भविष्यवाणी से काफी अलग है
व्यावहारिक उपयोग की रणनीतियाँ
- इसे भविष्यवाणी नहीं, बल्कि repeated experiments और दिशा खोजने के टूल के रूप में इस्तेमाल करें
- उदाहरण: 10 headlines को टेस्ट करके कमजोर उम्मीदवारों को पहले ही बाहर कर दें
- repeated simulation के ज़रिए सत्यापन करें
- उदाहरण: 8 में से 6 बार या उससे अधिक ऊँची रेटिंग पाने वाला कंटेंट प्रयोग के लायक है
- absolute value से अधिक relative ranking comparison पर ध्यान दें
- AI स्पष्ट अंतर वाले मजबूत/कमज़ोर विकल्पों को अच्छी तरह पहचान लेता है, लेकिन बहुत मिलते-जुलते कंटेंट के बीच भविष्यवाणी करना कठिन होता है
खुद आज़माएँ: HN यूज़र क्लोनिंग प्रॉम्प्ट
- Hacker News यूज़र के कमेंट पेज से टेक्स्ट कॉपी करके, नीचे दिए गए प्रॉम्प्ट के साथ ChatGPT या Claude में डालें, तो एक वर्चुअल पर्सोना बनाया जा सकता है.
> You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- बने हुए पर्सोना पर कई content ideas टेस्ट किए जा सकते हैं
- यह तरीका सांख्यिकीय रूप से calibrated prediction नहीं है, लेकिन बिना लागत दिशा तलाशने के लिए एक अर्थपूर्ण टूल की तरह इस्तेमाल किया जा सकता है
निष्कर्ष
- AI व्यक्तिगत यूज़रों की प्रतिक्रिया को काफ़ी अच्छी तरह मॉडल कर सकता है, लेकिन वायरल सफलता social diffusion नाम की 'अव्यवस्था' से प्रभावित होती है
- अंततः कंटेंट भविष्यवाणी में AI भविष्यवक्ता नहीं, बल्कि दिशा दिखाने वाला गाइड बनकर ही रह सकता है
- इसके बावजूद, यह प्रयोग इस संभावना को खोलता है कि छोटी टीमों या व्यक्तिगत निर्माताओं के लिए भी AI की मदद से कम लागत पर market research करना संभव हो सकता है
अभी कोई टिप्पणी नहीं है.