बॉट, बहुत ज़्यादा बॉट

बॉट, बहुत ज़्यादा बॉट

शुरुआत

• ProductHunt में 10 लाख से अधिक user sign-ups हैं
• इनमें से 60% से अधिक बॉट हैं

शुरुआत ऐसे हुई

• 2014 से ProductHunt का उपयोग कर रहा था
• हाल में ज़्यादातर comments ऐसा लगने लगा कि वे ChatGPT से generate किए गए हैं

एक सरल टेस्ट

• product description में LLM prompt inject करने के बाद product launch किया
• पुष्टि हुई कि लगभग सभी comments automated थे

क्या बॉट्स को अलग पहचाना जा सकता है?

• comments का जवाब देना समय की बर्बादी है
• अगर बहुत से बॉट comments कर रहे हैं, तो वे upvote भी कर रहे होंगे
• कुछ लोग पैसे देकर upvotes भी खरीदते हैं

डेटा विश्लेषण

• ProductHunt के users, launches, upvotes और comments की सूची का विश्लेषण किया गया
• इसमें 10 लाख से अधिक user sign-ups, 3 लाख से अधिक launches, 25 लाख comments और 2 करोड़ upvotes हैं
• हर product की एक daily ranking होती है, जो हर दिन PDT मध्यरात्रि के 24 घंटे बाद के score पर आधारित होती है

बॉट अकाउंट पहचान

• बॉट detection कठिन है
• user comment timing का विश्लेषण करके trends खोजने की कोशिश की गई
• उदाहरण के लिए, एक user ने 677 दिन पहले sign up किया, 2009 comments किए और 4649 upvotes किए
• यह automation का उपयोग करता है, लेकिन बॉट नहीं है
• एक bot user ने 140 दिन पहले sign up किया, 173 comments किए और 246 upvotes किए
• bot comments नियमित अंतराल पर आते हैं, और chart smooth न होकर boxy दिखता है
• कई मानदंडों के आधार पर users को risk score दिया गया
• ChatGPT-generated comments में "game-changer" जैसे शब्द अधिक बार इस्तेमाल होते हैं
• bot comments में ऐसे characters या product names शामिल होते हैं जिन्हें आसानी से manually type करना कठिन है
• clustering कुछ हद तक असरदार है, लेकिन कई bot accounts इस्तेमाल के बाद छोड़ दिए जाते हैं
• अंततः पाया गया कि 60% से अधिक user sign-ups automated bot accounts हैं

समय के साथ बॉट गतिविधि

• 2018 के बाद से वास्तविक users की तुलना में अधिक bot users बनाए गए
• 2022 के अंत से bot comments में तेज़ बढ़ोतरी हुई
• 2022 में भी bot upvotes ने वास्तविक upvotes को पार कर लिया
• bots voting rings बनाते हैं और makers upvotes खरीदते हैं
• ज़्यादातर launched products को केवल कुछ ही वास्तविक upvotes मिलते हैं
• daily ranking में नंबर 1 पाने के लिए 15% bot upvotes की ज़रूरत होती है
• 60% से अधिक bot upvotes होने पर भी नंबर 1 हासिल नहीं होता

अंतिम विचार

• bot upvotes हटाकर launches की सूची बनाना चाहता था, लेकिन समय की कमी के कारण इसे अगली blog post के लिए टाल दिया

GN⁺ का सारांश

• ProductHunt के users में 60% से अधिक bot accounts हैं
• bot comments और upvotes वास्तविक user activity को विकृत करते हैं
• bot detection कठिन है, लेकिन कई मानदंडों के आधार पर risk score देकर पहचान संभव है
• bot activity बढ़ने से ProductHunt की विश्वसनीयता कम हो सकती है
• समान सुविधाओं वाले दूसरे product के रूप में Hacker News है

[GN⁺]

Hacker News राय

• किसी उपयोगकर्ता के bot है या नहीं, इसकी मनमानी श्रेणीकरण से शुरू होने वाला analysis समस्याग्रस्त है। अगर यह classification गलत है, तो पूरा analysis गलत होगा

  • उदाहरण के लिए, 2022 के अंत में bot comments में तेज़ बढ़ोतरी हुई। यह उस समय से मेल खाता है जब ChatGPT का व्यापक उपयोग शुरू हुआ
  • ChatGPT-जनित comments अक्सर "game-changer" जैसे शब्दों का उपयोग करते हैं। bot comments में ऐसे characters या product names भी ज्यों-का-त्यों शामिल होते हैं जिन्हें टाइप करना आसान नहीं होता
  • इसलिए ChatGPT जैसा व्यवहार करने वाले users को bot के रूप में classify किया गया होगा, और यह माना गया होगा कि ChatGPT लॉन्च के बाद ऐसे users बढ़ गए। लेकिन यह भी संभव है कि पहले से ही बहुत सारे bots मौजूद रहे हों

• जिज्ञासा है कि क्या ProductHunt CAPTCHA solution का उपयोग करता है

  • spam attacks को रोकने में CAPTCHA अब भी उपयोगी है
  • आम आलोचनाएँ usability, accessibility, और privacy से जुड़ी हैं। users इसे नापसंद करते हैं
  • हाल के वर्षों में ऐसे CAPTCHA आए हैं जो user input के बिना काम करते हैं और privacy की रक्षा करते हैं
  • advanced bots आसानी से CAPTCHA को bypass कर सकते हैं। लेकिन पारंपरिक तकनीकें भी low-end bots को रोकने में उपयोगी हैं। advanced bots से ML जैसी अधिक उन्नत तकनीकों के साथ लड़ा जा सकता है
  • CAPTCHA उन attacks के खिलाफ असरदार नहीं है जिनमें वास्तविक इंसानों का उपयोग होता है। उसके लिए दूसरे mechanisms की ज़रूरत होती है

• 5 साल पहले जब मैंने ProductHunt पर एक product पोस्ट किया था, तो मुझे पहला स्थान पक्का कराने वाले दर्जनों messages मिले थे। अब शायद यह और भी बदतर होगा

• जिज्ञासा है कि ProductHunt पर आखिर कौन है। customers? शायद नहीं। Indiehackers? शायद। आप किसे बेच रहे हैं, और क्या ProductHunt पर launch करना वाकई सार्थक है, इस पर सवाल है

• यह किसी ऐसे व्यक्ति की मेहनत और नतीजों को अच्छी तरह दिखाता है जिसे मैं व्यक्तिगत रूप से जानता हूँ। अच्छा काम

• यह "dead internet theory" की आगे बढ़त है। वास्तविक interaction सुनिश्चित करने के लिए मज़बूत और भरोसेमंद identity चाहिए, ताकि दुरुपयोग होने पर परिणाम भुगतने पड़ें

  • इस identity को सरकारों को लागू करना चाहिए। बड़ी tech कंपनियाँ अभी तक इसे हल नहीं कर पाई हैं, और यह भी संदेह है कि क्या वे इसे हल करना चाहती भी हैं
  • उदाहरण के लिए, अगर Google इस पर सख्ती से कार्रवाई करे और YouTube traffic का 60-80% bots से आता हो, तो revenue गायब हो जाएगा

• Reddit पर मेरी कुछ posts हैं, और कभी-कभी GPT-आधारित bots "विषय? वाह! यह सच में सोचने पर मजबूर करता है, मुझे जानना है कि यह क्यों महत्वपूर्ण है" जैसी comments करते हैं

  • हो सकता है Reddit engagement बढ़ाने के लिए ऐसे bots चला रहा हो

• बहुत से लोग यह पहचान नहीं पाएँगे कि वे GenAI से बातचीत कर रहे हैं

  • एक ही व्यक्ति का कई accounts के ज़रिए अलग-अलग लोगों का नाटक करते हुए बातचीत करना पहले से ही समस्या है। GenAI bots के ज़रिए narratives को सस्ते में manipulate करना संभव बनाता है
  • यह सभी social networks की समस्या है। इंसान होने का verification ही एकमात्र समाधान है
  • मैं एक ऐसा social network बना रहा हूँ जहाँ केवल वास्तविक इंसान ही upvote/downvote और comment कर सकें

• X पर मेरा 1 साल पुराना account है, और मैंने कभी comment नहीं किया। फिर भी 35 आकर्षक महिलाएँ मुझे follow करती हैं। न कोई पुरुष, न कोई कम आकर्षक महिला। यह मेरे likes के आकर्षण की वजह से नहीं है

  • यह पूरे web का एक लघु रूप है

• किसी को "me good LLM" T-shirt बेचनी चाहिए