10 साल पुराने Hacker News चर्चाओं का LLM से स्वतः ग्रेडिंग

 (karpathy.bearblog.dev)
4 पॉइंट द्वारा GN⁺ 2025-12-11 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • दस साल पुराने Hacker News पोस्ट और टिप्पणियों का LLM से विश्लेषण करके उनकी ‘पूर्वानुमान क्षमता’ का आकलन करने वाला एक प्रोजेक्ट, जो अतीत की चर्चाओं की अंतर्दृष्टि का स्वतः स्कोर करता है
  • ChatGPT 5.1 Thinking और Opus 4.5 का उपयोग करके दिसंबर 2015 के एक महीने के Hacker News front page (कुल 930 लेख) को एकत्रित और विश्लेषित किया गया
  • प्रत्येक लेख और टिप्पणी थ्रेड के आधार पर सारांश, वास्तविक परिणाम, सबसे सही और सबसे गलत टिप्पणियाँ तथा रुचि स्कोर जैसी चीजें स्वतः उत्पन्न की गईं
  • परिणामों को स्टैटिक HTML पेज में बदलकर karpathy.ai/hncapsule पर उपलब्ध कराया गया है, और ‘Hall of Fame’ में सबसे अंतर्दृष्टिपूर्ण टिप्पणीकारों की रैंकिंग देखी जा सकती है
  • पुराने डेटा पर LLM के बड़े पैमाने पर रेट्रोस्पेक्टिव विश्लेषण की संभावना और “future LLMs are watching us” संदेश पर जोर दिया गया है

परियोजना का अवलोकन

  • दिसंबर 2015 के Hacker News front page को लक्ष्य बनाकर एक LLM आधारित ऑटोमेटिक रेट्रोस्पेक्टिव विश्लेषण प्रणाली बनाई गई
    • 30 लेख प्रति दिन × 31 दिन = कुल 930 लेख
    • प्रत्येक लेख और टिप्पणी थ्रेड को Algolia API से एकत्र करने के बाद, ChatGPT 5.1 Thinking से विश्लेषण कराने का अनुरोध किया गया
  • विश्लेषण परिणामों को स्टैटिक HTML पेज के रूप में रेंडर करके वेबसाइट पर पोस्ट किया गया
    • परिणाम पृष्ठ: https://karpathy.ai/hncapsule/
    • मूल डेटा (data.zip) भी इसी पथ पर उपलब्ध है

विश्लेषण प्रॉम्प्ट संरचना

  • प्रत्येक लेख के लिए 6 सेक्शन वाला प्रॉम्प्ट उपयोग किया गया
    1. लेख और चर्चा का सारांश
    2. बाद में वास्तविक दुनिया में क्या हुआ
    3. सबसे सटीक टिप्पणी और सबसे गलत टिप्पणी का चयन
    4. अन्य रोचक पहलू
    5. प्रति टिप्पणीकर्ता अंतिम ग्रेड (Final grades) सूची
    6. लेख पोस्ट‑मॉर्टम रुचि स्कोर (0~10)
  • उदाहरण फॉर्मेट को कठोरता से ऐसा तय किया गया कि प्रोग्राम इसे ऑटोमैटिकली पार्स कर सके
  • प्रत्येक खाते के औसत स्कोर को जोड़कर सबसे भविष्यदर्शी उपयोगकर्ता की पहचान की गई

कार्यान्वयन और लागत

  • Opus 4.5 से लगभग 3 घंटे में कार्यान्वित, कुछ त्रुटियों को छोड़कर बाकी सुचारू रहा
  • 930 कुल LLM अनुरोधों की प्रोसेसिंग की लागत लगभग $58 और प्रोसेसिंग समय लगभग 1 घंटा रहा
  • GitHub repository: karpathy/hn-time-capsule
    • कोई भी परिणाम को दोहरा या मॉडिफाई कर सकता है

प्रमुख उदाहरण थ्रेड

  • 3 दिसंबर 2015: Swift का ओपन-सोर्स संस्करण जारी होना
  • 6 दिसंबर 2015: Figma लॉन्च
  • 11 दिसंबर 2015: OpenAI के गठन की घोषणा
  • 16 दिसंबर 2015: geohot का Comma प्रोजेक्ट
  • 22 दिसंबर 2015: SpaceX Orbcomm-2 लॉन्च
  • 28 दिसंबर 2015: Theranos विवाद की रिपोर्टिंग
  • प्रत्येक लिंक संबंधित तिथि के विश्लेषण पेज से जुड़ा है, जहाँ उस समय की चर्चा और वास्तविक परिणामों की तुलना की जा सकती है

Hall of Fame

  • दिसंबर 2015 में Hacker News के सबसे अंतर्दृष्टिपूर्ण टिप्पणीकारों को IMDb शैली के औसत स्कोर से क्रमबद्ध किया गया
  • शीर्ष उपयोगकर्ता: pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, johncolanduoni
  • नीचे ‘HN noise’ के रूप में वर्गीकृत कम स्कोर वाले उपयोगकर्ताओं की सूची भी शामिल है

दार्शनिक संदेश

  • “Be good, future LLMs are watching” पंक्ति का उद्धरण करते हुए,
    भविष्य के LLMs द्वारा अतीत के मानव व्यवहार का सूक्ष्म विश्लेषण संभव होने की ओर संकेत किया गया
  • वर्तमान ऑनलाइन व्यवहार यह सुझाता है कि ‘बुद्धिमत्ता सस्ती होती जाने’ वाले भविष्य में उसे लगभग पूर्णतः पुनर्निर्मित किया जा सकेगा
  • यह संभावना भी दिखाती है कि मानव क्रियाएँ ‘अदृश्य निगरानी’ नहीं बल्कि पूर्ण रिकॉर्डिंग और रिकंस्ट्रक्शन का विषय बन सकती हैं

निष्कर्ष

  • यह प्रयोग दिखाता है कि LLM को पुराने डेटा का बड़े पैमाने पर पुनर्मूल्यांकन करने वाला टूल की तरह इस्तेमाल किया जा सकता है
  • ऐतिहासिक चर्चाओं की अंतर्दृष्टि का स्वतः स्कोरिंग का नया उपयोग मामला प्रस्तुत करते हुए, यह संकेत देता है कि AI मानव ज्ञान का रेट्रोस्पेक्टिव analyst बन सकता है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.