HN कम्युनिटी में कौन क्या जानता है, यह खोजने के लिए Hacker News मैपिंग

 (blog.wilsonl.in)
1 पॉइंट द्वारा GN⁺ 2024-07-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें

40 million embeddings to find who knows what on Hacker News

प्रोजेक्ट की पृष्ठभूमि

  • पिछले पोस्ट में Hacker News की 4 करोड़ पोस्ट और कमेंट्स को embed करके कम्युनिटी का एक semantic map बनाया गया था
  • कम्युनिटी ने प्रोजेक्ट का समर्थन किया, और उसके सुझावों के ज़रिए यह पता चला कि यह बहुत जल्दी दुनिया भर में फैले वास्तविक संबंधों तक सिमट जाता है
  • Robert के साथ बातचीत के दौरान, 2008 में social meaning algorithm बनाने पर उनके काम पर चर्चा हुई
  • यह देखकर आश्चर्य हुआ कि 16 साल बाद भी Hacker News जैसे social network विषय-विशेष के अनुसार भरोसेमंद आवाज़ों की गणना और प्रदर्शन नहीं करते

मुख्य प्रश्न

  • किसी खास विषय के बारे में सबसे अधिक जानने वाले लोगों को खोजना और एक्सप्लोर करना इतना कठिन क्यों है?
  • उनके ज्ञान की सीमा क्या है, और समान सोच वाले लोगों के साथ उनका संबंध कैसा है?

नए ऐप की सुविधाएँ

  • नए ऐप के ज़रिए Hacker News के semantic map को एक्सप्लोर और interact किया जा सकता है (hn2.wilsonl.in)

मिलीं दिलचस्प बातें

  • यूज़र semantic organization: कम्युनिटी के अर्थ-संबंधों को यूज़र से शुरू करके, समान यूज़र्स के साथ HN योगदान को semantic रूप में दिखाता है
    • उदाहरण: robg की नई प्रोफ़ाइल देखें
  • semantic search: कौन क्या जानता है, इसके आधार पर HN के अर्थ-संबंधों में खोज की जा सकती है
    • उदाहरण query: startup, Go vs Rust programming, neuroscience and sleep, email marketing
  • कम्युनिटी मैपिंग: कौन क्या जानता है, इससे जुड़े अर्थ-संबंधों के आधार पर कम्युनिटी का मानचित्र बनाया जा सकता है
    • क्योंकि ज्ञान समान रूप से वितरित नहीं है, इसलिए कम्युनिटी के भू-दृश्य के ज़रिए लोगों और उनकी जानकारी को उभारा जा सकता है

तकनीक की संभावनाएँ

  • अर्थ-संगठन, खोज, और कम्युनिटी मैपिंग — इन तीनों को मिलाकर शब्दों के पीछे के लोगों को दिखाया जा सकता है
  • दुनिया की जानकारी को संगठित करने के बजाय, दुनिया के लोगों को संगठित किया जा सकता है
  • यह विभिन्न social knowledge चुनौतियों के बारे में सोचने पर मजबूर करता है
  • जो लोग प्रोजेक्ट की आगे की प्रगति के साथ मिलकर इसे एक्सप्लोर करना चाहते हैं, उन्हें waitlist में शामिल होने की सलाह दी जाती है

GN⁺ की संक्षिप्त प्रस्तुति

  • यह प्रोजेक्ट Hacker News कम्युनिटी के semantic map के माध्यम से किसी खास विषय पर विशेषज्ञों को खोजने और एक्सप्लोर करने का तरीका प्रस्तुत करता है
  • यूज़र योगदान का semantic विश्लेषण करके समान यूज़र्स के साथ उनके संबंधों को visualize करता है
  • search फीचर की मदद से किसी खास विषय पर जानकारी रखने वाले लोगों को आसानी से खोजा जा सकता है
  • कम्युनिटी के भू-दृश्य के ज़रिए लोगों और उनकी जानकारी को प्रमुखता से दिखाया जाता है
  • यह प्रोजेक्ट लोगों को जोड़ने और ज्ञान साझा करने का एक नया तरीका प्रदान करता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-27
Hacker News की राय

  • निजी तौर पर मुझे HN में यह बात पसंद है कि वह अलग-अलग users के बजाय content और discussion पर फोकस करता है। अगर मुझे experts को follow करना हो, तो शायद मैं Mastodon जैसे social network पर खुद list बनाऊँगा या RSS feeds को किसी तरह जोड़ूँगा
    यह tool जानकार experts की तुलना में active comment करने वालों को बेहतर तरीके से छाँटता लगता है, और disposable account की समस्या भी है। फिर भी शानदार project है

    • निजी तौर पर मैं usernames नहीं पढ़ता। comments पर फोकस करने का यह सबसे आसान तरीका है, और avatar या signature जैसी चीज़ें न होना भी बहुत मदद करता है
      मुझे बिल्कुल याद नहीं कि HN पर मैंने किससे बहस की थी, लेकिन यकीनन कुछ बार ऐसा हुआ होगा
    • मुझे भी ऐसा ही लगता है। यहाँ avatar वगैरह नहीं हैं, इसलिए बात content-centric रहती है, यह अच्छा है
      साथ ही, मूल पोस्ट का project भी बेहतरीन लगता है
    • सबसे दिलचस्प चीज़ शायद खाली जगहें होंगी। क्योंकि अनुपस्थिति के patterns को नोटिस करना सबसे मुश्किल होता है। Hacker News ऐसे कौन-से blind spots छोड़ रहा है जिन्हें quantify किया जा सकता है?
    • follow करने लायक experts की list खुद curate करने में काफी मेहनत लगती है। ऐसा tool हो जो इसमें मदद करे, तो अच्छा होगा
      आदर्श रूप से तो trusted experts की list के बिना सिर्फ content देखना ही काफी होना चाहिए, लेकिन एक समय था जब search engine में “use करने के लिए सबसे अच्छा database कौन-सा है” लिखने पर उपयोगी results मिलते थे। अब ऐसा नहीं है। HN शायद अभी भी दूसरी जगहों से बेहतर हो, लेकिन आखिरकार यह भी वैसी ही समस्या झेल रहा है
    • मुझे लगता है कि समान रुचियों वाले लोगों से गहरे जुड़ने के लिए social layer को एक level ऊपर ले जाया जा सकता है
      इससे सिर्फ contributions की गिनती नहीं होगी, बल्कि यह भी गिना जा सकेगा कि वे contributions दूसरे लोगों से कैसे जुड़े हैं

  • https://hn2.wilsonl.in/user/simonw पेज के map के नीचे “Risk of COVID from pianos” दिख रहा है। मैं सच में जानना चाहता हूँ कि यह कहाँ से आया

    • यह इस comment का summary लगता है: https://news.ycombinator.com/item?id=30105274
      map में उस location/text पर red cursor को zoom करके ले जाएँ, तो map के नीचे original comment दिखाई देता है
    • क्या COVID की वजह से pianos पैदा होने का कोई risk भी हो सकता है?
      जैसे pandemic शुरू होने पर लोग घर में करने वाले hobbies ढूँढने लगे थे और guitar व home gym equipment की sales बढ़ गई थीं
    • मेरे results काफी accurate लगते हैं। RDP acceleration, 3D printer firmware, touchscreen Graffiti gestures, SBCs पर mainline Linux दिखते हैं, और ये सब मेरे hobbies हैं
      अपने actual काम—cloud architecture, networking, और बहुत crowded field AI—पर मैं शायद ही comment करता हूँ। अजीब बात है कि Apple से जुड़ी चीज़ें लगभग नहीं हैं, जो मेरे blog को देखते हुए काफी ironic है। इसलिए यह tool दिखाता है कि लोग यहाँ किस बारे में discuss करते हैं, लेकिन जरूरी नहीं कि वे क्या जानते हैं
    • सोच रहा हूँ कि points को और interactive बनाने से मदद मिलेगी या नहीं

  • https://hn2.wilsonl.in/user/c0l0 — लगता है मैं toilet seat lid design optimization का leading expert हूँ। कुछ भी पूछ लो

    • यहाँ dual flush button design का authority मौजूद है, तो लगता है फिलहाल पीछे हटना पड़ेगा
    • किस आधार पर तय होता है कि मैं खास तौर पर किस चीज़ के लिए जाना जाता हूँ?
      मेरे page पर बहुत सारे items हैं: https://hn2.wilsonl.in/user/AndrewKemendo
    • मेरे results पूरी तरह बेतुका mess हैं। सोचूँ तो बात समझ भी आती है। मैं भी वैसा ही हूँ
      https://hn2.wilsonl.in/user/SketchySeaBeast
    • वह तो कुछ भी नहीं। मैं fireplace efficiency comparative analysis के लिए world-famous हूँ
      सोच रहा हूँ कि embeddings बनाते समय कहीं IDF इस्तेमाल करके दुर्लभ word clusters को बहुत ज्यादा weight तो नहीं दे दिया गया

  • हाल की related post:
    Show HN: मज़े के लिए 4 करोड़ HN posts और comments को map/analyze करके HN explore करना - https://news.ycombinator.com/item?id=40307519 - मई 2024, 159 comments

    • यह हैरान करने वाली बात है कि HN ने 16 साल के समय और दुनिया भर की दूरी को पार करते हुए Wilson और मुझे जोड़ दिया
      HN जैसी communities की वजह से ही मैं internet पर trust के future को लेकर उम्मीद रखता हूँ

  • लगता है profile text से मेरा email निकालकर mailto: link बना दिया गया है; मानता हूँ कि आज के LLM standards के हिसाब से वह पर्याप्त रूप से छिपाया नहीं गया था
    फिर भी इसने harvesting को आसान बना दिया, तो शायद low-effort spammers की तरफ से धन्यवाद कहना चाहिए

    • सोचता हूँ कि mailto: links scrape करने वाले low-effort spam bots अब भी सच में हैं, या हम email obfuscation को cargo cult की तरह जारी रखे हुए हैं
      उस दौर के बाद spam बहुत बदल गया है; क्या यह strategy अब भी इस्तेमाल होती है?
    • basic LLM भी 2000s-style email छिपाने की कोशिशों को decode कर सकता है
      जैसे मेरे दोस्त ने एक popular blog के contact page पर “firstname [cute arobase sign] domain.com” लिखकर obfuscate किया था
    • आम तौर पर मैं ऐसी चीज़ों की ज्यादा परवाह नहीं करता, लेकिन यह ठीक नहीं है। मेरे साथ भी यही किया गया
      क्या इस feature से opt out करने का कोई तरीका है?
    • मेरे मामले में base64 decoding fail हो गई थी

  • कुछ साल पहले यहाँ पोस्ट हुआ एक काफ़ी विवादित tool याद है। वह writing style analysis और stylometry से “मिलते-जुलते users” ढूँढता था, और username डालने पर शायद उसी व्यक्ति के alt accounts खोज देता था।
    कहा जाता है कि वह डराने वाली हद तक accurate था—कम से कम alt account रखने वाले एक दोस्त से मैंने ऐसा ही सुना था। क्या इस tool को भी उसी काम में repurpose किया जा सकता है? हर user avatar में render किए गए “map” को vector में encode करके दूसरे users से compare किया जा सकता है।
    Edit: रुको, अभी-अभी एहसास हुआ कि शायद यह पहले से ही ऐसा कर रहा है। बस “Explore More Users” similarity order में है या नहीं, यह तुरंत साफ़ नहीं दिखता।

    • Alt accounts को उस तरह ढूँढना शायद कम कारगर होगा। लोग आम तौर पर alt accounts इसलिए इस्तेमाल करते हैं कि वे ऐसी discussions में भाग ले सकें जिन्हें वे अपने main account से जोड़ना नहीं चाहते।
      Employer, politics या दूसरे topics—alt account जिन topics में भाग लेता है, वे अलग होने की संभावना ज़्यादा होती है। इसके उलट writing style इसलिए काम करता है, क्योंकि कोशिश करने पर भी बहुत कम लोग अपनी style को बुनियादी तौर पर बदल पाते हैं।
    • शायद यह वही था: https://news.ycombinator.com/item?id=33755016
    • कुछ साल पहले मैंने ऐसा ही करने वाला system बनाया था: https://x.com/austingwalters/status/1041894765439201281
      विडंबना यह है कि उस समय भी और उसके बाद भी मैंने लगभग embeddings ही इस्तेमाल किए हैं, लेकिन यह system embeddings इस्तेमाल नहीं करता। Embeddings की मुख्य समस्या यह है कि वे समय के साथ ठीक से बदलते नहीं। Tune किया जा सकता है, लेकिन दूसरे तरीकों जितना आसान नहीं। भाषा industry-specific abbreviations से भरी होती है, और models बदलते expressions व abbreviations के साथ adapt करने में आम तौर पर कमजोर होते हैं। आखिर में कुछ और चीज़ें जोड़कर इसे company बना दिया: https://ipcopilot.ai
      अभी demo के लिए Hacker News पर ideas ढूँढ रहा हूँ: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
    • Users को किसी हद तक summarize करने का तरीका दिलचस्प हो सकता है।
      उदाहरण के लिए user123 काफ़ी funny है, coherent तरीके से बोलता है, TypeScript और web development में interested है, और conscientiousness व extraversion scores ऊँचे हैं—ऐसा कुछ।
    • दिलचस्प है, लेकिन मुझे भी थोड़ा creepy लगता है। यह जानना चाहूँगा कि उस पहलू को कम करने के लिए इसे और बेहतर कैसे किया जा सकता है।

  • मेरा username 『Zen and the Art of Motorcycle Maintenance』 में narrator के एक दूसरे self से लिया गया है। यह analysis की knife वाले passage से जुड़ा है।
    “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
    पता नहीं नाम ने destiny बनाई, या मैंने खुद को समझकर वह नाम चुना, या मैं ये words बहुत ज़्यादा इस्तेमाल करता हूँ—लेकिन मेरे keywords में “part, system, level, language, article, object” वगैरह शामिल हैं।

  • अपने username से सच में deep dive करना थोड़ा मुश्किल लगा, और पूरे map पर बहुत सारे dots बिखेरने के अलावा यह बहुत कुछ दिखाता हुआ नहीं लगता।
    मैं समझने की कोशिश कर रहा हूँ कि पूरा cluster क्या है, लेकिन ज़्यादातर बस android/apple/google जैसा लगता है: https://hn2.wilsonl.in/user/mmastrac

    • तो क्या Apple, Google, Tesla में मेरी expertise होना कोई बहुत unique बात नहीं है?

  • दिलचस्प। मैंने नोटिस किया था कि मेरा सबसे ज़्यादा upvoted comment एक legal question पर था। क्योंकि उस क्षेत्र में मेरी expertise HN के ज़्यादातर users की तुलना में relatively ज़्यादा है। पहले lawyer था।
    इस tool के हिसाब से मैं law/legal/lawyer के top commenters में नहीं हूँ, लेकिन top names में से कुछ को मैं निश्चित रूप से पहचानता हूँ और legal threads में देखा हुआ याद है। काफ़ी बढ़िया tool है।

    • क्या HN API में comment score भी शामिल होता है?

  • HN की सबसे अच्छी बात यह है कि टिप्पणियां काफ़ी क्षणिक-सी लगती हैं। मेरी सहमति के बिना उनका विश्लेषण करके सार्वजनिक रूप से दिखाया जाना मुझे पसंद नहीं है
    उस पेज पर मेरे बारे में कुछ खास दिलचस्प नहीं है, लेकिन एहसास अजीब है। हर चीज़ का विश्लेषण करना ज़रूरी नहीं, और हर जगह प्रतिस्पर्धा करना भी ज़रूरी नहीं। मेरा मतलब यह है कि मुझे यह अच्छा लगता है कि ध्यान content पर रहता है, यह केंद्र में नहीं होता कि किसने कहा। इसे देखकर मैंने अपने bio से Twitter handle हटा दिया। अगर app में भी वह update कर दें तो आभारी रहूंगा

    • “टिप्पणियां काफ़ी क्षणिक-सी लगती हैं” वाली बात पर, मैं एक Google Chrome extension इस्तेमाल करता हूं जो मेरे देखे जा रहे पेज पर HN comments होने पर indicator जला देता है
      अगर कोई blog post मुझे स्वाभाविक रूप से मिलती है और वह संकेत जलता है, तो भले ही post कई साल पुरानी हो, मैं अक्सर comments पढ़ता हूं। कई बार उपयोगी insights या context मिल जाते हैं
    • इसे पढ़ रहे सभी लोगों के लिए, comments क्षणिक होने के बिल्कुल उलट हैं। बहुत छोटे शुरुआती समय के बाद आप उन्हें delete या edit नहीं कर सकते
      इसलिए यहां आपने जो भी कहा है, वह हमेशा के लिए आपसे जुड़ सकता है, और वास्तव में जुड़ भी सकता है। सीधे तौर पर भी, या जैसा यह tool दिखाता है, धुंधले तरीके से भी
    • मैं वह feeling समझता हूं। मुझे भी ऐसा ही लगा था
      लेकिन किसी भी comment पर double-click करने से आप इस query तक पहुंचते हैं: https://news.ycombinator.com/threads?id=RamblingCTO
    • यहां comments कभी भी क्षणिक नहीं रहे हैं
      Hacker News खुद वर्षों से लगभग मुफ्त real-time API और कई बड़े datasets उपलब्ध कराता रहा है, और इसका उद्देश्य यही है कि कोई भी यहां के comments को आसानी से analyze कर सके: https://github.com/HackerNews/API
      internet पर लिखी गई कोई भी comment कभी क्षणिक नहीं रही। 20 साल से भी पहले उसने क्षणिक होने का दिखावा तक करना छोड़ दिया था