GPT-4o का उपयोग करके "Ask HN: Who Is Hiring" की 10,000 से अधिक टिप्पणियों से मिले इनसाइट्स

 (tamerc.com)
8 पॉइंट द्वारा GN⁺ 2024-07-05 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • वर्तमान नौकरी बाज़ार और ट्रेंड्स को समझने के लिए Hacker News के "Ask HN: Who Is Hiring" थ्रेड का उपयोग किया गया
  • Selenium का उपयोग करके हर महीने "ask hn who is hiring {month} {year}" को Google पर खोजकर थ्रेड ID इकट्ठा की गई
  • HN-API का उपयोग करके शीर्ष टिप्पणियों की ID इकट्ठा की गई और उन्हें sqlite3 डेटाबेस में संग्रहीत किया गया
  • GPT-4o का उपयोग करके टिप्पणियों का वर्गीकरण किया गया
  • LangChain की llm.batch(array) मेथड का उपयोग करके parallel processing की गई, जिससे डेटा को तेज़ी से प्रोसेस किया जा सका

परिणाम

कितनी नौकरियाँ remote work की अनुमति देती हैं?
  • महामारी के दौरान remote work का समर्थन न करने वाली नौकरियाँ केवल पाँचवें हिस्से जितनी थीं
  • अपेक्षा के मुकाबले remote work समर्थन का अनुपात बहुत ज़्यादा नहीं घटा
कितनी नौकरियाँ visa sponsor करती हैं?
  • visa sponsorship वाली नौकरियों का अनुपात पिछले 2 वर्षों में अपेक्षाकृत स्थिर रहा
  • फिर भी visa sponsorship वाली नौकरी ढूँढना कठिन है
अनुभव स्तर का वितरण कैसे बदल रहा है?
  • आने वाले 6~12 महीनों में 8 वर्ष से अधिक का अनुभव होना महत्वपूर्ण है
अमेरिका में राज्यवार नौकरियों की संख्या क्या है?
  • Bay Area और NYC में उपलब्ध नौकरियाँ अन्य क्षेत्रों की तुलना में कहीं अधिक हैं
कौन-सा डेटाबेस इस्तेमाल हो रहा है?
  • PostgreSQL का उपयोग अन्य डेटाबेस की तुलना में बहुत अधिक है
किस JavaScript framework की सबसे अधिक माँग है?
  • React की माँग बहुत अधिक है
  • log scale का उपयोग किए बिना three.js से एक interactive bubble chart बनाया गया
वेतन वितरण कैसा है?
  • वेतन वितरण के बारे में कोई ठोस विवरण नहीं दिया गया

सीखी गई बातें

  • मॉडल फ़ील्ड्स को जितना संभव हो उतना सटीक रूप से वर्णित करना चाहिए
  • वर्गीकरण करते समय विवरण में classes को स्पष्ट रूप से लिखना चाहिए
  • sets निकालते समय delimiters को विवरण में स्पष्ट रूप से बताना चाहिए

आगे का काम

  • शुरुआती काम के आधार पर, यदि उपयोगकर्ता "Ask HN: Who is hiring?" थ्रेड में अपनी इच्छित नौकरी का विवरण दे, तो उसे वर्गीकृत करके महीनेवार मैच करने वाला एक mini SaaS बनाया जा सकता है

GN⁺ की राय

  • यह लेख data science और natural language processing तकनीकों का उपयोग करके नौकरी बाज़ार का विश्लेषण करने का अच्छा उदाहरण दिखाता है
  • GPT-4o और LangChain का उपयोग करके की गई parallel processing बड़े पैमाने के डेटा को तेज़ी से प्रोसेस करने में उपयोगी है
  • visa sponsorship वाली नौकरियाँ ढूँढना कठिन होने की वास्तविकता को यह दर्शाता है, इसलिए संबंधित जानकारी खोजने वालों के लिए यह उपयोगी होगा
  • React और PostgreSQL की ऊँची माँग इन तकनीकों को सीखना चाहने वालों के लिए एक अच्छा संदर्भ है
  • mini SaaS का विचार यदि वास्तव में लागू होता है, तो यह बहुत से नौकरी खोजने वालों के लिए बड़ी मदद हो सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-05
Hacker News राय

  • GPT-4o का उपयोग करके किया गया विश्लेषण दिलचस्प है

    • हाल ही में "Who is Hiring" और "Who wants to be hired" datasets का pandas और spacy से विश्लेषण किया गया था
    • ऐसा लगता है कि LLM के लिए 'go' और 'rust' में फर्क करना उपयोगी होगा
    • यह खलता है कि node.js और nodejs, react-native और react native को एकीकृत नहीं किया गया
    • selenium script का उपयोग करके Google search बार-बार चलाने की वजह जानने की जिज्ञासा है
    • API को सीधे उपयोग करने और title matching regex का इस्तेमाल करने वाली script साझा की गई

  • यह अफसोसजनक है कि project का source code GitHub पर नहीं मिल सका

    • langchain पहली बार देख रहा हूँ, और API उम्मीद से कम consistent है
    • यह भी सोचा जा रहा है कि क्या Ollama से भी यह संभव नहीं होगा
    • कई wrappers जटिल रूप से उलझे हुए हैं, जिससे भ्रम होता है
    • शुरुआती लोगों के लिए tutorial की ज़रूरत है

  • project में समय और पैसा लगाने के लिए धन्यवाद

    • "remote" और "in-person" पर अतिरिक्त statistics दिलचस्प हैं
    • in-person कंपनियाँ बार-बार hiring कर रही हैं, इसकी वजह growth भी हो सकती है, या सही candidates ढूंढना मुश्किल होना भी
    • remote कंपनियों के गायब होने का कारण यह हो सकता है कि उन्हें ज़रूरी talent मिल गया, या उन्होंने business बंद कर दिया

  • यह LLM और पारंपरिक analysis का शानदार संयोजन है

    • LLM इंसानी nuance, satire और idioms समझने में बहुत अच्छा है
    • ML context से information निकालने में उत्कृष्ट है
    • LLM वास्तविक number calculation में भरोसेमंद नहीं है

  • graph में bars को stack करना अच्छा नहीं है

    • क्योंकि दूसरी layer का सही मूल्यांकन नहीं हो पाता
    • हर timestamp पर remote और non-remote को साथ-साथ दिखाना बेहतर होगा

  • graph अजीब न लगे, इसके लिए log scale का उपयोग करना चाहिए

    • इसके बजाय 300 lines of code से three.js का उपयोग कर bubble chart बनाया गया
    • हैकर, हैकरों की तरह ही काम करते हैं

  • Claude 3 Haiku का उपयोग करके यही analysis करना दिलचस्प होगा

    • इसकी कीमत GPT-4o की 1/40 है
    • ऐसा अनुमान है कि परिणाम मिलते-जुलते होंगे

  • Indeed या LinkedIn के random sample से तुलना करना दिलचस्प होगा

    • Hacker News, सामान्य industry की तुलना में एक biased group है

  • JS framework graph में "React Native" और "React-Native" दोनों bubble मौजूद हैं

  • "Who Wants to be Hired" पर इसी तरह का analysis देखना चाहूँगा

    • इससे job search में कठिनाई झेल रहे लोगों के trends समझे जा सकते हैं
    • यह career growth का लक्ष्य रखने वाले लोगों के लिए मददगार हो सकता है