Stack Overflow का पतन

 (observablehq.com)
1 पॉइंट द्वारा GN⁺ 2023-07-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • पिछले डेढ़ साल में Stack Overflow के ट्रैफिक में लगभग 35% की गिरावट को time-series डेटा के ज़रिए ट्रैक करने वाला Observable डेटा नोटबुक; डेटा स्रोत stackoverflow.com/site-analytics है
  • शुरुआत में इसे लगभग 50% गिरावट के रूप में मापा गया था, लेकिन देखे गए नुकसान में लगभग 15% हिस्सा मई 2022 के आसपास Google Analytics cookie reclassification से जुड़ा हुआ लगता है, इसलिए चार्ट को उस बदलाव के बाद के डेटा तक सीमित करके संशोधित किया गया
  • ट्रैफिक में गिरावट उसी तरह प्रश्न·उत्तर की संख्या में लगभग 50% कमी और पोस्ट्स को मिलने वाले वोट्स की कमी में भी दिखाई देती है
  • चार्ट उपयोग को 49-दिन moving average के रूप में दिखाते हैं, और dataset की सीमा 2008-07-31 से 2023-07-23 तक है
  • मूल लेख कई chart cells से बना है; दिए गए टेक्स्ट में ग्राफ render नहीं होते, इसलिए traffic / posts / votes इन तीन datasets की raw table values ही देखी जा सकती हैं

मुख्य बदलावों का सारांश

  • पिछले डेढ़ साल में Stack Overflow के ट्रैफिक में लगभग 35% की गिरावट
    • शुरुआती माप लगभग 50% गिरावट का था, लेकिन बाद में संशोधित किया गया
    • देखे गए नुकसान का लगभग 15% हिस्सा मई 2022 के आसपास Google Analytics cookie reclassification (strictly necessary के रूप में परिभाषित और स्टोर किए जाने वाला बदलाव) से जुड़ा हुआ लगता है
    • चार्ट को अपडेट करके केवल उस बदलाव के बाद का डेटा शामिल किया गया
  • ट्रैफिक में गिरावट साइट usage metrics में भी उसी तरह दिखाई देती है
    • प्रश्न·उत्तर की संख्या में लगभग 50% कमी
    • उन पोस्ट्स को मिलने वाले वोट्स की संख्या में भी गिरावट
  • चार्ट में उपयोग को 49-दिन moving average के रूप में दिखाया गया है
  • डेटा स्रोत stackoverflow.com/site-analytics है

ट्रैफिक डेटा (traffic)

  • traffic_2008Jul31_2023Jul23 dataset, 418 rows
  • तारीख और तीन integer metrics से बना है; values की range लगभग 3M–22M / 1.5M–9.5M / 120k–520k
  • दिखाया गया सेक्शन 2022-06-01 से शुरू होने वाले daily values का है
    • 2022-06-01 → 18,524,758 / 7,945,523 / 351,184
    • 2022-06-14 → 20,002,931 / 8,485,223 / 390,082
    • 2022-06-04 जैसी कुछ तारीखों में 6,346,105 के स्तर तक, सप्ताह के दिनों की तुलना में कम मान दर्ज हुए

पोस्ट डेटा (posts)

  • posts_2008Jul31_2023Jul23 dataset, 1,992 rows
  • तारीख और तीन integer columns, values की range लगभग 4k–23k / 2k–12k / 1.5k–12k
  • दिखाया गया सेक्शन 2018-02-08 से शुरू होने वाले daily values का है
    • 2018-02-08 → 21,397 / 10,148 / 11,249
    • 2018-02-22 → 21,631 / 10,356 / 11,275

वोट डेटा (votes)

  • votes_2008Jul31_2023Jul23 dataset, 1,991 rows
  • तारीख और चार integer columns, values की range लगभग 400–3,600 / 10k–75k / 10k–65k / 2,000–9,500
  • दिखाया गया सेक्शन 2018-02-08 से शुरू होने वाले daily values का है
    • 2018-02-08 → 3,347 / 65,834 / 57,278 / 8,556
    • 2018-02-21 → 3,206 / 66,063 / 57,693 / 8,370

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-25
Hacker News की राय

  • ये आँकड़े दिखाते हैं कि मई 2022 में कुछ ही दिनों के भीतर ट्रैफिक अचानक और स्थायी रूप से घट गया। रोज़ाना नए विज़िट लगभग 10 लाख से 3 लाख पर, कुल दैनिक pageviews लगभग 2 करोड़ से 1.4 करोड़ पर, और दैनिक sessions लगभग 94 लाख से 61 लाख पर आ गए।
    लेकिन उसी अवधि में posts या votes की संख्या में वैसी गिरावट नहीं दिखी, और फरवरी 2023 में दोनों के तेज़ी से गिरने से पहले तक, मौसमी उतार-चढ़ाव छोड़ दें तो वे काफ़ी स्थिर थे। ट्रैफिक डेटा Google Analytics से आया था, जबकि posts/votes डेटा StackOverflow की आंतरिक गणना से; इसलिए मई 2022 की गिरावट शायद Google Analytics द्वारा ट्रैफिक/visitor tracking का तरीका अचानक बदलने से बना measurement artifact भी हो सकती है।
    https://i.imgur.com/qMj7Lge.png
    https://news.ycombinator.com/item?id=36856249

    • इस जवाब के comments https://meta.stackexchange.com/a/391625/136010 देखें तो लगता है कि employees भी इस स्पष्टीकरण से सहमत थे कि मई 2022 का बदलाव सही मायने में cookie consent form rollout करने का असर था। performance cookies के बिना SO analytics data ठीक से निकाल नहीं सकता।
      कर्मचारी Catija ने भी जवाब दिया था: “अप्रैल और मई 2022 के बीच ‘traffic’ संख्या प्रति सप्ताह 4 करोड़ घट गई, और उसी समय cookie tracking बदली थी। बाद में दिसंबर तक यह फिर सामान्य हो गई। cookie बदलाव से पहले traffic लगभग 14 करोड़–15 करोड़ प्रति सप्ताह था। हालांकि हमें यह पता है और हम इसे ‘adjust’ करते आए हैं।”
    • ऐसी तेज़ गिरावट आम तौर पर bot tracking method, Google algorithm बदलाव, या किसी बड़े internal design change की वजह से होती है।
    • बात सही लगती है। “New visits” वे users हैं जो पहली बार आए, शायद search engine से जवाब ढूँढने वाले युवा developers। वे Stack Overflow पर अपनी चीज़ ढूँढते हैं, शायद ad click करते हैं, या बस चले जाते हैं।
      चूँकि इनके vote या post करने की संभावना कम होती है, अचानक कमी का मतलब हो सकता है कि organic search traffic के साथ कुछ बहुत बुरा हुआ। जैसे Google में बदलाव, कोई बेहद खराब नई search engine optimization strategy, या ad buying बंद करना। नए content का ratio काफ़ी पहले से निराशाजनक रूप से लगातार घट रहा था, लेकिन 2023 की शुरुआत के कुछ महीने खास तौर पर गंभीर थे।
    • या फिर StackOverflow को scrape करने वाली sites ने उन users को छीन लिया जो बस जल्दी solution चाहते थे, जबकि SO account वाले लोग अब भी post और vote करते रहे होंगे।
    • हो सकता है वह महीना GitHub Copilot adoption का peak रहा हो। अगर मुझे सही याद है, VS Code extension मार्च के अंत में आया था।

  • SO पर जो सवाल पहले से मौजूद नहीं थे, उनमें मुझे सबसे ज़्यादा मदद दरअसल उनकी सख्ती से मिली। न्यूनतम reproducible example, साफ़ सोचने की प्रक्रिया, और पहले से आज़माई गई चीज़ों के साथ high-quality सवाल लिखने की प्रक्रिया में, ज़्यादातर समस्याएँ post करने से पहले ही खुद हल हो जाती थीं।

  • मेरा SO account लगभग 12 साल पुराना है और reputation 2 हज़ार से थोड़ा ऊपर है, लेकिन मुझे इसकी ज़्यादा परवाह नहीं। आज भी मैं mobile development tags में basic सवालों के कुछ जवाब देता हूँ, और SO से मेरी एकमात्र शिकायत ऊँची reputation वाले कुछ moderators की hostility है।
    कुछ लोग मानो उसमें मज़ा लेते हैं, और यह भूल गए हैं कि reputation expertise का मतलब नहीं होता। 12 साल में वे यह समस्या हल नहीं कर पाए। मैं रोज़ देखता हूँ कि नए users बिल्कुल valid सवाल डालते हैं और फिर कभी जवाब नहीं देते। पहले आसान और basic सवालों को भी उदारता से upvote मिल जाता था, लेकिन अब ऐसा नहीं है।

    • Push notifications बढ़ने के साथ लगता है कि लोग अब site पर जाकर notifications check नहीं करते। नए users में SO पर वापस आकर participate करने की आदत शायद बनती ही नहीं।
      Forums की गिरावट भी इससे जुड़ी लगती है। Reddit अभी भी इसलिए चल रहा है क्योंकि app दिन में 200 notifications भेजती है; अगर ऐसा न होता तो वह आज जितना popular नहीं होता। SO में अगर आप expert नहीं हैं तो participate करना hostile लगता है, इसलिए beginners के लिए सवाल पूछने या lurking के अलावा कुछ करने को नहीं है। लगता है जैसे वे qualified नहीं हैं।
    • यह मज़ाकिया है कि ऊँची reputation वाले लोग खुद को मानो jonskeet समझते हैं। Stack Overflow पर reputation अब अर्थहीन और inflated हो चुकी है।
      JavaScript, Python, pandas, Git जैसे basic सवाल पूछकर या उनका जवाब देकर 100k से ज़्यादा reputation वाले बहुत लोग हो गए हैं।

  • SO या दूसरी SE sites पर जब भी कुछ post करता था, मुझे हमेशा साफ़-साफ़ लिखना पड़ता था: “मुझे पता है कि A अच्छा idea नहीं हो सकता और B बेहतर solution हो सकता है, लेकिन मेरी specific situation में मैं सच में A करना चाहता हूँ।”
    फिर भी लोग उस सवाल को B का duplicate बताकर बंद करने की कोशिश करते थे।

    • मैंने कभी-कभी वे search terms भी लिख दिए जिनसे मैंने यह verify किया था कि यह duplicate नहीं है। दूसरी बार यह भी समझाया कि यह साफ़ तौर पर duplicate क्यों नहीं है। फिर भी duplicate बताकर बंद कर दिया गया।
    • लोग उस हिस्से को बस छोड़ देते हैं। flow यह होता है: title पढ़ना, code example पर सरसरी नज़र डालना, जवाब डालना।
      फिर जब मैं कहता हूँ कि आपने मेरी लिखी बात पूरी तरह ignore की है, तो उल्टा मुझ पर misleading होने का आरोप लगता है और downvotes मिलते हैं। यही SO का तरीका है।

  • समस्या यह लगती है कि Google स्पैमर्स के खिलाफ लड़ाई हार रहा है। स्क्रैप किए हुए content sites से बचने के लिए search query में stackoverflow डालना पड़े, यह हुए काफी समय हो गया है

    • Google किसी भी लड़ाई में “हार” नहीं रहा है। Google जानबूझकर स्पैम को फलने-फूलने दे रहा है
      उस स्पैम में Google Ads/Analytics हो सकता है, और जब user स्पैम पर क्लिक करके search results page पर लौटता है और कुछ और आज़माता है, तो engagement बढ़ती है। उनमें से कोई एक ad result भी हो सकता है। यह सब Google के revenue में योगदान देता है
    • मैं भी ऐसा ही मानता हूँ। Google शायद SO traffic का भारी बहुमत भेजता होगा
      कुछ साल पहले programming-related search करने पर Stack Overflow पहला या दूसरा result होता था। अब top 2–3 spots में स्पैम वाला कचरा बहुत बार दिखता है
    • स्क्रैप किए हुए content sites में YouTube links खास तौर पर बहुत खराब हैं। दुख की बात है कि मुझे हैरानी नहीं होगी अगर ऐसे लोग सिर्फ Google search results के दम पर “content creator” बनकर अच्छी-खासी ad revenue कमा रहे हों
    • मेरे अनुभव में ऐसे scraping sites अक्सर original से ऊपर rank करते हैं
    • अगर यह माना जाए कि Google अब search नहीं करता, बल्कि recommendation engine बन गया है, तो बात कहीं ज़्यादा समझ आती है। दुखद है, लेकिन

  • मैंने पहले एक मिलते-जुलते सवाल का जवाब दिया था, पर याद नहीं रहा, और 2 मिनट में नया जवाब लिख दिया, फिर downvote bomb मिला और मैंने SO छोड़ दिया। अपने पुराने answer को खोजने में नया answer लिखने से कहीं ज़्यादा समय लगता
    जब मैंने कहा कि duplicates खोजने की ज़िम्मेदारी answer देने वाले की नहीं, question पूछने वाले की है, तो मुझसे कहा गया कि फिर भी समय लगाना चाहिए, नहीं तो answer मत दो

    • खासकर अगर आपको पता है कि आपने यही बात पहले answer की है, तो original answer ढूँढना चाहिए
      हर user moderator है। explicit moderators भी होते हैं, लेकिन वे अक्सर close या downvote नहीं करते, दूसरे issues संभालते हैं। छोटी sites पर वे सामान्य user permissions से vote और close ही करते हैं
    • इसलिए ज़्यादातर developers अब ChatGPT को पसंद करते हैं। यह कहीं तेज़ और सुविधाजनक है। बहुत smart search engine जैसा
      SO उन समस्याओं के लिए library बना रहेगा जिन्हें उसने अभी तक नहीं देखा है, और वह मूल रूप से उसी role के लिए अच्छा fit है

  • यह लेख मुझे ChatGPT के उभार के बारे में लगता है, लेकिन मैं इस बात से भी सहमत हूँ कि over-moderation एक बड़ी समस्या है
    gamedev StackExchange पर OpenGL सीखते समय जब मैं अटका, तो मेरा अनुभव खराब रहा। moderator ने OpenGL ES से जुड़े एक similar question के आधार पर मेरे question को तुरंत duplicate mark कर दिया, जबकि OpenGL ES related तो है लेकिन अलग API है। मैंने विरोध करने की कोशिश की, पर उसे नज़रअंदाज़ कर दिया गया। कुछ ही समय बाद मैंने वह game छोड़ दिया जिसे मैं कई सालों से बना रहा था, और उस moderator के decision का भी इसमें असर था। ऐसा लगा जैसे answer तक पहुँचने के रास्ते में दीवार खड़ी हो। over-moderation सिर्फ असुविधा नहीं है; यह user की काम पूरा करने की क्षमता को नुकसान पहुँचा सकता है

    • लेख का graph दिखाता है कि traffic में गिरावट ChatGPT के public release से कुछ महीने पहले, करीब मई 2022 में शुरू हुई। कारण Google algorithm change होने की संभावना ज़्यादा लगती है
      मैं भी Stack Overflow पर ज़्यादातर तब जाता हूँ जब search engine में कोई question type करता हूँ
    • experienced side पर भी यही समस्या है। कभी-कभी SO पर advanced question पूछना और दूसरे skilled लोगों से interaction करना चाहता हूँ, लेकिन question open रखने के लिए मुझे उन moderators से लड़ना पड़ता है जो मेरे question को स्पष्ट रूप से समझते ही नहीं

  • याद है कि करीब 2013 में मैं front-end development सीखने की कोशिश कर रहा था, और responsive web design व Twitter Bootstrap से बहुत प्रभावित था। मैंने उस site पर कुछ questions post किए, पर amateur जैसे सवाल कहकर कई बार मज़ाक उड़ाया गया, और मैंने फिर कभी वह site इस्तेमाल नहीं की, न ही आखिरकार front-end सीखा

    • मुझे उलटी समस्या हुई। एक field थी जिसे मैं सच में काफी अच्छी तरह जानता था, लेकिन questions के जवाब देने लायक karma नहीं था, इसलिए कभी answer नहीं कर पाया
    • entry barrier थोड़ा है। मेरा एक दोस्त, जो मुझसे काफी कम skilled developer था, SO नाम की तकनीक में मुझसे कहीं बेहतर था। मैं बस lurk करता हूँ और अपनी problems खुद solve करता हूँ
    • जिस university में मैं गया, उसने असल में computer science manual फेंककर कहा RTFM। मैं लगभग fail हो गया था, लेकिन आखिरकार सीख गया
      SO पर मेरा अनुभव अच्छा ही रहा, लेकिन फिर भी उम्मीद है कि average से कम समझदार या tact-less लोगों की वजह से आप निराश नहीं होंगे

  • moderation hell भी था, लेकिन SO questions के answer देना बंद करने की मेरी मुख्य वजह यह थी: अच्छा answer लिखने में समय लगता है, fast copy-paste answers गलत होने पर भी upvotes पा जाते हैं, और कई answers में accepted answer चुनने वाला आम तौर पर वही questioner होता है जिसके पास उसे judge करने का knowledge नहीं होता
    इसके अलावा कई बार answer accepted नहीं होता, जैसे questioner को अब परवाह ही नहीं रही। SO score race को gamify करने वाले पुराने articles पर काफी backlash हुआ था, लेकिन broken system ठीक करने की कोशिश करने के बजाय SO वैसा ही रहा। जैसे SO Experts Exchange आदि से आगे निकला था, वैसे ही अब community के लिए post-SO Q&A site शुरू करने का अच्छा समय है

    • किसी trending JS framework के बारे में dumb question पूछो तो सैकड़ों votes मिलते हैं
      इसके उलट, कम documentation वाले software के कठिन हिस्से, जैसे low-level areas में answer दो, तो बहुत हुआ तो कुछ votes मिलते हैं। accepted हो जाए तो किस्मत अच्छी। कठिन और obscure SO tags में कुछ unknown heroes हैं। वे बहुत समय लगाते हैं, लेकिन reward लगभग नहीं मिलता। SO के बाद जो भी आए, उसे इसे ठीक करने का तरीका ढूँढना होगा

  • Stack Overflow में महसूस हुई समस्याओं को कुछ ही बातों में समेटना मुश्किल है, लेकिन मोटे तौर पर ये हैं। पहले Google, SO के बहुत relevant results अच्छे से दिखाता था, लेकिन किसी समय के बाद ऐसा होना बंद हो गया, और SO की moderation लगातार और भयानक होती गई
    गिनती नहीं है कि कितनी बार मुझे वही अजीब सवाल मिला जिसे मैं ढूंढ रहा था, लेकिन उसमें बस एक संभावित जवाब वाला comment था और moderator ने “topic से बाहर है” जैसी वजह देकर उसे आक्रामक तरीके से बंद कर दिया था। नतीजा यह कि सही जवाब comment में दबा रह जाता है और अक्सर negative reaction भी मिलता है। ये सब मिलकर desired information को noise से छांटना धीरे-धीरे मुश्किल बनाते गए, और solution GitHub comments या किसी random blog में ढूंढना ज्यादा आसान हो गया

    • पहली बात सबसे अहम लगती है। SO अभी भले ही खराब हो सकता है, लेकिन कुछ साल पहले के अच्छे answers का कई सालों का ढेर वहां मौजूद है। फिर वे अब दिखते क्यों नहीं?
      आजकल Google w3schools या उससे भी खराब geeks4geeks जैसे content farms recommend करता है, जो Stack Overflow से हमेशा बदतर हैं। algorithm क्या कर रहा है पता नहीं, लेकिन इतना तो पक्का लगता है कि वह Google Search को जितनी जल्दी हो सके खत्म करना चाहता है। “[language] [symbol]” search करने पर भी docs के बजाय ऐसे content farms पर भेजना मजाक जैसा है। आजकल Google से कुछ उपयोगी ढूंढना सचमुच मुश्किल है
    • मेरे साथ भी अक्सर ऐसा हुआ है कि “X कैसे करूं?” ढूंढते हुए SO का वही सवाल मिल गया। लेकिन answer देने वाले तब तक जवाब नहीं देते जब तक आप यह न समझाएं कि X क्यों करना चाहते हैं, और आखिर में अच्छी तरह बताते हैं कि असल में आपको Y करना चाहिए
      मगर मुझे सचमुच X की जरूरत होती है, इसलिए वे answers बेकार हैं। फिर अगर X करने का तरीका पूछने वाला कोई दूसरा सवाल मिलता है, तो moderators उसे पिछले सवाल का duplicate बताकर बंद कर देते हैं। सवाल पूछने वाला साफ लिखे कि “मुझे सचमुच X चाहिए, इसलिए यह उस सवाल का duplicate नहीं है”, तब भी बंद हो जाता है
    • एक typical SO thread ऐसा होता है। सवाल पूछने वाला: “Y से X कैसे करूं?” सबसे ज्यादा upvoted answer: “मैं Y से X नहीं करूंगा। इसके बजाय Z पर विचार करें। Z, Y से X वाली सारी चीजें करता है, और साथ में ये भी करता है”
      सबसे ज्यादा upvoted answer के नीचे दबा हुआ sub-comment: “यह सवाल नहीं था। Y से X करना हो तो ऐसे करें” और जिसने सचमुच सवाल का जवाब दिया, उस पर सबसे ज्यादा upvoted answer वाले तरीके को न अपनाने के लिए 10 comments में हमला होता है
    • व्यक्तिगत रूप से, अच्छे official docs बढ़ने का असर बड़ा है। 12–13 साल पहले, जब SharePoint 2013 आया था, मुझे SharePoint 2010 के लिए कुछ बनाना था
      मैं SharePoint developer नहीं था और यह पहली बार था, लेकिन manuals या specifications पढ़कर system समझने के पुराने तरीके का आदी था। bitmap formats, solar inverters, embedded construction software आदि पर काम कर चुका था, इसलिए SharePoint भी आसान होना चाहिए था, लेकिन StackOverflow के बिना शायद नहीं हो पाता। 2023 में जब फिर SharePoint पर काम करना पड़ा, तो official docs इतने अच्छे थे कि किसी और चीज की जरूरत नहीं पड़ी। यह एक isolated example है, लेकिन आजकल जिन लगभग सभी चीजों से मैं deal करता हूं, उनमें यही दिखता है। 10 साल का और experience होना भी वजह है, लेकिन मेरा मानना है कि industry ने official channels को कहीं बेहतर तरीके से संभालना भी बड़ा factor है। समस्या आती है तो अब आप StackOverflow जाते हैं, या GitHub issues जैसी जगह?
    • एक typical pattern है जिसे कई रूपों में बार-बार देखा है। question title बहुत साफ होता है: “X context में F”, और body में लिखा होता है: “मैं Y context के F के बारे में नहीं पूछ रहा, और standard U के तहत मिलने वाली libT के बारे में भी नहीं पूछ रहा। X context में libS के लिए F काम करता है क्या”
      लेकिन 100 से ज्यादा upvotes और 50 bounty के साथ auto-accepted A1 कहता है “काम करता है” और Y context में libS के लिए, context हटाए हुए F के सिर्फ एक हिस्से को लंबा समझाता है। comments में “यह सही answer नहीं है, A15 देखें” आता है, और एक दूसरा comment शिकायत करता है कि A15 का U-related आधार secondary site है इसलिए भरोसेमंद नहीं। A2~A7, A1 की ही rehash हैं, A8 Y context वाले question का link देकर इसे duplicate कहता है, A9~A14 अलग तरह से काम करने वाली libT examples देकर “काम करता है” कहते हैं। सिर्फ A15 कहता है, “सवाल X context में libS के लिए F पूछता है और साफ कहता है कि Y नहीं है, इसलिए libS के X context में देखें तो यह काम नहीं करता। वजह foo है”, और libS docs या source code, examples link करता है। बाद में libS vN+1 में X context का F जुड़ने पर कई साल बाद comment आता है “यह answer अब valid नहीं है।” उसके बाद random answers चलते रहते हैं