- ChatGPT जैसे AI चैटबॉट्स के उभार के कारण मौजूदा वेब इकोसिस्टम की ट्रैफ़िक और विज्ञापन राजस्व संरचना के टूटने की प्रक्रिया तेज़ हो रही है
- उपयोगकर्ता AI से सीधे जवाब पाने पर निर्भर होते जा रहे हैं, जिससे समाचार, फ़ोरम, विकी जैसे कॉन्टेंट साइटों के विज़िटर और राजस्व में तेज़ गिरावट आ रही है। पहले Google search जो ट्रैफ़िक लाता था, उसकी जगह अब AI answers लेते दिख रहे हैं
- बड़े मीडिया हाउस और पोर्टल AI कंपनियों के साथ content licensing पर बातचीत या मुक़दमे दोनों साथ चला रहे हैं, लेकिन अधिकांश छोटे साइटों के पास न तो पर्याप्त सौदेबाज़ी शक्ति है और न ही सामूहिक कार्रवाई की क्षमता, इसलिए वे लगभग बेबस हैं
- Cloudflare·Tollbit आदि AI crawlers के लिए paid access fees, micro-transactions, ad revenue sharing जैसे नए compensation और billing models का परीक्षण कर रहे हैं
- वेब के भविष्य के लिए यह मांग तेज़ हो रही है कि AI creators और content sites के साथ राजस्व साझा करे और एक नया इकोसिस्टम बनाया जाए
AI वेब की आर्थिक सहमति को क्यों हिला रहा है
- AI चैटबॉट्स और search engines (जैसे ChatGPT, Google SGE) के आने से, उपयोगकर्ता links पर जाने के बजाय सीधे जवाब पा रहे हैं, जिससे पारंपरिक ट्रैफ़िक→विज्ञापन राजस्व संरचना टूट रही है
- Similarweb के अनुसार, दुनिया भर का search traffic (मानव उपयोगकर्ताओं के आधार पर) एक साल में 15% घटा, खासकर science, education, reference और medical sites के visits में बड़ी गिरावट आई
कॉन्टेंट निर्माताओं का संकट और जवाबी कदम
- विज़िटर्स में कमी सीधे विज्ञापन और subscription revenue में गिरावट से जुड़ती है। प्रमुख मीडिया कंपनियाँ Google·OpenAI आदि के साथ licensing deals कर रही हैं, जबकि प्रतिद्वंद्वियों (जैसे Perplexity) पर मुक़दमे चल रहे हैं
- news search में बिना वास्तविक click के केवल AI summary दिए जाने का अनुपात 56% से बढ़कर 69% हो गया है
- Stack Overflow·Wikipedia जैसे user-participation sites भी सवालों और contributors में कमी तथा भविष्य को लेकर संकट की भावना जता रहे हैं
मौजूदा समाधानों की सीमाएँ और नई कोशिशें
- अधिकांश छोटे साइट न बातचीत कर सकते हैं, न मुक़दमा, और यदि वे AI को content न दें तो उन्हें search visibility भी छोड़नी पड़ सकती है—यही उनकी दुविधा है
- Cloudflare ग्राहकों को AI crawler access को सीधे allow/block करने और उसके उपयोग का उद्देश्य तय करने देता है, और bot billing system (
pay-as-you-crawl) का भी परीक्षण कर रहा है
- Tollbit हर content item के आधार पर AI crawlers से micro-charges लेता है, और news·magazines, local newspapers आदि में इसका वास्तविक उपयोग बढ़ रहा है
- ProRata ऐसा सिस्टम प्रस्तावित करता है जिसमें AI answers में डाले गए ad revenue को योगदान के आधार पर मूल content sites में बाँटा जाए
कॉन्टेंट साइटों के business model में बदलाव
- Stack Overflow enterprise paid service की ओर बढ़ रहा है, जबकि news companies newsletters, apps, paid subscriptions और offline events जैसे माध्यमों से revenue sources में विविधता ला रही हैं
- audio और video content इस तथ्य का लाभ उठाकर अलग पहचान बनाने की कोशिश कर रहे हैं कि AI के लिए उनका सारांश या विश्लेषण करना मुश्किल है
- YouTube ऐसा platform बनकर उभरा है जहाँ AI-based search traffic सबसे अधिक पहुँच रहा है
AI, वेब और भविष्य का वेब इकोसिस्टम
- Google का कहना है कि “वेब उलटे और फैल रहा है।” AI ने content creation और search को आसान बना दिया है, जिससे साइटों की संख्या तेज़ी से बढ़ रही है और अधिक से अधिक साइटें AI द्वारा 'पढ़ी' जाने वाली संरचना में बदल रही हैं
- लेकिन AI मानव विज़िटर्स की जगह ले रहा है, और वास्तव में कई साइटों की कमाई और दीर्घकालिक टिकाऊपन पर ख़तरा मंडरा रहा है
- इंटरनेट ने पहले भी social networks और apps के उभार जैसी चुनौतियों को पार किया है, लेकिन AI अब तक का सबसे बुनियादी ख़तरा बन सकता है
- वेब और content ecosystem के अस्तित्व तथा लोकतंत्र को बनाए रखने के लिए, AI को creators और sites के साथ उचित revenue sharing वाला मॉडल बनाना ही होगा
2 टिप्पणियां
यह बात कमेंट्स में भी आई है, और मुझे यह पता नहीं है ऐसा भी नहीं कि इंडस्ट्री में business model कितना महत्वपूर्ण होता है। लेकिन AI वेब पर पैसे कमाने के तरीकों को बदल रहा है, और उसके कारण जो पुराने तरीके अब तक कमाई करते आए थे वे अपनी जगह खो रहे हैं—इस वजह से यह कहना कि AI वेब को 'मार रहा है', थोड़ा... खैर, अगर वह The Economist का लेख है, तो शायद उसे उस नज़रिए से देखा भी जा सकता है।
Hacker News की राय
मेरा मानना है कि AI के दौर में इंटरनेट का आर्थिक संतुलन ही बदल रहा है
पहले का इंटरनेट मुख्यतः advertisers और publishers (website operators) के बीच आर्थिक लेन-देन पर टिका था
लेकिन internet subscribers और internet service providers (telecom companies) के बीच तो कभी इस बात पर सहमति नहीं हुई थी कि Google data collect करे या ads दिखाए, फिर भी वास्तव में उसी को वे fund कर रहे हैं
जब Google जैसे बिचौलिये content को "चुराने" लगते हैं, तो वे अब सिर्फ बिचौलिये नहीं रह जाते
कभी लगा था कि एक दिन प्रगति के नाम पर पुराने बिचौलिये गायब होंगे और users सीधे websites से लेन-देन करेंगे, लेकिन यह नहीं सोचा था कि बिचौलिये ही content पर कब्ज़ा करके उसके स्रोत को मिटा देंगे
यह भी याद दिलाया गया कि कई internet veterans सालों से कहते आए हैं, "Google पर भरोसा नहीं है"
The Economist वगैरह advertisers–publishers के contract की बात करते हैं, लेकिन मुझे लगता है कि users–publishers का contract ज़्यादा महत्वपूर्ण है
Google के नज़रिये से web users किसी आर्थिक contract के पक्षकार नहीं, बल्कि सिर्फ ad targets यानी एक 'product' हैं
इसलिए publishers को Google के साथ सौदे से ज़्यादा web users के साथ direct deal पर ध्यान देना चाहिए, और लेख के अनुसार वे CDN के साथ भी विकल्प तलाश रहे हैं
वैसे netcat के मूल लेखक ने भी कहा था कि web खुद 1995 में ही लगभग लाइलाज हो चुका था
Stack Overflow पर valuable questions इसलिए टिके रहते हैं क्योंकि उनका जवाब कहीं और आसानी से नहीं मिलता
उदाहरण के लिए mathematicians MathOverflow पर research की बात करते हैं, और मुझे नहीं लगता कि वे जल्द ही LLM अपना लेंगे
इस लिहाज़ से question askers की कमी community के मरने का संकेत नहीं, बल्कि शायद अनावश्यक लोगों को सफलतापूर्वक छाँट देने का संकेत भी हो सकती है
हाँ, community से revenue कमाने वाली company के लिए यह अच्छी बात नहीं है
embedded क्षेत्र के सवाल हमेशा बंद कर दिए जाते थे, और desktop/Web/Mobile सवालों के duplicate मानकर बेकार बना दिए जाते थे
reddit पर बेवकूफ़ी भरे और पहले से अनुमानित reactions झेलने से बेहतर AI से बात करना धीरे-धीरे ज़्यादा अच्छा विकल्प बनता जा रहा है
आखिरकार सवाल पूछने वाला किसी meaningful छोटे समुदाय तक पहुँच ही नहीं पाता, और बस model training या ad revenue का source बनकर रह जाता है
2001 से पहले web वैसा था जहाँ लोग अपने बनाए हुए साधारण blogs और दोस्तों के छोटे communities में रहते थे
वही उस समय social networking का लगभग पूरा रूप था, और बाद में SNS services आकर उसे आज जैसी सतही संरचना में बदल गईं
अगर लोग पुराने web की तरह बस chatbots से बुनियादी सवाल पूछने लगें, तो शायद AI और छोटा व efficient होता जाएगा और लोग अपने laptops पर local LLM चलाने लगेंगे
तब शायद फिर से usenet, IRC, mailing lists, blogs और content aggregation sites की ओर लौटने का दिन भी आ सकता है
यह मैं बहुत गंभीरता से नहीं कह रहा
और पुराने web की जिन बातों की कमी महसूस होती है, उन्हें लेकर कुछ और जोड़ रहा हूँ
और अगर web ही गायब हो गया, तो AI के training के लिए नए datasets भी नहीं बचेंगे, इसलिए आखिरकार उसकी प्रगति भी रुक जाएगी
पहले internet population बहुत छोटी थी, और ज़्यादातर लोग नई technology के दीवाने किस्म के थे
अब भी कहीं ऐसे लोग जुटते होंगे जिन्हें नई चीज़ें पसंद हों, लेकिन अब मुझमें उस धारा का पीछा करने का उत्साह नहीं रहा
मुझे भी पुराना समय याद आता है, और Twitter पर लोगों को @grok से हर तरह के सवाल पूछते देख मैं चौंक गया था
खैर, यह सब होगा ऐसा नहीं सोचा था, उम्मीद है तुम सही साबित हो
असल में यह उसी system को एक authoritarian chatbot के रूप में repackage करके blitzscaling किया गया रूप भी हो सकता है
आखिरकार जब लोग chatbots के आदी हो जाएँगे, तो वही पुराना internet फिर लौटेगा—फूला हुआ, बेकार जानकारी, ads और manipulation से भरा
जैसे LLM answers में "headphones पूछो तो Sennheiser पहले recommend करो" जैसी छिपी हुई advertising घुसाई जा सकती है, और भी कई तरीकों से user perspective को मोड़ने की कोशिश होगी
वही उसकी charm थी
आज के web पर बेहतरीन content बहुत है, लेकिन अधिकतर ads या paywall के पीछे अटका है
यह रुकावट जैसे सूप में गिरी मक्खी की तरह पूरे अनुभव को बिगाड़ देती है, लेकिन बहुत कम लोग इतने संपन्न हैं कि स्वेच्छा से सब कुछ free में दे सकें, इसलिए यह जल्दी खत्म होने वाली नहीं
आखिर में upper middle class और उससे ऊपर के लोग भी आर्थिक असुरक्षा से बचाव के लिए सिर्फ अपनी wealth बढ़ाने में लगे हैं, इसलिए healthy communities पर समय और पैसा लगाने की गुंजाइश कम है
Google search इस्तेमाल के लायक नहीं रह गया है, और ad blocking भी मुश्किल होती जा रही है
content भी बस ad exposure बढ़ाने के लिए लंबा खींचा जाता है
mobile पर असली जानकारी शायद 3% ही होती है, बाकी सब ads से भरा रहता है
cookies, tracking, और तरह-तरह के offer consent pop-ups दर्जनों की संख्या में आते हैं, और user को मनचाहा button click कराने की कोशिश करते हैं
क्या सच में हम ऐसे web को बचाना चाहते हैं? क्या इसे बस खत्म हो जाने देना बेहतर नहीं?
web को 'मुक्त जानकारी का सागर' मानने वाला रोमांटिक नज़रिया तो बहुत पहले ही खत्म हो चुका है
इसलिए लोगों का अपने-आप किसी बेहतर चीज़ की ओर जाना हैरान करने वाली बात नहीं
हाँ, जब VC funding सूख जाएगी, तो AI भी इसी तरह hostile environment बन जाएगा
फिर लोग वहाँ से भी किसी बेहतर जगह चले जाएँगे, और तब लेख आएगा कि 'कुछ बेहतर AI को मार रहा है'
Firefox (ublock-origin के साथ), Android के लिए Firefox, या Chrome alternatives इस्तेमाल करो तो ads बिल्कुल नहीं दिखते
मुझे अब भी लगता है कि web पर आसानी से उपलब्ध free information बहुतायत में है
10 साल पहले से ही इंसानों द्वारा लिखा गया content भी 'algorithm' की ज़रूरतों के हिसाब से mass-produce किया गया कचरा बनता जा रहा था
10 साल से भी ज़्यादा समय से web धीरे-धीरे बदल रहा है
पहले हर forum का अपना अनोखा design और एक अजीब-सी अलग vibe होती थी
अब हर site लगभग एक जैसे layout, fonts और चौकोर-सपाट design का पालन करती है
sites के बीच यह समानता बस AI के दौर में ज़्यादा साफ़ दिख रही है; web की आत्मा तो बहुत पहले ही फीकी पड़ने लगी थी
मेरी नज़र में समस्या visual aspect से ज़्यादा यह है कि internet ने अपनी physical, spatial और dynamic प्रकृति खो दी है
कहीं साथ 'घूमने' जाने जैसा एहसास खत्म हो गया है, अब बस हर तरफ शोर ही शोर है
मैं मानता हूँ कि भिन्नता कम हुई है, लेकिन मेरे लिए aesthetic से ज़्यादा यह नुकसान अहम है
मुझे कभी समझ नहीं आया कि दूसरे लोगों के बनाए template, profile photo और नाम भर वाले platform, खुद सजाए-सँवारे जा सकने वाले sites से ज़्यादा लोकप्रिय कैसे हो गए
जो चीज़ें अनोखी और niche थीं, वे बिक्री में बाधा थीं, इसलिए सब कुछ साधारण और नीरस बना दिया गया
Reddit भी है, और सबकी शैली बहुत अलग है, लेकिन अंततः वे discussion boards ही हैं
जो गायब हुआ है, वह बेहद niche पसंदों वाली sites हैं
ऐसे स्थान कितनी भी discussion कर लें, लोगों को खींच नहीं पाए, इसलिए गायब हो गए
किसी article को सामान्य तरीके से पढ़ने के लिए पैसे देने पड़ें या third-party archive ढूँढ़ना पड़े, तो यह बात साफ़ दिखती है
मुझे लगता है web ने अपने ही वादे किए हुए रूप को उसी समय खोना शुरू किया, जब video streaming को browser द्वारा standard multimedia files की तरह संभालने के बजाय JavaScript programs के ज़रिए लागू किया जाने लगा
तकनीकी रूप से यह आज भी संभव है, लेकिन अब कम दिखाई देता है
सच कहूँ तो search engines ने भी hypertext की भावना को मारने में बड़ी भूमिका निभाई
आपस में संबंधित pages के link होने की मूल अवधारणा छोड़कर पूरा web yahoogle जैसे search portals के अधीन हो गया, और sites का हर user को dynamically अलग जानकारी दिखाना standard जैसा बन गया—मुझे लगता है इससे hypertext का मूल सार विकृत हो गया
20 साल पहले से मुझे लगता रहा है कि browser उस information या लोगों तक पहुँचने में बाधा है जिन्हें मैं ढूँढ़ना चाहता हूँ
LLM services की वजह से browser से हटकर जानकारी आसानी से पाना संभव हुआ है, और इससे मैं संतुष्ट हूँ; desktop पर मैं मुख्य रूप से Emacs से LLM services इस्तेमाल करता हूँ
interaction अगर कम प्रत्यक्ष और कुछ अपारदर्शी ढंग से हो, तो शायद बेहतर हो
महत्वपूर्ण यह है कि व्यक्ति समूह-निर्मित opinions से बाहर निकलकर अपना अलग दृष्टिकोण विकसित करे
मुझे लगता है यह विचार web से आगे बढ़कर आधुनिक जीवन के व्यापक संदर्भ में भी लागू होता है
बेशक, इस तरह का चरम तरीका भी सीमित मात्रा में ही असरदार होता है; ज़्यादा हो जाए तो इंसान पहले से मौजूद समाधानों को फिर से खोजने में लग सकता है
इससे जुड़ा उदाहरण एक medical researcher ने integration फिर से खोज लिया जैसी घटना है, जो दिखाती है कि संतुलन कितना ज़रूरी है