ChatGPT असल में स्रोत कैसे चुनता है (नेटवर्क ट्रैफ़िक विश्लेषण)

 (suganthan.com)
3 पॉइंट द्वारा GN⁺ 4 시간 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • एक लॉग-इन Pro अकाउंट से कई दिनों में इकट्ठा किए गए लगभग 1,240 source records का विश्लेषण करके, अंतिम जवाब से न दिखने वाली source pipeline, query classification, search terms और execution model को browser JSON में देखा गया
  • हर web result के साथ result_source जुड़ा होता है, जो serp, labrador, bright, oxylabs में से एक होता है; commercial, shopping, finance और weather queries में Bright Data परिवार का bright मुख्य रूप से दिखा
  • queries को 6 turn_use_case में से एक में classify किया जाता है, और अगर यह text हो तो web search के बिना केवल training data से जवाब दिया जाता है। freshness मांगने वाली 10 queries में से 3 में भी search नहीं हुआ, लेकिन यह एक ही account से मिला सीमित result है
  • Thinking model एक product comparison को लगभग 15–40 sub-queries में expand करता है, official pricing pages को site: से search करता है या price estimate करने के बाद $, € जैसे strings खोजकर verify करता है
  • fetching, citation और brand mention अलग-अलग चीजें हैं; अगर official page की pricing और specs JavaScript या images के पीछे छिपी हों, तो G2 जैसे third-party sources cite हो सकते हैं। facts को plain HTML में दें, और reviews, Reddit, comparison content से evaluation भी उपलब्ध कराएं

जांच का दायरा और results को interpret करने के मानदंड

  • एक व्यक्ति के logged-in ChatGPT Pro account से कई दिनों में दर्जनों searches चलाकर लगभग 1,240 source records इकट्ठा किए गए
    • ज्यादातर queries SaaS और technology domains की ओर झुकी हुई थीं
    • यह पूरी population में source frequency मापने वाला study नहीं है, बल्कि browser को भेजे जाने वाले internal fields और behavior का observation record है
  • बड़े visibility studies हजारों prompts के final answers में brand exposure frequency aggregate करते हैं, लेकिन internal processing को results के आधार पर infer करना पड़ता है
  • इस analysis में network response JSON से engine internal labels सीधे देखे गए
    • per-result result_source
    • per-query turn_use_case
    • search provider names
    • ChatGPT द्वारा बनाए गए search terms
    • वास्तव में execute हुआ model
  • result की reliability को दो categories में देखना चाहिए
    • structural facts: fields और values का होना, text queries में web search skip होना, Thinking model में कई site: searches और price verification जैसे structures जो actual traffic में बार-बार confirm हुए
    • frequency observations: bright share, Reddit citation ranking, YouTube non-citation जैसे numbers और rankings, जो single account और limited query selection के हिसाब से बदल सकते हैं
  • यह mechanical difference कि Reddit body text fetch किया जा सकता है लेकिन YouTube search results में mainly metadata मिलता है, observed direction को support करता है। हालांकि exact ratio जानने के लिए बड़ा sample चाहिए

Packet capture नहीं, browser HTTP inspection

  • केवल Wireshark packets से queries और answers पढ़ना संभव नहीं, क्योंकि actual message body TLS से encrypted होती है
    • destination hostname और IP, और यह metadata कि ChatGPT app TCP के बजाय QUIC-based HTTP/3 इस्तेमाल करता है, देखा जा सकता है
    • QUIC का पहला packet spec-defined fixed key से obfuscate होता है, इसलिए tools इसे खोलकर ClientHello में शामिल unencrypted server name दिखा सकते हैं
    • उसके बाद request/response body protected payload में रहती है और पढ़ी नहीं जा सकती
  • query, answer और metadata वाला JSON decryption के बाद browser DevTools Network panel में देखना होता है
  • automation के दौरान दो समस्याएं आईं
    • clean automated Chrome में दूसरा engine चलाने पर कुछ queries के बाद Cloudflare human verification screen बार-बार आई, इसलिए actual session वाले Chrome पर switch किया गया
    • ChatGPT answers page load होते समय खुली long-lived connection से stream होते हैं, इसलिए session के बीच में लगाए गए hooks शुरुआत से capture नहीं कर पाए

हर source के साथ जुड़ा result_source

  • DevTools में Preserve log enable करके responses search करने पर ChatGPT द्वारा fetched हर web result के साथ result_source जुड़ा दिखता है
  • Mark Williams-Cook ने इन values में से 3 share किए, और Metehan ने भी संभवतः बाकी value पहले ही खोज ली थी
  • देखी गई values चार हैं
    • serp: open web की default layer, मुख्य रूप से Yahoo और StreetInsider जैसी news में दिखती है
    • labrador: Reuters, The Guardian, WSJ, FT, Wikipedia, arXiv जैसे existing publishers की allowlist लगती है; snippets लगभग 1,080 characters तक दिए जाते हैं
    • bright: commercial web scraping company Bright Data की ओर संकेत करता है, और shopping, finance, weather, local queries में प्रमुख दिखता है
    • oxylabs: competing scraping company Oxylabs की ओर संकेत करता है, और regional press तथा कुछ open web results की ओर झुका दिखता है
  • labrador में OpenAI के साथ content agreements वाले कई publishers शामिल हैं, इसलिए यह licensing layer जैसा दिखता है, लेकिन केवल traffic से contract relationship confirm नहीं किया जा सकता
  • bright और oxylabs के लिए भी contract या payment की स्थिति पता नहीं चलती। हालांकि open web fetching दोनों से होकर गुजरती है, और कौन सा result किसने fetch किया, यह field से देखा जा सकता है
  • collected sample में bright ने सबसे ज्यादा fetches handle किए
    • Reuters, WSJ, Wikipedia, TechRadar: labrador
    • Reddit, Forbes, rtings: bright
    • Khaleej Times, Gulf News जैसे Gulf regional media: oxylabs
  • Dubai weather query में एक ही answer के अंदर roles बंटे हुए थे
    • metoffice.gov.uk, accuweather.com, timeanddate.com: bright
    • khaleejtimes.com, gulfnews.com, whatson.ae: oxylabs
  • actual accessible scraping layer में दिखने के लिए facts और numbers को plain HTML में रखें और scripts, PDFs या images के पीछे न छिपाएं
  • difficult-to-access publisher layer पर ही निर्भर रहने के बजाय third-party coverage, PR, brand mentions, links और Reddit के जरिए उन pages पर भी शामिल होना जरूरी है जिन्हें scrapers पढ़ते हैं

web बिल्कुल search न करने वाली text queries

  • ChatGPT search से पहले question को turn_use_case के रूप में classify करता है; observed values 6 हैं
    • instant search
    • shopping
    • text
    • local
    • thinking
    • image generation
  • text classify होने पर web search execute नहीं होता और training data से जवाब दिया जाता है
    • “tire puncture कैसे बदलें”
    • “दो sorted lists merge करने वाला Python function लिखें”
    • “इस sentence को 4 languages में translate करें”
  • freshness और safety important होने वाली “type 2 diabetes की latest treatment guidelines” भी text classify हुई और web search के बिना handle की गई
  • जानबूझकर latest information मांगने वाले 10 questions में से 3 बिना search के process हुए, लेकिन ये limited test results हैं और इन्हें general ratio नहीं माना जा सकता
  • classification सिर्फ topic पर नहीं, query wording पर भी निर्भर करती है
    • “मेरे पास best coffee” local pipeline में बदल गया
    • “buy करने के लिए best 4K TV” ने shopping activate किया
    • “reviews वाले best 4K TV” general search में रहा
    • math questions thinking के reasoning model में चले गए
    • “this week Tesla stock price” instant search में रहा
  • page बनाने से पहले verify करना चाहिए कि target query सच में web search करती है या नहीं
    • अगर how-to या definition query text के रूप में process होती है, तो current page quality चाहे जैसी हो, वह search results में नहीं आ सकती
    • ऐसी queries में brand दिखाना हो तो long-term authority build करनी होगी और Common Crawl जैसे crawlers को site देखने देना होगा, ताकि future training data में शामिल होने की संभावना बने

एक question को दर्जनों searches में expand करने का तरीका

  • पूरा conversation ChatGPT की अपनी API से लाने पर model द्वारा execute की गई fan-out queries देखी जा सकती हैं
    • fast model आम तौर पर सिर्फ एक rewritten search term चलाता है
    • Thinking model एक product comparison question से complexity के आधार पर लगभग 15–40 sub-queries बनाता है
  • comparison process में कई search patterns चलते हैं
    • vendor pricing page को सीधे site: search करता है
    • पहले price estimate करता है, फिर search करता है कि वह amount सही है या नहीं
    • prompt में न बताए गए Scrunch AI जैसे tools को research के दौरान खोजकर comparison scope बढ़ाता है
    • newly found tools की pricing भी chain में verify करता है
  • search results fetch करने तक सीमित नहीं रहता, बल्कि browsing tool के find, open, click commands server-side execute करता है
    • $, €, 99, Agency जैसे strings सीधे खोजता है
    • यह user screen manipulate करने वाला agent नहीं, बल्कि page results explore करने वाला server-side tool है
  • “keyword insights pricing” query में site:keywordinsights.ai/pricing execute किया गया, “Starter $58, Pro $145, Advanced $299” जैसी values estimate की गईं, फिर HTML में currency symbols खोजकर confirm किया गया
  • prices और core metrics image नहीं, HTML text में देने चाहिए; JavaScript toggles या dynamic data loading से बचना चाहिए
  • सिर्फ human-entered sentence को target न करें; model जो search terms बना कर execute करता है और site:yourdomain.com/pricing जैसी direct checks भी information ढूंढ सकें, ऐसा design करें

fetching, citation और mention अलग-अलग results हैं

  • sources की तीन independent states होती हैं
    • Fetched: page model context में जाता है, लेकिन reader को नहीं दिखता; result_source object से confirm होता है
    • Cited: किसी specific sentence के बाद clickable source के रूप में link होता है
    • Mentioned: answer में brand name या site chip दिखता है, लेकिन वह claim का source नहीं होता
  • limited tech/commercial query sample में Reddit और YouTube क्रमशः 278 और 201 बार fetched हुए
    • Reddit 11 बार cite हुआ
    • YouTube एक बार भी cite नहीं हुआ
  • YouTube search results में video transcript के बजाय metadata fetch होता है, जबकि Reddit threads में page पर body text होता है, इसलिए specific sentences से source जोड़ना आसान था
  • external large-scale analyses में भी यही direction दिखती है
    • Ahrefs ने 1.4 million ChatGPT prompts में Reddit citation rate 1.93% और YouTube citation rate 0.51% पाया
    • Profound ने भी दोनों services के बीच वही gap देखा
  • छोटे sample में Reddit सबसे ज्यादा cited single domain था, और उसके बाद citations rtings, TechRadar जैसे review sites और vendor pages में बंटे हुए थे
  • vendor pages अपने prices और specs के source के रूप में cite होते हैं
    • Zoho, Semrush, VPN vendors अपनी information support करने के evidence के रूप में link हुए
    • कौन सा product best है, इस evaluation के लिए mainly third-party pages cite हुए
  • citation पूरे answer से नहीं, specific sentence से जुड़ी होती है; इसलिए सिर्फ topical relevance काफी नहीं, किसी exact claim को सबसे अच्छी तरह support करना जरूरी है
  • results domain level पर deduplicate होते हैं, इसलिए एक ही site के 20 thin pages एक में merge हो सकते हैं
  • हर fan-out search term के लिए low-quality pages बड़ी संख्या में बनाने के बजाय हर claim के लिए एक strong page बनाना बेहतर है
  • अपनी company के बारे में evaluative claims का evidence अपनी page से नहीं, third-party reviews, Reddit और comparison content से आता है; text video की तुलना में direct cite होना आसान है

official page न पढ़ पाने पर source switch

  • browser को भेजे जाने वाले traffic में domain authority score, trust weight, ranking formula जैसे hidden ranking scores नहीं दिखते
    • relevant logic OpenAI server पर रहता है
    • browser data से “ChatGPT ranking factors” तय करके बेचने का आधार नहीं है
  • saved Thinking model reasoning में sources चुनने की process sentences के रूप में बची रहती है
    • pricing और specs जैसे facts के लिए official pages को preference दी जाती है
    • Ahrefs comparison में official page के Lite $129, Standard $249, Advanced $449 confirm किए गए, और newer pricing page को citation target चुना गया
  • Profound और Peec में pricing search results में directly नहीं दिखी; note किया गया कि शायद यह JavaScript से load हुई थी
  • official page parse न कर पाने पर model G2 जैसे third-party sources पर switch करता है
    • official price confirm करने की कोशिश की गई लेकिन page पर नहीं मिला
    • परिणामस्वरूप company के अपने numbers किसी और site के page को evidence बनाकर cite हुए
  • pricing और product specs को JavaScript से load या images में embed न करें; crawlable text के रूप में दें
  • readable pricing page से अपनी facts direct cite होने की संभावना बढ़ती है, लेकिन recommendations और evaluations के लिए अलग से reviews, Reddit और honest comparison content चाहिए

personalization, local search और verify न हो सकने वाले areas

  • कोई source दूसरे से क्यों चुना गया, इसका कारण model की saved self-description के अलावा server-side logic का हिस्सा है, इसलिए confirm नहीं किया जा सकता
  • personalization हर query पर नहीं, बल्कि कुछ relevant queries पर selectively apply होती है
    • user के past work से overlap करने वाली queries में personal_sources: ["convo_search", "gmail", "files"] दिखा
    • जांची गई 3 conversations में से user history से match करने वाली 1 में past conversations को general “best tools” answer में इस्तेमाल किया गया
  • कुछ answers ऐसे personal data से बनते हैं जिन्हें externally optimize नहीं किया जा सकता, इसलिए results users के हिसाब से बदलते हैं और visibility scores भी fluctuate कर सकते हैं
  • local search में local_results_limit value 2 set है
    • nearby best coffee पूछने पर top 10 नहीं, सिर्फ 2 places return होते हैं
    • local search में top 2 में न होने पर answer में दिखना मुश्किल है
  • shopping pipeline में सिर्फ एक query observe हुई, और वह दूसरे researcher द्वारा एक query में देखे गए result से सीधे conflict करती है; इसलिए अभी इसकी composition तय नहीं की जा सकती
  • structures लगभग 1,240 records में repeatedly observe हुए, लेकिन SaaS/tech-focused small commercial queries से निकले ratios को कई industries में बड़े scale पर verify करने की जरूरत है
  • system हर हफ्ते बदल सकता है, इसलिए इसे ऐसा snapshot मानना चाहिए जिसमें structure रह सकता है, लेकिन numbers shift हो सकते हैं

खुद verify करने का तरीका और extensions

  • बिना extra permission के अपने browser में basic pipeline check की जा सकती है
    • ChatGPT में Cmd+Option+I से DevTools खोलें
    • Network में Preserve log enable करें
    • query run करने के बाद Cmd+Option+F से response में result_source search करें
  • fan-out, citations और reasoning तक देखने के लिए Console में एक बार allow pasting type करें, और web search करने वाली conversation का /backend-api/conversation/ data पढ़ा जा सकता है
  • provided script current session के access token से केवल अपना conversation data पढ़ता है, और source domains तथा pipeline को table form में output करता है
    • techradar.com और whathifi.com: labrador
    • soundguys.com और rtings.com: bright
    • khaleejtimes.com: oxylabs
    • streetinsider.com: serp
  • collected fields बदलकर search terms, citations और saved reasoning भी इसी तरह निकाले जा सकते हैं
  • FanoutFox इस process को automate करने वाला free Chrome extension है
    • per-source result_source pipeline दिखाता है
    • fetched, cited और mentioned states अलग करता है
    • एक question से बने सभी fan-out queries और site:/price verification searches दिखाता है
    • data browser से बाहर नहीं जाता
    • इसे Chrome Web Store से install किया जा सकता है और Part 2 में extra analysis देखा जा सकता है
  • Olivier de Segonzac का free extension भी local session से data पढ़कर Excel में export करता है
    • turn_use_case दिखाता है, ताकि search से पहले shopping, local या text में कौन सी classification होती है, यह देखा जा सके
    • citation tokens से product, search result, news, image reference-type shares अलग करता है
    • per-conversation result_source composition chart में दिखाता है
    • इसे Chrome Web Store और update notes में देखा जा सकता है

search engine optimization से अलग design principles

  • limited sample में existing advice में से Reddit, list-style content और review sites का impact broadly confirm हुआ
  • अच्छा content भी सिर्फ उन parts में असर डालता है जिन्हें model वास्तव में पढ़ सकता है; जो facts पढ़े नहीं जा सके, वे दूसरी sites से लिए जा सकते हैं
  • ChatGPT अपनी pages से parseable facts पढ़ता है, दूसरों की pages से evaluation लाता है, और यह process तभी चलती है जब query search target के रूप में classify हो
  • सिर्फ search engine ranking को target करने के बजाय search execution की स्थिति, HTML parseability, per-claim citation suitability और third-party evaluation sources को साथ में design करना चाहिए

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.