- हाल ही में बड़े language models (LLM) और AI chatbots का customer journey पर क्या असर पड़ता है, यह परखने के लिए LLM referral ट्रैफ़िक और Organic (ऑर्गेनिक/प्राकृतिक) search की conversion rate की तुलना करने वाला एक विश्लेषण किया गया
- यह अध्ययन 6 महीनों में 54 साइटों के डेटा पर आधारित था, और नतीजों की विश्वसनीयता बढ़ाने के लिए इसमें केवल demo request, purchase जैसी macro conversions को शामिल किया गया
- नतीजों में LLM ट्रैफ़िक की औसत conversion rate (4.87%) ऑर्गेनिक सर्च (4.60%) से थोड़ी अधिक थी, लेकिन यह सांख्यिकीय रूप से महत्वपूर्ण नहीं पाई गई
- B2B और B2C, तथा उद्योग के आधार पर अलग-अलग देखने पर भी कोई लगातार बढ़त सामने नहीं आई, और ज़्यादातर साइटों में LLM ट्रैफ़िक का हिस्सा 1% से कम था
- कुल मिलाकर, LLM नए अवसर दे सकता है, लेकिन फिलहाल के समय में ऑर्गेनिक सर्च अब भी मुख्य चैनल है, यह परिणाम यही दिखाते हैं
अध्ययन का उद्देश्य
- यह विश्लेषण इस बात की जांच के लिए था कि क्या LLM ट्रैफ़िक ऑर्गेनिक सर्च से अधिक conversion rate दिखाता है
- इंडस्ट्री में यह परिकल्पना थी कि LLM अधिक ‘उच्च-गुणवत्ता वाला ट्रैफ़िक’ देता है, लेकिन इसका उद्देश्य इसे first-party data के आधार पर सत्यापित करना था
कार्यप्रणाली और डेटा
- अलग-अलग उद्योगों की वेबसाइटों की जांच की गई, लेकिन केवल उन्हीं साइटों को शामिल किया गया जहाँ मापी जा सकने वाली macro conversions मौजूद थीं
- B2B: demo request, form submission
- e-commerce: purchase
- कुल 54 साइटों को अंतिम sample के रूप में चुना गया
- डेटा स्रोत GA4 था, और अवधि पिछले 6 महीने की थी
- B2B और B2C के बीच अंतर को कम करने के लिए session-based conversion rate का उपयोग किया गया
- डेटा संग्रह के दौरान event mapping और tracking verification को मैन्युअली किया गया, ताकि विश्वसनीयता सुनिश्चित की जा सके
सांख्यिकीय दृष्टिकोण
- औसत और median की तुलना, standard deviation और interquartile range का मापन
- साइट-स्तर पर ऑर्गेनिक बनाम LLM conversion rate के अंतर की जांच के लिए paired t-test किया गया
- B2B बनाम B2C तुलना के लिए Welch’s test का उपयोग किया गया
मुख्य परिणाम
- औसत conversion rate: ऑर्गेनिक 4.60% vs. LLM 4.87%
- साइट-स्तर पर औसत अंतर +0.27pp, median अंतर +0.09pp
- p-value 0.794 → सांख्यिकीय रूप से महत्वपूर्ण नहीं
- 56% साइटों में LLM conversion rate अधिक थी, लेकिन 41% में कम थी → कोई लगातार बढ़त नहीं
high-traffic साइटों का विश्लेषण
- शर्तें: ≥10 लाख? नहीं, ≥100,000 sessions, ≥50 LLM sessions, ≥5 LLM conversions
- sample 54 से घटकर 33 रह गया
- औसत अंतर +1.24pp तक बढ़ा, लेकिन फिर भी सांख्यिकीय रूप से महत्वहीन (p=0.376) रहा
B2B vs. B2C परिणाम
- कुल डेटा:
- B2B → LLM(2.17%) > ऑर्गेनिक(1.16%)
- B2C → LLM(6.58%) < ऑर्गेनिक(6.78%)
- ट्रैफ़िक शर्तें लागू करने के बाद भी अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था
- Welch’s test के परिणाम में भी कोई अंतर नहीं (p=0.546)
LLM ट्रैफ़िक का पैमाना
- 90% से अधिक साइटों में कुल ट्रैफ़िक का 0.6% से कम LLM का योगदान था
- औसतन यह sessions का 0.24% और conversions का 0.42% ही था
- इसके विपरीत, ऑर्गेनिक सर्च कुल sessions का लगभग 32% और conversions का 34% लाता है, यानी इसका दबदबा बहुत अधिक है
उद्योग-वार विश्लेषण
- finance, travel और tourism उद्योगों में LLM ने अधिक conversion rate दिखाई
- e-commerce और consumer services में ऑर्गेनिक सर्च आगे था
- sample size छोटा होने के कारण इसकी व्याख्या सीमित है
निष्कर्ष और संकेत
- मौजूदा डेटा के आधार पर इस बात का कोई प्रमाण नहीं है कि LLM ट्रैफ़िक ऑर्गेनिक सर्च से अधिक conversion rate देता है
- बल्कि LLM ट्रैफ़िक का पैमाना बहुत छोटा है → ऑर्गेनिक सर्च की तुलना में इसका प्रभाव सीमित है
- customer journey अधिक जटिल होती जा रही है, और search और LLM का साथ-साथ उपयोग बढ़ने की प्रवृत्ति है
- हाल की रिपोर्ट के अनुसार 46% केवल पारंपरिक search का उपयोग करते हैं, 44% search+AI साथ में, और केवल 2% AI-केंद्रित हैं
- इसलिए कंपनियों को LLM optimization की tracking और monitoring साथ-साथ करते हुए भी, ऑर्गेनिक सर्च को अब भी सर्वोच्च प्राथमिकता वाला चैनल मानना चाहिए
अभी कोई टिप्पणी नहीं है.