Ecosia और Qwant यूरोपीय search index बनाने के लिए सहयोग करेंगे
(blog.ecosia.org)- Ecosia और Qwant European Search Perspective के ज़रिए अपना search index बना रहे हैं, ताकि यूरोपीय search technology की स्वतंत्रता बढ़ाई जा सके
- Search index वह database है जिसका इस्तेमाल search engine जानकारी ढूंढने और उसे relevance के क्रम में दिखाने के लिए करते हैं; यही results की quality और control तय करता है
- Ecosia अभी Google और Bing indexes का साथ में उपयोग करता है, लेकिन 2025 से नए index को search results database pool में जोड़ने की योजना है
- शुरुआती rollout Qwant और Ecosia के घरेलू देशों के हिसाब से French और German search results से शुरू होगा, और छोटे पैमाने पर validate किया जाएगा
- नए index का लक्ष्य digital sovereignty, privacy-first search, और AI infrastructure के लिए transparent व safe data pool उपलब्ध कराना है, साथ ही इसे बाहरी उपयोग के लिए भी उपलब्ध कराने की योजना है
European Search Perspective का लक्ष्य क्या है
- Ecosia ने Qwant के साथ मिलकर European Search Perspective बनाया है
- मुख्य काम अपना search index बनाना है, जिसे आगे AI infrastructure सहित तकनीकी आधार के रूप में इस्तेमाल किया जा सकता है
- यह Digital Markets Act से जुड़ी गतिविधियों से भी संबंधित है, और अधिक fair, competitive और democratic tech ecosystem का लक्ष्य रखता है
Search index लागू करने का तरीका
- Search index वह database है जिसका उपयोग search engine जानकारी लाने और उसे सबसे अधिक relevant क्रम में दिखाने के लिए करता है
- अभी Ecosia users की searches का जवाब देने के लिए Google और Bing के indexes का साथ में उपयोग कर रहा है
- 2025 से नया index search results देने वाले database pool में जोड़ा जाएगा
- शुरुआती target languages French और German होंगी
- Qwant और Ecosia के घरेलू देशों में छोटे पैमाने से शुरुआत होगी
- European Search Perspective का उद्देश्य यूरोप में digital sovereignty बढ़ाना और उभरती AI technologies के लिए ज़रूरी transparent व safe data pool प्रदान करना है
- इसे Ecosia और Qwant द्वारा साझा किए जाने वाले privacy-first search index के रूप में विकसित किया जाएगा, और proprietary solutions के विपरीत इसे अन्य जगहों पर भी इस्तेमाल के लिए उपलब्ध कराने की योजना है
- Ecosia मानता है कि search engine की quality climate impact पैदा करने से जुड़ी है, और इस technology development को green technology के भविष्य के लिए key element के रूप में देखता है
1 टिप्पणियां
Hacker News की राय
Qwant को काफ़ी सावधानी से देखना चाहिए
Axel Springer(Bild, Die Welt) से इसे बड़ा निवेश मिला है, और संभावना है कि किसी न किसी समय वह प्रकाशक उस निवेश का प्रतिफल चाहेगा
अगर मामला Cliqz/Hubert Burda(एक और बड़ा जर्मन प्रकाशक) जैसा गया, तो वे प्राइवेसी को “अमेरिकी कंपनियों को बाहर रखना” के रूप में फिर से परिभाषित कर सकते हैं, जबकि जर्मन प्रकाशकों के साथ डेटा साझा करना ठीक बताया जाएगा। मतलब यह कि वे निश्चित रूप से अच्छे लोग हैं और डेटा को ज़िम्मेदारी से संभालेंगे, इस पर भरोसा कर लो
Ecosia पहली नज़र में काफ़ी बेहतर लगता है। पारंपरिक मीडिया से इसका कोई स्पष्ट जुड़ाव नहीं है और यह अपनी राजनीतिक झुकाव भी नहीं छिपाता। लेकिन यह लाभकारी है या नहीं, इस पर संदेह है, और मैं देखना चाहूँगा कि पैसा वास्तव में कहाँ से आता है
कम-आय वाले श्रमिक वर्ग से लेकर ऊपरी मध्यवर्ग तक, इनके पास लगभग पूरे स्पेक्ट्रम के न्यूज़ चैनल हैं, और Mathias Döpfner जिन राजनीतिक विचारों को फैलाना चाहते हैं, उन्हें उन चैनलों के ज़रिए ठूंसने में वे हिचकते नहीं
जर्मनी में इनका कोई मुकाबला नहीं, लेकिन अमेरिका में शायद यह सामान्य स्तर का ही लगे
लंबे समय तक यह असल में Bing wrapper था, फिर भी यह बात मानने से इंकार करता रहा
यह हर महीने अपने ख़र्च और दान का ब्योरा सार्वजनिक करता है, और जनवरी में इसने लगभग 40 लाख यूरो कमाए, इसलिए जो यह करना चाहता है उसमें इसे काफ़ी सफल कहा जा सकता है
संदर्भ के लिए, मैंने Cliqz में काम किया है
बहुत पुरानी बात नहीं है, उस हिसाब से मुझे Qwant, Google से थोड़ा कमज़ोर लगा था
इस बीच जर्मनी-आधारित GOOD Search एक विकल्प हो सकता है
यह Brave के स्वतंत्र search index का इस्तेमाल करता है, और [1] के अनुसार वह index भी काफ़ी हद तक जर्मनी में विकसित हुआ था
[0] https://good-search.org/
[1] https://en.reset.org/the-good-search-engine-web-search-witho...
GOOD Search, एक जर्मन purpose company के रूप में, बेहतरीन स्वतंत्र तकनीकों के साथ काम करना चाहती है और फ़िलहाल Brave Search पर ध्यान दे रही है
इसे UK-आधारित Mojeek तक भी पहुँच है, और Qwant/Ecosia startup से भी संपर्क में है। ये लोग शायद 2025 के मध्य तक फ़्रेंच independent search feed, और जर्मन के लिए शायद 2026 की शुरुआत तक कुछ तैयार कर सकें
Andreas, GOOD Search के सह-संस्थापक
बस शर्त यह है कि वह ताज़ा ख़बरों से जुड़ा न हो, और यह torrent sites जैसी चीज़ें भी अच्छे से ढूंढ लेता है
GOOD अनलिमिटेड सर्च के लिए 2 यूरो प्रति माह लेता है, तो सोचता हूँ कि इसकी लागत Kagi से इतनी कम क्यों है। शायद Brave index की कीमत अपना खुद का index बनाने से कहीं कम हो
यह अच्छी ख़बर है। अभी यूरोप के पास अमेरिकी टेक और उत्पादों पर निर्भरता घटाने की स्पष्ट वजहें हैं, लेकिन उससे अलग भी देखें तो search index जैसी इस छोटी दुनिया का बड़ा होना सकारात्मक है
हाल की search थोड़ी ठहरी हुई लगी हो, तब भी इस पर बहुत विवाद नहीं होगा, और उम्मीद है कि बढ़ती प्रतिस्पर्धा से सबके लिए सुधार आएगा
शानदार। बल्कि काफ़ी देर हो चुकी है
मैं चाहता हूँ कि ऐसे यूरोप-आधारित joint ventures हर तरह से और बढ़ें
Qwant लॉन्च के समय बहुत अच्छा था, और उसके पास DuckDuckGo lite जैसा सुंदर “lite.qwant.com” भी था, लेकिन आख़िरकार उसने उसे बंद कर दिया और homepage को भारी-भरकम बना दिया
Ecosia भी कम जटिल और तेज़ था, लेकिन अब उसे देखकर बच्चों की चित्र-पुस्तक वाली वेबसाइट जैसा एहसास होता है और विज्ञापन भी ज़्यादा हैं
आख़िर में लगता है कि दोनों मिलकर पुराने Yahoo! की अगली पीढ़ी बनाने की कोशिश करेंगे और नाकाम रहेंगे
मुझे लगता है कि यही वेब सर्च का भविष्य हो सकता है
यानी open या semi-open search engines साथ मिलकर एक साझा source/index के आधार पर खुला और मुफ़्त search experience दें। अच्छा होगा अगर DDG और Brave भी सीधे इसमें शामिल हों
Kagi जैसी सेवाएँ भी अच्छी हैं, लेकिन ज़्यादा से ज़्यादा वे बहुत महंगे शहर की महंगी सड़क पर custom suits सिलने वाली high-end दुकान बन सकती हैं। मेरा मानना है कि सामान्य search का स्वभाव ऐसा नहीं है
Kagi के बिज़नेस को भी मैं दिलचस्पी से देख रहा हूँ। मेरा मानना है कि बाज़ार में हमेशा ऐसी कंपनियों के लिए जगह होती है जो किसी क्षेत्र में दुनिया जीतने की बजाय, टिकाऊ बिज़नेस के रूप में अपना काम काफ़ी अच्छी तरह करती हैं
Kagi को “Google killer” होने की ज़रूरत नहीं है; बस इतना काफ़ी है कि मेरे जैसे लोग पैसे देकर जो पाते हैं, उससे संतुष्ट हों
Kagi अपने बिज़नेस के सिर्फ़ 2 साल बाद, 2024 में मुनाफ़े में आ गया, जबकि Google index इस्तेमाल करने की इसकी मौजूदा लागत शायद काफ़ी ज़्यादा होगी। अगर यह niche business बना रहते हुए भी बढ़ता रहे (फ़िलहाल 41,000 सदस्य [0]), तो मेरे जैसे लोगों के लिए यह काफ़ी उपयुक्त है
इसे “सामान्य search” बनने की ज़रूरत नहीं है; बस इतना अच्छा होना चाहिए कि लोग इसके लिए पैसे दें
[0] https://kagi.com/stats
ऐसे प्रयास पहले ही दर्जनों बार हो चुके हैं, और वास्तविक बाज़ार माँग न होने की वजह से सब विफल हुए हैं। ज़्यादातर मामलों में open source कोई फ़ीचर नहीं होता
मुझे नहीं दिखता कि यह किस ऐसी अभी तक अधूरी ज़रूरत को पूरा करेगा, जो पर्याप्त संख्या में उपयोगकर्ताओं के पास हो और जिसके लिए यह प्रयास सार्थक हो
फ़्रांस और जर्मनी की privacy-friendly services पर ज़्यादा भरोसा करना मुश्किल है
[1]: https://techcrunch.com/2016/08/24/encryption-under-fire-in-e...
[2]: https://www.laquadrature.net/en/2023/06/05/criminalization-o...
[3]: https://news.ycombinator.com/item?id=36275795
असल में उसी रास्ते से खुफिया एजेंसियों द्वारा privacy का काफ़ी उल्लंघन भी संभव हो जाता है
EU कंपनियों के privacy उल्लंघन से निपटता है, लेकिन law enforcement privacy पर समझौता करता है
अमेरिका के व्यवहार को देखते हुए, अगर यूरोप encryption वगैरह की परवाह न भी करे और सिर्फ़ ऐसी services चाहता हो जो स्थिर, भरोसेमंद हों और geopolitical मक़सदों के लिए अचानक दुरुपयोग न की जाएँ, तब भी अमेरिकी services चुनने से बेहतर विकल्प मौजूद हैं
यह जानना चाहता हूँ कि क्या किसी को AAAA search index या IPv6-only network पर इस्तेमाल के लिए किसी search engine की जानकारी है
अभी IPv6 से उपलब्ध search engines बहुत ज़्यादा ऐसे results लौटाते हैं जिन तक पहुँचना संभव नहीं होता
मैं Kagi के लिए पैसे देकर इस्तेमाल करता हूँ, और अगर कोई यूरोपीय sovereignty-focused alternative हो तो उसी रकम का भुगतान करना मुझे स्वीकार है
अच्छा है
यह जानना चाहूँगा कि Ecosia/Qwant की तुलना Kagi से कैसी है। मैं कई सालों से Kagi से संतुष्ट हूँ, लेकिन आजकल अमेरिका के बाहर के alternatives को support करना भी बुरा विचार नहीं लगता
मेरी याद के मुताबिक Qwant के पास काफ़ी समय से अपना index था, और जब results बहुत कम होते थे तो वह Bing से पूरक results लेता था। Ecosia तो बस Bing के काफ़ी क़रीब है, और लगभग बस वही है
Qwant में आपको search terms थोड़ा अलग तरह से लिखने पड़ सकते हैं। “what is the standard bike chain size” जैसे प्रश्नवाचक रूप की तुलना में “bike chain roller standard size” जैसी पुरानी keyword-style query बेहतर काम कर सकती है, और व्यक्तिगत रूप से मुझे वही सही तरीका लगता है
fine-tuning settings बहुत सीमित हैं, लेकिन कुल मिलाकर results शानदार थे
मैं ब्राज़ील से पहुँच रहा हूँ, और मुझे नहीं लगता कि किसी search engine पर मैंने पहले ऐसा संदेश देखा है
Bing की पहुँच ज़्यादा दूर तक है, लेकिन गुणवत्ता और ख़राब है
अच्छा होगा अगर कोई open search index हो जिसमें URL और crawling attributes दूसरों के साथ साझा किए जाएँ
तब छोटी कंपनियाँ या शोधकर्ता सिर्फ़ promising sites को दोबारा crawl करके अपना local store बना सकते हैं। यानी पूरे web का ऐसा छनित रूप, जो बहुत लोगों के लिए उपयोगी और सुरक्षित होने की संभावना वाली चीज़ों पर केंद्रित हो, जैसे malware-मुक्त सामग्री
अगर इसके लिए लागत लेनी हो, तो संगठन के आकार के हिसाब से tiered pricing वाला commercial product हो सकता है। जिन शोध परिणामों का उपयोग non-commercial हो या जिनकी license permissive हो, उनके लिए शोधकर्ताओं को यह मुफ़्त दिया जा सकता है, और बाकी मामलों में छूट दी जा सकती है। आम तौर पर मैं इसे personal/server Windows pricing की तरह सोचता हूँ, जहाँ profitability और broad accessibility दोनों का संतुलन रखा जाता है
तब copyright law का उल्लंघन किए बिना RefinedWeb जैसे datasets को दोबारा बनाया जा सकता है। बेशक, terms of service, contract law वगैरह अब भी ध्यान में रखने होंगे। internal use, ख़ासकर non-commercial use के लिए crawling में क़ानूनी बचाव का तर्क और मज़बूत होता है। सिर्फ़ copyright समस्या हट जाना भी बहुत बड़ी मदद होगी
अगर बीच में कोई index हो, तो content creators के पास यह तय करने की गुंजाइश कम हो जाती है कि वे किसकी crawling की अनुमति दें या रोकें। हालाँकि अभी AI के लिए content का उपयोग इतना खुल्लमखुल्ला है कि शायद इसका ज़्यादा मतलब न रह गया हो
content freshness भी एक समस्या है। data का आकार बहुत बड़ा हो सकता है, और कुछ pages को दूसरों की तुलना में ज़्यादा बार update करने की ज़रूरत होती है। index के अलग-अलग users किन pages में रुचि रखते हैं, यह भी अलग हो सकता है, इसलिए यह तय करना कठिन है कि निर्णय कौन करे
Reddit जैसी centralized content भी समस्या है। वह पहले से ही ज़्यादातर bots को content crawl करने से रोकने के लिए आक्रामक तरीक़े से block करता है। वहाँ रोज़ बहुत सारे pages crawl करने पड़ते हैं, और अंततः block होने की संभावना काफ़ी रहती है। आम तौर पर सिर्फ़ कुछ bots को ही अधिक आक्रामक crawling की प्राथमिकता मिलती है