गैर-व्यावसायिक कंटेंट को प्राथमिकता देने वाला सर्च इंजन Marginalia

 (marginalia-search.com)
4 पॉइंट द्वारा GN⁺ 2025-01-28 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Marginalia Search एक ऐसा सर्च इंजन है जो कम commercial optimization वाले वेब को खंगालने और पुराने, भुला दिए गए वेबसाइटों को फिर से खोजने पर केंद्रित है
  • यह सिर्फ search ही नहीं, बल्कि साइटों की खोजबीन और discovery के लिए रास्ते भी देता है, और पुराना संस्करण old-search.marginalia.nu पर अब भी उपलब्ध है
  • यह प्रोजेक्ट open source के रूप में सार्वजनिक है और अपने खुद के index, crawler तथा AI के बिना सरल तकनीकी संरचना को प्रमुखता देता है
  • इसका source AGPL license के तहत उपलब्ध है, और Git repository तथा Project Discord के माध्यम से प्रोजेक्ट सामग्री और community तक पहुंच संभव है
  • यह व्यक्तिगत जानकारी इकट्ठा किए बिना GDPR का पालन करता है, और cookie उपयोग व IP log संग्रहण भी सीमित रूप से संचालित करता है

गैर-व्यावसायिक वेब खोज पर केंद्रित सर्च इंजन

  • Marginalia Search गैर-व्यावसायिक कंटेंट को प्राथमिकता देने वाला सर्च इंजन है
  • यह पुराने और भुला दिए गए वेबसाइटों को खोजने की क्षमता पर जोर देता है, और search व discovery दोनों के लिए tools प्रदान करता है
  • पुराना संस्करण old-search.marginalia.nu पर अब भी इस्तेमाल किया जा सकता है

open source प्रोजेक्ट और संचालन चैनल

  • यह प्रोजेक्ट open source के रूप में सार्वजनिक है
    • यह अपना खुद का index और crawler software इस्तेमाल करता है
    • यह AI का उपयोग न करने वाली सरल तकनीकी संरचना को सामने रखता है
    • इसका license AGPL है
  • संबंधित लिंक

प्राइवेसी सुरक्षा और log नीति

  • मूल रूप से यह privacy protection को प्राथमिकता देता है
    • tracking को फ़िल्टर करता है
    • third party के साथ data साझा नहीं करता
    • IP को लंबे समय तक संग्रहीत नहीं करता
  • वेबसाइट व्यक्तिगत जानकारी इकट्ठा किए बिना GDPR का पालन करती है
  • cookies का उपयोग सेवा कार्यक्षमता प्रदान करने के अलावा किसी और उद्देश्य के लिए नहीं किया जाता, इसलिए यह EU Cookie Directive का पालन करती है
  • IP पते शामिल access logs अधिकतम 24 घंटे तक रखे जाते हैं
  • source address हटाए गए anonymized logs bug diagnosis में मदद के लिए अधिक समय तक रखे जा सकते हैं
  • संपर्क पता contact@marginalia-search.com है
  • IP location जानकारी IP2Location LITE data का उपयोग करती है, और इसका license CC-BY-SA 4.0 है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-01-28
Hacker News की राय

  • मैंने हाल ही में इस search engine और इसके ranking algorithm पर एक essay लिखा था
    शुरुआती Marginalia ने मूल paper में चर्चा किए गए PageRank के एक दिलचस्प variant, Personalized PageRank, का इस्तेमाल किया था, और मुझे लगता है कि अभी page ranking BM25 से होती है
    Personalized PageRank अभी भी Marginalia के नए feature—similarity-based page ranking—में इस्तेमाल होता दिखता है, और शायद अब site में integrate भी हो चुका है, हालांकि पहले सिर्फ एक test page (https://explore2.marginalia.nu/) था
    जो भी हो, बनाने वाले के लिए मेरे मन में बहुत सम्मान है, और Marginalia कैसे इतना बढ़ा, यह देखना और blog posts (https://www.marginalia.nu/log/) पढ़ना दिलचस्प रहा
    संबंधित लेख: https://www.marginalia.nu/log/26-personalized-pagerank/

    • domain ranking में Personalized PageRank का इस्तेमाल होता है, लेकिन उसका असर बहुत कमजोर factor है
      यह मुख्य रूप से index के भीतर results के physical order को प्रभावित करता है, और query execution time सीमित होने के कारण बस इतना करता है कि ऊंची ranking वाले results पहले मिल जाएं
      Explore2 और search engine में built-in website discovery tool, incoming link vectors की cosine similarity का इस्तेमाल करते हैं
      इस technique पर मैंने “Creepy Website Similarity” नाम से एक लेख भी लिखा था :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
    • हालिया essay कहां है?

  • मैं इसका maker हूं। हाल ही में website को search.marginalia.nu से marginalia-search.com पर शिफ्ट किया और visually भी थोड़ा polish किया
    क्योंकि लगा कि यह मेरे blog के किसी अजीब subdomain की तरह रहने के लिए जरूरत से ज्यादा अच्छा काम कर रहा है
    search engine खुद अब भी वही है :-)

    • आजकल small web communities में OpenAI और ऐसी ही कंपनियों की aggressive crawling को लेकर कुछ चिंता है
      Marginalia indexed sites को कितनी बार recrawl करता है?
    • लगता है कि पुराने version का random button अब काम नहीं कर रहा। क्या आपने वह feature हटा दिया?
    • कोई वजह है कि आप छोटा domain name क्यों नहीं इस्तेमाल कर रहे? आपने जो बनाया है वह सचमुच शानदार है

  • जिन्होंने इस project को लगातार follow नहीं किया है, उनके लिए बता दूं कि यह एक व्यक्ति का passion project है और इसका लक्ष्य Google/Bing/DDG से compete करना नहीं है
    यह “small web” पर दिलचस्प चीजें खोजने का तरीका ज्यादा है
    इसे आजमाते समय यह बात ध्यान में रखना अच्छा होगा
    संदर्भ के लिए, मैं इसका maker नहीं हूं

    • पता नहीं उसके बाद कुछ बदला है या नहीं, लेकिन 2023 में maker ने search engine को full-time develop करने के लिए नौकरी छोड़ दी थी https://www.marginalia.nu/log/83_full_time/
      passion project होना सही है, लेकिन यह सिर्फ side project नहीं है
    • सही। हालांकि कुछ खास niches, जैसे Linux और open source software, history वगैरह में Marginalia अक्सर Google या DDG से कहीं बेहतर results देता था
      mainstream search engines में शायद input को dumb down करने वाला कोई step होता है, इसलिए अगर आप कोई अनजान search term डालें तो वे उसे typo या गलत याद किया हुआ मानकर, उसे ऐसी expression में बदलकर backend को भेजते लगते हैं जिसे मैंने search ही नहीं किया था
      साथ ही mainstream search engines original और authoritative content की तुलना में corporate media को प्राथमिकता देने की कोशिश करते दिखते हैं
      maker लगातार कहता है कि यह “small web पर दिलचस्प चीजें खोजने के लिए” है, लेकिन मेरे लिए यह सिर्फ दिलचस्प नहीं, असल में useful भी रहा है
      हालांकि लगभग 3 साल पहले Kagi पर जाने के बाद मुझे topic-specific अलग search engines जैसे workarounds maintain करने की जरूरत नहीं रही
      पूरी transparency के लिए, दूसरे लोग अक्सर यह कहकर counter करते हैं कि Google results अच्छे हैं या Kagi results खराब हैं, लेकिन मेरे मामले में Google का simple queries में भी लगातार fail होने का 10+ साल का record है; अगर Google आपके लिए अच्छा काम करता है तो बढ़िया, लेकिन मेरे लिए यह 10+ साल से reliably काम नहीं कर रहा, और मैं इससे थक गया हूं

  • खास तौर पर कुछ नया जोड़ने को नहीं है, लेकिन जब भी यह project HN पर आता है, अच्छा लगता है
    यह project अच्छी तरह दिखाता है कि धैर्य और लगाव से क्या बनाया जा सकता है

    • मैंने कभी सोचा था कि एक दिन कुछ ऐसा try करूं, लेकिन यह मेरी उम्मीद से भी बेहतर है। सच में बहुत अच्छा बनाया है, और अगर contribute करने का कोई तरीका हो तो बताइएगा

  • अभी लगता है DDG में Marginalia bang search नहीं है, यह देखकर हैरानी हुई
    <https://duckduckgo.com/bangs?q=marginalia>
    मैंने इसे suggestion के तौर पर submit कर दिया है

  • हाल में Google पर search की हुई कुछ चीजें, जैसे “celery”, “Wardian case”, “ferry from Italy to Greece”, फिर से search कीं, और सभी में पहला result काफी plausible था
    इसे एक बार इस्तेमाल करके देखने का सोच रहा हूं

  • लंबे समय बाद web पर देखी गई सबसे सुखद, उपयोगी और स्वस्थ चीजों में से एक
    technically भी बहुत solid लगता है और user experience में भी कोई कमी नहीं
    internet के शानदार दिनों में वापस ले जाने के लिए बहुत धन्यवाद

  • अपनी रुचि के क्षेत्र के कुछ अपेक्षाकृत simple search terms डाले, जैसे “attention is all you need paper”, “sip rfc”, “klatt speech synthesizer”, “crafting interpreters book”, “Scott Alexander Substack”, लेकिन expected results वास्तव में नहीं आए
    Marginalia तब ठीक-ठाक लगता है जब आप कुछ सीखना चाहते हैं, लेकिन जब आप किसी specific चीज को ढूंढना चाहते हैं, तो शायद यह सही नहीं है
    अगर आप पढ़ना चाहते हैं कि लोग Scott Alexander के Substack के बारे में क्या सोचते हैं, तो अच्छे results मिलते हैं, लेकिन अगर newsletter खुद ढूंढना चाहते हैं, तो नहीं

    • सही, navigational queries में success और failure थोड़ा mixed है
      मुझे लगता है Google इसमें पहले से ही बहुत अच्छा है, इसलिए यह मेरी बड़ी priority नहीं है
      मैंने अपना effort मुख्य रूप से उस तरफ लगाया है जहां Google कमजोर है—किसी topic पर लोगों का content ढूंढना

  • साइट ऑपरेटर के नज़रिए से, खोजे गए backlinks को सार्वजनिक करना खास तौर पर अच्छा लगा
    इस सेवा की वजह से मुझे कुछ ऐसे backlinks मिले जिनके बारे में मुझे पता नहीं था

    • मैंने अपनी वेबसाइट के backlinks देखे, लेकिन असल में मेरी साइट को link करने वाला एक भी नहीं था, इसलिए मैं काफी उलझन में पड़ गया

  • पुराने domain marginalia.nu के समय में ही इस पर पहले काफी चर्चा हो चुकी थी
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - सितंबर 2024, 24 comments
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - फरवरी 2024, 44 comments
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - नवंबर 2023, 21 comments
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - अक्टूबर 2023, 39 comments
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - मई 2023, 22 comments
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - अप्रैल 2023, 193 comments
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - फरवरी 2023, 17 comments
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - अगस्त 2022, 22 comments
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - अगस्त 2022, 22 comments
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - मई 2022, 72 comments
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - अप्रैल 2022, 37 comments
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - मार्च 2022, 29 comments
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - जनवरी 2022, 53 comments
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - सितंबर 2021, 717 comments
    https://news.ycombinator.com/user?id=marginalia_nu

    • बहुत बढ़िया। पहला पोस्ट मैंने ही डाला था
      मुझे यह project पसंद है, और निकट भविष्य में ऐसा ही कोई project करके देखना चाहता हूँ