Search My Site – निजी और स्वतंत्र वेबसाइटों के लिए ओपन-सोर्स सर्च इंजन

• Search My Site निजी वेबसाइटों की वास्तविक सामग्री खोजने वाला सर्च इंजन है, जो बड़े search में दब जाने वाली स्वतंत्र web content को सामने रखता है
• index scope को users द्वारा submitted और reviewed sites तक सीमित रखता है, इसलिए यह spam, SEO content और clickbait से भरे पूरे web index से अलग तरह से काम करता है
• ads नहीं दिखाता और ad-free results pages को बढ़ावा देता है, ताकि spam और surveillance capitalism को बढ़ाने वाले incentives कम हों
• operating costs को ads के बजाय search as a service features से पूरा करने वाले model का लक्ष्य है, ताकि user needs और advertiser interests के टकराव से बचा जा सके
• search, ranking और indexing processes को पारदर्शी रूप से public करने वाला open source project है, और ad-based personal data collection model का उपयोग नहीं करता, इसलिए privacy को महत्व देता है

---

निजी वेबसाइटों पर केंद्रित search

• searchmysite.net निजी वेबसाइटों के लिए एक boutique search engine है
  • इसका target personal और independent web content है, जिसे indieweb, small web और digital gardens भी कहा जाता है
• किसी खास topic, hobby या interest पर लोगों के personal experiences खोजने के लिए public search का उपयोग किया जा सकता है
• बड़े search engines में अक्सर मिलने वाली marketing websites और blog spam से बचना इसका मुख्य differentiator है

ad-free operating model

• index पूरे internet का नहीं, बल्कि केवल user-submitted और reviewed sites का होता है
  • यह spam, search engine optimization content और clickbait से मिले-जुले पूरे web index से अलग approach है
• ads नहीं दिखाता और ad-free search results pages को बढ़ावा देता है
  • उद्देश्य उन incentives को हटाना है जो spam और surveillance capitalism को बढ़ाते हैं
• operating costs को ads के बजाय search as a service features से पूरा करने वाला sustainable और user-oriented model इसका लक्ष्य है
• क्योंकि इसकी structure advertisers को बेचने के लिए personal data collection पर निर्भर नहीं है, इसलिए एक search engine के रूप में यह उच्च स्तर की privacy का लक्ष्य रखता है
  • अधिक जानकारी Privacy Policy में देखी जा सकती है

open source और community participation

• service पूरी तरह open source है
  • search, ranking और indexing processes की transparency बढ़ाता है
  • community को service improvements में अधिक भाग लेने में सक्षम बनाता है

[GN⁺]

Hacker News की राय

• Wiby का भी ज़िक्र किया जा सकता है। यह एक search engine है जो “शुरुआती इंटरनेट दौर के webpages से बना web” बनाने की कोशिश करता है, और इसके indexing criteria कुछ ऐसे हैं: साधारण HTML, non-commercial sites को प्राथमिकता, सजावटी scripts/CSS का न्यूनतम इस्तेमाल, content के ऊपर चढ़ने वाले intrusive ads नहीं, और bloated websites की ओर ले जाने वाले portal-जैसे pages को बाहर रखना
  https://wiby.me

  • यह वही लक्ष्य नहीं है। इसका indexing criterion “independent/personal site होना चाहिए” नहीं, बल्कि “साधारण HTTP document के करीब होना चाहिए” है
    Search My Site का उद्देश्य personal/independent websites को सामने लाना है, जबकि Wiby न्यूनतम styling वाले documents को सामने लाना चाहता है, इसलिए लक्ष्य अलग हैं

• Marginalia भी है। पहले HN पर भी कई बार परिचित कराया गया है
  https://marginalia-search.com/
  https://news.ycombinator.com/item?id=35611923
  https://news.ycombinator.com/item?id=31536626

• दूसरे संबंधित sites: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
  आम तौर पर इंटरनेट crawl करके pages खोजता/खोजती है, और results https://github.com/rumca-js/Internet-Places-Database में रखे जाते हैं। personal pages पर “personal” tag लगाया जाता है

  • खुद operate किया जाने वाला https://minifeed.net/ भी है। जल्द ही 1,000 personal blogs index करने तक पहुंचने वाला है

• https://pagefind.app/ की simplicity अच्छी लगती है

  • Astro personal blog में इस्तेमाल कर रहा/रही हूँ और यह बहुत अच्छा है
  • दिलचस्प। क्या यह fuse.js का ज़्यादा complete variant जैसा है? static Jekyll blog में fuse.js बस जोड़कर रखा हुआ है
  • अपने सभी static sites पर इस्तेमाल करने लायक Pagefind पसंद है

• personal website search tool के लिए Postgres थोड़ा बड़ा database नहीं है क्या? फिर भी इसे आज़माना चाहिए, और ऐसे tools की और ज़रूरत है

  • Postgres सिर्फ site management के लिए इस्तेमाल होता है। submissions, review status, subscriptions वगैरह track करने की भूमिका है, और असली search index Apache Solr में है
    सिद्धांत रूप में management data भी Solr में store किया जा सकता है, लेकिन master data storage के लिए Solr-style document store इस्तेमाल करना आम तौर पर recommend नहीं किया जाता। SQLite जैसा हल्का विकल्प भी हो सकता है, लेकिन यह tool server deployment को ध्यान में रखकर बना है और Postgres भी बहुत ज़्यादा resources नहीं खाता

• पसंद आया। web को शानदार बनाने वाली ठीक वैसी ही random लेकिन मेहनत से बनाई गई personal websites देखते-देखते एक घंटा निकल गया

  • searchmysite.net का मकसद यही है। “web surfing” को फिर से एक मज़ेदार leisure activity बनाना
    करीब 3 साल पहले जब यह HN पर आया था, तो कई लोगों ने search box देखकर इसे Google alternative समझा था, और जब पता चला कि ऐसा नहीं है तो कुछ निराश भी हुए थे। अब पहले से कहीं ज़्यादा, AI नहीं बल्कि इंसानों द्वारा बनाया गया web content खोजने का तरीका उपयोगी लगता है
    https://news.ycombinator.com/item?id=31395231

• ऐसे projects दिलचस्प blogs और कम-ज्ञात sites खोजने के लिए वाकई अच्छे हैं। मैं मुख्य रूप से Marginalia Search इस्तेमाल करता/करती हूँ
  https://marginalia-search.com/

• अच्छा लग रहा है। irony यह है कि पिछले 10 सालों से Google के dominance को देखते हुए मुझे strongly लगता है कि AI field के बड़े winners में से एक backend search engine होगा
  modern web search Google के पहले page पर आने की हर तरह की techniques से बहुत दूषित हो चुका है, और अच्छे content का बड़ा हिस्सा दब गया है। अब बड़े models web को call कर सकते हैं, तो यह bloat AI search में भी दिख रहा है। ad-free, दिखावे से ज़्यादा structured data पर focus करने वाला सही data-first engine चाहिए

• project देखते हुए search engine की technical details पर यह blog post सबसे insightful लगा
  https://blog.searchmysite.net/posts/searchmysite.net-buildin...

• थोड़ा confusion है। Solr search engine है, लेकिन LLM model भी loaded है। जानना चाहता/चाहती हूँ कि इस solution में LLM model क्या जोड़ता है

  • LLM search-augmented generation, यानी “मेरी website से chat करना” जैसे interface के experiment के लिए था, और Apache Solr को vector store के रूप में इस्तेमाल किया गया था
    cost संभालने के लिए छोटे self-hosted LLM से test किया गया, लेकिन results इतने अच्छे नहीं थे कि पूरी feature deploy की जाए, इसलिए LLM disabled है, और शायद पूरी तरह remove कर दिया जाएगा