3 पॉइंट द्वारा GN⁺ 2023-09-08 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • विज्ञापन और commercialization में दब चुकी व्यक्तिगत वेब सामग्री को फिर सामने लाने के लिए Kagi ने Small Web को search, वेबसाइट, RSS और API में integrate किया है
  • Small Web का मतलब ऐसे non-commercial web से है जिसे व्यक्तियों ने आर्थिक लाभ से ज्यादा self-expression और knowledge sharing के लिए बनाया हो; Kagi ने लगभग 6,000 वेबसाइटों को curate कर नया content इकट्ठा किया है
  • Kagi Search, Teclis और TinyGem indexes का उपयोग करके swiftui, apple watch जैसे सामान्य search terms पर भी personal blog posts साथ में दिखाता है
  • नई Kagi Small Web वेबसाइट JavaScript के बिना काम करती है, और posts पर “appreciate” छोड़ने या लगभग 1 हफ्ते बाद गायब हो जाने वाले public notes लिखने की सुविधा देती है
  • Site operators GitHub curated list, feedback site और Discord के जरिए भाग ले सकते हैं; RSS हर 5 घंटे में refresh होता है और API 1,000 queries पर 2 डॉलर में उपलब्ध है

Kagi Small Web किस तरह के वेब को लक्ष्य बनाता है

  • Kagi Small Web एक initiative है जिसे Kagi ने ज्यादा मानवीय web बनाने के लिए शुरू किया है
  • “Small Web” कोई एक तय definition वाला शब्द नहीं है, लेकिन आम तौर पर यह आर्थिक लाभ से ज्यादा व्यक्ति के self-expression या knowledge sharing के लिए बनाए गए non-commercial web को दर्शाता है
  • यह concept उस शुरुआती web के माहौल से जुड़ता है, जो advertising-based business models के internet पर हावी होने से पहले कम commercialized था
  • इसे गहराई से समझने के लिए Ben Hoyt का The Small Web is Beautiful紹介 किया गया है, और GitHub repository में भी संबंधित लेखों की सूची link की गई है

Content इकट्ठा और expose करने का तरीका

  • Kagi Small Web सीधे curated blog list से पिछले 1 हफ्ते में प्रकाशित posts को इकट्ठा कर कई रास्तों से दिखाता है
  • मौजूदा Kagi members को search results में Small Web content देखने के लिए अलग से कोई setting करने की जरूरत नहीं है
  • यह experiment Hacker News की discussion से प्रेरित होकर जुलाई के अंत में HN users के blog posts को search results में expose करने के तरीके से शुरू हुआ
  • अभी curated list में अलग-अलग रुचियों वाले लोगों द्वारा चलाए जाने वाले लगभग 6,000 वास्तविक websites शामिल हैं
  • पूरा initiative और curated websites की सूची Kagi GitHub पर public है

Search results में आया personal web

  • Kagi पहले से ही अपने Teclis और TinyGem search indexes के जरिए Small Web content दिखाता रहा है
  • इस integration से high-quality लेकिन कम-ज्ञात web content, Kagi search results की अलग पहचान के रूप में ज्यादा सीधे सामने आता है
  • Search examples
    • swiftui search Keith Harrison के “Use Your Loaf” blog पर प्रकाशित iOS 17 से जुड़े SwiftUI article को दिखाती है
    • उदाहरण वाला Kagi search URL Share this Search feature से बनाया गया है, ताकि Kagi account न रखने वाले users भी results देख सकें
    • apple watch search Timo के “Screaming at My Screen” blog पर प्रकाशित recent post को भी expose करती है
    • उसी result में 2015 का लेख Apple Watch Pixels भी Teclis index के जरिए दिखता है
  • ऐसे results बड़े sites-केंद्रित search results से अलग, एक ही topic पर भी ज्यादा विविध perspectives खोजने में मदद करते हैं

Kagi Small Web वेबसाइट

  • Kagi Small Web वेबसाइट एक नया platform है, जिसका उद्देश्य मौजूदा search engines में आसानी से छूट जाने वाले latest Small Web content को सामने लाना है
  • Site Small Web की spirit के अनुरूप JavaScript के बिना काम करती है
  • Users posts को “appreciate” कर सकते हैं या temporary public notes छोड़ सकते हैं
    • Notes नए content के rotation के साथ लगभग 1 हफ्ते बाद गायब हो जाते हैं
    • यह design Small Web के अस्थायी और अपूर्ण character को highlight करता है
  • Discord channel के कुछ beta testers को पहले access देने पर, एक user ने अपनी blog को curated feed में शामिल देखकर और लिखने की इच्छा जताई

Curation criteria और publishing conditions

  • Curated feed में शामिल होने के लिए ये criteria पूरे होने चाहिए
    • Blog पर कम से कम 3 साल पुरानी post होनी चाहिए
    • Content English में होना चाहिए
    • Site को genuine self-expression या high informational value देनी चाहिए
    • NSFW content exclude किया जाता है
  • Kagi Small Web वेबसाइट पर post दिखने के लिए additional conditions हैं
    • Post 7 दिनों के भीतर लिखी गई होनी चाहिए
    • Site iframe embedding के साथ compatible होनी चाहिए
    • iframe-compatible न होने वाली sites भी search results के लिए index की जा सकती हैं
  • Website code भी open source के रूप में public है, और merge requests स्वीकार किए जाते हैं

Small YouTube experiment

  • Kagi experimental feature Small YouTube भी उपलब्ध कराता है
  • यह feature 4 लाख से कम subscribers वाले उभरते YouTube creators का content expose करता है
  • Kagi इस criterion पर feedback ले रहा है

RSS, API और भाग लेने के रास्ते

  • Kagi Small Web का RSS feed real-time updates देता है और हर 5 घंटे में refresh होता है
  • API users Kagi Small Web-integrated TinyGem index के जरिए non-mainstream high-quality news इस्तेमाल कर सकते हैं
    • कीमत 1,000 queries पर 2 डॉलर है
  • अगर कोई missing site या inappropriate inclusion का मामला हो, तो guidelines के अनुसार curated list में contribute किया जा सकता है
  • Bug reports और feature suggestions kagifeedback.org पर small-web tag के साथ submit किए जाते हैं
  • General discussion Kagi Discord पर होती है

Project की बुनियादी धारणा

  • अगर web अनगिनत लोगों से बना है, तो traditional search engines में वे क्यों छिप जाते हैं और इसे कैसे सुधारा जाए—यही इस initiative का शुरुआती सवाल है
  • Crawl किए जाने वाले content में कुछ भी शामिल हो सकता है, इसलिए Kagi मानता है कि उसे recommend करते समय अपनी reputation दांव पर लगाने वाला चुनाव करना पड़ता है
  • Small Web में contribute करने वाले लोग audience की guarantee न होने पर भी समय और मेहनत लगाकर create करते हैं
  • Kagi का लक्ष्य creativity, self-expression और meaningful content से भरपूर ज्यादा मानवीय web को फिर जीवित करना है

1 टिप्पणियां

 
GN⁺ 2023-09-08
Hacker News की रायें
  • मैं Kagi का Vlad हूँ। ब्लॉग पोस्ट प्रकाशित करते ही RSS फ़ीड अनपेक्षित रूप से टूट गया, और यह सच में small web वाली भावना जैसा लगा :) अब फ़ीड ठीक हो गया है, और साइट भी वही फ़ीड इस्तेमाल करती है, इसलिए वह फिर से काम कर रही है
    यह मेरे लिए निजी लगाव वाला प्रोजेक्ट था, और टीम दूसरे कामों में व्यस्त थी, इसलिए मैंने खुद कोड में काफ़ी गहराई तक हाथ डाला। “फ़ीड टूट गया” का असल मतलब है कि मैंने ही उसे तोड़ा। पुराने ढंग के डेवलपर के लिए software एक messy काम है, और जिन चीज़ों को मैं पहले से ठीक मानता था, उन्हें बार-बार वापस जाकर सुधारते हुए मैंने यह भी सीखा कि मैं अब उतना अच्छा coder नहीं रहा। कोड जुड़े हुए repository में देखा जा सकता है: https://github.com/kagisearch/smallweb
    सबसे अहम बात यह है कि इस साइट ने मेरे लिए खोजने की ज़रूरत की जगह ले ली, और अलग-अलग लोगों व लेखों से परिचित होने का एहसास अच्छा लगा। बहुत सारी अनपेक्षित चीज़ें सामने आईं और web फिर से नज़दीक महसूस हुआ। इस concept में उम्मीद की एक किरण है, और search quality व diversity में सुधार भी वास्तव में है
    शामिल websites की सूची यहाँ देखी जा सकती है: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    नए लेख पहले से ही संबंधित queries के Kagi search results में भी दिख रहे हैं: https://kagi.com/smallweb

    • यह feature रिलीज़ हुआ, यह देखकर सच में अच्छा लगा। indie/small web को ज़्यादा visibility देना शानदार बात है। पहले भी HN पर मैंने शिकायत की थी कि उपयोगी personal blogs search engines के spammy content के नीचे दब जाते हैं
      आगे चलकर अच्छा होगा अगर केवल small web के भीतर search किया जा सके, और शायद बाद में इसे lens के रूप में दिया जा सकता है
      self-promotion rules को लेकर मैं मौजूदा नीति से सहमत नहीं हूँ। अगर blog पुराना है, तो मानदंड को करीब 1 साल तक कम कर देने पर भी, लोगों को खुद submit करने की अनुमति मिलनी चाहिए। small/indie web के ज़्यादातर हिस्से को exposure की कमी है, इसलिए इससे मदद मिलेगी। मेरा blog शायद पुराने “HN पर अपना blog share करें” वाले post से collect हुआ था, इसलिए index में पहले से है, लेकिन दूसरों की किस्मत इतनी अच्छी न रही हो सकती है
    • Kagi को paid तौर पर जितना ज़्यादा इस्तेमाल करता हूँ, उतना ही यह संभावना दुख देती है कि अगर इसे और users नहीं मिले तो यह गायब भी हो सकता है
      Kagi मेरे लिए एक बड़ी उपलब्धि है। यह पहला search engine है जो Google से बेहतर results देता है, privacy का सम्मान करता है, personalization और अधिक features देता है
    • मैं paid customer हूँ और यह फिर एक अच्छा addition है। ऐसी चीज़ Kagi ही कर सकता है। उम्मीद है वे इस तरह का काम जारी रखेंगे
    • क्या यह personal blog thread से ज़्यादा Marginalia से प्रेरित होने की संभावना नहीं है? Apple Watch example में वही results नहीं आते, लेकिन लेख का title पढ़ते ही यही तुरंत याद आया
      https://search.marginalia.nu है, और HN पर भी इसका अक्सर ज़िक्र होता है: https://hn.algolia.com/?query=marginalia
    • अच्छा प्रयास है। Results भी बढ़िया दिखते हैं, और अगर main search results में integrate हो जाएँ तो विशाल web के बाहर की झलक मिल सकेगी
      मैं Kagi customer हूँ और बहुत संतुष्ट हूँ। Search engine आश्चर्यजनक रूप से अच्छा है, और इस feature की वजह से अपने search engine choice से और भी खुश हूँ
  • “ये notes लगभग एक हफ़्ते बाद नए content से बदल दिए जाएँगे और गायब हो जाएँगे। यह small web की क्षणभंगुर और अपूर्ण प्रकृति को रेखांकित करता है।” इस वाक्य के लिए बस इतना मान लेना काफ़ी है कि Kagi notes को adjust या स्थायी रूप से store नहीं करना चाहता। small web को कमतर दिखाने की ज़रूरत नहीं है। कई छोटी sites अपना content अच्छी तरह सुरक्षित रखती हैं
    Kagi के पास शायद data हो कि sites कितनी बार down होती हैं, लेकिन मेरे अनुभव में बड़े platforms का content भी अक्सर गायब हो जाता है, भले ही creator उसे भूला न हो। ध्यान रखने वाले creators की बनाई small web websites के कहीं ज़्यादा लंबे समय तक टिकने की गुंजाइश होती है

    • वे notes कहाँ दिखते हैं?
      अच्छा होगा अगर Kagi Small Web में ActivityPub interface हो, ताकि दिन भर की सबसे ज़्यादा पसंद की गई sites को Mastodon या Lemmy timeline में जोड़ा जा सके
    • मज़ेदार वाक्य है। ज़्यादातर personal sites सच में पूरी कोशिश करती हैं कि 10 साल, 20 साल पुराने links न टूटें :P
  • Kagi अपनी कीमत पूरी तरह वसूल कराता है। मैं इसे 6 महीनों से अपना मुख्य search engine इस्तेमाल कर रहा हूँ, और इस दौरान लगता है मैंने Google !g करीब 10 बार ही इस्तेमाल किया है

    • GeeksForGeeks जैसी SEO कचरा साइट्स को ब्लॉक कर पाना, और पहले 3–5 results का ads से न भरा होना ही इसे कीमत के लायक बना देता है। किसी खास site के results को personal level पर ऊपर कर पाना भी अच्छा है
      हालांकि मैं search काफी ज्यादा इस्तेमाल करता हूँ, और गलती से भी अक्सर search कर देता हूँ, इसलिए हर महीने “Pro” tier की search limit अक्सर पार कर जाना खलता है। फिर भी अच्छा है कि काफी महंगे unlimited tier पर upgrade किए बिना extra searches खरीदने का विकल्प है
    • Kagi की आदत पड़ जाने के बाद किसी और के computer पर Google search करना वाकई अजीब लगता है। हाल ही में मैंने एक छोटा usability सुधार मांगा था, और वह कुछ हफ्तों में implement हो गया। किसी दूसरे search engine में ऐसा होने की संभावना बिल्कुल नहीं है
      Search results DuckDuckGo समेत बाकी जगहों से लगातार बेहतर हैं, इसलिए मैं आगे भी एक संतुष्ट paid customer बना रहूँगा
    • सहमत हूँ। एक साल से थोड़ा ज्यादा समय से खुशी-खुशी paid user हूँ, और उससे पहले beta भी इस्तेमाल किया था
      यह थोड़ा वैसा ही महसूस होता है जैसा AltaVista के दौर में पहली बार Google खोजने पर हुआ था
    • मैं भी Kagi से बहुत संतुष्ट एक और user हूँ। पैसे देने लायक पूरी तरह है, और यह एक अच्छा उदाहरण है कि थोड़ी-सी payment करने की इच्छा हो तो कैसी services संभव हो सकती हैं
    • थोड़ा कम सकारात्मक नज़रिया जोड़ूँ तो, मैंने Kagi को कुछ हफ्ते try किया और features व business model पसंद आए, लेकिन search results मेरे Searx instance से बेहतर नहीं थे। Kagi मूल रूप से Searx की तरह ही third-party search engines को anonymized API calls करता है, बस उसे एक ज्यादा friendly UI में package किया गया है, और experience भी बहुत अलग नहीं है
      ऊपर से Searx कहीं ज्यादा search engines support करता है, और मैं उसे अपनी जरूरत के हिसाब से बिल्कुल customize कर सकता हूँ
      Kagi के इरादे और product अच्छे हैं, यह साफ है, इसलिए मैं चाहता हूँ कि वह सफल हो; लेकिन account बनाने वाले proprietary SaaS की तुलना में, भले ही कम polished और कम features वाला हो, मैं बराबरी का open source self-hosted solution prefer करता हूँ
      सुधार: असल में मैं गलत था। Kagi का अपना crawler और index भी है: https://help.kagi.com/kagi/search-details/search-sources.html फिर भी मुझे Searx results में कमी महसूस नहीं होती, इसलिए ज्यादा कुछ miss नहीं कर रहा हूँ
      Searx, और कुछ हद तक Kagi में, मेरी चिंता यह है कि third parties कभी भी ऐसी API requests block कर सकती हैं; तब Searx इस्तेमाल के लायक नहीं रहेगा और Kagi results भी कम relevant हो सकते हैं। मुझे नहीं पता यह तरीका search engine बनाने के लिए sustainable है या नहीं, लेकिन ads को लेकर Kagi और Searx का रुख मैं सराहता हूँ। mainstream search engines को अपने front-end से इस्तेमाल करना, बहुत उदार होकर कहें तो भी, झुंझलाने वाला experience है
  • ऐसी चीजों की वजह से मुझे Kagi subscriber होना सचमुच अच्छा लगता है। Kagi से मुझे value मिलती ही है, साथ ही यह भी दिखता है कि मेरे दिए पैसे Kagi को उस दिशा में विकसित करने में लग रहे हैं जिससे मैं सहमत हूँ
    तुलना के लिए, Spotify मेरी subscriptions में से बस एक है, फिर भी hostile लगता है। पैसे देता हूँ, लेकिन जैसे ही कोई alternative महसूस होगा, तुरंत cancel कर दूँगा
    मैं जो खरीद रहा हूँ, वह Kagi की development direction से मेल खाता है—इस बात की मैं सच में बहुत कद्र करता हूँ

    • Music streaming सचमुच बिखरी हुई है। मैंने कोई ठीक service ढूँढने की बहुत कोशिश की, लेकिन सभी में शर्मनाक समस्याएँ थीं
      Spotify सच में hostile और manipulative है, और artists के लिए भयानक है। मेरे लिए home screen बहुत ज्यादा commercial है, और CarPlay interface तो ईमानदारी से कहूँ तो इतना user-hostile disaster है कि unsafe लगता है
      TIDAL कई मायनों में काफी अच्छा है। Artists को भी अच्छा payment करता है और recommendations भी ठीक हैं। बस app में कुछ बेवकूफी भरे bugs सालों से पड़े हैं; सबसे irritate करने वाला यह है कि playlist shuffle करने पर interface ऊपर से पहले से cached सिर्फ दर्जन-भर songs को ही shuffle करता है। पूरी library shuffle करने की कोशिश करो तो वही दर्जन-भर songs बार-बार सुनने पड़ते हैं
      Deezer को पसंद करना चाहता था, लेकिन app अच्छा नहीं था, और missing songs भी उम्मीद से ज्यादा थे
      आखिरकार Apple Music पर settle हुआ। iPhone इस्तेमाल करता हूँ, इसलिए naturally अच्छी तरह fit बैठता है, और CarPlay interface भी शानदार है। Artist payments भी TIDAL के काफी करीब हैं। Recommendations पर्याप्त अच्छे हैं, और home screen ऐसा भी नहीं लगता कि सिर्फ बड़े labels द्वारा promotion money देकर push की गई चीजें ही लगातार ठेली जा रही हों। Windows app भयानक है, और Linux app है ही नहीं, लेकिन अच्छी बात है कि Cider नाम का काफी बढ़िया open source app उस समस्या को हल कर देता है
  • लगता है RSS feed से MathML हटाया जा रहा है—क्या यह जानबूझकर है, या कोई पुराना cleanup tool इस्तेमाल हो रहा है जो इसे पहचानता नहीं? उदाहरण के लिए, मेरे RSS feed https://www.jefftk.com/news.rss के latest post https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections में यह है
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    लेकिन Kagi RSS feed https://kagi.com/api/v1/smallweb/feed में यह e और kt की तरह दिखता है
    सुधार: issue दर्ज कर दिया है: https://github.com/kagisearch/smallweb/issues/10

  • कुछ सवाल हैं
    पहला, मुझे जानना है कि हाल के blog updates को तरजीह देने का आधार क्या है। मेरे अनुभव में हाल के updates search results के तौर पर सबसे कमजोर होते हैं, बदलावों या broken links के प्रति ज्यादा संवेदनशील होते हैं, और कुल मिलाकर उनकी quality कम होती है। यह भी सोच रहा हूं कि recent content को push करने से क्या लोगों को list में आने की संभावना बढ़ाने के लिए low-quality posts की बाढ़ लाने का incentive नहीं मिलेगा
    दूसरा, इस क्षेत्र को थोड़ा छूकर देखें तो यह हमेशा लगभग हास्यास्पद हद तक tech/programmer blogs की तरफ झुक जाता है। जिन लोगों के पास blog है और जिनकी programmer interests हैं, उन groups में काफी overlap है, लेकिन अगर अन्य interests का बेहतर representation हो तो यह दूसरे groups के लिए भी ज्यादा आकर्षक होगा। जानना चाहूंगा कि क्या आपने इस पर सोचा है, और अगर हां, तो आपको क्या किया जा सकता है लगता है

    • Viktor, नमस्ते!
      पहले सवाल में कई factors हैं। एक ही search query के लिए अधिक recent content अक्सर अधिक relevant होता है, और कम से कम freshness की वजह से वह पूरी तरह irrelevant होने से बचता है। search engine में जिस चीज़ से सबसे ज्यादा बचना चाहिए, वह पूरी तरह irrelevant result है। quality कुछ हद तक पहले से ही curated list होने से सुनिश्चित हो जाती है
      RSS feed technology पर निर्भर होने के कारण list इकट्ठी करना और maintain करना अपेक्षाकृत आसान था, और initial data के लिए sources भी बहुत थे
      recent posts पर focus करने से, blog post में दिए गए example की तरह, कुछ लोगों को ज्यादा लिखने के लिए encourage किया जा सकता है। web को कुल मिलाकर ज्यादा high-quality non-commercial content की जरूरत है, और आखिरकार हम जिस हिस्से में contribute करना चाहते हैं, वह भी यही है। ऐसा behavior encourage करने वाला platform, भले ही बहुत छोटा हो, देने से हम उस web के एक कदम करीब आते हैं जिसे हम पसंद करते हैं
      दूसरे मुद्दे पर मैं काफी हद तक सहमत हूं। फिर भी इस प्रयास के लिए हमने diverse websites का pool बनाने की कोशिश की, और उदाहरण के लिए economy या photography से जुड़ी sites भी काफी दिखती हैं। आखिरकार Kagi या Marginalia जैसे platforms के जरिए अलग-अलग fields में अधिक content बनने को encourage करना और अच्छे outcome की उम्मीद करना ही हमारे बस में है
  • वाकई शानदार! पिछले 2 महीनों से मैं निजी तौर पर small web links देखने की यात्रा पर था। शुरुआत HN के “Ask HN: क्या आप अपना personal blog share कर सकते हैं?” post से हुई, और यह भी पता चला कि किसी ने उस post के links को整理 कर एक site https://dm.hn/ बना रखी है
    मैंने सभी 1651 blog links को XLS में export किया, और कभी-कभी 5–7 links खोलकर random posts पढ़ता हूं और उन्हें “देख लिया” mark करता हूं। अब तक 1651 में से 250 देख चुका हूं
    अच्छा होगा अगर Kagi में भी ऐसा ही feature हो जहां सभी sources से इकट्ठे किए गए personal website links एक जगह देखे जा सकें

  • मेरे लेख “The Small Web is Beautiful” को prominent link देने के लिए धन्यवाद। मैं उस लेख को अपना personal software manifesto मानता हूं, इसलिए उसे और व्यापक रूप से promote होते देखकर खुशी हुई
    Kagi Small Web जो कर रहा है, वह मुझे सच में पसंद है। ऐसे बेहतरीन content को surface पर लाने की पहल अच्छी है। उम्मीद है यह काम जारी रहेगा। Kagi search भी एक बार try करने का सोच रहा हूं

    • Ben, वह लेख लिखने के लिए धन्यवाद। सचमुच inspiring लेख है। उम्मीद है Kagi इस्तेमाल करने का अनुभव भी आपको पसंद आएगा
  • Vlad, शानदार! यह वास्तव में users या company के लिए कितना उपयोगी है, यह जानना मुश्किल है, लेकिन यह जानकर दिल को सुकून मिलता है कि modern internet पर भी ऐसी चीजें अभी भी हो रही हैं

    • धन्यवाद। यह बस उन चीजों में से एक था जो मैं करना चाहता था, और इसके लिए मैंने शुरू से अंत तक code का 100% खुद लिखा; इसमें लगभग एक महीने का अच्छा-खासा हिस्सा लग गया। कहा जा सकता है कि CEO के समय का यह सबसे अच्छा उपयोग नहीं था, लेकिन यह मजेदार था और सही काम जैसा लगा
  • मैं अपनी website को list में add करना चाहता हूं, लेकिन robots.txt में मैंने सभी crawlers को block कर रखा है, इसलिए लगता है direct submission allow नहीं है। क्या add होने का कोई तरीका है?
    Kagi search results में शामिल होना मुझे ठीक लगेगा, लेकिन Google, ChatGPT और उसके बाद की भीड़ से scrape नहीं होना चाहता, इसलिए सबसे आसान तरीके से सबको block कर रखा है

    • यह Kagi का अपना search index है, जिसे licensed results से supplement किया जाता है: https://teclis.com/suggest.html