- लॉन्ड्री रूम में रखे एक निजी सर्वर पर Searcha Page/Seek Ninja नाम का सर्च इंजन बनाकर Google जैसा अनुभव देने वाला DIY प्रोजेक्ट
- लगभग 2 अरब पेज इंडेक्स से शुरुआत, और छह महीनों में 4 अरब दस्तावेज़ तक पहुँचने का लक्ष्य; पारंपरिक indexing के साथ LLM-आधारित keyword expansion और context understanding को जोड़ा गया है
- पुराने सर्वर पार्ट्स से तैयार AMD EPYC 7532(32-कोर)·RAM 0.5TB स्तर के सिस्टम पर कुल 5,000 डॉलर खर्च, और upgrade arbitrage रणनीति से लागत घटाई गई
- cloud पर निर्भरता कम रखते हुए LLM inference के लिए SambaNova की Llama 3 का उपयोग; Seek Ninja एक privacy-focused संस्करण है जो profile storage और location usage नहीं करता
- AI के आने से कम लागत पर scale करना संभव हुआ, और उसके 1.5 लाख लाइन के codebase में LLM ने दोहराव वाले development को तेज कर दिया, जिससे अकेले बड़े पैमाने की system building संभव हुई
- व्यक्तिगत और कम लागत वाले सेटअप के बावजूद local search accuracy और speed हासिल की गई; आगे traffic बढ़ने पर colocation migration पर विचार किया जा रहा है, जो alternative search की प्रयोगात्मक संभावना दिखाता है
पृष्ठभूमि: छोटे हार्डवेयर पर ‘लगभग Google जैसा’ search experience
- Google के Stanford दौर के Duplo case server से शुरुआत वाले इतिहास के मुकाबले, यह उदाहरण दिखाता है कि एक पुराने सर्वर से भी modern search experience के क़रीब पहुँचा जा सकता है
- 30 साल पहले Google ने Stanford campus में Backrub के रूप में शुरुआत की थी, और Duplo blocks से बने केस में 40GB डेटा रखने वाला एक प्रयोगात्मक सर्वर इस्तेमाल किया था
- बाद में IBM और Intel के दान से इसे एक छोटे server rack तक अपग्रेड किया गया, लेकिन 2025 तक Google Search का आकार इतना बढ़ चुका है कि वह एक single data center में भी समा नहीं सकता
- Ryan Pearce का Searcha Page मूल Google सर्वर के आकार जैसी मशीन पर modern search experience लागू करता है
- सर्वर को washing machine और dryer के पास लगाया गया, ताकि heat और noise की समस्या कम हो सके; पहले यह bedroom में था
- लॉन्ड्री रूम जैसी सीमाओं के बावजूद वास्तविक search result quality को अनुभव के आधार पर ऊपरी स्तर के क़रीब माना गया
- इंडेक्स का आकार अभी लगभग 2 अरब दस्तावेज़ है और 6 महीनों में 4 अरब दस्तावेज़ तक पहुँचने की उम्मीद है
- तुलना के लिए: 1998 में Google के पास 2.4 करोड़ पेज, 2020 में 400 अरब पेज थे
- कुल आकार भले छोटा हो, लेकिन self-hosted single server के हिसाब से यह बहुत बड़ा scale है
मुख्य तकनीक: पारंपरिक indexing + LLM सहायता
- पूरी architecture पारंपरिक search engine structure का अनुसरण करती है, लेकिन LLM की मदद से keyword expansion और context judgment देने वाला hybrid design अपनाया गया है
- RankBrain जैसे बड़े search engine सिस्टमों में पहले से मौजूद AI integration के इतिहास की याद दिलाते हुए यह रेखांकित किया गया कि LLM के प्रति संदेह अलग बात है, पर AI पहले से ही search का मुख्य तत्व रहा है
- LLM का उपयोग dataset building और contextualization में development speed और scalability बढ़ाने वाले व्यावहारिक टूल के रूप में किया गया
- ऑपरेटर ने शुरुआत में LLM से implementation किया, फिर उसे पारंपरिक logic से replace करने के तरीके से iterative development किया, और codebase लगभग 1.5 लाख lines तक बढ़ गया
- iteration को शामिल करें तो वास्तविक काम का परिमाण करीब 5 लाख lines के बराबर माना गया
इन्फ्रास्ट्रक्चर: self-sufficient indexing और पुराने सर्वरों का ‘upgrade arbitrage’
- सिस्टम AMD EPYC 7532(32-कोर) आधारित पुराने सर्वर पर बना है, और जिस CPU की लॉन्च के समय कीमत 3,000 डॉलर+ थी, वह अब 200 डॉलर से कम में मिल रहा है; इस price drop का सक्रिय उपयोग किया गया
- कुल build cost 5,000 डॉलर के आसपास है, जिसमें से storage पर लगभग 3,000 डॉलर खर्च हुए
- RAM 0.5TB जैसी configuration के साथ सैकड़ों concurrent sessions संभालने की क्षमता हासिल की गई
- self-hosting नीति के तहत cloud usage को न्यूनतम रखा गया, लेकिन LLM inference के लिए SambaNova(Llama 3) से कम लागत और तेज़ access लिया गया
- Common Crawl सहित सार्वजनिक web corpora का उपयोग कर crawler और indexer को तेज किया गया, और लंबी अवधि में dependencies कम करने की योजना है
प्रोडक्ट: Searcha Page और Seek Ninja
- Searcha Page: Google जैसी पारंपरिक SERP UX, और local search में भी उपयोगी परिणाम
- meta description की जगह LLM summary का उपयोग कर query-document relevance explanation को मजबूत करने की बात कही गई
- Seek Ninja: profile storage नहीं, location usage नहीं वाला privacy-first रूपांतर
- secret mode के विकल्प की तरह उपयोग योग्य हल्का और minimal approach
- monetization के लिए आक्रामक banner ads की जगह मृदु affiliate-style advertising का परीक्षण हो रहा है, और traffic बढ़ने पर colocation migration की योजना है
तुलना का मामला: Wilson Lin का cloud और vector approach
- इसी समय के एक अन्य व्यक्तिगत प्रयोग में Wilson Lin ने cloud-native रणनीति और अपने vector engine(CoreNN) को जोड़कर अत्यंत कम लागत वाला संचालन लक्ष्य बनाया
- हर दस्तावेज़ के लिए LLM summary बनाकर query-document matching को अलग तरीके से व्यक्त किया गया
- उनका साझा आकलन है कि सबसे बड़ी बाधा तकनीक नहीं, बल्कि market और channel हैं
- Pearce ने एक समय vector DB भी आज़माया, लेकिन परिणाम इतने अस्पष्ट और कलात्मक निकले कि ranking accuracy के लिहाज़ से वह फिर पारंपरिक तकनीकों पर लौट आया
संचालन संबंधी मुद्दे: heat·noise और लॉन्ड्री रूम की भौतिक सीमाएँ
- सर्वर पहले bedroom में heat के कारण रहने की समस्या पैदा कर रहा था, इसलिए उसे utility room में शिफ्ट किया गया और cable drilling आदि से connectivity सुनिश्चित की गई
- अगर दरवाज़ा लंबे समय तक बंद रहे तो heat buildup समस्या बन सकती है, इसलिए ventilation अहम है
- cloud skepticism होने के बावजूद, LLM और traffic limits को देखते हुए data center colocation में शिफ्ट होने पर trigger-based तरीके से विचार चल रहा है
महत्व: एकल डेवलपर का Google को चुनौती देने वाला प्रयोग और LLM की व्यावहारिक भूमिका
- आम धारणा के विपरीत कि LLM ‘search quality बिगाड़ने वाला टूल’ है, यह दिखाता है कि वह एक development और scale accelerator के रूप में व्यक्ति को search engine build करने की क्षमता देने वाला व्यावहारिक साधन भी हो सकता है
- पारंपरिक indexing + LLM assistance का मॉडल accuracy और explainability दोनों साधने वाला व्यावहारिक समझौता है
- कम लागत वाले पुराने सर्वर + सार्वजनिक corpus + सस्ता LLM API का संयोजन यह साबित करता है कि बड़े Big Tech संसाधनों के बिना भी alternative search पर काम किया जा सकता है
- आगे language expansion, ongoing crawling cost, और spam resistance जैसी चुनौतियाँ बाकी हैं, लेकिन niche search और privacy-focused क्षेत्र में यह एक प्रयोगात्मक प्रतिस्पर्धी मॉडल के रूप में सामने आता है
अभी कोई टिप्पणी नहीं है.