HN में पेश: लोकल पर चलने वाला 'Perplexity' क्लोन बनाया गया

(github.com/nilsherzig)

2 पॉइंट द्वारा GN⁺ 2024-04-04 | 1 टिप्पणियां | WhatsApp पर शेयर करें

LLocalSearch क्या है

यह एक पूरी तरह लोकल पर चलने वाला सर्च इंजन है, जो LLM एजेंट का उपयोग करता है.
जब उपयोगकर्ता कोई सवाल पूछता है, तो सिस्टम जवाब खोजने के लिए LLM chain का उपयोग करता है.
उपयोगकर्ता एजेंट की प्रगति और अंतिम उत्तर देख सकते हैं.
OpenAI या Google API key की आवश्यकता नहीं है.
अब follow-up सवालों की सुविधा भी जोड़ी गई है: demo.mp4

विशेषताएँ

🕵️ पूरी तरह लोकल पर चलता है, इसलिए API key की जरूरत नहीं.
💸 "लो-स्पेक" LLM हार्डवेयर पर काम करता है (डेमो वीडियो में 7b मॉडल का उपयोग किया गया है).
🤓 सर्च प्रक्रिया को बेहतर समझने के लिए प्रोग्रेस लॉग देता है.
🤔 follow-up सवाल पूछे जा सकते हैं.
📱 मोबाइल-फ्रेंडली इंटरफ़ेस.
🚀 Docker Compose के साथ तेज़ और आसान deployment.
🌐 ऐसा वेब इंटरफ़ेस जिसे किसी भी डिवाइस से आसानी से एक्सेस किया जा सकता है.
💮 light और dark mode को सपोर्ट करने वाला handcrafted UI.

स्थिति

यह प्रोजेक्ट अभी शुरुआती चरण में है. कुछ बग हो सकते हैं.

यह कैसे काम करता है

सबसे नई जानकारी के लिए infra दस्तावेज़ देखें.

स्वयं होस्टिंग और डेवलपमेंट

आवश्यकताएँ

कंटेनर से एक्सेस किया जा सकने वाला चल रहा Ollama सर्वर.
GPU अनिवार्य नहीं है, लेकिन अनुशंसित है.
Docker Compose

नवीनतम release चलाना

अगर आपका इरादा इस प्रोजेक्ट को develop करने का नहीं है, तो यह अनुशंसित है.

git clone https://github.com/nilsherzig/LLocalSearch.git
cd ./LLocalSearch
# 🔴 compose फ़ाइल के environment variables जाँचें और ollama सर्वर का host:port जोड़ें
docker-compose up 🎉

अब आप डिफ़ॉल्ट रूप से http://localhost:3000 पर वेब इंटरफ़ेस खोल सकते हैं.
डिफ़ॉल्ट रूप से इसके अलावा कुछ भी exposed नहीं है.

मौजूदा git वर्ज़न चलाना

इससे नई सुविधाएँ मिल सकती हैं, लेकिन स्थिरता कम हो सकती है.

git clone https://github.com/nilsherzig/LLocalsearch.git
# 1. `docker-compose.dev.yaml` के environment variables ज़रूर जाँचें.
# 2. यह सुनिश्चित करें कि आपने सामान्य compose फ़ाइल नहीं, बल्कि dev compose फ़ाइल देखी है.
# 3. कंटेनर बिल्ड करें और सेवाएँ शुरू करें
make dev

अगर make इंस्टॉल नहीं है, तो आप Makefile के कमांड्स मैन्युअली चला सकते हैं.
अब आप http://localhost:3000 पर frontend एक्सेस कर सकते हैं.

GN⁺ की राय

LLocalSearch आधुनिक सर्च इंजन के एक ऐसे विकल्प के रूप में उल्लेखनीय है जो उपयोगकर्ता की privacy को प्राथमिकता देता है. यह उपयोगकर्ता डेटा को बाहरी सर्वरों पर भेजे बिना सर्च सुविधा देता है, जिससे privacy संबंधी चिंताएँ कम हो सकती हैं.
यह प्रोजेक्ट open source कम्युनिटी में डेवलपर्स के लिए एक आकर्षक अवसर भी देता है. इसमें योगदान देकर डेवलपर्स सर्च इंजन टेक्नोलॉजी की अपनी समझ बढ़ा सकते हैं और अपना पोर्टफोलियो मजबूत कर सकते हैं.
लेकिन यह अभी शुरुआती चरण का प्रोजेक्ट है, इसलिए इसमें बग और stability से जुड़ी समस्याएँ हो सकती हैं. इसका मतलब है कि वास्तविक उपयोग के माहौल में इसे अपनाते समय सावधानी बरतनी होगी.
अगर LLocalSearch सफलतापूर्वक आगे बढ़ता है, तो यह मौजूदा बड़े सर्च इंजनों पर निर्भरता कम करने और सर्च इंजन बाज़ार में विविधता बढ़ाने का कारण बन सकता है.
तकनीकी दृष्टि से, LLM एजेंट का उपयोग करने वाला सर्च काफ़ी नवोन्मेषी है, लेकिन इसका प्रभावी उपयोग करने के लिए पर्याप्त computing resources और तकनीकी ज्ञान की आवश्यकता होती है.

1 टिप्पणियां

GN⁺ 2024-04-04

Hacker News टिप्पणियाँ

Hacker News टिप्पणियों के मुख्य बिंदुओं का सार:
- 🤖 LLMs और search engine का संयोजन: ऐसे सिस्टम का वर्णन जो LLMs को search engine तक पहुँचने और vector database को query करने देता है। LLM द्वारा शुरू किए गए search query से शीर्ष n परिणाम scrape करके vector database में छोटे chunks के रूप में संग्रहीत किए जा सकते हैं, और LLM इस database को query करके प्रासंगिक chunks प्राप्त कर सकता है। यह 128k context वाले LLM द्वारा सब कुछ summarize करने जितना व्यापक नहीं है, लेकिन local hardware पर यह बहुत तेज़ है और कम resources का उपयोग करता है। GitHub पर demo सामान्य consumer GPU (amd rx 6700xt) पर चलता है.
- 👍 architecture की प्रशंसा: इसे मौजूदा LLMs के साथ इस्तेमाल करने की योजना है, और यह local पर भी काम करता है, यह देखकर खुशी है। साझा करने के लिए धन्यवाद और architecture पसंद आया.
- ❓ Perplexity से संबंध पर सवाल: यह सिस्टम Perplexity से कैसे संबंधित है, इस पर सवाल उठाया गया, और कहा गया कि इसके बजाय इस्तेमाल किए गए base model का संदर्भ होना चाहिए.
- 🌟 local model की विशेष क्षमता: local model को special module call करते हुए पहले नहीं देखा गया, और व्यक्तिगत रूप से इस्तेमाल किए जाने वाले local 7b open-hermes को बहुत अच्छा बताया गया.
- 🚀 enterprise internal search engine के साथ एकीकरण की संभावना: अभी चलाकर नहीं देखा, लेकिन यह बहुत आशाजनक लगता है, और internal enterprise search engine से जोड़कर इस्तेमाल करने में बहुत उपयोगी हो सकता है। local LLMs से जुड़े non-API-key products ज़्यादा बनते देखना अच्छा लग रहा है.
- 🛠️ infrastructure के भीतर निर्णय प्रक्रिया पर सवाल: 'tool use needed' और 'answer found' blocks को infrastructure के भीतर कैसे तय किया जाता है, इस पर सवाल है। demo में परिणाम लौटने में समय लगता है; search, vector store, या vector database search में से किस चरण में सबसे ज़्यादा समय लगता है, यह भी पूछा गया.
- 🕵️ local search engine कैसे काम करता है: इसे 'local पर चलने वाला search engine' कहा गया है, लेकिन यह sites और pages को कैसे खोजता और index करता है, इस पर जिज्ञासा जताई गई.
- 🤫 Perplexity का रहस्य: यह राय व्यक्त की गई कि Perplexity ने off-the-shelf models का उपयोग करने के अलावा बहुत कुछ नहीं किया.
- 🏭 Perplexity एक chatbot प्रतिद्वंद्वी के रूप में: Perplexity को chatbot competitor के रूप में देखा गया.
- ✨ Plandex के साथ integration का सुझाव: सुझाव दिया गया कि आज साझा किए गए Plandex से इसे जोड़कर ऐसा tool बनाया जाए, जिससे कंप्यूटर छोड़े बिना code के ज़रिए AI के साथ सहयोग किया जा सके; यह शानदार होगा.

पृष्ठभूमि ज्ञान: LLMs (Large Language Models) बड़े भाषा मॉडल होते हैं, जिनका उपयोग natural language processing में किया जाता है, और vector database ऐसा database होता है जो data को vector रूप में संग्रहीत करता है ताकि तेज़ search संभव हो सके। Perplexity natural language processing में model performance मापने का एक metric भी है, लेकिन यहाँ यह किसी विशिष्ट product या service को संदर्भित करता हुआ लगता है.