Local Deep Research - लोकल में अपना खुद का रिसर्च असिस्टेंट चलाएँ

 (github.com/LearningCircuit)
16 पॉइंट द्वारा GN⁺ 2025-03-12 | 4 टिप्पणियां | WhatsApp पर शेयर करें
  • शक्तिशाली AI-आधारित रिसर्च टूल, जो कई LLM और web search का उपयोग करके गहरा iterative analysis करता है
    • ArXiv, Wikipedia, Google, PubMed, DuckDuckGo, SerpAPI, local RAG, The Guardian आदि की search capabilities को एकीकृत करता है
  • इसे लोकल में चलाकर privacy को बेहतर बनाया जा सकता है, या cloud-आधारित LLM सेट करके performance को बढ़ाया जा सकता है

उन्नत रिसर्च फीचर्स

  • स्वचालित deep research: बुद्धिमान follow-up questions का निर्माण
  • स्रोत ट्रैकिंग और सत्यापन: citations और sources की स्वचालित ट्रैकिंग
  • iterative analysis: multi-step iterative analysis के जरिए व्यापक coverage
  • पूरे webpage content का analysis: snippets नहीं, पूरे content के आधार पर analysis

लचीला LLM समर्थन

  • local model support: Ollama-आधारित local AI processing
  • cloud model support: Claude, GPT जैसे cloud LLM का समर्थन
  • Langchain model compatibility: विभिन्न Langchain models का समर्थन
  • model selection: performance, response speed आदि के अनुसार model configure किया जा सकता है

समृद्ध output options

  • विस्तृत रिसर्च परिणाम: citations सहित विस्तृत report
  • समग्र रिसर्च रिपोर्ट: व्यापक रिसर्च निष्कर्ष
  • त्वरित सारांश: मुख्य बिंदुओं का summary
  • स्रोत ट्रैकिंग और सत्यापन: source tracking और verification का समर्थन

privacy-केंद्रित डिज़ाइन

  • local execution: local models उपयोग करने पर सारा data उपयोगकर्ता के device पर संग्रहीत रहता है
  • search configuration: privacy को और मजबूत किया जा सकता है
  • पारदर्शी data processing: data कैसे process होता है, यह स्पष्ट रूप से बताया गया है

बेहतर search integration

  • स्वचालित search engine selection: query के अनुसार search engine अपने आप चुना जाता है
  • Wikipedia integration: भरोसेमंद तथ्य खोज
  • arXiv integration: scientific papers और academic research की खोज
  • PubMed integration: medical और biomedical research materials की खोज
  • DuckDuckGo integration: सामान्य web search (rate limiting संभव)
  • SerpAPI integration: Google search results प्रदान करता है (API key आवश्यक)
  • Google Programmable Search: custom search configuration (API key आवश्यक)
  • The Guardian integration: news और journalism content search (API key आवश्यक)
  • local RAG search: vector embeddings का उपयोग कर personal documents में search
  • पूरे webpage content की search: webpage की पूरी सामग्री में खोज संभव
  • source filtering और verification: भरोसेमंद sources के आधार पर filtering संभव
  • search parameters configuration: search scope, time period आदि सेट किए जा सकते हैं

local document search (RAG)

  • vector embedding-आधारित search: personal documents से सामग्री खोजी जा सकती है
  • custom document collections बनाना: विषय के अनुसार documents को group किया जा सकता है
  • privacy protection: सभी documents लोकल में process होते हैं
  • intelligent chunking और retrieval: document content की chunking और search
  • विभिन्न document formats के साथ compatibility: PDF, text, Markdown आदि का समर्थन
  • integrated meta search का स्वचालित उपयोग: local और web search को एकीकृत किया जा सकता है

web interface

  • dashboard: सहज interface
  • real-time progress updates: रिसर्च की प्रगति की real-time जानकारी
  • research history management: पिछले रिसर्च रिकॉर्ड तक पहुँच और प्रबंधन
  • PDF report export: रिसर्च रिपोर्ट को PDF के रूप में डाउनलोड किया जा सकता है
  • research management: चल रहे रिसर्च को रोका या हटाया जा सकता है

समर्थित search engine options

  • Auto: query के अनुसार engine selection अपने आप
  • Wikipedia: सामान्य जानकारी और तथ्यों की खोज के लिए उपयुक्त
  • arXiv: scientific और academic papers की खोज के लिए उपयुक्त
  • PubMed: biomedical और medical research के लिए उपयुक्त
  • DuckDuckGo: privacy-केंद्रित सामान्य web search
  • The Guardian: news और journalism search (API key आवश्यक)
  • SerpAPI: Google search results प्रदान करता है (API key आवश्यक)
  • Google Programmable Search: custom search (API key आवश्यक)

संबंधित पढ़ाई

4 टिप्पणियां

 
zxshinxz 2025-03-13
  • जीवविज्ञान क्षेत्र में काम करने वाले व्यक्ति के रूप में, मैं अपने संक्षिप्त उपयोग अनुभव साझा करना चाहता/चाहती हूँ.

Reseach mode दो प्रकार में उपलब्ध है.

  1. Quick summary
  • इसमें लगभग 5~6 मिनट लगते हैं (4070 ti super, 16GB standard, Mistral aur Gemma 3:12b)
  • इसमें hallucination की समस्या है, इसलिए यह Reference सीधे बना देता है, लेकिन दस्तावेज़ में लिंक लगे हुए Ref की स्रोत जानकारी स्पष्ट लगती है.
  • यह सवालों के जवाब नई तकनीक पर फोकस करके देने की प्रवृत्ति रखता है. खासकर AI से जोड़कर जवाब देने की कोशिश करता है.
  1. Detailed Report
  • इसमें लगभग 1 घंटा लगता है (4070 ti super 16GB, Gemma 3:12b)
  • यह मानो एक review paper तैयार करके देता है. लेकिन Reference बहुत कम हो जाने की समस्या है. मान लें कि सामग्री सही भी हो, तब भी आधार नहीं दे सकता, इसलिए इसमें कुछ सुधार की ज़रूरत है. (शायद यह दोहराव की प्रक्रिया से लिखाई की quality बढ़ाता है, लेकिन इस प्रक्रिया में Ref links खो जाते हैं.)
  • फिर भी यह निश्चित रूप से Quick summary की तुलना में अधिक high-quality सामग्री देता है.

Config फ़ाइल में कई तरह की settings संभव हैं. सर्च किए जाने वाले database को केवल PubMed तक सीमित करके सामग्री की quality और बेहतर की जा सकती है. एक बार में खोजे जाने वाले texts या RAG उपयोग करते समय कितने chunks बनाने हैं, यह भी सेट किया जा सकता है.

यह देखते हुए कि यह अभी 0.01V पर है, Local मशीन पर इस स्तर तक रिपोर्ट तैयार कर पाना बेहद आश्चर्यजनक है. खासकर life science क्षेत्र में chatbots अक्सर सामान्यीकृत वर्णन का उपयोग करते हैं, लेकिन इस प्रोग्राम से बनी रिपोर्टें बहुत scientific शैली का उपयोग करती हैं.

यह प्रोग्राम फिलहाल Korean को support नहीं करता. Korean में सवाल पूछने पर भी रिपोर्ट अंग्रेज़ी में आउटपुट होती है.
साथ ही, PDF export के ज़रिए PDF फ़ाइल में जवाब लेने पर Korean दिखाई न देने की समस्या भी है.

अगर रिपोर्ट बनाते समय Ref के गायब हो जाने की समस्या और hallucination की समस्या हल हो जाए, तो मुझे लगता है कि यह सचमुच एक बहुत शक्तिशाली tool है.
 
zxshinxz 2025-03-14

और थोड़ा इस्तेमाल करने पर लगा कि Ollama में कई मॉडलों के बीच Qwen2.5 सबसे अच्छा काम करता है। Deepseek-r1 search करते समय query अजीब तरह से बनाता है, इसलिए वह आधार बनने वाली सामग्री गलत ले आता है, और Gemma सीरीज़ उदाहरण के तौर पर दिए गए prompt को ही असली prompt मान लेती है, इसलिए उससे जुड़े विषयों की सामग्री को ज़रूर ठूंसने की कोशिश करती है।
 
GN⁺ 2025-03-12
Hacker News राय

  • स्थानीय (local) और लो-फाई स्पेस के लिए किए गए प्रयास की सराहना करता हूँ। हालांकि दस्तावेज़ के उदाहरण पढ़कर आउटपुट थोड़ा उलझा हुआ लगा

    • मुझे लगता है कि एक या उससे अधिक मध्यवर्ती चरणों की ज़रूरत है। उदाहरण के लिए, graph database का उपयोग करके LLM जानकारी स्टोर कर सकता है, आपसी कनेक्टिविटी की जांच कर सकता है, खुद से सवाल पूछ सकता है, और फिर अंतिम रिपोर्ट बना सकता है
    • अंतिम रिपोर्ट एक interactive HTML file हो सकती है, जिसे उपयोगकर्ता प्रश्न पूछकर या सीधे एडिट करके इस्तेमाल कर सके
    • Onyx नाम का एक समान open deep research tool भी है, और उसका UI/UX बेहतर लगता है। लेखक इस टूल को local पर port करने पर विचार कर सकता है
    • इसका मतलब यह नहीं कि यह प्रोजेक्ट अच्छा नहीं है, बल्कि चिंता यह है कि बहुत-से open deep research प्रोजेक्ट गायब हो सकते हैं। लोगों के लिए सबसे दिलचस्प हिस्सों पर फोकस करके सहयोग करना बेहतर होगा

  • यह प्रोजेक्ट शानदार है

    • अगर आप internet को source के रूप में जोड़कर embeddings शामिल करना चाहते हैं, तो exa.ai आज़माने की सलाह दूँगा। इसमें Wikipedia, हज़ारों news feeds, Github, और 7 करोड़ से अधिक papers शामिल हैं
    • नोट: मैं इसके founders में से एक हूँ

  • मैंने इसे आज़माया, लेकिन बहुत-सी errors आईं और रिपोर्ट generate नहीं हो सकी। generation fail होने पर resume करने का कोई तरीका नहीं है, इसलिए अगर API call fail हो जाए तो शुरुआत से फिर शुरू करना पड़ता है

  • web search के लिए Kagi और Tavily API पर भी विचार करें

  • यह बहुत शानदार दिखता है। open-webui के RAG फीचर की तुलना में यह कैसा है, जानने की जिज्ञासा है

    • web search और document embedding के तरीके मौजूद हैं, लेकिन embedding में details खो जाने से परिणाम कमजोर लगते हैं। जानना चाहता हूँ कि क्या यह तरीका बेहतर है

  • जिज्ञासा है कि क्या कोई (local) LLM का उपयोग करके vector search पर निर्भर हुए बिना सीधे corpus में relevant materials खोज रहा है

  • अच्छा काम

    • हाल में मुझे लगा है कि RAG के लिए curated structured information का उपयोग करने वाला preprocessed local collection इस dynamic retrieval approach का अच्छा पूरक हो सकता है
    • देखा कि आपने LangChain इस्तेमाल किया है; txtai भी देखना उपयोगी हो सकता है

  • सोच रहा हूँ कि क्या कोई ऐसा tool है जो AI search experience दे और bookmarks की सामग्री को मिलाकर रिपोर्ट generate करे। अभी bookmarks लगभग बेकार हालत में हैं। यह उन्हें उपयोगी बना सकता है

    • इस समय OpenAI के deep research में अक्सर दिखने वाला failure mode यह है कि वह कम-विश्वसनीय sources से जवाब ले आता है और references ऐसे देता है जैसे वे scientific journals हों। ऐसे sources में शायद ही कोई मूल्यवान सामग्री होती है, और भले ही दूसरे sources high-quality हों, low-quality source सब कुछ खराब कर देता है
    • आपने पहले से curate किए हुए content (bookmarks) पर ज़ोर देने से signal-to-noise ratio (SNR) काफी बेहतर हो सकता है

  • मुझे लगता है कि जो कोई LLM के लिए 3D game जैसी GUI बनाएगा, वह अगला Jobs/Gates/Musk और Nobel Prize विजेता होगा। इससे लाखों लोग LLM के अंदरूनी कामकाज को देख सकेंगे और alignment problem हल करने में मदद मिलेगी। कंप्यूटर तभी जनसामान्य तक पहुँचे थे जब GUI वाले OS आए; मौजूदा chatbots अभी command line जैसे हैं। AI safety ideas साझा करने के लिए मैंने ASK HN शुरू किया था
 
zhniee 2025-03-13

समझ नहीं आया। अकादमिक स्तर तो छोड़िए, यह तो प्राइमरी स्कूल की coding के स्तर तक भी नहीं पहुँचता, फिर इसे शेयर क्यों किया जा रहा है...