RLama - Ollama का उपयोग करने वाला ओपन सोर्स DocumentAI

 (rlama.dev)
1 पॉइंट द्वारा GN⁺ 2025-03-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • लोकल Ollama मॉडल से कनेक्ट होकर इस्तेमाल किया जाने वाला दस्तावेज़ों के लिए AI-आधारित प्रश्नोत्तर टूल
  • डॉक्यूमेंटेशन आवश्यकताओं के अनुसार RAG(Retrieval-Augmented Generation) सिस्टम बनाया, प्रबंधित और इंटरैक्ट किया जा सकता है
  • macOS, Linux, Windows पर उपलब्ध
  • दस्तावेज़ फ़ोल्डर इंडेक्सिंग: समझदार खोज और क्वेरी के लिए दस्तावेज़ फ़ोल्डरों को इंडेक्स किया जा सकता है, और text, code, PDF, DOCX जैसी विभिन्न दस्तावेज़ फ़ॉर्मैट्स को सपोर्ट करता है
  • लोकल प्रोसेसिंग: Ollama मॉडल का उपयोग करके सभी डेटा को लोकल में प्रोसेस करता है, जिससे डेटा बाहर लीक नहीं होता
  • इंटरैक्टिव RAG सेशन: दस्तावेज़ knowledge base को क्वेरी करने के लिए इंटरैक्टिव सेशन बनाए जा सकते हैं.
  • आसान प्रबंधन : RAG सिस्टम को बनाना, सूचीबद्ध करना और हटाना—इनके लिए सरल कमांड उपलब्ध
  • डेवलपर-फ्रेंडली: डेवलपर्स और तकनीकी उपयोगकर्ताओं के लिए Go भाषा में डिज़ाइन किया गया

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-03-09
Hacker News टिप्पणियाँ

  • यह सिस्टम दस्तावेज़ों को chunk में बाँटे बिना पूरे दस्तावेज़ को embedding request के रूप में Ollama को भेजता है। इसलिए यह केवल छोटे दस्तावेज़ों के लिए उपयोगी है

    • bge-m3 embedding model की sequence length 8192 tokens है। rlama पूरी किताब को embed करने की कोशिश करता है, लेकिन Ollama embedding request में केवल शुरुआती कुछ पेज ही डाल सकता है
    • खोज के समय यह संबंधित अंशों के बजाय पूरे दस्तावेज़ को खोजता है, और फिर उसे 1000 अक्षरों तक काट देता है। नतीजतन, दस्तावेज़ में "Buddha" शब्द 44,121 बार आता है, फिर भी मॉडल जवाब देता है कि "Buddha का कोई सीधा उल्लेख नहीं है"
    • बेहतर समाधान यह है कि दस्तावेज़ों को embedding model के context के अनुसार chunk में बाँटा जाए और metadata के साथ उन chunk को retrieve किया जाए

  • उपयोगकर्ता को search results दिखाने की सिफारिश की जाती है। केवल vector search engine भी काफ़ी उपयोगी हो सकता है

    • prompt को इस तरह बदलें कि references भी दिए जाएँ (जैसे page number जैसी chunk metadata के आधार पर)

  • प्रोजेक्ट की तारीफ़ के साथ कुछ त्वरित नोट्स

    • file system इस्तेमाल करने वाले app को लेकर मुख्य चिंताएँ
      • कौन इसे पढ़ सकता है, क्या app data साझा करता है
      • internet access को block करने के लिए hard block की ज़रूरत है। देखना होगा कि rlama तब भी ठीक से काम करता है या नहीं
      • क्या app फ़ाइलों को modify/delete कर सकता है
      • पूरे file system access के बजाय केवल read permission की अनुमति होनी चाहिए

  • code note: हैरानी है कि सूची में .ts (typescript) नहीं है

  • वेबसाइट बहुत साफ़-सुथरी है। जानना चाहूँगा कि यह शुरू से कोड की गई है या template-आधारित है

  • अपना खुद का RAG बनाना बहुत आसान है। Ollama में एक quick start tutorial है। आप अपनी ज़रूरत के मुताबिक process को adjust कर सकते हैं

  • ऐसे tools की उपयोगिता को लेकर संदेह है। hallucination समस्या के कारण यह कितना भरोसेमंद है, और यह sources को कितनी अच्छी तरह cite करता है, यह जानना चाहूँगा

    • data को सही तरीके से प्राप्त करना सबसे महत्वपूर्ण है। coding में कभी-कभी AI tools का उपयोग करता हूँ, लेकिन दूसरे कामों के लिए परिणामों पर भरोसा नहीं कर सकता

  • इस प्रोजेक्ट की architecture/tech stack के बारे में कोई जानकारी नहीं है। github readme या वेबसाइट पर भी नहीं

    • यह पसंद आया कि यह Go में लिखा गया है और इतना छोटा है कि सप्ताहांत में देखा जा सके। लेकिन llm ecosystem tools पर समय बर्बाद करने का अनुभव रहा है, इसलिए बुनियादी जानकारी देखे बिना code explore करने में हिचकिचाहट होती है
    • अगर प्रोजेक्ट की architecture का high-level overview दिया जाए तो अधिक लोग इस tool को अपनाएँगे

  • एक शौकिया इतिहासकार के रूप में मैं archive से दस्तावेज़ scan करके JPG फ़ाइलों में सहेजता हूँ। सोच रहा हूँ कि इस knowledge set को समझने का सबसे अच्छा तरीका क्या है

    • अभी Gemini के साथ खुद कुछ बना रहा हूँ, लेकिन यक़ीन नहीं है कि RAG system को शुरू से बनाए बिना इसका समाधान हो सकता है या नहीं

  • जानना चाहूँगा कि क्या यह Ollama के engine llama.cpp के साथ काम कर सकता है

    • मैं आमतौर पर llama.cpp को source से build करता हूँ और Huggingface से quantized model डाउनलोड करता हूँ। Ollama का कभी उपयोग नहीं किया

  • अच्छा होगा अगर इसमें API interface हो ताकि इसे दूसरे systems में integrate किया जा सके

  • शानदार प्रोजेक्ट है। जानना चाहूँगा कि यह किस license के तहत जारी किया गया है। यह documented नहीं है

  • RAG के performance को लेकर उत्सुक हूँ। सिर्फ़ vector database फेंक देने से वह उपयोगी नहीं हो जाता