Anything-LLM - ओपन सोर्स ऑल-इन-वन AI डेस्कटॉप असिस्टेंट

 (github.com/Mintplex-Labs)
34 पॉइंट द्वारा xguru 2024-10-01 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • एक फुल-स्टैक AI एप्लिकेशन, जो commercial LLM, open source LLM और vectorDB solutions का उपयोग करके निजी ChatGPT बना सकता है
    • लोकल या रिमोट पर होस्ट किया जा सकता है
    • आपके द्वारा प्रदान किए गए सभी दस्तावेज़ों और संसाधनों को संदर्भित किए जा सकने वाले context में बदल देता है
  • उपयोग के लिए LLM या vectorDB चुना जा सकता है, और multi-user management तथा permissions भी समर्थित हैं
    • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
  • multi-modal समर्थन (commercial और open LLM दोनों)
  • आपकी वेबसाइट में embed किए जा सकने वाला custom chat widget प्रदान करता है (Docker version)
  • दस्तावेज़ों को Workspaces नामक इकाइयों में बाँटकर, एक thread की तरह containerize करके चलाता है
    • शेयर करना संभव है, लेकिन वे आपस में बातचीत नहीं करते, इसलिए हर workspace के बीच context बनाए रखा जा सकता है

monorepo के अंदर components का विभाजन

  • frontend: viteJS + React से बना frontend
  • server: vectorDB प्रबंधन और LLM interaction संभालने वाला NodeJS express server
  • collector: दस्तावेज़ों को प्रोसेस और parse करने वाला NodeJS express server
  • docker: Docker commands और build process की जानकारी
  • embed: web embed widget बनाने और प्रबंधित करने वाला submodule
  • browser-extension: Chrome browser extension submodule

संबंधित पढ़ाई

1 टिप्पणियां

 
xguru 2024-10-01

Hacker News राय

  • एंटरप्राइज़ environment में customized AnythingLLM instance deploy करने की कोशिश कर रहा/रही हूँ। TimC और development team बहुत शानदार हैं और जल्दी respond करते हैं। EntraID integration का इंतज़ार है, जिससे ज़्यादातर बुनियादी use cases पूरे हो सकेंगे। TimC और टीम को धन्यवाद
  • पहले लगा था कि यह Ollama/WebGenUI wrapper होगा, लेकिन वास्तव में यह उससे कहीं ज़्यादा features support करता है। सिर्फ LLM ही नहीं, बल्कि embedding models, vector databases, TTS/STT भी support करता है। एक complete voice chatbot बनाने के लिए ज़रूरी सब कुछ इसमें शामिल है
  • बहुत बढ़िया। "Language Learning Model" शब्द मुझे मज़ेदार लगता है। मज़ाक में कहा गया कि शायद लेखक को LLM का मतलब जाने बिना ही प्रोजेक्ट शुरू कर दिया होगा
  • डाउनलोड करके इस्तेमाल किया, और अभी तक बहुत अच्छा लगा। regulatory PDF पढ़ने के लिए GPT-4o के साथ इस्तेमाल किया। शुरुआती feedback:
    • citations थोड़ी अनिश्चित लगती हैं। जवाब ज़्यादातर सही हैं, लेकिन citation window की सामग्री थोड़ी भ्रमित करती है
    • चाहूँगा/चाहूँगी कि मौजूदा chat contents के भीतर text search feature जोड़ा जाए। उदाहरण के लिए, chat के दौरान अगर giraffe पर search करूँ, तो उस chat history पर switch किया जा सके
  • एक ऐसे व्यक्ति के रूप में जिसे embed या vector क्या होते हैं, पता नहीं, यह इकलौता offline AI tool है जिसे standard office PC पर install करके इस्तेमाल किया जा सकता है
  • भविष्य में LLM web framework की तरह free और open source हो जाएँगे। paid options भी रहेंगे, लेकिन ज़्यादातर कामों के लिए free options काफ़ी होंगे
  • enterprise level पर AnythingLLM सेट करके देखा है, और इसकी ज़्यादातर functionality से बहुत प्रभावित हूँ। काश custom CSS को ठीक से शामिल करने का option होता। default interface थोड़ा पुराना दिखता है। शानदार काम जारी रखें
  • Linux install के दौरान error आया, लेकिन यह अगले commands से हल हो गया: 
    sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
    इसके अलावा, यह बहुत अच्छी तरह काम करता है
  • local और API के ज़रिए LLM इस्तेमाल करने के लिए AnythingLLM बहुत आसान बनाता है। embedder और vector store के लिए कई तरह के options हैं। single-install desktop packaging बहुत साफ़-सुथरी है। आने वाले नए features का इंतज़ार है