Flamehaven FileSearch — सेल्फ-होस्ट किया जा सकने वाला ओपन सोर्स RAG दस्तावेज़ खोज इंजन

 (github.com/flamehaven01)
29 पॉइंट द्वारा flamehaven01 2025-11-13 | 4 टिप्पणियां | WhatsApp पर शेयर करें

🔥Flamehaven FileSearch

  • Flamehaven FileSearch एक सेल्फ-होस्ट किया जा सकने वाला ओपन सोर्स semantic search engine है, जो किसी को भी 5 मिनट में document-based RAG(Retrieval-Augmented Generation) सिस्टम बनाने में सक्षम बनाता है।
  • यह Python, FastAPI, SQLite पर आधारित है, और Google Gemini Embedding का उपयोग करके PDF/DOCX/TXT/MD जैसे विभिन्न दस्तावेज़ों में natural language query answering करता है।

इसे क्यों बनाया गया?

  • अधिकांश ओपन सोर्स RAG implementations Colab या Jupyter वातावरण में अच्छी तरह चलती हैं, लेकिन वास्तविक सर्वर पर तैनात करके चलाने के लिए उनकी संरचना जटिल होती है या स्थिरता कम होती है।
  • Flamehaven FileSearch को “वास्तव में काम करने वाला lightweight RAG stack” के लक्ष्य के साथ डिज़ाइन किया गया है, ताकि शोधकर्ता, startup और व्यक्तिगत डेवलपर कोई भी अपने डेटा के साथ semantic search का तुरंत प्रयोग कर सके।

इस पर ध्यान क्यों देना चाहिए?

  • पूर्ण स्वायत्तता: यह किसी बाहरी सर्वर या cloud पर निर्भर नहीं करता, और सारा डेटा लोकल में स्टोर होता है।
  • डेवलपर-केंद्रित संरचना: Python SDK + REST API, FastAPI-आधारित Swagger दस्तावेज़ स्वतः उपलब्ध।
  • PyPI पैकेज वितरण: PyPI से तुरंत इंस्टॉल किया जा सकता है — pip install flamehaven-filesearch[api] की एक लाइन से पूरी तरह स्वचालित इंस्टॉलेशन।
  • तुरंत चलाने योग्य: इंस्टॉलेशन के बाद flamehaven-api कमांड से तुरंत सर्वर शुरू करें, और ब्राउज़र में /docs के जरिए API टेस्ट करें।
  • विस्तारयोग्यता: SQLite storage, plugin architecture, Docker deployment support।
  • शिक्षा/शोध के अनुकूल: Gemini embeddings का उपयोग करता है, इसलिए नवीनतम LLM-आधारित semantic search अभ्यास के लिए आदर्श है।

इसमें क्या शामिल है? (मुख्य बिंदु)

  • Python SDK: from flamehaven_filesearch import FlamehavenFileSearch

    → document upload / search / store management की सभी सुविधाएँ उपलब्ध।

  • REST API: /upload, /search, /stores endpoints + Swagger UI।

  • Docker समर्थन: docker run -e GEMINI_API_KEY=... -p 8000:8000 flamehaven/filesearch:latest

  • संरचना: core(엔진) / api(FastAPI) / data(SQLite) / examples / docs

जल्दी आज़माएँ

1️⃣ PyPI पैकेज

Flamehaven FileSearch को PyPI के माध्यम से सीधे इंस्टॉल किया जा सकता है।

नवीनतम संस्करण देखें: https://pypi.org/project/flamehaven-filesearch

pip install flamehaven-filesearch[api]

2️⃣ इंस्टॉलेशन

pip install flamehaven-filesearch[api]  
export GEMINI_API_KEY="your-google-gemini-key"  
flamehaven-api

3️⃣ दस्तावेज़ अपलोड और खोज

curl -X POST "http://localhost:8000/upload"; -F "file=@handbook.pdf"  
curl "http://localhost:8000/search?q=vacation+policy";

4️⃣ SDK उपयोग उदाहरण

from flamehaven_filesearch import FlamehavenFileSearch  
fs = FlamehavenFileSearch()  
fs.upload_file("handbook.pdf")  
print(fs.search("vacation policy")["answer"])

प्रदर्शन और स्पेक

  • पर्यावरण: Ubuntu 22.04 / 2vCPU / 4GB RAM / SSD
  • 10MB PDF अपलोड → लगभग 5 सेकंड
  • औसत खोज प्रतिक्रिया → 2 सेकंड (जब 5 sources उद्धृत हों)
  • store delete/create → 1 सेकंड के भीतर
  • storage overhead → दस्तावेज़ आकार का लगभग 5 %

रोडमैप

  • v1.1 : caching और quota management
  • v1.2 : batch search + WebSocket streaming
  • v2.0 : बहुभाषी दस्तावेज़ समर्थन, analytics dashboard
  • आगे : Pinecone/Weaviate vectorDB integration, OCR, collaborative store

लाइसेंस

  • MIT License (पूरी तरह ओपन सोर्स)

🛡️ Flamehaven Github सुरक्षा और अकाउंट सूचना

हाल ही में Flamehaven GitHub अकाउंट (यह मुख्य अकाउंट) पर संदिग्ध login प्रयास पाए गए, जिसके कारण अकाउंट फिलहाल निलंबित स्थिति में है। वर्तमान में GitHub security team के साथ मिलकर समस्या की जाँच की जा रही है।

इस घटना के चलते - dir2md, flashrecord, crom-efficient, Arr-medic-cyp3a4 आदि शामिल अकाउंट्स का उपयोग फिलहाल अस्थायी रूप से रोक दिया गया है।

उपयोगकर्ताओं को हुई असुविधा के लिए हम sincerely क्षमा चाहते हैं, और सुरक्षा जाँच पूरी होने तक कृपया थोड़ा धैर्य रखें।

संबंधित पढ़ाई

4 टिप्पणियां

 
flamehaven01 2025-12-09

अपडेट: v1.2.2 रिलीज़

पहला पोस्ट डालने के बाद, आज की तारीख तक यह v1.2.2 तक पहुँच चुका है.
संक्षेप में बदलाव इस प्रकार हैं:

टेस्ट/स्थिरता में सुधार

एन्क्रिप्शन सर्विस: env key आधारित encrypt/decrypt round trip + invalid token path test

बैच सर्च: parallel priority queue, uninitialized service → 503, query-दर-query exception isolation

Redis cache: in-memory fake client के साथ get/set/delete/clear + usability test

जो cache_redis.py अब तक coverage से बाहर था, उसे coverage target में शामिल किया गया

सर्विस readiness

सर्वर के पहली बार शुरू होने पर default store और छोटा fallback document अपने-आप बनता है

कुछ भी upload न करने पर भी /search और /health तुरंत 200 response देते हैं
→ demo/CI health check/agent booting में तुरंत इस्तेमाल किया जा सकता है

ऑपरेशंस से जुड़ी सफ़ाई

version string, log metadata, Prometheus label, OpenAPI title को v1.2.2 के अनुसार व्यवस्थित किया गया

Redis अभी भी optional है, और न होने पर in-process LRU cache पर स्वाभाविक fallback होता है

कोई breaking change नहीं है, इसलिए मौजूदा users वैसे ही upgrade कर सकते हैं.
इसे धीरे-धीरे उस दिशा में तराशा जा रहा है कि यह “सीधे production में इस्तेमाल करने लायक” बने.
 
flamehaven01 2025-11-29

🚀 Flamehaven Filesearch v1.2.1 रिलीज़!

पिछले अपडेट के बाद लगातार सुधार किए गए Flamehaven Filesearch का नवीनतम संस्करण v1.2.1 जारी किया गया है। इस रिलीज़ का फोकस सुरक्षा मज़बूत करने, प्रबंधन टूल्स का विस्तार करने और संचालन की सुविधा बेहतर करने पर है।

🔐 मुख्य अपडेट
🔺Admin Cache Controls जोड़े गए
/api/admin/cache/stats, /api/admin/cache/flush पाथ के ज़रिए cache status देखना और flush करना संभव (केवल Admin)

🔺API Key permissions मज़बूत किए गए
Admin permission के बिना keys को admin features इस्तेमाल करने पर 403 return होगा
डिफ़ॉल्ट नए API keys में admin permission शामिल

🔺IAMProvider Hook पेश किया गया
भविष्य के OIDC/IAM backend integration के लिए संरचना तैयार

🔺Metrics का विस्तार
Cache, health_status, prometheus placeholder जोड़कर dashboard उपयोगिता बेहतर की गई

🔺Frontend अपडेट
Cache / Metrics pages को backend से जोड़ा गया
Upload / Admin pages में Token input feature जोड़ा गया
नए Landing और Dashboard pages को व्यवस्थित किया गया

🔺टेस्टिंग मज़बूत की गई
test_admin_cache.py जोड़कर cache-संबंधित admin API tests शुरू किए गए

🔺डॉक्यूमेंटेशन अपडेट
README version अपडेट और FLAMEHAVEN_ENC_KEY environment variable सहित security guide को मज़बूत किया गया

🐛 Fixed

Admin permission के बिना admin features के अनुरोध पर access block (403)

🔗 GitHub: https://github.com/flamehaven01/Flamehaven-Filesearch

इस संस्करण ने आगे आने वाले IAM integration और dashboard उन्नयन के लिए आधार भी मज़बूत किया है.
 
flamehaven01 2025-11-19

मैंने कल Flamehaven FileSearch v1.2.0 रिलीज़ किया। इस वर्ज़न का फोकस पूरी सेवा को “public API” से security और scalability-केंद्रित enterprise-grade platform में बदलने पर था।

मुख्य बदलाव इस प्रकार हैं:

API authentication·permission system जोड़ा गया
सभी protected endpoints अब Bearer Token authentication की मांग करते हैं।
API Key अब upload/search/store/delete जैसी granular permissions को support करती है, और इसमें key-स्तर rate limit, audit log, तथा SHA256 hash storage (raw key store नहीं किया जाता) शामिल हैं।

Admin Dashboard जोड़ा गया
यह एक web UI है जहाँ API Key create/view/revoke, request statistics, endpoint usage distribution आदि देखे जा सकते हैं।
यह HTML/CSS/JS में पूरी तरह self-contained है, इसलिए कोई external dependency नहीं है।

Batch Search API
एक request में 1–100 queries प्रोसेस करता है।
यह parallel/sequential execution mode, priority-based sorting, query-स्तर error isolation, और detailed timing metrics देता है।

Redis cache backend
यह multi-worker environment के लिए distributed cache option है।
<10ms lookup latency, automatic LRU fallback, और LLM calls में 40–60% तक कमी मिलती है।

Deployment templates उपलब्ध (Docker/Kubernetes)
इसमें Docker, Docker Compose, Kubernetes(ConfigMap/Secret/Deployment) examples शामिल हैं, ताकि तुरंत deploy किया जा सके।

Performance summary:

Cache hit: <10ms

Cache miss (LLM call): ~0.5–3s

Batch Search (10): ~2–5s

GitHub: https://github.com/flamehaven01/Flamehaven-Filesearch

Security design, API usability, deployment architecture आदि पर सुधार सुझाव हों तो उनका स्वागत है।
v1.2.1 (admin authentication improvements, Redis settings UI) और v1.3.0 (key rotation + OAuth2/OIDC) भी तैयारी में हैं।
 
flamehaven01 2025-11-13

आज v1.1.0 रिलीज़ किया गया है.

इस वर्ज़न में मुख्य रूप से path traversal vulnerability patch, FastAPI/Starlette security updates, request ID tracing, rate limit, caching (<10ms hit), और Prometheus metrics जोड़ना शामिल है. यह पिछले वर्ज़न की तुलना में कहीं ज़्यादा स्थिरता से काम करता है.

यह अपडेट भी अब तक की तरह हल्की और self-hostable संरचना पर केंद्रित है. धन्यवाद.