• Rust में विकसित लोकल-रनिंग AI असिस्टेंट, जो इंटरनेट कनेक्शन के बिना व्यक्तिगत डिवाइस पर पूरी तरह चलता है और डेटा बाहर नहीं भेजता
  • सिंगल executable फ़ाइल संरचना के कारण Node.js, Docker, Python इंस्टॉल किए बिना चलाया जा सकता है, और यह लगभग 27MB का हल्का binary है
  • persistent memory system Markdown-आधारित knowledge store, SQLite FTS5 और semantic search के जरिए long-term memory और search capabilities देता है
  • CLI, web UI, desktop GUI सभी को सपोर्ट करता है, और OpenAI·Anthropic·Ollama जैसे multiple LLM providers के साथ compatible है
  • OpenClaw format compatibility के कारण SOUL, MEMORY, HEARTBEAT फ़ाइलों का उपयोग कर autonomous tasks किए जा सकते हैं

अवलोकन

  • LocalGPT एक लोकल डिवाइस-केंद्रित AI असिस्टेंट है, जो persistent memory और autonomous task capabilities के साथ Rust-आधारित application है
    • बाहरी सर्वर पर निर्भर हुए बिना व्यक्तिगत डिवाइस पर पूरी तरह चलता है
    • OpenClaw project से प्रेरित है और compatibility बनाए रखता है
  • इंस्टॉलेशन cargo install localgpt कमांड से किया जा सकता है, और GUI शामिल या headless mode में विकल्प उपलब्ध है

मुख्य विशेषताएँ

  • सिंगल binary architecture के कारण Node.js, Docker, Python की आवश्यकता नहीं
  • लोकल डेटा संरक्षण: सभी memory और settings उपयोगकर्ता की डिवाइस में ही स्टोर होती हैं
  • persistent memory: Markdown फ़ाइल-आधारित knowledge store का उपयोग करता है, और SQLite FTS5 तथा sqlite-vec के जरिए तेज़ search और semantic search को सपोर्ट करता है
  • autonomous heartbeat फीचर के जरिए बैकग्राउंड में काम किया जा सकता है
  • विभिन्न interfaces: CLI, web UI, desktop GUI उपलब्ध
  • multiple LLM support: Anthropic(Claude), OpenAI, Ollama आदि से जुड़ सकता है

यह कैसे काम करता है

  • memory ~/.localgpt/workspace/ directory में स्टोर होती है, और मुख्य फ़ाइल संरचना इस प्रकार है
    • MEMORY.md: long-term knowledge storage
    • HEARTBEAT.md: autonomous task queue
    • SOUL.md: personality और behavior guidelines
    • knowledge/: विषय-आधारित structured knowledge store
  • SQLite FTS5 से keyword search और sqlite-vec से लोकल embedding-आधारित semantic search किया जाता है

कॉन्फ़िगरेशन और CLI कमांड

  • settings फ़ाइल ~/.localgpt/config.toml में स्टोर होती है, जहाँ default model, API key, heartbeat interval, working hours आदि सेट किए जाते हैं
  • मुख्य CLI कमांड
    • localgpt chat: conversation session शुरू करें
    • localgpt ask "질문": single query चलाएँ
    • localgpt daemon start: background daemon चलाएँ
    • localgpt memory search "query": memory search
    • localgpt config init: default configuration बनाएँ

HTTP API

  • daemon चलने पर REST API उपलब्ध होती है
    • GET /health: status check
    • POST /api/chat: conversation request
    • GET /api/memory/search?q=<query>: memory search
    • GET /api/memory/stats: memory statistics देखें

तकनीकी स्टैक

  • Rust, Tokio, Axum, SQLite (FTS5 + sqlite-vec) , fastembed, eframe आधारित
  • Apache-2.0 लाइसेंस के तहत सार्वजनिक है, और लगभग 93% कोड Rust में लिखा गया है

अन्य जानकारी

  • GitHub पर लगभग 646 stars और 39 forks हैं
  • ब्लॉग पोस्ट “Why I Built LocalGPT in 4 Nights” में development process और commit-वार details साझा की गई हैं
  • मुख्य contributors में Yi Wang, Claude, objectkit, Ax73 सहित कुल 4 लोग बताए गए हैं

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.