Clawdbot अपनी memory को कैसे manage करता है: Markdown-आधारित hybrid memory architecture

सारांश:

• Clawdbot एक open source local AI assistant है, जो cloud dependency के बिना उपयोगकर्ता के local environment में Markdown फ़ाइलों के रूप में long-term memory को store और manage करता है।
• 2-layer memory system (daily logs और long-term knowledge) और hybrid search (vector + keyword) के ज़रिए बड़े context में भी efficient information retrieval संभव होता है।
• context window की सीमाओं को पार करने के लिए यह 'Compaction' और 'Pruning' तकनीकों का उपयोग करता है, जिससे cost optimization और performance maintenance दोनों साथ में हासिल होते हैं.

विस्तृत सारांश:

1. परिचय और design philosophy
   Clawdbot data ownership को वापस उपयोगकर्ता के हाथ में देने के लिए सारी memories को local workspace के भीतर Markdown फ़ाइलों के रूप में manage करता है। Transparency को core value मानते हुए इसे इस तरह डिज़ाइन किया गया है कि उपयोगकर्ता memory files को सीधे पढ़, edit और version control कर सके।

2. 2-layer memory structure
   memory को मुख्य रूप से दो layers में बाँटा गया है:

• Layer 1 (Daily Logs): memory/YYYY-MM-DD.md फ़ाइल में उस दिन की conversation summary, decisions और user preferences दर्ज किए जाते हैं।
• Layer 2 (Long-term Knowledge): MEMORY.md फ़ाइल में ऐसे key facts, project decisions और स्थायी user profile store किए जाते हैं, जिन्हें कई sessions तक बने रहना चाहिए।

3. Hybrid Search engine
   agent memory_search tool का उपयोग करके केवल ज़रूरत पड़ने पर memory को query करता है:

• Semantic Search (Vector Search): embeddings के माध्यम से अर्थ के स्तर पर मिलती-जुलती सामग्री खोजी जाती है (SQLite-vec का उपयोग)।
• Keyword Search (BM25): exact proper nouns, dates, IDs आदि खोजने के लिए FTS5 engine को साथ में इस्तेमाल किया जाता है।
• Final score calculation: सटीकता बढ़ाने के लिए (0.7 * vector score) + (0.3 * text score) वाला weighted formula लागू किया गया है।

4. Context management techniques

• Compaction: context limit पर पहुँचने पर पुरानी conversations को summary से replace किया जाता है। खास तौर पर 'Memory Flush' चरण के दौरान summary से पहले महत्वपूर्ण जानकारी को Markdown फ़ाइलों में permanently save कर दिया जाता है, ताकि information loss न हो।
• Pruning: बड़े log output जैसी अनावश्यक रूप से लंबी tool execution results को काटकर tokens बचाए जाते हैं। इसमें Anthropic की prompt caching TTL को ध्यान में रखने वाली intelligent deletion logic भी शामिल है।

5. Tech stack और data flow

• Storage: local Markdown files (Source of Truth) और SQLite (indexing के लिए)।
• Workflow: file change detection (Chokidar) -> chunking (400 token units, 80 token overlap) -> embedding -> SQLite storage.