Lucene search core योगदान टीम द्वारा बनाया गया Local-first AI Memory Workspace, Maek

नमस्ते। हम cognica टीम हैं, जो search और AI Memory Infrastructure विकसित करती है।

टीम का संक्षिप्त परिचय दें तो, cognica द्वारा प्रस्तावित BB25(Bayesian BM25) आधारित probabilistic hybrid search पर किया गया काम हाल ही में Apache Lucene 10.5.0 core में आधिकारिक रूप से शामिल किया गया है (BayesianScoreQuery, LogOddsFusionQuery)।

हम इस search और memory infrastructure तकनीक को ऐसे product में बदलने पर काम कर रहे हैं, जिसे वास्तविक उपयोगकर्ता सीधे महसूस कर सकें, और उसके पहले परिणाम के रूप में macOS के लिए AI app Maek का परिचय देना और उस पर feedback पाना चाहते हैं।

डाउनलोड और वेबसाइट: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

1. जिस समस्या को हम हल करना चाहते हैं: "क्या सिर्फ context window बढ़ाने से समस्या हल हो जाएगी?"

AI chat इस्तेमाल करते समय प्रोजेक्ट की पृष्ठभूमि, पुराने निर्णय, बार-बार संदर्भित किए जाने वाले दस्तावेज़ जैसी वही context हर बातचीत में बार-बार समझानी पड़ती है।

इसे हल करने के लिए केवल "पिछली बातचीत का सारा टेक्स्ट prompt में ठूँस देने वाला तरीका" स्पष्ट सीमाएँ रखता है।

• Context Window की बर्बादी और लागत में वृद्धि

• असंबंधित पुराने कंटेंट के मिल जाने से Hate/Noise में वृद्धि

• वास्तव में महत्वपूर्ण पुराना context खो जाने की समस्या

Maek हर बार प्रश्न आने पर इस बात पर ध्यान देता है कि "अभी के प्रश्न के लिए ज़रूरी memory को सबसे उपयुक्त रूप में दोबारा कैसे बनाया जाए (Reconstruct)?"

2. मुख्य architecture: अलग किए गए डेटा और Evidence-आधारित Retrieval

Maek बातचीत और दस्तावेज़ों को local storage में संग्रहीत करता है, और हर नया प्रश्न आने पर नीचे दिए गए संकेतों को मिलाकर context को फिर से बनाता है।

• Messages : सामान्य chat history, और keyword/vector search का target।

• Document Chunks : फ़ाइलों को एक बार पढ़कर फेंक दिए जाने वाले prompt disposable की तरह नहीं, बल्कि local में छोटे chunks में बाँटकर संग्रहित किया जाता है, और ज़रूरत पड़ने पर search और उत्तर के आधार के रूप में citation किया जाता है।

• Graph : बातचीत से व्यक्ति, संगठन, घटना, निर्णय, वादे आदि निकालकर उन्हें संबंध (Connection) के रूप में व्यवस्थित करता है। उपयोगकर्ता को सही keyword याद न हो, तब भी जुड़े हुए context के आधार पर उसे खोजा जा सकता है।

• Conversation State : वर्तमान स्थिति, open threads, व्यक्ति-प्रोफ़ाइल आदि को संक्षेप में दिखाने वाला स्थिति-पट है। (हालाँकि यदि यह उपयोगकर्ता के नवीनतम संदेश से टकराता है, तो उपयोगकर्ता का संदेश प्राथमिकता पाता है, और यह केवल 'Memory Hint' की भूमिका निभाता है।)

• Evidence-आधारित hybrid संयोजन: BM25, Vector Similarity, Graph, Recency — इन सबकी scale अलग होती है, इसलिए यदि सिर्फ scores जोड़ दिए जाएँ, तो कोई एक signal अत्यधिक हावी हो जाता है। हमने Lucene core में BB25 योगदान करते समय जो know-how हासिल किया, उसके आधार पर इन signals को इस प्रश्न के लिए आवश्यक 'Evidence' मानकर सूक्ष्म रूप से संयोजित किया है।

3. मुख्य विशेषताएँ: Inspectability और Local-First

• उत्तर के आधार का visualization: AI ने "याद रखकर जवाब दिया" ऐसा दावा करने से आगे बढ़कर, उपयोगकर्ता स्वयं देख सकता है कि उस उत्तर को बनाते समय कौन-से messages, कौन-से document chunks, कौन-से Graph Hits, और कौन-सी State जानकारी context में शामिल की गई थी (Reconstruction जानकारी)। AI पर भरोसा करने और उसे सही करने के लिए यह debug कर पाना ज़रूरी है कि "इसने इसे क्यों याद रखा", और "इसे क्यों नहीं ढूँढ पाया"।

• ChatGPT Memory से अंतर: यदि ChatGPT Memory सेवा-निर्भर personalized memory feature है, तो Maek एक स्वतंत्र tool है, जो उपयोगकर्ता की संपत्तियों (बातचीत, दस्तावेज़, ग्राफ, स्टेट) को local workspace में जमा करता है और हर turn पर context को फिर से reconstruct करता है।

• डेटा प्रवाह की पारदर्शिता: local model का उपयोग करने पर inference तक पूरी तरह offline बना रहता है, लेकिन OpenAI/Claude जैसे cloud models को जोड़ने पर वर्तमान input और खोजा गया local context संबंधित API को भेजा जाता है। इस data flow को UI और documentation में स्पष्ट रूप से अलग दिखाया गया है, ताकि आप निश्चिंत होकर इसका उपयोग कर सकें।

यह अभी शुरुआती version है, और फिलहाल Apple Silicon Mac वातावरण पर केंद्रित testing चल रही है। नीचे दिए गए पहलुओं पर आपकी राय मिले तो बहुत मदद होगी।

• अवधारणा की स्पष्टता: क्या Maek को सिर्फ एक साधारण chat UI नहीं, बल्कि 'AI Memory Workspace' के रूप में समझाया जा रहा है?

• दृष्टिकोण की वैधता: क्या हर turn पर context को dynamically reconstruct करने का तरीका तकनीकी रूप से आपको उचित लगता है?

• ChatGPT Memory से भिन्नता: मौजूदा सेवाओं की memory features की तुलना में क्या इसका अंतर स्पष्ट महसूस होता है?

• पारदर्शिता: local-cloud model उपयोग के दौरान data flow और security से जुड़ी व्याख्या क्या स्पष्ट है?

• UX/पहला प्रभाव: क्या macOS app के रूप में installation और first-run अनुभव स्वाभाविक लगता है?

लिंक: https://maek.cognica.io/?utm_source=geeknews&utm_medium=community&…

कृपया बेझिझक और तीखा feedback दें। धन्यवाद।