Vibe coding से बनाया गया Honcho के लिए Codex + लोकल embedding gateway

 (github.com/DaydreamBlend)
1 पॉइंट द्वारा daydreamblend 2 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

(यह प्रोजेक्ट Vibe coding का उपयोग करके बनाया गया है.)

नमस्ते! मैं pharmacy field का एक graduate student हूं और GeekNews नियमित रूप से पढ़ता हूं.

यहीं मुझे Hermes Agent के बारे में पता चला और मैं उसे अपने research में अच्छी तरह इस्तेमाल कर रहा था, फिर पता चला कि Honcho नाम का memory adapter भी अतिरिक्त रूप से इस्तेमाल किया जा सकता है.
लेकिन जब मैंने देखा, तो यह Codex subscription quota का उपयोग करने के बजाय अलग से token-based API requests भेजकर काम करता था, इसलिए extra billing की चिंता होने लगी. लगा कि कहीं बिना सोचे इस्तेमाल करते-करते graduate student की मेरी छोटी-सी salary पूरी न चली जाए.

इसलिए मैंने Hermes Agent में ChatGPT subscription के साथ मिलने वाले Codex quota को token-based requests की तरह इस्तेमाल करने के idea से,
Codex subscription के जरिए Honcho backend को replace करने वाला एक तरह का adapter बनाया.

यह इस तरह काम करता है.

  1. Honcho के चलने का तरीका देखने पर, default settings में memory importance का judgment OpenAI GPT 5.4 mini को request भेजकर किया जाता था, और search के लिए embedding भी OpenAI embedding model का उपयोग करती थी.
  2. इसलिए Hermes Agent के Codex OAuth code का उपयोग करके इसे OpenAI endpoint response जैसा दिखने के लिए बदला, और Embedding को local में llama.cpp के जरिए BGE-M3 fp16.gguf इस्तेमाल करने के लिए बदला.
  3. Embedding dimension default 1536 dimensions था, लेकिन public 1536-dimensional models कम होने की वजह से 1024-dimensional model BGE-M3 का उपयोग किया.
  4. Honcho settings में local server support है, इसलिए पहले honcho-codex-gateway docker stack install किया, और वहां चलने वाले server से original honcho docker stack को connect कराया.
  5. साथ ही, honcho में tokenization का तरीका bge से अलग होने के कारण length issue आया, इसलिए इसे इस तरह बनाया कि tokenizing bge-m3 में हो और उसी के आधार पर Chunking हो.

Code लिखने में मुझे confidence नहीं था, इसलिए Hermes Agent में backend के रूप में Codex subscription-based GPT 5.5 और reasoning effort Low का उपयोग किया.
Hobby use के लिए खरीदे गए GB10 series MSI EdgeXpert 1TB model (ARM Ubuntu) पर यह ठीक से काम करता है, यह confirm किया.
Windows/Mac जैसे अन्य OS पर यह काम करता है या नहीं, यह verify नहीं कर पाया.

शुरुआत में मेरा लक्ष्य था कि अगर करीब 100 लोग git clone करें, तो इसे GeekNews पर भी डालना अच्छा होगा. 13 दिनों में वह target पूरा हो गया, इसलिए जिस जगह मैं अक्सर आता हूं, वहां feedback पाने के लिए इसे पोस्ट कर रहा हूं.

लंबा लेख पढ़ने के लिए धन्यवाद!

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.