NeoGraph - LangGraph का C++ में पोर्ट किया गया एजेंट इंजन

 (github.com/fox1245)
2 पॉइंट द्वारा procoinmac0 15 시간 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

नमस्ते।
मैंने बनाया हुआ एजेंट orchestration इंजन NeoGraph साझा कर रहा हूँ।
यह C++17 आधारित है, और आप इसे नीचे दिए गए कमांड से इंस्टॉल कर सकते हैं।
pip install neograph-engine

इसे क्यों बनाया

Python आधारित LangGraph का इस्तेमाल करते समय कई बार परफ़ॉर्मेंस कमज़ोर लगी। सर्वर चलाने के लिए ज़रूरी स्पेक्स भी काफ़ी ज़्यादा चाहिए होते हैं, इसलिए अक्सर लगता था कि कोई हल्का और तेज़ orchestration इंजन होना चाहिए। इसी वजह से इसे C++ में इम्प्लीमेंट करके परफ़ॉर्मेंस सुधारने की दिशा में काम आगे बढ़ा।

विशेषताएँ?

यह graph को कोड नहीं बल्कि डेटा की तरह हैंडल करता है।

ज़्यादातर Python framework graph को Python object के रूप में define करते हैं। NeoGraph में graph structure खुद JSON में define होती है। यह StateGraph object नहीं, बल्कि DB की एक row में जाने वाला JSON का एक ब्लॉक होता है।

विज्ञापन

इसलिए नीचे जैसी चीज़ें संभव हो जाती हैं।

  1. बिना deployment के hot swap - एजेंट structure (graph topology) बदलने के लिए DB में JSON की सिर्फ़ एक row बदलनी होती है।
    न दोबारा deployment, न process restart, और न ही चल रही बातचीत का loss।

  2. multi-tenant - हर ग्राहक के लिए अलग एजेंट structure को एक ही process के अंदर चलाया जा सकता है। वास्तविक रूप से OpenAI gpt-4o-mini के साथ 1,000 ग्राहकों की समवर्ती प्रोसेसिंग के समय RSS 29MB था और errors 0 थे। वही configuration अगर LangGraph में किया जाए, तो प्रति ग्राहक एक process होने के कारण लगभग कई दर्जन GB की ज़रूरत पड़ेगी।

  3. self-evolving agent - LLM हर ग्राहक की बातचीत देखकर उस ग्राहक का graph_def(JSON) फिर से लिखता है। यानी एजेंट उपयोगकर्ता के व्यवहार के मुताबिक "खुद अपनी संरचना बदलता है।"

    विज्ञापन

और यह तेज़ भी है।

फ्रेमवर्क इंजन ओवरहेड (नोड 1 बार) NeoGraph के मुकाबले
NeoGraph 5.0 µs 1×
Haystack 140 µs 28×
LangGraph 643 µs 128×
LlamaIndex 1,565 µs 313×
AutoGen 3,127 µs 625×

बेशक, मापने के तरीके के अनुसार फर्क हो सकता है, और अगर असली LLM call शामिल हो तो external I/O हावी होने की वजह से महसूस होने वाली स्पीड लगभग समान लग सकती है।
मेरा मानना है कि इन µs संख्याओं का असली मतलब उन multi-tenant/edge cases में है जहाँ एक ही बॉक्स पर हज़ारों requests आती हैं।

GitHub: https://github.com/fox1245/NeoGraph
PyPI: https://pypi.org/project/neograph-engine/

फ़ीडबैक का स्वागत है।

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.