Morphik - ओपन सोर्स AI-नेटिव नॉलेज बेस

• इमेज, PDF, वीडियो आदि multimodal डेटा को एकीकृत रूप से खोजने और प्रबंधित करने में मदद करने वाला ओपन सोर्स टूल
  • पारंपरिक RAG तरीकों की तुलना में तकनीकी और विजुअल दस्तावेज़ों को प्रोसेस करने के लिए अधिक अनुकूलित
• ColPali embeddings का उपयोग करके पूरे पेज को इमेज की तरह प्रोसेस करता है, और लेआउट, typography तथा विजुअल context तक समझने वाली semantic search क्षमता देता है
• कई दस्तावेज़ों के बीच entity linking करने वाला डोमेन-विशिष्ट knowledge graph बनाया जा सकता है, और custom या pre-trained system prompts का उपयोग संभव है
• PDF, इमेज, वीडियो जैसे विविध दस्तावेज़ों को एक ही API से खोज सकता है, और MCP भी सपोर्ट करता है
• metadata extraction फीचर तेज़ और scalable है, तथा bounding box, classification आदि भी सपोर्ट करता है
• Google Suite, Slack, Confluence आदि के साथ workflow integration संभव है
• दस्तावेज़-आधारित generation की गति बढ़ाने के लिए KV cache-आधारित generation (Cache-Augmented-Generation) फीचर भी शामिल है
• बेसिक फीचर्स MIT लाइसेंस के तहत ओपन सोर्स के रूप में उपलब्ध हैं, इसलिए मुफ़्त में शुरुआत की जा सकती है; कुछ advanced फीचर्स सशुल्क हैं और ee namespace में दिए जाते हैं

प्रमुख अवधारणाएँ और फीचर परिचय

• मल्टीमॉडल सर्च (ColPali)

  • हर PDF पेज को इमेज की तरह प्रोसेस करके, एक टेक्स्ट token इकाई के बजाय पेज-स्तरीय multivector representation बनाता है
  • इमेज, PDF, वीडियो और विजुअल संरचनाएँ (टेबल, डायग्राम, formatting आदि) का अर्थ समझकर खोज सकता है
  • एकल endpoint के माध्यम से एकीकृत multimodal queries को सपोर्ट करता है

• नॉलेज ग्राफ (Knowledge Graphs)

  • एक लाइन कोड से डोमेन-विशिष्ट knowledge graph बनाया जा सकता है
  • pre-configured prompts का उपयोग किया जा सकता है, या उन्हें custom बनाया जा सकता है

• तेज़ और scalable metadata extraction (Rules Processing)

  • दस्तावेज़ के भीतर bounding box, label, classification जानकारी आदि को स्वचालित रूप से extract करता है
  • बड़े पैमाने के दस्तावेज़ों को भी तेज़ और स्थिर रूप से प्रोसेस करता है

• विभिन्न integration फीचर्स (Integrations)

  • Google Workspace, Slack, Confluence आदि के साथ direct integration सपोर्ट

• cache-आधारित generation (Cache-Augmented-Generation)

  • हर दस्तावेज़ के लिए KV cache बनाकर generation की गति बढ़ाता है
  • ऐसे वातावरण में उपयोगी जहाँ दोहराए जाने वाले queries अधिक हों

[blizard4479]

मैंने इसे कुछ महीने पहले इस्तेमाल करने के लिए टेस्ट किया था, लेकिन उम्मीद से ज़्यादा GPU resources की ज़रूरत पड़ी और स्पीड भी काफ़ी गिर गई, इसलिए छोटी कंपनियों के लिए इसे अपनाना मुश्किल लगा। A10 GPU 2 के साथ भी सर्च करने में लगभग 30 सेकंड से 1 मिनट लग रहा था, उफ़,,