BGE-M3, MarkItDown, और Markdown structure parser का उपयोग करके semantic chunking करने और उसके परिणाम को Parquet फ़ाइलों में संग्रहीत करने वाले aipack framework का पहला वर्ज़न रिलीज़ किया जा रहा है। इसे model और database पर निर्भर न रहने वाली न्यूट्रल स्थिति बनाए रखने के लिए डिज़ाइन किया गया है, ताकि कभी भी दोबारा इस्तेमाल किए जा सकने वाले file format के आधार पर RAG लागू किया जा सके और MCP server भी चलाया जा सके.
aipack का लक्ष्य NPU या GPU पर निर्भर न रहने वाला RAG लागू करना है, और साथ ही भविष्य में विभिन्न RAG संरचनाओं तक आसानी से विस्तार किया जा सके, ऐसा वातावरण बनाना है। "अगर उच्च-गुणवत्ता वाली Parquet फ़ाइलें बनाई जा सकती हैं, तो कुछ भी किया जा सकता है" इस धारणा के तहत, यह उद्योग में आम तौर पर इस्तेमाल होने वाली RAG pipeline को decoupling करने वाला एक प्रयोगात्मक प्रोजेक्ट है।
यह उन विचारों को लागू करके बनाया गया है जिनके बारे में मैं सामान्यतः सोचता रहा हूँ, इसलिए इसमें कई कच्चे हिस्से हैं, लेकिन अगर आप बहुत-सा feedback और अपनी राय देंगे, तो उसी के आधार पर मैं इसे एक बेहतर प्रोजेक्ट के रूप में आगे विकसित करने की कोशिश करूँगा!
अभी कोई टिप्पणी नहीं है.