AutoRAG: अपने आप सबसे उपयुक्त RAG पाइपलाइन खोजने वाला ऑटोमेशन टूल
(github.com/Marker-Inc-Korea)- AutoRAG, ML को अपने आप optimize करने वाले AutoML की तरह, RAG को भी अपने आप optimize करता है
- हज़ारों दस्तावेज़ों (pdf, Word आदि) के भीतर खोज के ज़रिए LLM को उस ज्ञान पर भी जवाब देने में सक्षम बनाने वाला RAG (Retrieval-Augmented Generation) काफ़ी ध्यान आकर्षित कर रहा है, जिसे वह स्वयं नहीं जानता।
- वास्तविक दस्तावेज़ों पर उच्च-प्रदर्शन वाला RAG पाइपलाइन बनाना कठिन है।
- RAG में डेटा और उद्देश्य के अनुसार उपयुक्त संयोजन अलग-अलग होते हैं, और सबसे अच्छा संयोजन खोजने के लिए बहुत से प्रयोग और evaluations बार-बार करने पड़ते हैं।
- AutoRAG में अभी समर्थित 12 modules के भीतर ही RAG pipeline combinations की 960 किस्में बन सकती हैं।
(embedding और language model को combinations में शामिल नहीं किया गया है) - AutoRAG, ML को अपने आप optimize करने वाले AutoML की तरह, RAG को भी अपने आप optimize करता है
- सिर्फ YAML फ़ाइल में साधारण बदलाव करके इसका उपयोग किया जा सकता है।
- खोजे गए सबसे उपयुक्त RAG को तुरंत fastAPI server के रूप में चलाकर इस्तेमाल किया जा सकता है।
RAG का अध्ययन करते हुए, कई pipelines बनाकर और उनकी performance जाँचते हुए, जो सबसे बड़ी कठिनाई महसूस हुई वह थी ‘हर डेटा के लिए optimization करना’।
अकादमिक जगत में हर दिन नए RAG modules या pipelines प्रस्तावित किए जा रहे हैं, लेकिन उन्हें मेहनत से लाकर वास्तविक डेटा पर लागू करने के बाद भी कई बार performance में बिल्कुल सुधार नहीं होता था। साथ ही, pdf जैसे दस्तावेज़ों से evaluation dataset बनाना, कई modules के साथ प्रयोग करना और उनका मूल्यांकन करना भी झंझटभरा और कठिन था।
हमें लगा कि ज़्यादातर RAG development teams को यही कठिनाई होगी, इसलिए हमारी टीम ने AutoRAG को open source के रूप में बनाया। GitHub और हमारे Docs देखकर, और उन्हें follow करके, आप इसे आसानी से इस्तेमाल कर सकेंगे.
जो लोग पहले से मेहनत से RAG बना रहे थे, और जो लोग अभी नए-नए RAG में प्रवेश कर रहे हैं, दोनों ही इसे संतोष के साथ उपयोग कर सकेंगे!
अभी कोई टिप्पणी नहीं है.