हल्के और कुशल RAG मॉडल मूल्यांकन कोड प्रोजेक्ट

 (github.com/instructkr)
2 पॉइंट द्वारा sigridjineth 2024-12-30 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

Retriever Simple Benchmark एक हल्का और कुशल benchmark project बनने का लक्ष्य रखता है, जिसे RAG के लिए आवश्यक reranker का मूल्यांकन करने हेतु डिज़ाइन किया गया है.
मैंने इसे अपनी ज़रूरत के लिए बनाया है और इसे open source के रूप में विकसित कर रहा हूँ.

Why?

मौजूदा benchmark tools (जैसे: MTEB) के बारे में बहुत फ़ीडबैक था कि dependency install करना और उन्हें चलाना झंझटभरा है, इसलिए उनका उपयोग करना कठिन है.
लक्ष्य यह है कि इसे बहुत आसानी से, न्यूनतम dependencies के साथ, हल्के ढंग से चलाया जा सके, और तुरंत परिणाम देखे जा सकें.

Repository परिचय

  • फ़िलहाल Korean-आधारित cross-encoder को support किया जाता है, और आगे bi-encoder models भी जोड़े जाने की योजना है.
  • Python project को maintainable बनाने के लिए, इसे astral-uv के साथ नए सिरे से लिखा गया है.
उपयोग का तरीका 💻

1️⃣ Environment setup

make init

2️⃣ चलाएँ (फ़िलहाल केवल single GPU support)

make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG
आगे की योजना 📈

  • अतिरिक्त support models

    • HuggingFace और FlagEmbedding-आधारित bi-encoder models

  • अतिरिक्त datasets

    • फ़िलहाल AutoRAG support, आगे KURE जोड़ा जाएगा

➡️ GitHub पर प्रोजेक्ट देखें
➡️ InstructKorea Discord

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.