LLM सिस्टम का मूल्यांकन कैसे करें

• LLM (बड़े language model) आधारित applications का non-deterministic output behavior होने के कारण पारंपरिक testing तरीकों से उनका सही मूल्यांकन करना कठिन है
• इसलिए LLM सिस्टम की performance बनाए रखने और उसे बेहतर करने के लिए dedicated evaluation methods (evals) अनिवार्य हैं

eval क्यों महत्वपूर्ण है

• performance baseline स्थापित करना: model performance की दिशा तय करना और तुलनात्मक benchmark सेट करना
• consistency और reliability सुनिश्चित करना: अप्रत्याशित outputs को पहले से पहचानना और नियंत्रित करना
• improvement की दिशा देना: performance degradation के बिंदुओं को स्पष्ट करके targeted सुधार संभव बनाना
• regression testing संभव बनाना: बदलाव के बाद भी performance बनी हुई है या नहीं, यह जांचकर स्थिरता सुनिश्चित करना

pre-deployment evaluation के मुख्य तत्व

pre-deployment evaluation क्यों महत्वपूर्ण है

• performance को शुरुआती चरण में मापा जा सकता है और तुलना संभव होती है
• code, prompt, parameter में बदलाव होने पर regression issues को पहले से पकड़ा जा सकता है

evaluation कैसे करें

1. Ground Truth dataset बनाना

• experts द्वारा तैयार किए गए question-answer pairs वाले dataset की आवश्यकता होती है
• वास्तविक user question patterns को दर्शाने वाले विविध scenarios शामिल करना महत्वपूर्ण है

क्या LLM Ground Truth बना सकता है?

• LLM सहायक भूमिका निभा सकता है, लेकिन केवल उसी से इसे बनाना अनुशंसित नहीं है
  • user behavior की समझ सीमित होती है
  • context के अनुरूप प्रश्न और उत्तर के लिए human review आवश्यक है
  • domain suitability और quality assurance के लिए human validation अनिवार्य है

2. evaluation metrics चुनना

• Answer relevancy: क्या उत्तर प्रश्न के लिए सीधा और सार्थक जवाब देता है
• Coherence: response का logical flow और clarity
• Contextual relevance: conversation context को कितना अच्छी तरह ध्यान में रखा गया है
• Responsibility: ethics, harmfulness, bias आदि के संदर्भ में output जिम्मेदार है या नहीं

3. RAG evaluation metrics

• generation metrics:
  • Faithfulness: क्या उत्तर तथ्य-आधारित है
  • Answer relevancy: response की उपयुक्तता
• retrieval metrics:
  • Context precision: relevant information के signal बनाम noise का अनुपात
  • Context recall: क्या सही उत्तर के लिए आवश्यक जानकारी ठीक से retrieve हुई

4. task-specific metrics

• किसी विशेष task के लिए customized evaluation metrics की आवश्यकता होती है
  • उदाहरण: summarization में Fluency, Coherence, Consistency, Relevance

5. score calculation और system tuning

• हर metric के लिए actual output और Ground Truth की तुलना करके score निकाला जाता है
• उदाहरण:
  • Recall कम हो: chunk size घटाना
  • Precision कम हो: reranking लागू करने पर विचार
• evaluation libraries के उदाहरण: DeepEval, Relari-ai

LLM-as-Judge evaluation technique

• GPT-4 जैसे LLM के आधार पर Ground Truth के बिना evaluation
• उदाहरण: G-eval framework, Vicuna, QLoRA paper
• कमियां:
  • कुछ metrics (जैसे Context Recall) Ground Truth के बिना मापे नहीं जा सकते
  • accuracy और granularity के मामले में human-based evaluation बेहतर होता है
• निष्कर्ष: LLM-as-Judge + Ground Truth का संयोजन आदर्श है

deployment चरण में evaluation को integrate कैसे करें

• evaluation automation को deployment pipeline में integrate करें
  • code commit या deployment से पहले automatic tests चलाएं
  • उदाहरण: Giskard का उपयोग करके harmfulness और hallucination detection के automated tests
• data preprocessing और collection stages के लिए tests भी शामिल होने चाहिए

post-deployment evaluation और data flywheel

production monitoring

• real-time input/output tracking
• domain experts के साथ नियमित evaluation sessions
• user feedback channels उपलब्ध कराना

data flywheel strategy

• production में उत्पन्न data और feedback का उपयोग करके continuous improvement loop बनाएं
  • उदाहरण: user question patterns का analysis → retrieval method में सुधार
  • metrics के आधार पर prompt, inference parameters, retrieval method आदि को adjust करना
• user behavior और failure scenarios के अनुसार metrics बदलने की आवश्यकता भी होती है

निष्कर्ष: भरोसेमंद LLM products के लिए “Evals First” रणनीति सबसे महत्वपूर्ण

• LLM applications के development की शुरुआत से ही evaluation-centric सोच अपनानी चाहिए
• मुख्य बात है सही metrics और baselines को शुरुआती चरण में परिभाषित करना, और उन्हें development तथा deployment के मानक बिंदु के रूप में उपयोग करना
• evaluation को बाद की गतिविधि नहीं, बल्कि मुख्य development process के रूप में स्थापित करना चाहिए, तभी user-centric और विश्वसनीय AI systems बनाए जा सकते हैं

[winterjung]

मेरे अनुभव में भी, और https://blog.lawrencejones.dev/ai-mvp/ जैसे अन्य उदाहरणों में भी दिखता है कि नवीनतम मॉडल हमेशा बेहतर परिणाम की गारंटी नहीं देते। हर बार जब मॉडल या प्रॉम्प्ट को ट्यून किया जाता है, तो dataset के जरिए evaluation करना पड़ता है, लेकिन चाहे LLM निर्णय में मदद करे भी, फिर bhi इंसानों को LLM मॉडल के लिए ground truth dataset एक-एक करके हाथ से बनाना पड़ता है, यह थोड़ा विडंबनापूर्ण भी लगता है, हा हा।