• इसकी मूल दर्शनशैली Pytest for LLM है
  • प्रोडक्शन में ले जाने के लिए, यह LLM पाइपलाइन के लिए offline evaluation चलाने का एक Pythonic तरीका देता है
  • Python unit test लिखने की तरह LLM applications (RAG जैसे) के लिए टेस्ट लिखे जा सकते हैं
  • assert_llm_output के ज़रिए entailment / exact / bertscore जैसे metrics से उत्तरों का मूल्यांकन किया जा सकता है
  • custom metrics सेट करना और मौजूदा metrics को संशोधित करना भी संभव है

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.