- KoHalluLens, Facebook Research के HalluLens का कोरियाई में विस्तारित प्रोजेक्ट है, जिसने हर बार नए बनाए गए कोरियाई test set के आधार पर LLM की hallucination का व्यवस्थित मूल्यांकन किया।
- यह benchmark hallucination को
- “तथ्यों से अलग बात कहना” (Factuality issue) और
- “न जानते हुए भी जानने का दिखावा करना” (Hallucination) में विभाजित करता है।
- यह Extrinsic Hallucination (training जानकारी से असंगति) और Intrinsic Hallucination (input context से असंगति) जैसे स्पष्ट वर्गीकरण मानदंड प्रस्तुत करता है।
- जहाँ मौजूदा benchmark data leakage के जोखिम से जूझते रहे, वहीं HalluLens का extrinsic hallucination हर evaluation में नया test set इस्तेमाल करके अधिक विश्वसनीय मूल्यांकन संभव बनाता है।
- KoHalluLens ने इसे कोरियाई evaluation set तक विस्तारित किया, और API hosting के ज़रिए अलग computing resources के बिना सीधे अपने मॉडल की hallucination का मूल्यांकन करने की सुविधा दी।
अभी कोई टिप्पणी नहीं है.