VLM कोरियाई सार्वजनिक संस्थानों के दस्तावेज़ कितनी अच्छी तरह पढ़ सकता है? KOLongDoc बेंचमार्क जारी
(github.com/Marker-Inc-Korea)🔥 कोरियाई Long-Document VLM बेंचमार्क, KOLongDoc जारी किया गया है!
हाल के दिनों में ChatGPT, Claude, Gemini जैसे multimodal AI का उपयोग सार्वजनिक और प्रशासनिक कार्यों में भी शुरू हुआ है, लेकिन वास्तव में "यह लंबे कोरियाई दस्तावेज़ों को कितनी अच्छी तरह समझता है?" इसका मूल्यांकन करने के लिए लगभग कोई बेंचमार्क नहीं था।
मौजूदा कोरियाई VLM बेंचमार्क OCR, VQA, चार्ट समझ और इमेज समझ पर केंद्रित थे, लेकिन
❌ दर्जनों पन्नों के high-resolution दस्तावेज़
❌ कई पन्नों के बीच जानकारी जोड़ने वाला Multi-hop reasoning
❌ Long-context दस्तावेज़ समझ
का समग्र मूल्यांकन करने में उनकी सीमाएँ थीं।
इसीलिए हमने KOLongDoc 📄 बेंचमार्क बनाया और इसे open source के रूप में जारी किया है!
✅ कोरियाई सार्वजनिक संस्थानों के दस्तावेज़ों पर आधारित
✅ Multi-page / Multi-hop QA
✅ high-resolution Long Document समझ का मूल्यांकन
✅ कुल 200 मूल्यांकन प्रश्न उपलब्ध
KOLongDoc एक ऐसा बेंचमार्क है जो यह मूल्यांकन करने के लिए बनाया गया है कि देश-विदेश के VLM वास्तविक कोरियाई सार्वजनिक दस्तावेज़ों को कितनी सटीकता से समझ और reasoning कर सकते हैं।
अगर आप विस्तृत जानकारी और उपयोग के तरीके जानना चाहते हैं, तो huggingface और github पर जाएँ!
🤗 डेटासेट:
https://huggingface.co/datasets/Markr-AI/KOLongDoc
📝 Github परिचय लेख:
https://github.com/Marker-Inc-Korea/KOLongDoc
*फीडबैक और बेंचमार्क के उपयोग के उदाहरणों का स्वागत है!
अभी कोई टिप्पणी नहीं है.