OCR(ऑप्टिकल कैरेक्टर रिकग्निशन) की सीमाएँ
- PDF फ़ाइलों में वैज्ञानिक शोध, सरकारी रिकॉर्ड जैसे महत्वपूर्ण डेटा होते हैं, लेकिन उनका फ़ॉर्मैट स्थिर होने के कारण मशीनों के लिए उन्हें पढ़ना और विश्लेषित करना कठिन होता है
- PDF प्रिंट लेआउट के हिसाब से बनाया गया फ़ॉर्मैट है, इसलिए यह डिजिटल विश्लेषण के लिए उपयुक्त नहीं है
- कई PDF में जानकारी इमेज के रूप में होती है, इसलिए उसे डेटा में बदलने के लिए OCR software की ज़रूरत पड़ती है
- पुराने दस्तावेज़ों या हस्तलिखित दस्तावेज़ों में OCR का प्रदर्शन और भी खराब हो जाता है
असंरचित डेटा की समस्या
- दुनिया भर के संगठनों का लगभग 80~90% डेटा असंरचित रूप में संग्रहीत होता है, और उसका बड़ा हिस्सा PDF में शामिल होता है
- दो-कॉलम लेआउट, टेबल, चार्ट, और कम-गुणवत्ता वाली स्कैन इमेज से डेटा निकालना विशेष रूप से कठिन है
- खासकर वैज्ञानिक शोध, ऐतिहासिक दस्तावेज़ संरक्षण, ग्राहक सेवा, और AI सिस्टम में तकनीकी साहित्य की पहुँच सुनिश्चित करने में बड़ी समस्याएँ पैदा होती हैं
अलग-अलग क्षेत्रों पर प्रभाव
- सरकारी रिकॉर्ड, अदालतों, पुलिस, और सामाजिक सेवाओं जैसी सार्वजनिक संस्थाओं के संचालन पर असर पड़ता है
- insurance और banking जैसे सूचना-निर्भर उद्योगों में PDF डेटा को बदलने के लिए समय और संसाधन खर्च होते हैं
OCR तकनीक का इतिहास
- 1970 के दशक में Ray Kurzweil ने pattern matching algorithm पर आधारित commercial OCR system विकसित किया
- Kurzweil Reading Machine ने दृष्टिबाधित लोगों के लिए टेक्स्ट पहचान की क्षमता प्रदान की
- पारंपरिक OCR system contrast pattern को पहचानकर उसे अक्षरों में बदलते हैं
- जटिल फ़ॉन्ट, multi-column layout, और टेबल जैसी चीज़ों में प्रदर्शन घट जाता है
- पारंपरिक OCR की त्रुटियाँ अपेक्षाकृत अनुमानित होती हैं, इसलिए उन्हें सुधारना आसान होता है, लेकिन इसकी सीमाएँ बनी रहती हैं
AI-आधारित OCR का उभार
- multimodal LLM(large language model) इमेज और टेक्स्ट को मिलाकर डेटा extraction करते हैं
- OpenAI, Google, Meta जैसे मॉडेल दस्तावेज़ के visual elements और text context को एक साथ समझ सकते हैं
- पारंपरिक OCR अक्षर-स्तरीय pattern matching पर काम करता है, जबकि AI दस्तावेज़ के layout और context को समझकर प्रोसेस करता है
- Amazon का Textract पारंपरिक OCR approach पर आधारित है, जबकि LLM दस्तावेज़ को अधिक व्यापक संदर्भ में analyze कर सकते हैं
- ये जटिल layout, table, और caption जैसी चीज़ों को बेहतर तरीके से संभालते हैं
LLM-आधारित OCR के नए प्रयास
- फ़्रांस की AI कंपनी Mistral ने LLM-आधारित document processing API, Mistral OCR लॉन्च किया
- इसका लक्ष्य जटिल layout वाले दस्तावेज़ों से टेक्स्ट और इमेज निकालना है
- प्रदर्शन संबंधी समस्याएँ सामने आईं: पुराने दस्तावेज़ों की टेबल प्रोसेस करने में विफलता और संख्यात्मक त्रुटियाँ
- हस्तलिखित टेक्स्ट पहचानने में समस्याएँ आईं → AI ने मनमाना कंटेंट बना दिया (hallucination)
- Google का Gemini 2.0 फिलहाल सबसे बेहतर प्रदर्शन देता है → जटिल दस्तावेज़ों में भी अपेक्षाकृत कम त्रुटियाँ
LLM-आधारित OCR की समस्याएँ
- LLM संभाव्यता-आधारित मॉडल हैं, इसलिए त्रुटियों की संभावना अधिक रहती है
- जब दस्तावेज़ का layout दोहराया जाता है, तो पंक्तियाँ छूट जाने की समस्या हो सकती है
- LLM user prompt और दस्तावेज़ की सामग्री के बीच अंतर करने में विफल हो सकते हैं, जिससे गलत व्याख्या संभव है
- टेबल में गलत value matching होने पर गंभीर त्रुटियाँ हो सकती हैं → वित्त, क़ानून, और स्वास्थ्य सेवाओं में बड़ी समस्या
- मनमाना टेक्स्ट उत्पन्न करने की समस्या के कारण मानवीय समीक्षा अब भी ज़रूरी है
आगे की चुनौतियाँ
- अभी तक कोई परफेक्ट OCR solution मौजूद नहीं है
- Google, OpenAI आदि context-aware AI products के ज़रिए प्रदर्शन सुधार रहे हैं
- AI कंपनियाँ PDF से डेटा extraction के माध्यम से AI training data हासिल करने की उम्मीद कर रही हैं
- अगर AI PDF डेटा को पूरी तरह प्रोसेस करने लगे, तो डेटा analysis के एक नए युग की शुरुआत हो सकती है
1 टिप्पणियां
'PDF प्रिंट लेआउट के हिसाब से बनाया गया फ़ॉर्मैट है, इसलिए यह डिजिटल विश्लेषण के लिए उपयुक्त नहीं है'
मुझे लगता है HWP में भी इसी तरह की समस्या है। HWP अब भी बेहतरीन software है, लेकिन मूल रूप से प्रकाशन के लिए बना होने की वजह से उसका विश्लेषण करना मुश्किल है।
दूसरी ओर, Word को अगर output document बनाने के लिए इस्तेमाल करें तो वह बिखरा हुआ लगता है, लेकिन उतना ही वह content पर ध्यान केंद्रित करने देता है, और शायद इसी वजह से वह web/AI युग में उलटे ज़्यादा उपयुक्त साबित हुआ है।