मूल एन्कोडेड अटैचमेंट्स से Epstein PDF को पुनर्स्थापित करना

• अमेरिकी न्याय विभाग द्वारा जारी Epstein email archive को गलत encoding और अत्यधिक redaction के कारण गंभीर त्रुटियों और आलोचना का सामना करना पड़ रहा है
• कुछ ईमेल में Content-Transfer-Encoding: base64 फ़ॉर्मेट के attachment ज्यों-का-त्यों शामिल हैं, और इस डेटा को पुनर्स्थापित करके मूल PDF को फिर से बनाया जा सकता है
• लेकिन OCR quality degradation, Courier New फ़ॉन्ट में 1 और l को अलग पहचानने की समस्या, और खराब scan quality जैसी वजहों से स्वचालित restoration लगभग असंभव है
• लेखक ने tesseract, Adobe Acrobat Pro, AWS Textract आदि का उपयोग करके restoration की कोशिश की, लेकिन सभी से अपूर्ण परिणाम मिले
• यह मामला digital forensics और document restoration technology की सीमाएँ दिखाता है, और इसे community के सहयोग से हल किए जाने वाले तकनीकी challenge के रूप में पेश किया गया है

---

न्याय विभाग द्वारा जारी सामग्री की समस्याएँ

• हाल ही में जारी Epstein archive को सह-अपराधियों के नामों से लेकर असंबंधित महिलाओं की तस्वीरों तक अत्यधिक redaction के साथ वितरित किया गया
  • कुछ फ़ाइलें Quoted-Printable encoding errors के कारण क्षतिग्रस्त थीं और खोली नहीं जा सकती थीं
  • यहाँ तक कि email credentials भी उजागर हो गए, जिससे Reddit उपयोगकर्ता Epstein account तक पहुँच सके
• इस तरह की लापरवाह प्रोसेसिंग के कारण Pam Bondi के नेतृत्व वाले न्याय विभाग की विशेषज्ञता की कमी पर सवाल उठे

base64 attachment की खोज

• ईमेल EFTA00400459 में 76 पन्नों का base64 encoded data मिला
  • यह DBC12 One Page Invite with Reply.pdf फ़ाइल का SMTP transmission के लिए encoded रूप था
  • सिद्धांततः इसे बस कॉपी करके base64 -d > output.pdf कमांड से restore किया जा सकता था, लेकिन वास्तव में केवल OCR scan copy उपलब्ध थी, जिसमें कई त्रुटियाँ थीं
• OCR output में गलत character insertion, missing characters, और अवैध base64 characters (जैसे [, ,) शामिल थे, इसलिए decoding संभव नहीं थी

OCR और फ़ॉन्ट से जुड़ी समस्याएँ

• Adobe Acrobat Pro और tesseract से OCR दोबारा चलाने के प्रयासों में भी space insertion और character recognition errors हुए
• tesseract में character set को base64 valid characters तक सीमित करने के बावजूद line length mismatch और आंशिक recognition रुक जाना जैसी समस्याएँ आईं
• सबसे बड़ी वजह Courier New फ़ॉन्ट थी, जिसमें 1 और l में अंतर करना लगभग असंभव है
  • low-resolution JPEG scans और compression artifacts के कारण दृश्य रूप से पहचानना भी मुश्किल हो गया
  • इसके चलते manual correction अनिवार्य हो गई, और decoding के दौरान 1 और l को बदल-बदल कर आज़माना पड़ता है

restoration प्रयास और tools की तुलना

• imagemagick और ghostscript बड़े डेटा को प्रोसेस करते समय memory exhaustion के कारण विफल रहे, और pdftoppm को विकल्प के रूप में इस्तेमाल किया गया
• AWS Textract ने सबसे बेहतर परिणाम दिखाए, लेकिन फिर भी line length errors और non-deterministic results बने रहे
  • input image को 2 गुना बड़ा करके recognition rate बढ़ाने की कोशिश की गई, फिर भी पूर्ण restoration नहीं हो सका
• qpdf से PDF structure restoration की कोशिश क्षतिग्रस्त cross-reference table के कारण विफल रही

community के सुझाव और आगे की चर्चा

• लेख के अंत में लेखक ने अन्य attachments की restoration कोशिश community को सुझाई
  • Content-Transfer-Encoding और base64 खोजने पर कुछ उपयोगी डेटा मिलने की बात कही गई
• कई उपयोगकर्ताओं ने ML-आधारित OCR, font-specific CNN training, crowdsourcing captcha approach जैसे विभिन्न तरीके सुझाए
  • कुछ लोगों ने PDF restoration की सफल मिसालें साझा कीं और बताया कि pdfimages, pdftoppm की तुलना में अधिक स्पष्ट परिणाम देता है
• अंततः 1/l distinction automation algorithm, streaming decompressor-आधारित error detection, और pixel-level comparison जैसी उन्नत restoration techniques पर चर्चा हुई

तकनीकी महत्व

• यह घटना दिखाती है कि digital document encoding errors और OCR limitations वास्तविक सूचना तक पहुँच को कैसे बाधित कर सकती हैं
• यह कानूनी साक्ष्यों की digital processing में quality control और document forensics automation technology के महत्व को रेखांकित करती है
• community collaboration के माध्यम से restoration का प्रयास public data transparency और technical verifiability का एक उदाहरण माना गया है

[GN⁺]

Hacker News टिप्पणियाँ

• लगता है Pam Bondi की Department of Justice team ने इस काम में अपने सबसे अच्छे लोगों को नहीं लगाया

  • शुरुआत में FB एजेंटों के बीच message conversation दिलचस्प लगी। लगा कि शायद यह जानबूझकर गड़बड़ तरीके से किया गया malicious compliance था, ताकि जानकारी दोबारा censor होने से पहले बाहर निकल जाए
  • इंटरनेट उसकी सारी गलतियाँ ढूंढ़ रहा है, इसलिए यह उल्टा crowdsourcing से अच्छी तरह सुलझता दिख रहा है। लोगों की वजह से errors लगातार ठीक हो रहे हैं

• Claude Opus द्वारा बनाई गई script साझा की गई
  script link / text output / cleaned version
  यह कम से कम पहला पेज पढ़ने लायक PDF बनाती है

  • क्या इसे normalized PDF के रूप में फिर से export किया जा सकता है, या screenshot साझा किया जा सकता है? मेरे सारे PDF readers इसे खोलने से मना कर रहे हैं
  • यह पुष्टि हुई कि यह 450 लोगों की मौजूदगी वाला public event था। Mount Sinai article और Business Insider article में नाम मेल खाते हैं, लेकिन तारीख अलग है
  • शानदार काम

• Tesseract को किसी खास font पर train किया जा सकता है। यह एक अच्छा starting point लगता है
  संदर्भ: Tesseract training data guide

• यह binary PDF decoding की समस्या है। संभव encodings की संख्या सीमित है, इसलिए यह तरीका सुझाया गया

  1. open source PDF decoder का उपयोग करें
  2. पहले ambiguous character तक bytes decode करें
  3. अगला bit valid हो तो 1, नहीं तो l मानें
  4. अगर दोनों valid हों तो backtracking करें
     इससे बीच के characters को जल्दी test किया जा सकता है, इसलिए पूरी search रैखिक रूप से संभव है
  • लेकिन बीच में compression stage होने की वजह से backtracking बहुत ज्यादा हो सकती है
  • ऐसी चीज़ afl से संभालना ज्यादा उपयुक्त लगता है

• यह देखने में nerd snipe जैसा है, लेकिन असल में brute force से इससे भी जल्दी खत्म किया जा सकता है। अगर 76 लोग एक-एक पेज टाइप करें, तो ब्लॉग पोस्ट आने से पहले काम खत्म हो जाएगा

  • एक व्यक्ति भी 76 पेज पूरे टाइप कर सकता है। पहले मैं ऐसे काम अक्सर करता था
  • लेकिन 76 लोगों से सही-सही transcription करवाना आसान नहीं है
  • मेरे पास 76 दोस्त नहीं हैं, इसलिए शायद इसे Craigslist या Fiverr पर डालना पड़ेगा। उसका management काफी जटिल लगेगा

• PDF इतना complex format है कि सरकार को शायद एक नया safe open format बनाकर standardize कर देना चाहिए

  • XPS XML-आधारित आधिकारिक standard है और open source support भी ठीक-ठाक है, लेकिन tools की quality कमजोर है और यह अब भी complex है
    DjVu सरल है और इसके open source tools अच्छे हैं, लेकिन features कम हैं
    TIFF तो PDF से भी ज्यादा complex है, इसलिए उपयुक्त नहीं
    संदर्भ: XPS, DjVu, TIFF
  • लेकिन यह tools की समस्या नहीं, बल्कि कानून की अनदेखी या जानबूझकर गड़बड़ करने वाले रवैये की समस्या है
  • नया format बना भी लिया जाए, तो 3~5 साल में वह भी अंततः PDF जितना complex हो जाएगा
  • आधा मज़ाक, आधा गंभीरता से, JPEG पर चले जाने की राय भी है

• justice.gov search box में उसी email के कई versions मिले
  मूल: EFTA00400459.pdf
  अतिरिक्त versions:
  EFTA02153691.pdf
  EFTA02154109.pdf
  EFTA02154246.pdf
  कई versions की तुलना करने पर इसे सुलझाना आसान हो सकता है

  • अलग base64 encoding और fonts वाला एक version भी मिला: EFTA00775520.pdf.
    “1” और “l” की समस्या वही है, लेकिन संदर्भ के लिए उपयोगी हो सकता है

• सोचा कि (1, l) संयोजन के सभी permutations आज़माए जाएँ। अगर 76 पेज × 69 लाइन × 1 occurrence मानें, तो 2^5244 संभावनाएँ बनती हैं। किसी के पास extra CPU है?

  • असल में यह काफी आसान है। हर correction के बाद यह क्रमवार जाँचना होगा कि वह valid PDF structure में decode होता है या नहीं
    अगर compression default है, तो checksum की वजह से यह और आसान हो जाता है। लेकिन मौजूदा tools से यह नहीं होगा; decoder के अंदर instrumented test harness खुद बनाना पड़ेगा
  • या फिर Epsteincoin जैसी cryptocurrency बना ली जाए और इस समस्या को हल करने के लिए computing power जुटाई जाए

• इवेंट की डिटेल: Dubin Breast Center 2nd Annual Benefit (Archive)

  • इवेंट पोस्टर के मुताबिक यह 10 दिसंबर 2012 को Mandarin Oriental में हुआ Dubin Breast Center का दूसरी वर्षगांठ benefit event था,
    जिसमें Elisa Port और Ruttenberg परिवार को सम्मानित किया गया था।
    होस्ट Cynthia McFadden थीं, और प्रदर्शन में कई musicians शामिल थे

• pdftoppm और Ghostscript (Imagemagick के जरिए कॉल किया गया) पूरे पेज को फिर से rasterize करते हैं, इसलिए ये धीमे हैं
  pdfimages या mutool से scanned images सीधे extract करना कहीं ज्यादा तेज़ है
  टेस्ट में pdfimages, pdftoppm से 13 गुना तेज़ निकला