CS छात्र ने बंद Herculaneum scroll में 2,000 साल बाद पहला शब्द खोजा

 (scrollprize.org)
1 पॉइंट द्वारा GN⁺ 2023-10-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 79 ईस्वी में Vesuvius ज्वालामुखी विस्फोट से कार्बनाइज़ हुए Herculaneum scrolls इतने नाजुक थे कि खोलने पर टूट सकते थे, लेकिन CT scan और machine learning से उनके अंदर के अक्षर पढ़ पाने की संभावना साबित हुई
  • Vesuvius Challenge के प्रतिभागी Luke Farritor ने एक बंद scroll के अंदर पूरा शब्द खोजा और $40,000 First Letters Prize जीता
  • मिला हुआ शब्द प्राचीन लिपि में ΠΟΡΦΥΡΑϹ है, आधुनिक वर्तनी “porphyras” है और इसका अर्थ “बैंगनी” होता है, लेकिन संदर्भ और शब्द-सीमाएँ अभी तय करना मुश्किल है
  • Casey Handmer की crackle pattern खोज से Luke और Youssef Nader के model सुधारों का रास्ता खुला, और Youssef ने उसी क्षेत्र में अधिक स्पष्ट स्वतंत्र परिणाम के लिए $10,000 का दूसरा पुरस्कार जीता
  • खुले competition, open source tools और segmentation कार्यों के मेल से $700,000 Grand Prize हासिल करना एक वास्तविक लक्ष्य के करीब आ गया है

2,000 साल तक न खोले जा सके scroll से निकला पहला शब्द

  • Herculaneum papyri Pompeii के पास एक निजी villa की library में मौजूद प्राचीन scrolls हैं, जो 79 ईस्वी में Vesuvius ज्वालामुखी विस्फोट के समय दब गए और carbonize हो गए
  • यह library प्राचीन काल से बची हुई एकमात्र मौजूदा library है, जो लगभग 2,000 साल तक 20m ज्वालामुखीय कीचड़ के नीचे दबी रही
  • 1700 के दशक में खुदाई में ये मिले, लेकिन scrolls इतने नाजुक थे कि गलत तरीके से संभालने पर पाउडर बन सकते थे, इसलिए उन्हें भौतिक रूप से खोलकर पढ़ना मुश्किल था
  • Luke Farritor अगस्त 2023 में बंद scroll के अंदर पूरा शब्द देखने वाले पहले व्यक्ति बने और $40,000 First Letters Prize जीता
    • यह पुरस्कार पाने के लिए scroll के 4cm² क्षेत्र में कम से कम 10 अक्षर खोजने होते हैं
  • Youssef Nader ने भी उसी क्षेत्र में वही शब्द स्वतंत्र रूप से खोजा और अधिक स्पष्ट परिणाम के लिए $10,000 का दूसरा पुरस्कार जीता
  • सार्वजनिक किया गया code Luke, Youssef के GitHub पर देखा जा सकता है

CT scan, ground-truth data और Vesuvius Challenge की शुरुआत

  • 2019 में University of Kentucky EduceLab के प्रोफेसर Brent Seales ने particle accelerator से Herculaneum scrolls की imaging करके अधिकतम 4µm resolution वाले 3D CT scans बनाए
  • research team ने दृश्यमान ink बचे हुए अलग fragments को भी scan किया और उनकी photos record करके ground-truth dataset तैयार किया
  • Stephen Parsons ने अलग fragments के CT scans में machine learning से ink detect करने का काम किया और fragments पर सफलता मिली
  • Nat Friedman और Daniel Gross ने इस प्रगति को तेज करने के लिए Vesuvius Challenge शुरू किया
    • मार्च 2023 में open competition शुरू किया गया
    • $700,000 Grand Prize के साथ open source tools और technology development के लिए कई छोटे पुरस्कार दिए गए
  • शुरुआती गर्मियों से segmentation team जुड़ी और scrolls की 3D structure mapping की; जुलाई तक सैकड़ों cm² papyrus को segment करके virtually unroll किया गया

Casey Handmer ने पाया ink signal

  • Casey Handmer ने अगस्त 2023 की शुरुआत में CT scan segments को लंबे समय तक देखते हुए ink जैसा दिखने वाला crackle pattern खोजा
  • Stephen Parsons ने पहले अलग fragments में ink का direct evidence देखा था, लेकिन बंद scrolls के अंदर इसकी अभी पुष्टि नहीं हुई थी
  • Casey बंद scroll के अंदर ink और अक्षर खोजने वाले 2,000 साल बाद पहले व्यक्ति बने
  • यह खोज Luke के model और Youssef के approach, दोनों के लिए सीधा starting point बनी, और Casey ने $10,000 First Ink Prize जीता

Luke Farritor का model और “porphyras”

  • Luke Farritor एक college student और SpaceX Starbase summer intern थे; उन्हें Dwarkesh Patel के Nat Friedman interview से Vesuvius Challenge के बारे में पता चला
  • Discord पर Casey के crackle pattern की चर्चा देखने के बाद, उन्होंने शाम और रात का समय लगाकर इस pattern को सीखने वाला machine learning model train किया
  • हर बार नया crackle मिलने पर model सुधरता, और सुधरा हुआ model फिर और अधिक crackle उजागर करता—ऐसा iterative cycle बना
  • model ने ink strokes के कुछ दर्जन उदाहरण और कुछ पूरे अक्षर खोजे, जिन्हें training label data के रूप में इस्तेमाल किया गया
  • समय के साथ model ने ऐसी crackle traces भी उजागर कीं जो इंसानी आँखों से नहीं दिखती थीं, और ये traces अक्षरों और शब्दों के clues बने
  • Luke की पहली submission में ΠΟΡΦΥΡΑϹ, यानी “porphyras”, धुंधला दिखाई दिया
  • Brent Seales ने जब यह image papyrologists को दिखाई, तो उन्होंने धुंधले अक्षरों के बावजूद तुरंत “porphyras” पढ़ा
  • technical review के बाद नई image papyrologist panel को भेजी गई, और उन्होंने स्वतंत्र रूप से व सर्वसम्मति से 13 अक्षरों को annotate किया
    • confidence को 80% से अधिक, 50–80%, और 50% से कम में बाँटा गया
  • “porphyras” का अर्थ “बैंगनी” है और यह प्राचीन साहित्य में बहुत दुर्लभ शब्द है
  • एक papyrologist ने माना कि context की कमी के कारण यह तय नहीं किया जा सकता कि यह noun “बैंगनी dye या बैंगनी कपड़ा” है, adjective “बैंगनी” है, या कोई अलग word boundary है
  • उस समय के texts में spaces नहीं होते थे, इसलिए word boundary judgment और मुश्किल हो जाता है

Youssef Nader का स्वतंत्र approach

  • Youssef Nader Berlin में Egyptian biorobotics graduate student हैं; Casey और Luke के results से प्रेरित होकर उन्होंने अलग तरीका आजमाया
  • पहले उन्होंने Kaggle Ink Detection prize की winning entries की समीक्षा की
    • यह competition Stephen Parsons के fragment-based machine learning approach को सुधारने पर focused था
  • Youssef ने scroll data पर unsupervised pretraining और fragment labels पर आधारित fine-tuning से model को scrolls के लिए transfer किया
  • “Ink Detection Followup Prize” idea के लिए छोटा पुरस्कार पाने के बाद, जब Luke के शुरुआती results X और Discord पर share हुए, तो उन्होंने उसी क्षेत्र पर focus किया
  • Kaggle competition से adapt किए model के जरिए उन्होंने कुछ अक्षर खोजे, और Casey के तरीके की तरह crackle को हाथ से नहीं खोजा
  • अक्षर जैसे दिखने वाले shapes को label data के रूप में annotate किया और iterative pseudo-labeling से इसे expand किया
  • final model केवल inner scroll segments से train किया गया था, और इसी result से First Letters Prize में दूसरा स्थान पक्का हुआ
  • papyrologists ने Youssef के result में अक्षरों पर अधिक मजबूत consensus दिखाया और ऊपर के संभावित शब्द “ανυοντα / ANYONTA” तथा नीचे के “ομοιων / OMOIωN” की संभावना तक की समीक्षा की
  • अगर ये शब्द सही हैं, तो उस papyrus scroll में आधुनिक दुनिया के लिए अज्ञात पूरी तरह नया text होने की संभावना है

open competition और open source से बनी कड़ी

  • कई लोगों के contributions discovery path से सीधे जुड़े, जिससे competition + open source और stepwise prize structure के सचमुच काम करने का उदाहरण मिला
  • Youssef ने Kaggle competition model का उपयोग किया और Luke के results से प्रेरित होकर उसी क्षेत्र को देखा
  • Luke की crackle खोज Casey के काम से सीधे शुरू हुई
  • Casey segmentation team द्वारा सैकड़ों cm² map कर देने की वजह से कई papyrus sheets देख सके
  • segmentation team, Segmentation Tooling Prizes के प्रतिभागियों द्वारा बनाए tools की बदौलत बड़े क्षेत्र map कर सकी
    • इसमें Julian Schilliger, Chuck, Yao Hsiao समेत कई प्रतिभागियों का काम शामिल था
  • ये tool improvements Brent Seales team के मौजूदा open source tools के ऊपर बनाए गए
    • Seth Parker, Stephen Parsons समेत कई लोगों का काम इसका आधार बना
  • अब तक की प्रगति देखें तो competition operations का लगभग हर element load-bearing भूमिका में था, और प्रगति hindsight में दिखने की तुलना में अधिक नाजुक और संयोग-निर्भर हो सकती है

$700,000 Grand Prize की ओर अगले कदम

  • segmentation team और प्रतिभागी लगातार आगे बढ़ रहे हैं, और Youssef के model ने कुछ दिन पहले अधिक स्पष्ट और बड़ी नई image बनाई
  • नई image में margins से अलग किए गए text के 4.5 columns साफ दिखाई देते हैं
  • अधिक अक्षर दिख रहे हैं, लेकिन सभी तुरंत पढ़ने योग्य नहीं हैं; papyrology team आगे जांच कर रही है
  • Vesuvius Challenge का मानना है कि इस प्रगति ने $700,000 Grand Prize को हासिल करने योग्य लक्ष्य बना दिया है
  • प्रतिभागी Discord community, Substack newsletter और X account के जरिए जुड़ सकते हैं, और data, tutorials, winners’ work तथा community tools देखकर शुरुआत कर सकते हैं
  • लक्ष्य सैकड़ों scrolls में बंद ज्ञान को खोलना, प्राचीन literature की मात्रा को दोगुना करना, और अभी तक खुदाई में न निकले हजारों scrolls तक पढ़ पाने की संभावना खोलना है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-10-13
Hacker News की राय

  • अक्षर CT scan के papyrus fragments में ग्रीक अक्षरों जैसे दिखने वाले crack texture खोजकर और उन्हें training data के रूप में annotate करते हुए मिले
    हालांकि ऐसे crack texture ज़्यादातर papyrus में नंगी आंखों से नहीं दिखते, और शायद केवल उन जगहों पर ऐसे दिखते हैं जहां ink बहुत मोटी लगी हुई थी
    electron microscope image https://scrollprize.org/img/tutorials/sem.png में texture का फर्क कहीं ज़्यादा साफ दिखता है, खासकर जहां ink किनारों पर खिसक गई है
    Kaggle ink detection competition के बाद ही cracks का पता चला, यह हैरान करने वाली बात है। Casey Handmer ने भी https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien... में ज्ञात अक्षरों की ink से मेल खाते “फटी हुई मिट्टी” और “flakes” जैसे texture खोजे थे, लेकिन उन्होंने लिखा कि यह ज्ञात अक्षरों में से केवल लगभग 10% में था
    नई image उम्मीद से कहीं बेहतर है, लेकिन अभी भी सिर्फ एक छोटा-सा क्षेत्र है, इसलिए कुछ अजीब वाक्यों से ज़्यादा पढ़ा जा सकेगा या नहीं, इस पर मैं अब भी निराशावादी हूं

    • challenge में थोड़ी देर भाग लेते समय मैंने भी मिलता-जुलता approach अपनाया था, लेकिन cracks को सीधे खोजने के बजाय मैंने अनुमान लगाया कि वह “cracking” effect parchment की कई दरारों से गुजरने वाला data slice है, और ink data उस मुड़े और फटे manifold पर स्थित है
      सभी अक्षर इंसानी आंखों को साफ-साफ नहीं दिखेंगे, लेकिन scan image में layers बहुत ज़्यादा हैं, इसलिए images पलटते-पलटते समय के साथ pattern दिखने लगते हैं, ऐसा लगा
      मैंने ऐसा code लिखा था जो हर pixel column को ऊपर-नीचे bilinear interpolation से “align” करके image block को “straighten” करता था और crack texture को flat बनाता था; याद है कि यह overall variance loss को minimize करता था
      उसके बाद “flattened” image के लिए optimized 2D convolutional neural network इस्तेमाल करने का इरादा था, और scroll के cross-section को देखकर लगा कि लकड़ी की तरह locally consistent दबाव वाले हिस्से हैं, इसलिए interpolation काफी हो सकता है
      इसलिए इस problem में 3D convolution इस्तेमाल करने से मैं ज़्यादा सहमत नहीं था। लगी और सूखी हुई ink शायद 2D convolution से detect होने वाले आधे-अधूरे predictable patterns follow करेगी, और जिन invariances की जरूरत है उन्हें पहले से structure करना आसान होगा
      अगर code में रुचि हो तो मैं उसे ढूंढकर share कर सकता हूं

  • Nat की Twitter announcement भी देखने लायक है: https://twitter.com/natfriedman/status/1712470683207532906
    7 लाख डॉलर जिंदगी बदल देने वाली रकम है, इसलिए सब कुछ छोड़कर modern machine learning के साथ प्राचीन ज्ञान की तलाश में लगे किसी monk की तरह डूब जाने का मन करता है
    यह बात भी मजेदार है कि scroll बस laundry list भी हो सकता है

    • अगर यह तरीका scale हो गया तो बाद में पढ़े जा सकने वाले scrolls 600 से ज़्यादा हैं
      इसके अलावा, “excavation पूरी नहीं हुई है, और कई historians मानते हैं कि हजारों scrolls अभी भी जमीन के नीचे बचे हैं”: https://scrollprize.org
    • या फिर यह customer complaint भी हो सकती है: https://www.thearchaeologist.org/blog/complaint-tablet-to-ea...
    • शायद laundry list होने की संभावना कम है। लगता है शुरुआत उन scrolls से की गई जिन्हें बाहरी सतह से पढ़ा जा सकता था, और वे ग्रीक Stoic philosophy से जुड़ी सामग्री के रूप में जाने जाते हैं
      अगर laundry list होती तो महंगे papyrus के बजाय reusable wax tablet पर लिखी गई होती
    • शायद यह emperor के बारे में किसी उल्लेख की संभावना रखता है। बैंगनी कपड़ा बेहद दुर्लभ और महंगा था, और वही रंग emperors पहनते थे
      बाद में emperor के परिवार के बाहर किसी व्यक्ति का बैंगनी पहनना मौत की सजा वाला अपराध भी बन गया था; Vesuvius eruption के समय भी ऐसा था या नहीं, पता नहीं, लेकिन Wikipedia कहता है कि Caligula ने शायद किसी को बैंगनी पहनने की वजह से मरवा दिया था
    • 7 लाख डॉलर में से करीब आधा तो tax में चला जाएगा

  • classical literature में कदम रखने की मैं जोरदार सिफारिश करता हूं। यह सचमुच अद्भुत और कल्पना से परे है; पढ़ाई के दौरान थोड़ा-बहुत सामना हुआ था, लेकिन इसकी महानता मुझे हाल में ही समझ आई
    beginners के लिए मैं Iamblichus की Life of Pythagoras, Apuleius of Numenia की The Golden Ass (Robert Graves translation), Plutarch की Life of Alexander, Xenophon की Education of Cyrus, और Plato की Parmenides सुझाऊंगा
    SHWEP.net भी कई classics को सहज लेकिन rigorous तरीके से guide करता है, इसलिए बहुत उपयोगी रहा, और उसका रुझान अपेक्षाकृत esoteric दिशा में है, जो मुझे पसंद भी है

    • थोड़ा और समझा सकें कि आपको यह इतना अद्भुत और कल्पना से परे क्यों लगा
      मैंने classical literature को कुछ बार छुआ है, लेकिन हमेशा पढ़ना मुश्किल लगा, इसलिए अंत तक पढ़ने की motivation नहीं बन पाई; सोचता हूं क्या इस genre में कुछ ऐसा है जो मैं miss कर रहा हूं
    • Life of Pythagoras ने मेरी जिंदगी पर बड़ा असर डाला। Pythagoras ने जिस तरह सत्य की खोज के लिए 100% समर्पण किया, विनम्रता से पूरी दुनिया घूमकर knowledge, practices और skills जुटाए, बहुत-सी चीजें आजमाईं और फिर अपने जीवन का बड़ा हिस्सा teaching में लगाया, उससे मुझे बहुत प्रेरणा मिली
      Pythagoras शायद इतिहास के सबसे महान philosopher थे। उनके intellectual descendant Archytas को भी पढ़ने की सलाह दूंगा; mathematics, mechanics, music, learning और philosophy पर उनके विचार कमाल के हैं
    • Plato की शुरुआत के लिए Parmenides की सिफारिश नहीं करूंगा। उनके dialogues में भी यह सबसे कठिन में से एक है
      Plato के लिए सबसे अच्छा introduction मैं Alcibiades को मानूंगा। पढ़ने में हल्का और enjoyable है, लेकिन साथ ही गहरा और profound भी: https://www.gutenberg.org/ebooks/1676
    • अब corpus का scale विस्फोटक रूप से बढ़ सकता है। article के मुताबिक, अगर ये words सच में वही हैं जो हम सोच रहे हैं, तो इस papyrus scroll में ऐसा बिल्कुल नया text हो सकता है जिसे modern world ने कभी नहीं देखा
    • सोच रहा हूं कि Life of Pythagoras का German edition है या नहीं। पता नहीं क्यों, मुझे मिल नहीं रहा, और Amazon पर सिर्फ एक ऐसी किताब दिखती है जिसकी एक review कहती है कि वह automatic translation जैसी लगती है

  • इस विषय पर हाल ही में एक बेहतरीन YouTube वीडियो देखा था: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
    शीर्षक है “Herculaneum scrolls: A 20-year journey to read the unreadable”, और इसमें थोड़ा बताया गया है कि यह किस तकनीक से किया गया
    स्कैन 10 साल पहले से मौजूद थे, लेकिन कागज और उस पर मौजूद स्याही में फर्क करने के लिए मशीन लर्निंग ट्रेनिंग की जरूरत थी, और 20 साल पहले अधिक contrast वाली सामग्री से बने दूसरे scroll set पर यह पहले ही संभव हो चुका था
    deep learning ऐसे datasets को decode कर रहा है जिन्हें पहले algorithm से हल न हो पाने वाला माना जाता था

    • वह व्याख्या काफी भ्रामक है। असली breakthrough था नंगी आंखों से जांच कर patterns ढूंढना, और उन्हें बेहतर training data के रूप में इस्तेमाल करना
      अब तक ऐसा भी नहीं लगता कि बहुत से ऐसे अक्षर मिल पाए हैं जिन्हें आंखों से देखना बेहद मुश्किल हो
      मूल लेख में model output के guide करने पर manual annotation करना, फिर अतिरिक्त data से model को retrain करना—इस दोहराव वाली प्रक्रिया को पढ़ना दिलचस्प है
      अगर शुरुआत से ही केवल उपलब्ध ground-truth data पर deep learning चला दी जाए और model को किन features को देखना है यह पता न हो, तो यह व्यवहार में लगभग काम ही नहीं कर रहा था
      इसके अलावा scroll को virtually unfold करने की प्रक्रिया भी फिलहाल ज्यादातर manual और श्रम-प्रधान है
    • यह बहुत भ्रामक है। खोज खुद deep learning ने नहीं, बल्कि manual exploration ने की थी
      अभी यहां इंसानों ने जो काम किया, उसे deep learning model से करवाने की कोशिश हो रही है, लेकिन वह अभी वास्तविक अक्षर खोजने में सफल नहीं हुआ है

  • यह 21वीं सदी में Tutankhamun की कब्र खुलने जैसा अनुभव करने जैसा है
    यह अविश्वसनीय रूप से अद्भुत है कि मध्यावधि भविष्य में ऐसी वास्तविक संभावना है कि हम Amazon पर हजारों वर्षों से किसी ने न पढ़ी हुई नई अनूदित कृतियां खरीद सकेंगे

  • वाकई शानदार। उत्सुक हूं कि इससे हमें क्या सीखने को मिलेगा
    वैसे, “particle accelerator में scan किए जा रहे Professor Seales और team” वाली तस्वीर किसी TV drama scene जैसी लगती है। जैसे “computer से बस बार-बार ‘enhance’ कहो, तो हम इसे पढ़ पाएंगे”

  • यह मेरे देखे हुए data recovery के सबसे extreme उदाहरणों में से एक गिना जा सकता है
    सोचता हूं कि 2000 साल बाद “फेंकी हुई hard disk platter से मिली पहली file” जैसी कोई घटना होगी या नहीं

    • “Spot robot ने landfill में कूड़ेदान खंगालते हुए फेंकी हुई hard disk में 100,000 bitcoin खोजे”
    • यह कहानी धुंधली-सी याद आती है: https://en.wikipedia.org/wiki/MS_Fnd_in_a_Lbry#:~:text=MS%20...

  • इस interview के पहले 30 मिनट अभी क्या हो रहा है, इसे बहुत अच्छे से समझाते हैं। सचमुच दिलचस्प
    https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s

  • “ex-JPL startup founder and polymath” वाला वाक्यांश दिलचस्प है
    बहुमुखी प्रतिभा वाला इंसान होने के लिए मुझे कभी ऐसी तारीफ नहीं मिली; मुझे तो “generalist” और “काफी विचार-विमर्श के बाद हमने आपकी application process आगे न बढ़ाने का फैसला किया है” ही मिला

    • असली polymath आम तौर पर इस तरह कहलाने से बचते दिखते हैं
      अगर कोई मान्यता पाने का मन भी बना ले, तो उसे “काफी प्रसिद्ध नहीं है” जैसे अक्षम्य पाप के कारण किनारे होते देखा है

  • https://scrollprize.org/ असली challenge को समझाता है
    दूसरे research में दिखाया गया था कि CT scan आधारित virtual unwrapping संभव है, लेकिन इन scrolls में CT/X-ray में स्याही साफ नजर नहीं आ रही थी, इसलिए और सूक्ष्म structural changes की तरफ लौटना पड़ा
    यह निश्चित नहीं है कि कागज की संरचना बदली है, या असल में स्याही दिख रही है लेकिन कम स्पष्ट दिख रही है