Vesuvius Challenge 2023 का ग्रैंड प्राइज़: पहली स्क्रॉल को पढ़ने में सफलता

 (scrollprize.org)
1 पॉइंट द्वारा GN⁺ 2024-02-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Vesuvius Challenge 2023 ने 79 ईस्वी में Vesuvius ज्वालामुखी विस्फोट से कार्बनाइज़्ड Herculaneum Papyri को बिना खोले पढ़कर 2,000 वर्षों से अदृश्य रहे पाठ के कुछ हिस्सों को पुनर्स्थापित किया
  • Youssef Nader, Luke Farritor, Julian Schilliger की टीम ने 4 अंशों में प्रत्येक 140 अक्षर और 85% से अधिक character restoration दर की शर्त पूरी कर $700,000 का ग्रैंड प्राइज़ जीता, और उनके submission में 15 columns तथा 2,000 से अधिक अक्षरों का पाठ शामिल था
  • पुनर्स्थापित स्क्रॉल किसी ज्ञात कृति की प्रतिलिपि नहीं बल्कि प्राचीन काल का अप्रकाशित पाठ प्रतीत होता है, और इसे संगीत, भोजन, इंद्रिय अनुभव तथा सुख पर केंद्रित Epicurean दर्शन का पाठ माना गया है
  • मुख्य तकनीक X-ray tomography, 3D papyrus layer segmentation, और machine learning आधारित ink detection के संयोजन पर आधारित है, तथा विजेता code और training data को सार्वजनिक किया गया है ताकि reproduction और verification संभव हो सके
  • 2024 का लक्ष्य पहली स्क्रॉल के लगभग 5% पाठन से आगे बढ़कर scan की गई 4 स्क्रॉलों के 90% पाठन तक पहुँचना है, और सबसे बड़ा bottleneck segmentation के automation का है जिसकी manual cost बहुत अधिक है

2,000 साल पुरानी स्क्रॉल को बिना खोले पढ़ना

  • Herculaneum Papyri वे कार्बनाइज़्ड papyrus scrolls हैं जो 79 ईस्वी में Mount Vesuvius के विस्फोट से जलकर कोयला-सी हो गई थीं; 18वीं सदी में खोजे जाने के बाद अब इनकी सैकड़ों प्रतियाँ इटली के Naples की एक लाइब्रेरी में सुरक्षित हैं
  • ये कार्बनाइज़्ड राख के ठोस गुच्छों जैसी अवस्था में हैं, इसलिए इन्हें भौतिक रूप से खोलने पर गंभीर नुकसान हो सकता है; अंदर का लेखन पढ़ने के लिए non-destructive तरीका ज़रूरी था
  • Nat Friedman, Daniel Gross, Brent Seales ने 15 मार्च 2023 को Vesuvius Challenge शुरू किया
    • Institut de France की स्क्रॉलों को Oxford के पास Diamond Light Source particle accelerator में high-resolution CT से scan किया गया
    • सार्वजनिक CT scans के आधार पर दुनिया भर के प्रतिभागियों ने computer vision, machine learning और manual work को मिलाकर इस समस्या को हल करने की कोशिश की
    • कुल prize pool विभिन्न donors द्वारा दिए गए $1 million से अधिक का था
  • दिसंबर 2023 में प्रतिभागी पहली स्क्रॉल के कुछ हिस्से पढ़ने में सफल हुए
    • PHerc.Paris. 4 में 2,000 वर्षों से अदृश्य रहा पाठ सामने आया
    • अभी भी स्क्रॉल का लगभग 95% हिस्सा अपठित है

2023 Grand Prize के परिणाम

  • Grand Prize submissions 1 जनवरी 2024 की आधी रात की deadline से ठीक पहले तक आए, और जनवरी भर papyrology team तथा technical team ने उनकी समीक्षा की
    • papyrology team ने anonymized submissions के 15 columns के पाठ की समीक्षा की
    • technical team ने जमा किए गए code और methods का audit किया और उन्हें reproduce किया
  • ग्रैंड प्राइज़ Youssef Nader, Luke Farritor, Julian Schilliger की टीम को मिला
    • इनाम राशि $700,000 थी
    • शर्त थी 4 अंश, प्रत्येक 140 अक्षर, और कम से कम 85% character restoration confidence
    • आयोजन टीम के कई सदस्यों का मानना था कि जब यह शर्त घोषित हुई थी तब सफलता की संभावना 30% से कम थी
    • विजेता submission में अतिरिक्त 11 columns और कुल 2,000 से अधिक अक्षरों का पाठ शामिल था
  • इन तीनों ने Vesuvius Challenge की शुरुआत से ही community में योगदान दिया था
    • Youssef Nader Berlin में एक मिस्री PhD छात्र हैं; उन्होंने अक्टूबर 2023 में कुछ columns पढ़कर First Letters Prize में दूसरा स्थान पाया
    • Luke Farritor Nebraska के 21 वर्षीय college student और SpaceX intern हैं; उन्होंने Herculaneum स्क्रॉल के अंदर पूरा शब्द ΠΟΡΦΥΡΑϹ (“purple”) पहली बार पढ़ा और First Letters Prize में पहला स्थान जीता
    • Julian Schilliger ETH Zürich के Swiss robotics student हैं; उन्होंने Volume Cartographer पर काम के लिए Segmentation Tooling के 3 awards जीते

विजेता submission की तकनीकी संरचना

  • submission में एक-दूसरे को समर्थन देने वाली तीन model architectures के परिणाम शामिल थे
    • सबसे मजबूत images अक्सर TimeSformer आधारित model से आईं
    • overfitting और hallucination से बचने के लिए कई architectures के परिणाम, input-output window size studies, label smoothing, और validation fold variations का उपयोग किया गया
    • ink detection code GitHub पर open source जारी किया गया है
  • मजबूत ink detection के साथ सबसे प्रभावशाली automatic segmentation approach भी शामिल थी
    • Julian का ThaumatoAnakalyptor कई स्क्रॉलों से बड़े papyrus segments बनाता है
    • पहले से ज्ञात क्षेत्रों को फिर से segment करके पूर्व ink discoveries को verify किया गया
    • स्क्रॉल की सबसे बाहरी लपेट जैसे नए क्षेत्रों में भी अक्षर उजागर हुए
    • यह promising tool है, लेकिन इसमें अभी काफी सुधार बाकी है

उपविजेता और सार्वजनिक methods

  • बाकी submissions में papyrology team के scores के आधार पर तीन टीमें संयुक्त उपविजेता रहीं
    • प्रत्येक टीम को $50,000 मिले
    • तीनों submissions की readability एक-दूसरे से मिलती-जुलती थी और बाकी submissions की तुलना में काफी बेहतर थी
  • सार्वजनिक की गई उपविजेता टीमों की submissions:
    • Elian Rafael Dal Prá, Sean Johnson, Leonardo Scabini, Raí Fernando Dal Prá, João Vitor Brentigani Torezan, Daniel Baldin Franceschini, Bruno Pereira Kellm, Marcelo Soccol Gris, Odemir Martinez Bruno: GitHub
    • Louis Schlessinger, Arefeh Sherafati: GitHub
  • उपविजेता टीमों ने ink labeling और sampling के सूक्ष्म मुद्दों पर नए approaches पेश किए
  • Discord community में CT data और अतिरिक्त images को data agreement के तहत access किया जा सकता है, और प्रतिभागियों की discoveries तथा collaboration जारी है

पुनर्स्थापित पाठ की सामग्री

  • अब तक पहली स्क्रॉल का लगभग 5% हिस्सा खोला और पढ़ा जा चुका है
  • papyrology team ने सामने आए सभी columns के लिए preliminary transcription तैयार की है
  • यह स्क्रॉल किसी ज्ञात कृति की प्रतिलिपि नहीं बल्कि प्राचीन काल का पहले कभी न देखा गया पाठ है
  • शुरुआती पठन के अनुसार इसका मुख्य विषय Epicurean दर्शन में सर्वोच्च अच्छाई माने जाने वाले सुख से जुड़ा है
    • लगातार आने वाले दो columns के कुछ हिस्से इस बात पर चर्चा करते हैं कि भोजन जैसे संसाधनों की उपलब्धता सुख को कैसे प्रभावित करती है
    • लेखक का आशय है कि “दुर्लभ वस्तु प्रचुर वस्तु से ज़रूरी नहीं कि अधिक सुखद हो”
    • इसके बाद प्रवाह इस बात की ओर बढ़ता है कि “ऐसे प्रश्नों की बार-बार समीक्षा की जाएगी”
  • चूँकि यह स्क्रॉल के अंतिम हिस्से से लगता है, संभव है कि इसी कृति की अगली पुस्तक में चर्चा जारी रही हो
  • पहले पाठ के आरंभिक हिस्से में Xenophantus नामक व्यक्ति का उल्लेख है
    • संभव है कि यह वही व्यक्ति हो जिसका उल्लेख Philodemus की On Music में भी है, और जो शायद एक संगीतकार था
  • Philodemus Epicurean परंपरा के एक दार्शनिक थे, और माना जाता है कि वे उस villa की छोटी लाइब्रेरी में सक्रिय थे जहाँ ये स्क्रॉल मिलीं
  • Richard Janko का मानना है कि लेखक संभवतः Virgil के शिक्षक, दार्शनिक और कवि Philodemus ही हैं
    • उनका मानना है कि यह पाठ संगीत के श्रोता पर प्रभाव की तुलना भोजन और पेय जैसे अन्य सुखों से करता हो सकता है
    • यह भी संभव है कि यह संगीत पर लिखे गए चार-भागीय ग्रंथ का हिस्सा हो, जिसमें ज्ञात Book 4 पहले से मौजूद है
  • Federica Nicolardi इस पाठ को संगीत, भोजन, इंद्रिय अनुभव और सुख से भरा Epicureanism का पाठ मानती हैं
  • Bob Fowler का मानना है कि Philodemus सुख को महत्त्व देते थे, लेकिन उनका आशय साधारण भोग-विलास नहीं बल्कि सही ढंग से समझे गए सुख से था

परिणाम images की accuracy को सत्यापित करने का तरीका

  • यह जाँचना ज़रूरी था कि कहीं machine learning model training data से मिलते-जुलते अक्षर या images hallucinate तो नहीं कर रहे
  • Vesuvius Challenge की technical review team ने विजेता submission को manually reproduce किया
    • code के हर हिस्से को समझा गया और यह जाँचा गया कि स्वतंत्र रूप से चलाने पर समान output images मिलती हैं या नहीं
    • code और training data सार्वजनिक हैं, इसलिए अन्य लोग भी यही verification कर सकते हैं
  • कई submissions ने स्क्रॉल के एक ही क्षेत्र में बहुत मिलते-जुलते परिणाम दिए
    • आयोजकों की segmentation team ने CT scans के भीतर 3D-mapped papyrus sheets, यानी segments, सार्वजनिक किए
    • प्रतिभागियों ने अलग-अलग ML models और training labels का उपयोग किया, फिर भी समान output images तैयार कीं
    • यह समानता केवल विजेता और उपविजेता टीमों में ही नहीं बल्कि अन्य submissions में भी दिखाई दी
  • ink detection models Greek letters, OCR या language models पर आधारित नहीं हैं
    • वे CT scans में बहुत छोटे ink traces को स्वतंत्र रूप से detect करते हैं
    • बाद में जब ये छोटे detections इकट्ठा होते हैं तभी अक्षर दिखाई देते हैं
    • कुछ मामलों में output सिर्फ “ink” या “not ink” का binary value होता है
    • इस संरचना के कारण model द्वारा अक्षर-जैसी आकृतियों को hallucinate करने की संभावना बहुत कम मानी जाती है

virtual unwrapping के तीन चरण

  • virtual unwrapping मुख्य रूप से scanning, segmentation, और ink detection से मिलकर बनती है

  • Scanning

    • स्क्रॉल या fragments को X-ray tomography से 3D scan किया जाता है
    • Diamond Light Source का high-flux parallel X-ray beam तेज़ और सटीक high-resolution imaging को संभव बनाता है
    • X-ray images को tomographic reconstruction algorithms के जरिए voxel-based 3D volume में बदला जाता है, और slice images का stack तैयार होता है

  • Segmentation

    • 3D space में मुड़ी-तुड़ी और कुचली हुई papyrus की अलग-अलग परतों को trace करके फिर उन्हें खोलकर flatten किया जाता है
    • इसके लिए मुख्य रूप से Brent Seales की lab के Seth Parker आदि द्वारा विकसित Volume Cartographer का उपयोग किया गया
    • Julian Schilliger, Philip Allgaier आदि ने इस tool का विस्तार किया
    • Ben Kyles, David Josey, Konrad Rosenberg की full-time segmentation team ने automatic algorithms और manual adjustments दोनों का उपयोग किया
    • पूरी स्क्रॉल की segmentation अभी भी बहुत कठिन प्रक्रिया है और इसमें सुधार की काफी गुंजाइश है

  • Ink detection

    • Stephen Parsons ने दिखाया था कि Herculaneum ink को सैद्धांतिक रूप से CT scans में detect किया जा सकता है, लेकिन पहले यह केवल छोटे fragments में संभव हुआ था
    • पूरी स्क्रॉल के बड़े scans में ink detect करना अभी तक हासिल नहीं हुआ था

ink detection में breakthrough

  • पहला breakthrough crackle pattern की खोज था
    • Casey Handmer ने 2023 की गर्मियों में flattened surface volume source data को देखते हुए अक्षरों जैसा दिखने वाला एक असामान्य crackle pattern खोजा
    • इस खोज के लिए उन्हें First Ink Prize मिला और उन्होंने इसे community के साथ साझा किया
    • Luke Farritor ने segmentation team द्वारा बनाए गए flattened surface volumes में और crackle patterns ढूँढे, model को train किया, और अक्टूबर में First Letters Prize जीतने तक पहुँचे
  • दूसरा प्रवाह Kaggle competition था
    • सैकड़ों टीमों ने खुले fragments पर ink detect करने के लिए machine learning models बनाए
    • ये fragments वे टुकड़े थे जो सदियों पहले भौतिक रूप से खोलने की प्रक्रिया में अलग हो गए थे
    • प्रतिभागी fragment photos से प्राप्त ground truth data का उपयोग कर सकते थे
    • model performance अच्छी थी, लेकिन शुरुआत में ऐसा लगा कि segmentation team द्वारा बनाए गए flattened segments पर वे ठीक से काम नहीं कर रहे
    • Youssef Nader ने domain adaptation techniques लागू कीं, जिससे वे First Letters Prize में दूसरे स्थान तक पहुँचे
  • First Letters Prize के बाद Grand Prize हासिल करना संभव दिखने लगा, और Youssef, Luke, Julian ने टीम बना ली

2023 की सफलता में योगदान देने वाला संचालन मॉडल

  • परियोजना ने अपने स्पष्ट और असाधारण लक्ष्य के कारण शुरुआती media coverage, donations, और आंतरिक प्रेरणा वाली मजबूत community को आकर्षित किया
  • Brent Seales और उनकी team द्वारा 20 वर्षों में तैयार की गई नींव बेहद महत्वपूर्ण थी
    • पहली स्क्रॉल का scan
    • Volume Cartographer का निर्माण
    • virtual unwrapping की पहली सफलता
    • यह प्रमाण कि Herculaneum ink CT में detect की जा सकती है
  • competition और collaboration को मिलाने के लिए progress prizes चलाए गए
    • लगभग हर 2 महीने में $1,000 से $10,000 तक के छोटे prizes दिए गए
    • progress prize पाने के लिए code या research को open source करना ज़रूरी था
    • इस मॉडल ने पूरी community का स्तर ऊपर उठाया और equipment, compute, समय निवेश तथा team formation में मदद की
  • full-time segmentation team को नियुक्त करने का निर्णय भी अहम था
    • विजेता बनने की संभावना बढ़ाने के लिए papyrus tracking जैसे bottleneck कार्य को भीतर ही किया गया
    • ink detection संभव होने से पहले segmentation quality का आकलन करना मुश्किल था, और quantity-based rewards quality को नुकसान पहुँचा सकते थे
    • labeling का काम उबाऊ, समय लेने वाला और लंबी learning curve वाला था, इसलिए इसे केवल prize money से प्रोत्साहित करना कठिन था
    • इसी निर्णय ने सीधे Casey Handmer की crackle pattern खोज तक पहुँचने में मदद की और community के साथ बेहतर segmentation software बनाने में योगदान दिया
  • यह सफलता कई लोगों की छोटी-छोटी breakthroughs के संयोजन का परिणाम थी, और इतने बड़े search space में काम करने वाले ideas खोजने के लिए व्यापक योगदान की ज़रूरत थी

2024 Stage 2 का लक्ष्य

  • 2023 में प्रगति एक स्क्रॉल के 0% से 5% तक पहुँची
  • 2024 का लक्ष्य scanned 4 स्क्रॉलों के कुल 90% हिस्से को पढ़ना है, और ऐसा करने वाली पहली टीम को 2024 Grand Prize दिया जाएगा
    • सटीक judging criteria मार्च में दिए जाने वाले हैं
  • इस समय सबसे बड़ा bottleneck स्क्रॉल के भीतर papyrus surfaces को trace करने की प्रक्रिया है
    • आज पढ़े जा सकने वाले पाठ को बनाने के लिए manual cost प्रति वर्ग सेंटीमीटर $100 से अधिक पड़ी
    • इस cost structure पर सभी स्क्रॉलों की segmentation करने में सैकड़ों मिलियन या अरबों डॉलर लग सकते हैं
    • tools में सुधार से efficiency बढ़ी है, लेकिन प्रक्रिया अभी भी बहुत manual और महँगी है
  • Stage 2 का मुख्य लक्ष्य automatic segmentation को पूरा करना है
    • अगर यह सही से काम करे, तो बुरी तरह compressed, cracked, delaminated या damaged कठिन क्षेत्रों को भी पढ़ा जा सकेगा
    • वे क्षेत्र भी लक्ष्य में हैं जहाँ मौजूदा tools नहीं पहुँच पाते
  • 2024 में Grand Prize को बनाए रखते हुए community contributions के लिए prize allocation और बढ़ाने की योजना है
  • full-time segmentation team के अलावा एक छोटी software और ML team नियुक्त कर community के साथ खुले रूप में सहयोग करने की योजना है

बड़ा लक्ष्य और बाकी संभावनाएँ

  • इसके बाद का लक्ष्य सभी स्क्रॉलों को scan करके पढ़ना है
  • Naples में मौजूद स्क्रॉलों में 16MB से अधिक पाठ होने का अनुमान है
  • papyrology team के कुछ सदस्यों का मानना है कि इन पाठों का प्रकाशन Renaissance के बाद classical studies की सबसे बड़ी क्रांति हो सकता है
  • Villa of the Papyri में अभी भी दो unexcavated मंज़िलें बाकी हैं
    • कम से कम cabinets और transport cases में और papyri होने की संभावना है
    • villa की मुख्य लाइब्रेरी अभी तक नहीं मिली है
    • उस लाइब्रेरी में ग्रीक और लैटिन साहित्य की अधिक विविध सामग्री तथा हज़ारों या दसियों हज़ार स्क्रॉल दबे हो सकते हैं
  • आगे की योजना का विस्तृत विवरण Master Plan में है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-06
Hacker News राय

  • पिछले साल की शुरुआत में जब मैंने HN पर यह प्रोजेक्ट पहली बार देखा था, तो यह लगभग असंभव लगता था और मैं यह देखकर हैरान था कि इसमें शामिल लोग कितने बुद्धिमान हैं
    कुछ बड़े नाम दिखने के बावजूद, अनजाने में मुझे लगा था कि कोई breakthrough आने में कम से कम 5–10 साल लगेंगे
    आज भी वही विस्मय महसूस हो रहा है, और फिर से हैरानी हो रही है कि यह काम कितना अविश्वसनीय रूप से शानदार है। विजेताओं और इसमें शामिल सभी लोगों को बधाई

    • बहुत-सी चीज़ें जो नामुमकिन लगती थीं, अब वास्तविकता बन रही हैं। पूरी तरह जल चुके scroll को देखकर उसे पढ़ने की सोच ही अटपटी लगती थी
      मुझे लगता था कि मेरे फोटो के लिए कंप्यूटर डरावनी हद तक सटीक alt text लिखेगा, वह भी अलंकारिक अंदाज़ में—इसमें अभी 20 साल और लगेंगे; लेकिन यह आज ही हो रहा है
    • अंततः यह incentive structure की समस्या है। 1 मिलियन डॉलर बड़ी रकम है, और अधिकतर कठिन समस्याओं में मेहनत के मुकाबले reward मेल नहीं खाता, इसलिए बहुत-से दिमाग उनसे नहीं जुड़ते
      machine learning, गणित और आस-पास के क्षेत्रों में पहले से ही अच्छे वेतन वाले career हैं, इसलिए किसी ऐसे काम में शीर्ष विशेषज्ञों की रुचि बनाए रखना मुश्किल है जो असफल भी हो सकता है
      बात सिर्फ cash reward की नहीं है; बड़े prize वाली challenge किसी समाधान को खोजने की प्रतिष्ठा भी बढ़ा देती है। Nobel Prize के साथ भी अंततः करीब 1 मिलियन डॉलर मिलते हैं
      अगर कोई Voynich manuscript या Linear A को decode करने पर 100 मिलियन डॉलर लगा दे, तो मुझे पूरा यकीन है कि 3 साल के भीतर समाधान निकल आएगा

  • पिछले साल अक्टूबर के आसपास जब शुरुआती नतीजे धीरे-धीरे आने लगे थे, तो यह पढ़कर मैं बेहद उत्साहित हो गया था। methodology खास तौर पर आकर्षक लगी
    पहले scroll को digitally unfold करना, फिर यह पता लगाना कि कागज़ की दरारों जैसी निशानियां ink का signal हैं, और फिर टुकड़ा-टुकड़ा करके उन्हें detect करने वाला model बनाना—यह प्रक्रिया प्रभावशाली थी
    अंतिम repository देखने पर ही ठीक-ठीक पता चलेगा कि उन्होंने क्या किया, लेकिन लगता है कि उन्होंने TimeSFormer इस्तेमाल किया। मेरी समझ में यह video के लिए होता है, इसलिए जानना चाहूंगा कि इसे images पर कैसे लागू किया गया
    जो भी हो, archaeology के लिए यह सचमुच शानदार दिन है, और इन युवा प्रतिभाओं को अपनी उपलब्धि के लिए खूब सराहना मिलनी चाहिए

    • मेरी समझ के हिसाब से scroll scan के नतीजे शायद layers खुद लौटाते हैं
      मोटे तौर पर संरचना कुछ ऐसी है:

      xxxxxxxxxx <- 두루마리 표면

xxxxxxxxxx

...

xxxxxxxxxx <- 두루마리 바닥

      इसलिए अगर surface image को tiles में बांटा जाए, तो data का आकार size_x * size_y * n_layers हो जाता है
      यानी इसे size_x * size_y * 1 channel * n_layers वाले video stream की तरह देखा जा सकता है, जहां layers time dimension की जगह लेती हैं

  • “पर्याप्त रूप से विकसित technology जादू से अलग नहीं पहचानी जा सकती” — यह बात यहां बिल्कुल फिट बैठती है
    काले पड़ चुके और जले हुए scroll के ढेर को पढ़े जा सकने वाले text में बदल देने वाली यह जादुई technical capability सचमुच अविश्वसनीय है
    मुझे machine learning की बस बहुत सतही समझ है, इसलिए जिज्ञासा है कि लेख में बताई गई techniques हाल ही में खोजी गई हैं या काफी समय से मौजूद थीं
    यह भी सोचता हूं कि क्या ये algorithms किसी inflection point पर पहुंचकर अधिक व्यापक रूप से इस्तेमाल होने लगे हैं, और इसलिए पुराने problems पर नए तरीकों से लागू करने के उदाहरण बढ़ रहे हैं

    • general-purpose GPU processing power, algorithms, उस hardware का इस्तेमाल करने वाली libraries और software, और उन tools से काम करने वाले researchers के बीच निश्चित रूप से एक virtuous cycle रहा है
    • अगर हम काले जले हुए scroll को पढ़े जा सकने वाले text में बदलने के स्तर तक पहुंच गए हैं, तो सोचने को मजबूर करता है कि अगले 100 साल में जीवित या मृत लोगों के brain के साथ क्या किया जा सकेगा
      10,000 साल बाद शायद हम light cone को reconstruct कर रहे होंगे। शायद अभी हम खुद ही ऐसे किसी अस्तित्व का हिस्सा हों। गंभीर बात नहीं है, बस एक मजेदार thought experiment है

  • खुदाई में मिले सभी scrolls को पढ़ने के लिए “master plan” का link है: https://scrollprize.org/master_plan
    और अधिक पढ़ पाने की दो मुख्य bottlenecks दिखती हैं: scanned scrolls को segment करते समय manual intervention की जरूरत, और नए scrolls को scan करने की बड़ी लागत

    • सिर्फ scan की बात करें, तो अज्ञात इतिहास और रचनाओं वाले 800 scrolls को scan करने में 30 मिलियन डॉलर लगना, दूसरे budget उपयोगों की तुलना में कोई बहुत बड़ी रकम नहीं लगता
      कोई वह खर्च donate कर सकता है, और scrolls को एक साथ या कुछ बड़े batches में particle accelerator के पास ले जाया जा सकता है। 1 मिलियन डॉलर और खर्च करके temperature-humidity controlled container जैसा कुछ बनाकर उन्हें एक बार में transport भी किया जा सकता है
      अगर मेरे पास 30 मिलियन डॉलर होते, तो मैं निश्चित रूप से इस काम के लिए donate करता। यह उस स्तर की रकम खर्च करने के सबसे अच्छे उपयोगों में से एक लगता है। इससे tabletop scanner या किसी दूसरे solution की R&D जरूरत bypass हो सकती है, और crowdfunding भी संभव लगती है
      segmentation के लिए Seti@Home जैसी collective-solving approach बनाई जा सकती है। बस target computers नहीं, बल्कि वे लोग हों जो ऊबकर दिनभर Reddit या Twitter scroll करते रहते हैं
      इसे CAPTCHA जैसा बनाकर मुफ्त में करवाया भी जा सकता है। अगर संभव हो, तो मैं खुद महीने में कुछ घंटे segmentation का काम करूंगा
      यह project यहां तक community के साथ मिलकर बनाई गई एक शानदार चीज़ है; scrolls को समझने की कोशिश में लगे इंसानों के समूह को और खोलने और expand न करने की कोई वजह नहीं है। अगर लाखों लोगों को जोड़ा जाए, तो सिर्फ technical crutches और development पर निर्भर रहने की जरूरत नहीं होगी। हालांकि technology development भी कोई बुरा रास्ता नहीं है
    • funding भी बहुत बड़ी चीज़ है। funding ही इस project के पहिए घुमाती है। कुछ समय तक project के लोगों के आसपास रहने के अनुभव से मैं ऐसा ही मानता हूं
      अगर आप किसी ऐसे व्यक्ति को जानते हैं जो project के phase 2, यानी scaling phase में मदद कर सकता है, तो Nat को बताना अच्छा होगा। मेरा project operations team से सीधा संबंध नहीं है, बस उस संपर्क के लिए Nat एक अच्छे व्यक्ति हैं, इतना ही कह रहा हूं
    • सचमुच ताजगी देने वाली हद तक स्पष्ट और अच्छी तरह structured plan है। ईमानदारी से कहूं तो यह project बहुत उम्मीद देता है

  • जब मैं अपनी पत्नी के साथ Italy घूमने गया था, तो Herculaneum सबसे प्रभावशाली जगहों में से एक था
    मुझे ठीक से अंदाज़ा नहीं था कि खुदाई के लिए कितनी राख और मिट्टी हटानी पड़ी होगी; यह कई दर्जन मीटर थी [1]
    यह सचमुच अफ़सोस की बात है कि इसे Pompeii को मिलने वाले ध्यान का केवल एक हिस्सा ही मिलता है। इसका संरक्षण कहीं बेहतर है, और यह सच में विस्मय पैदा करता था [2]
    साइट पर कुछ घंटे पैदल घूमने की मैं ज़ोरदार सलाह दूँगा। यह वाकई अद्भुत जगह है
    1: https://www.icloud.com/photos/#08dJAA5eM9jpbhlEa3fzkl5ng
    2: https://www.icloud.com/photos/#076Pof4FziA7WgcI8hZrGZmzg

    • 1992 में आए कंप्यूटर गेम Rome: Pathway to Power में Herculaneum वाला हिस्सा मुझे बहुत मज़ेदार लगा था
      गेम की शुरुआत एक गुलाम के रूप में होती है जिसे Vesuvius के फटने से पहले Herculaneum से भागना होता है। बचपन में यह मेरा बहुत पसंदीदा गेम था, और यह कुछ हद तक एक खुरदरे इंटरफ़ेस वाला isometric immersive simulation था
      उसी गेम की वजह से प्राचीन Rome में मेरी दिलचस्पी पैदा हुई, और किसी दिन Herculaneum जाने की इच्छा है
    • आधुनिक Italian शहर Ercolano ठीक Herculaneum के ऊपर है, इसलिए प्राचीन शहर के बाकी हिस्से की खुदाई काफ़ी पेचीदा है
      अब तक केवल लगभग एक-चौथाई हिस्सा ही खोदा गया है, जबकि Pompeii का करीब दो-तिहाई हिस्सा सामने आ चुका है

  • इस साल पढ़ी चीज़ों में यह सबसे शानदार है। लगभग science fiction जैसा लगता है
    कौन कल्पना कर सकता था कि 2,000 साल पुराने, लिपटे हुए और बुरी तरह जले हुए कागज़ से अक्षर पढ़ना संभव होगा

    • यह 270 साल की पुरातत्व और तकनीक का परिणाम है। ये scrolls 1752 में मिले थे
      Industrial Revolution, science, engineering और manufacturing क्षमताओं के पूरे संचय ने इन scrolls को खोजने, संरक्षित करने और scan करने तक पहुंचाया, और अंत में आज की AI क्रांति ने मानो सजावट की तरह ऐसे अनुमान और संबंध बनाए जो मानवीय समझ से परे हैं
      इसी तरह 2,000 साल पुराना प्राचीन ज्ञान बाहर निकल आया
    • 10 साल से भी पहले जब मैंने पहली बार Herculaneum Papyri के बारे में पढ़ा था, तब कल्पना की थी कि किसी दिन इन्हें पढ़ा जाएगा
      सच तो यह है कि ऐसे scrolls को virtually खोलने पर research 2007 से चल रही थी (https://en.wikipedia.org/wiki/Herculaneum_papyri#Virtual_unr...), लेकिन बिल्कुल उम्मीद नहीं थी कि यह इतनी जल्दी हो जाएगा
      यह फिर दिखाता है कि technology की exponential acceleration वास्तविक है
    • “science fiction जैसा लगता है” की बात चली है, तो मुझे याद नहीं आ रहा कि वह कौन-सा novel था जिसमें पूरी किताबों को scan करने के लिए उन्हें destructively किसी book shredder जैसे device में डाला जाता था
      उसमें किताब को बारीक टुकड़ों में काटने, उन टुकड़ों को खींचकर बहते हुए scan करने, और फिर scan results को jigsaw puzzle की तरह जोड़कर original text restore करने वाला scene था
      यह एक side plot था, लेकिन किताब का नाम बिल्कुल याद नहीं आ रहा
    • भविष्य में अनिश्चित पुनर्जीवन की उम्मीद में अपने शरीर को freeze करके preserve कराने वाले लोगों को मैं पहले हल्के में dismiss कर देता था, लेकिन अब थोड़ा डगमगा रहा हूँ
      ऐसी premise वाला science fiction काफ़ी आकर्षक लग सकता है
      कोई billionaire मशीनों पर निर्भर होने के बजाय अपने शरीर को dry-freeze करवाकर Moon के south pole crater में रखवाता है। फिर वह एक foundation बनाता है ताकि interstellar propulsion research को support किया जाए, Boomerang Nebula के 1 kelvin point की ओर जाते रास्ते में मिलने वाली सबसे ठंडी और स्थिर जगहों पर उसके शरीर को ले जाया जाए, और जली-सूखी अवस्था से फिर जीवित करने पर भी research जारी रखी जाए
      वह foundation अपने mission को पूरा करने के Quixotic goal के कारण practical fusion, और भी exotic energy generation, general-purpose AI, gravity manipulation, Drexler-style nanotechnology, Dyson swarm, star wisps, self-modifying bodies जैसी तरह-तरह की प्रगतियों को trigger करता है

  • archaeology में सचमुच आकर्षक पहलुओं में से एक यह practice है कि कुछ artefacts को जानबूझकर explore किए बिना छोड़ दिया जाता है
    लगता है कि जिन लोगों ने पहली बार ये scrolls पाए, उन्होंने कुछ को खोलने की कोशिश की, फिर समझ गए कि उन्हें पूरी तरह नष्ट किए बिना यह संभव नहीं है, और बाकी को वैसे ही छोड़ दिया
    ज़ोर लगाकर सब कुछ खराब करने के बजाय, उन्होंने उन्हें भविष्य के युग के लिए एक mystery के रूप में छोड़ दिया
    दो सदियों बाद ही, ऐसी technology की मदद से जिसकी वे कल्पना भी नहीं कर सकते थे, हम आखिरकार इन्हें समझना शुरू कर पाए

    • शुरुआती दौर में ज़ोर लगाने पर भी शायद कुछ हासिल नहीं होता, इसलिए रुक जाने के लिए शायद इतनी असाधारण restraint की ज़रूरत नहीं रही होगी
      बल्कि मैं 1990s या शुरुआती 2000s के लोगों की ज़्यादा सराहना करता हूँ। उस समय शायद संभावना दिख रही थी, लेकिन risk अभी भी बहुत बड़ा था, इसलिए उन्होंने तब तक इंतज़ार किया जब तक odds ज़्यादा सुरक्षित नहीं हो गए
    • उस era की एक खासियत यह थी कि लोग Romans को लगभग पूजते थे
      उस समय शिक्षा का बड़ा हिस्सा Latin सीखना था, और साथ ही उन्हें अच्छी तरह पता था कि classical texts का केवल बहुत छोटा हिस्सा ही बचा है
      इसलिए यह बहुत संभव है कि वे समझते थे कि इन scrolls को संरक्षित रखना और किसी दिन उन्हें खोल पाने लायक बनाना कितना महत्वपूर्ण है
    • इसी बात को macro scale पर दिखाने वाला एक उदाहरण है: https://www.smithsonianmag.com/smart-news/archaeologists-reb...
    • इसी तरह Pompeii के बड़े हिस्से भी अभी तक खुदाई से बचे हुए हैं और भविष्य के लिए छोड़े गए हैं

  • Naples में मौजूद scrolls में 16MB से ज़्यादा text होने का अनुमान है—यह हैरान कर देने वाली उपलब्धि है
    papyrology team के कुछ लोग मानते हैं कि जब यह text public होगा, तो Renaissance के बाद classical studies में यह सबसे बड़ी क्रांति होगी; उम्मीद है Italian government Villa की और खुदाई की अनुमति देगी

    • शायद अनुमति मिलने की संभावना ज़्यादा है। Pompeii और Herculaneum दो सदियों बाद आज भी लगातार excavate किए जा रहे हैं, और स्थिति रुकी हुई नहीं है
      लेकिन हमने इन scrolls का केवल 5% ही पढ़ा है, और जो पहले से excavate हो चुका है वह भी बहुत ज़्यादा है, इसलिए सिर्फ़ हमारे पास अभी जो है उसे process करने में भी शायद कई साल लगेंगे
    • बड़ी समस्या यह है कि Villa of the Papyri आधुनिक इमारतों के नीचे है
      इसका मतलब यह नहीं कि demolition के बिना excavation असंभव है, लेकिन Saint Peter Basilica के नीचे के Scavi जैसे उदाहरणों के बावजूद यह कहीं ज़्यादा मुश्किल हो जाता है

  • यह सचमुच कमाल का काम है, इस बात को मिलाकर भी कि मूल breakthrough बनने वाला मॉडल GTX 1070 पर train किया गया था: https://twitter.com/LukeFarritor/status/1754532281690243339

    • बड़े language models की वजह से, machine learning से उपयोगी काम करने के लिए जरूरी compute को लेकर हमारी समझ टेढ़ी हो गई है

  • संबंधित लेख:
    First word discovered in unopened Herculaneum scroll by CS student - https://news.ycombinator.com/item?id=37857417 - अक्टूबर 2023, 207 comments
    The Vesuvius Challenge - https://news.ycombinator.com/item?id=35322809 - मार्च 2023, 32 comments
    Vesuvius Challenge - https://news.ycombinator.com/item?id=35169869 - मार्च 2023, 32 comments

    • आज पोस्ट हुआ यह लेख भी लगता है कि background को और कवर करता है। मैंने check नहीं किया है
      Can AI Unlock the Secrets of the Ancient World? - https://news.ycombinator.com/item?id=39261465 - फरवरी 2024, 1 comment
      और एक tweet भी है जो शायद OP वाली ही बात कवर करता है
      The $700k Vesuvius Challenge prize has been won - https://news.ycombinator.com/item?id=39261933 - फरवरी 2024, 2 comments