ArchiveTeam Warrior प्रोजेक्ट

 (warrior.archiveteam.org)
1 पॉइंट द्वारा GN⁺ 2024-08-04 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ArchiveTeam Warrior एक virtual archiving tool है, जो व्यक्तिगत कंप्यूटर के खाली resources का उपयोग करके गायब हो सकने वाले web data को संरक्षित करने के ArchiveTeam के काम में भाग लेने देता है
  • Warrior साइटों को डाउनलोड करके ArchiveTeam archive में अपलोड करता है, और उपयोगकर्ता मुख्य रूप से bandwidth और कुछ disk space उपलब्ध कराते हैं
  • यह Windows, OS X, Linux पर चल सकता है, और अनुशंसित environment VirtualBox है, लेकिन VMware या इसी तरह के virtual machine programs भी इस्तेमाल किए जा सकते हैं
  • VirtualBox में appliance import करके virtual machine शुरू करने के बाद, browser में username और भाग लेने वाला project सेट किया जाता है
  • नवीनतम virtual machine appliance version 4.1 है, और VM के बजाय Docker warrior instance के रूप में भी project चलाया जा सकता है

ArchiveTeam Warrior क्या करता है

  • ArchiveTeam Warrior ArchiveTeam के web archiving काम में भाग लेने के लिए virtual machine-आधारित tool है
    • यह site data डाउनलोड करता है और उसे ArchiveTeam archive में अपलोड करता है
    • इसे इस तरह बनाया गया है कि इसमें आसानी से भाग लिया जा सके
  • Warrior virtual machine के रूप में चलता है, और उपयोगकर्ता bandwidth तथा कुछ disk space उपलब्ध कराते हैं
  • इसका runtime environment Windows, OS X, Linux को support करता है
    • VirtualBox की अनुशंसा की जाती है
    • VMware या इसी तरह के programs भी उपयोग किए जा सकते हैं

इंस्टॉलेशन और भागीदारी प्रक्रिया

  • VirtualBox से शुरू करना

    • appliance file डाउनलोड करें
    • VirtualBox में File > Import Appliance चुनकर file खोलें
    • virtual machine शुरू करने पर यह latest updates लाता है, और उसके बाद web browser शुरू करने का निर्देश दिखता है

  • Warrior सेटअप

    • http://localhost:8001/ पर जाकर Settings page देखें
    • username चुनने पर प्रगति leaderboard पर दिखाई जाती है
    • All projects tab में काम करने वाला project चुन सकते हैं, या ArchiveTeam’s Choice चुनकर सबसे urgent project अपने आप लिया जा सकता है

  • नवीनतम version और Docker विकल्प

    • Warrior virtual machine appliance को version 4.1 तक अपडेट किया गया है, और मौजूदा warrior3 appliance link पुराना link है
    • VM appliance के बिना Docker warrior instance के रूप में भी project चलाया जा सकता है, और अधिक जानकारी के लिए GitHub repository का README देखें
    • issues या feedback पर hackint के #warrior channel में चर्चा की जाती है
    • Frequently Asked Questions पढ़े जा सकते हैं

ArchiveTeam और Internet Archive का समर्थन

  • Internet Archive, ArchiveTeam के archives को host करता है, और data store करने से आगे बढ़कर ऐसी library बनाए रखता है जिसे कोई भी मुफ्त में access कर सके
    • donation Donate to the Internet Archive पर किया जा सकता है
    • ArchiveBot, rsync server आदि के लिए server rental या ArchiveTeam members को donation के बारे में उपयुक्त IRC chat room में पूछताछ की जाती है

भाग लेने योग्य projects

  • वर्तमान projects में URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange, Periscope शामिल हैं
    • YouTube project चुने गए YouTube videos को archive करता है, और एक चेतावनी है कि video URL में IP address stored होता है
    • GitHub project Internet Archive और GitHub के सहयोग से चलाया जाता है
    • Periscope project PAUSED स्थिति में है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-08-04
Hacker News की राय

  • ऐसे प्रोजेक्ट्स ज़रूरी हैं, लेकिन सिर्फ़ आर्काइव करने से आगे जाकर उस डेटा को सच में आम लोगों के इस्तेमाल लायक बनाने का तरीका चाहिए
    Reddit को शायद यह अपने-आप में ख़तरा नहीं लगा होगा कि कोई डेटा scrape करके ऐसा backup बना रहा है जिसे access करना मुश्किल है, लेकिन अगर Reddit की कुछ copies चलाने वाला distributed node network local-first clients या Lemmy mirrors को डेटा देता, तो वे इससे कहीं ज़्यादा डरते

    • संदर्भ के लिए, Archive Team Internet Archive से अलग है
    • Reddit को डेटा mirror करके public करने वाली services काफ़ी नापसंद थीं, और आखिरकार उसने API Terms of Use बदल दिए, जिससे ऐसी services को डेटा हटाकर बंद होना पड़ा
    • जो कंपनियां कभी भी API बदल सकती हैं, उन्हें धमकाना यहां फ़ायदा है या नहीं, यह मुझे साफ़ नहीं है
      PushShift, Nitter, Youtube Vanced को देख लें
    • BGP को पुराना बना देने और DHT/virtual machines के ज़रिए globally memoized shared content/computation addressable memory इस्तेमाल करने वाले P2P temporary offline-first internet का सपना देखा जा सकता है
      यानी किसी चीज़ की पहचान उसकी संरचना ही बन जाए

  • संबंधित लेख:
    ArchiveTeam Warrior: imgur को जितना हो सके आर्काइव करना - https://news.ycombinator.com/item?id=35983510 - मई 2023, 2 comments
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - मार्च 2022, 51 comments
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - दिसंबर 2021, 71 comments

  • लगा कि इसे Docker से चलाया जा सकता है, इसलिए repository ढूंढी, और खुशी की बात है कि सब कुछ तैयार था
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • setup बहुत आसान है
    internet plan unlimited हो गया है, तो छोटे तरीके से ही सही, contribute कर पाना अच्छा लगा
    unused Android phone पर ArchiveTeam Warrior script चल सकती है या नहीं, यह देखने की कोशिश की, लेकिन direct support नहीं है और यह मेरी skill से बाहर था

    • x86 machine पर docker compose container के रूप में चलाना सच में आसान था
      काश Raspberry Pi पर QEMU के अंदर इसे setup करने का तरीका देखने का समय मिले, और अगर ऐसी compose file public हो जाए तो शायद ज़्यादा लोग इसका इस्तेमाल कर पाएंगे

  • कुछ महीने पहले मैंने ऐसा system design किया था जिससे लोग archive.org जैसी services को disk space contribute कर सकें
    अगर कोई कहे, “मैं archive.org content के 100GB host करना चाहता हूं”, तो system archive.org से communicate करके अभी सबसे दुर्लभ content ढूंढेगा और user को push कर देगा
    “मुझे इस network में X content चाहिए” कहने पर उसे ढूंढकर देने वाला search feature भी है
    यह torrent के ऊपर एक पतले wrapper जैसा ही है, लेकिन अभी ऐसा कुछ मौजूद नहीं है, और archive वालों से संपर्क करने पर भी ज़्यादा interest नहीं मिला

    • क्या IPFS मूल रूप से यही काम करने के लिए नहीं था?
    • Archive Team के पास असल में INTERNETARCHIVE.BAK नाम का एक बंद हो चुका project था, जो लगभग इसी idea जैसा था
      हालांकि इस tool का इस्तेमाल करने पर copyright infringement की वजह से आप कानून तोड़ेंगे
    • libgen में books के लिए इस तरह का tracker है: https://phillm.net/libgen-seeds-needed.php
      अभी यह broken लगता है
    • काश file coins में से किसी एक ने इसे solve किया होता
      fixed period और fixed download count के लिए fee देकर data blocks host करने जैसा model हो सकता था
    • सच में अच्छा idea है, समझ नहीं आता इसे अपनाया क्यों नहीं गया
      क्या उन्होंने वजह बताई?

  • digital preservation में योगदान देना हो, तो Warrior appliance या Docker container चलाने पर विचार किया जा सकता है

  • लोग site download करें और फिर Archive Team द्वारा तैयार archive setup में upload करें—इस approach का फायदा मुझे साफ़ नहीं दिखता
    Archive Team खुद site download करके अपने archive में डाल दे, उससे यह कैसे बेहतर है?

    • A) Archive Team की तरफ़ resources कम लगते हैं
      B) और शायद ज़्यादा अहम बात यह है कि requests कई जगहों से distributed होकर आती हैं, इसलिए rate limiting या block होने की संभावना कम होती है
    • Archive Team, Internet Archive नहीं है
      archive.org में push करने से पहले download करके रखने के लिए पहले कहीं जगह चाहिए

  • मुझे यह जानना है कि यह प्रोजेक्ट मुझे, यानी किसी attacker को, random garbage data डालने या डाउनलोड किए गए pages को किसी खास तरीके से गलत बदलकर लिखने से कैसे रोकता है
    HTTP में यह असंभव लगता है, और HTTPS में TLS termination कौन करता है?
    अगर Warrior सिर्फ एक TCP proxy है और Archive TLS client है, तो यह सुरक्षित हो सकता है, लेकिन https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior में वह हिस्सा साफ़ तौर पर समझाया हुआ नहीं लगता

    • यह रोकता नहीं है, लेकिन व्यवहार में यह समस्या नहीं बनती
      लक्ष्य है कि site बंद होने से पहले जितने कम समय में हो सके उतना ज़्यादा data हासिल किया जाए
      paranoia की वजह से archiving efficiency घटकर 30% गंवाने की तुलना में, 1% garbage data मिल जाना बेहतर माना जाता है
      HTTPS के मामले में Warrior सचमुच wget चलाकर WARC file में save करता है, और उस file को tracker server पर upload करता है

  • Raspberry Pi से योगदान देना चाहता हूँ, लेकिन ARM support न होना थोड़ा असुविधाजनक है
    container डाउनलोड करके run करना और बस खत्म करना चाहता हूँ, लेकिन कोई आसान workaround नहीं है: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • wget-at को ARM के लिए compile करने पर कुछ consistency issues हैं
      फिर भी इसे QEMU user-mode emulation के तहत run किया जा सकता है, और वास्तव में कुछ hosts पर इसे इसी तरह इस्तेमाल किया जा रहा है

  • README पढ़ने पर यह निर्देश दिखा
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    इसमें नए version के source link वाला README है: https://github.com/ArchiveTeam/warrior4-vm
    यह नया version wiki homepage पर भी mention किया गया है
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeam को appliance download URL update करना चाहिए