- Multi-Page Application (MPA) Archiver जो multi-page web app को Zip फ़ाइल में crawl करता है और उसे सीधे serve भी कर सकता है
mpa http://example.netचलाने पर headless Puppeteer का उपयोग करके recursive crawl करता है ( CPU की संख्या / 2 threads का उपयोग )- Sitemap को लाकर seed point के रूप में उपयोग करता है
- सिर्फ साइट के URL को crawl करता है, लेकिन external resources को भी
fetchकरता है - साइट के resources को अलग से स्टोर करता है
mpa/sitemap.txtऔरmpa/sitemap.xmlबनाता है- बीच में रुक जाने पर दोबारा शुरू किया जा सकता है. हर 250 URL पर checkpoint सेव करता है
- SPA के मामले में
--spaoption से मूल HTML को सेव किया जा सकता है
अभी कोई टिप्पणी नहीं है.