Crawlee - वेब स्क्रैपिंग & ब्राउज़र ऑटोमेशन लाइब्रेरी
(crawlee.dev)- Node.js के लिए तेज़ और भरोसेमंद crawler बनाने की लाइब्रेरी
- Puppeteer & Playwright (headless browser crawling) + CheerIO/JSDOM (raw HTTP crawling)
- ब्राउज़र headers & TLS fingerprints की नकल करके ट्रैफिक को असली जैसा दिखाता है
- proxy rotation automation के साथ बड़े पैमाने पर स्केल करना संभव
- काम queue में प्रोसेस होते हैं, और files, screenshots, JSON results आदि को आसानी से file या DB में सेव किया जा सकता है
अभी कोई टिप्पणी नहीं है.