- आधुनिक वेब की जटिल संरचना और anti-bot सिस्टम को बायपास करते हुए एकल अनुरोध से लेकर बड़े पैमाने की क्रॉलिंग तक संभालता है
- वेबसाइट की संरचना बदलने पर तत्वों को अपने आप फिर से खोजने वाला इंटेलिजेंट parser अंतर्निहित है
- Cloudflare Turnstile जैसे प्रमुख सुरक्षा सिस्टम को डिफ़ॉल्ट रूप से बायपास करने वाला Fetcher मॉड्यूल अंतर्निहित है
- Spider फ्रेमवर्क के ज़रिए concurrency, session management, pause/resume, proxy rotation जैसी बड़े पैमाने की क्रॉलिंग क्षमताओं का समर्थन
- Scrapy जैसा API:
start_urls, asynchronous parse callback, Request/Response objects का उपयोग
- समवर्ती क्रॉलिंग और session isolation: कई browser sessions को समानांतर चलाया जा सकता है
- Checkpoint-आधारित pause और resume फ़ीचर: लंबे समय की क्रॉलिंग में भी स्थिर
- रियल-टाइम streaming mode: एकत्रित डेटा को तुरंत प्रोसेस किया जा सकता है या UI में दिखाया जा सकता है
- ब्लॉक किए गए अनुरोधों को अपने आप पहचानता है, और custom logic से retry किया जा सकता है
- Hook का उपयोग करके परिणामों को अपनी pipeline में export किया जा सकता है (JSON/JSONL)
- session को सपोर्ट करने वाली उन्नत वेबसाइट fetching
- Fetcher class HTTP/3, TLS fingerprint spoofing, header disguise जैसी उन्नत request क्षमताओं का समर्थन करती है
- DynamicFetcher के माध्यम से Playwright/Chrome-आधारित browser automation किया जा सकता है
- StealthyFetcher Cloudflare Turnstile जैसी anti-bot defenses को अपने आप बायपास करता है
- ProxyRotator के साथ प्रति अनुरोध proxy बदलना और domain blocking control संभव
- सभी Fetcher async तरीके से काम करते हैं, और session classes (
FetcherSession, DynamicSession आदि) प्रदान की जाती हैं
- अनुकूली स्क्रैपिंग (Adaptive Scraping) से वेबसाइट बदलने के बाद भी तत्वों की अपने आप फिर से खोज
- similarity-आधारित element tracking algorithm: संरचना बदलने पर भी मज़बूत data collection
- CSS/XPath/text/regular expression-आधारित selectors सभी का समर्थन
- AI integration के लिए MCP server अंतर्निहित: Claude, Cursor आदि से जोड़कर AI-सहायित data extraction किया जा सकता है
- AI call से पहले Scrapling लक्षित content चुन लेता है, जिससे token usage कम होता है और speed बढ़ती है
- उच्च-प्रदर्शन architecture
- अधिकांश Python scraping libraries की तुलना में तेज़ processing speed प्रदान करता है
- memory-efficient structure और lazy loading से हल्का execution
- JSON serialization speed 10 गुना बेहतर, 92% test coverage और पूर्ण static type hints
- कई web scraper communities में battle-tested
- developers/web scrapers के लिए अनुकूल अनुभव
- इंटरैक्टिव Web Scraping Shell अंतर्निहित: IPython-आधारित real-time exploration और request transformation समर्थन
- CLI commands के माध्यम से बिना code लिखे URL scraping और file extraction संभव
- DOM navigation API से parent/sibling/child संबंधों की खोज और similar elements discovery फ़ीचर
- automatic selector generator से स्थिर CSS/XPath selectors अपने आप बनाए जाते हैं
- Scrapy/BeautifulSoup जैसा API: मौजूदा उपयोगकर्ताओं के लिए परिचित development experience
- PyRight/MyPy-आधारित static analysis और Docker image auto-build से deployment सुविधा भी बेहतर
- performance benchmarks
- Scrapling parser Parsel/Scrapy से थोड़ा तेज़ है,
और BeautifulSoup4 (bs4) की तुलना में अधिकतम 700 गुना से ज़्यादा तेज़ processing speed दर्ज की गई
- element similarity search performance भी AutoScraper की तुलना में 5 गुना से अधिक तेज़
pip install scrapling से install करें, या
Docker image के ज़रिए browser सहित पूरा execution environment बनाया जा सकता है docker pull pyd4vinci/scrapling- BSD-3-Clause लाइसेंस
3 टिप्पणियां
कानूनी तौर पर इसमें कोई समस्या नहीं है क्या??? मैंने देखा था कि ऑनलाइन जानकारी लाना समस्या नहीं माना गया था..
लेकिन अगर किसी साइट पर crawling रोकने के लिए लगाए गए प्रतिबंधों को bypass करके पढ़ा जाए, तो क्या उससे कोई नुकसान/कानूनी जोखिम नहीं होगा, यह जानना चाहता/चाहती हूँ.
क्या सिर्फ login के बाद देखी जाने वाली जानकारी ही जोखिमभरी होती है?
> with FetcherSession(impersonate='chrome') as session: # Use latest version of Chrome's TLS fingerprint
दिलचस्प है, मैं अब तक हमेशा खोजकर इसे मैन्युअली डालता था, ऐसी लाइब्रेरी पहली बार देख रहा हूँ। लगता है काफ़ी सुविधाजनक होगी।
लेकिन मुझे यह जानने की जिज्ञासा है कि यह Cloudflare को कैसे bypass करता है। लगता है, समझने के लिए एक बार कोड देखना पड़ेगा।