वेब क्रॉलिंग के दौरान Bot जांच से बचने के तरीके

यह Selenium पर आधारित है, लेकिन अन्य जगहों पर भी लागू किया जा सकता है

1. Navigator.Webdriver फ़्लैग हटाएँ

2. ChromeDriver / GeckoDriver में से कुछ स्ट्रिंग्स हटाएँ

3. रेज़ोल्यूशन, User-Agent आदि बदलें

4. वास्तविक URL फ़्लो का उपयोग करें। दिखाई न देने वाले लिंक पर जाने से बचें

5. Proxy का उपयोग करके IP बदलें

6. रैंडम delay values का उपयोग करें

7. headless browser का उपयोग न करें (Notification Permission की जाँच करके पता लगाया जाता है)

[xguru]

1 वाले मामले में, Puppeteer में सिर्फ true/false सेट करने से कुछ जगहों पर इसे bot के रूप में detect कर लिया जाता है

इसलिए नीचे की तरह property को पूरी तरह हटा देना बेहतर है

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

यह अच्छी बात है :) मैंने कोड बदल दिया है