NodeJS के लिए Robots.txt parser

 (github.com)
4 पॉइंट द्वारा xguru 2022-01-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • IETF के Robots Exclusion Protocol draft के साथ compatibility को लक्ष्य बनाकर विकसित किया गया

  • समर्थित नियम

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path : Wildcard(*) और EOL($) matching

संबंधित पढ़ाई

1 टिप्पणियां

 
xguru 2022-01-15