Git Scraping - वेब बदलावों को Git Repo में रिकॉर्ड करना

 (simonwillison.net)
15 पॉइंट द्वारा xguru 2020-10-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • लगातार बदलने वाले वेबसाइट डेटा को GitHub Actions से scrape करके रिकॉर्ड करना और commit log के साथ जमा करके रखना

  • California Department of Forestry and Fire Protection से हालिया CA जंगल की आग के डेटा को scrape करके रिकॉर्ड करने का उदाहरण

  • XHR JSON डेटा को curl से लाकर jq से अलग करके रिकॉर्ड करने वाली एक सरल GitHub Actions workflow YML फ़ाइल बनाकर चलाना

  • केवल तब commit करना जब सामग्री बदली हो, और GitHub Cron सेटिंग से इसे लगभग हर घंटे 3 बार चलाना

  • लेखक ने पहले hurricane जानकारी या अन्य public services पर भी इसे लागू किए गए अपने रिकॉर्ड सार्वजनिक किए थे

संबंधित पढ़ाई

1 टिप्पणियां

 
xguru 2020-10-12

भारत की सरकारी संस्थाओं की वेबसाइटें अक्सर API या संरचित data के रूप में उपलब्ध नहीं होती हैं।

ऐसे में यह तरीका भी एक अलग तरह की कोशिश हो सकता है।