Flat Data - GitHub को data ETL टूल और स्टोरेज के रूप में इस्तेमाल करना

• Git Scraping तकनीक का उपयोग करके हल्के data-आधारित ऐप्स को आसानी से विकसित करने में मदद करने वाला प्रोजेक्ट

→ अपनी infrastructure के बिना Data ETL बनाना और उपयोग करना

• 3 कंपोनेंट

→ Flat Action : data fetch/transform करने वाला GitHub Action

→ Flat Editor : Flat Data Workflow को संपादित करने के लिए GUI (VS Code extension)

→ Flat Viewer : Repo में संग्रहीत Flatfile को देखने, filter करने और share करने के लिए वेबसाइट

Flat Data का उपयोग कैसे करें

1. Flat Action से HTTP या SQL Query(MySQL,Postgres,SQLite,MongoDB आदि) के जरिए data लाना

→ stock/coin prices, Excel to CSV, COVID Dashboard आदि लाकर GitHub Repo आदि में स्टोर करना

2. data transform करना

→ GitHub Action से postprocess करके नई file के रूप में स्टोर करना

3. data visualization

→ किसी भी GitHub address के आगे सिर्फ flat जोड़ने पर data दिखाने वाला GUI टूल उपलब्ध : https://flatgithub.com/the-pudding/data

Flat Data बनाने का कारण

• data का उपयोग करने के लिए distributed systems और बड़ी infrastructure की जरूरत होती है

• developers को ऐसे data तक आसानी से पहुंचाने के लिए data acquisition/cleanup काम GitHub Actions से कराने में मदद करना

• complex dependencies, libraries, package managers, infrastructure आदि के बारे में जाने बिना data को Repo में स्टोर करना

• यह प्रोजेक्ट GitHub OCTO(Office of the CTO) की developer experience team द्वारा किया जा रहा एक experiment है, GitHub का official product नहीं है. MIT license

[xguru]

Simon Willison ने बनाई Git Scraping तकनीक को GitHub ने अपनाकर एक शानदार प्रोडक्ट बना दिया है

• Git Scraping - वेब बदलावों को Git Repo में रिकॉर्ड करना https://hi.news.hada.io/topic?id=3008

Simon, TIL(Today I Learned) को GitHub इंडेक्स में स्टोर करने की टिप के लिए भी काफ़ी मशहूर हैं।

• GitHub Actions के साथ TIL README इंडेक्स अपने-आप जनरेट करना https://hi.news.hada.io/topic?id=1936