Flat Data - GitHub को data ETL टूल और स्टोरेज के रूप में इस्तेमाल करना

<p>- Git Scraping तकनीक का उपयोग करके हल्के data-आधारित ऐप्स को आसानी से विकसित करने में मदद करने वाला प्रोजेक्ट<br /> → अपनी infrastructure के बिना Data ETL बनाना और उपयोग करना<br /> - 3 कंपोनेंट<br /> → Flat Action : data fetch/transform करने वाला GitHub Action<br /> → Flat Editor : Flat Data Workflow को संपादित करने के लिए GUI (VS Code extension)<br /> → Flat Viewer : Repo में संग्रहीत Flatfile को देखने, filter करने और share करने के लिए वेबसाइट <br /> <br /> Flat Data का उपयोग कैसे करें<br /> 1. Flat Action से HTTP या SQL Query(MySQL,Postgres,SQLite,MongoDB आदि) के जरिए data लाना <br /> → stock/coin prices, Excel to CSV, COVID Dashboard आदि लाकर GitHub Repo आदि में स्टोर करना<br /> 2. data transform करना <br /> → GitHub Action से postprocess करके नई file के रूप में स्टोर करना <br /> 3. data visualization <br /> → किसी भी GitHub address के आगे सिर्फ flat जोड़ने पर data दिखाने वाला GUI टूल उपलब्ध : https://flatgithub.com/the-pudding/data<br /> <br /> Flat Data बनाने का कारण<br /> - data का उपयोग करने के लिए distributed systems और बड़ी infrastructure की जरूरत होती है <br /> - developers को ऐसे data तक आसानी से पहुंचाने के लिए data acquisition/cleanup काम GitHub Actions से कराने में मदद करना <br /> - complex dependencies, libraries, package managers, infrastructure आदि के बारे में जाने बिना data को Repo में स्टोर करना<br /> <br /> * यह प्रोजेक्ट GitHub OCTO(Office of the CTO) की developer experience team द्वारा किया जा रहा एक experiment है, GitHub का official product नहीं है. MIT license </p>

[xguru]

<p>Simon Willison ने बनाई Git Scraping तकनीक को GitHub ने अपनाकर एक शानदार प्रोडक्ट बना दिया है<br /> - Git Scraping - वेब बदलावों को Git Repo में रिकॉर्ड करना https://hi.news.hada.io/topic?id=3008<br /> <br /> Simon, TIL(Today I Learned) को GitHub इंडेक्स में स्टोर करने की टिप के लिए भी काफ़ी मशहूर हैं।<br /> - GitHub Actions के साथ TIL README इंडेक्स अपने-आप जनरेट करना https://hi.news.hada.io/topic?id=1936</p&gt;