Airbyte - ओपन सोर्स ELT
(airbyte.io)-
Fivetran/Stitch का ओपन सोर्स विकल्प
-
single node से लेकर self-hosted इंस्टॉलेशन तक इस्तेमाल किया जा सकता है
-
K8s और Airflow इंटीग्रेशन
-
update scheduling, manual full resync, real-time monitoring
-
41 source और 6 destination से शुरू होकर लगातार connectors जोड़े जा रहे हैं (ओपन सोर्स कम्युनिटी के साथ)
→ Destination: Redshift, Snowflake, BigQuery, Postgres, local JSON/CSV
→ Source : Google Analytics, Facebook Ads, Google Ads, Salesforce, SQL Server/MySQL/Postgres, Jira, Intercom, Github, Looker, Mailchimp, Mixpanel, Marketo, Sendgrid, Slack, Shopify, Stripe, Twilio, Zendesk, Zoom..
- जैसा कि वेबसाइट पर इसे EL(T) tool कहा गया है, यह Extract, Load में मजबूत है
Transform के लिए यह अपने SQL/Java transformers को भी सपोर्ट करता है, लेकिन लगता है कि dbt भी इस्तेमाल करता है।
1 टिप्पणियां
Fivetran, Stitch, dbt आदि के लिए GeekNews YouTube के "नवीनतम डेटा इन्फ्रास्ट्रक्चर को समझना" वीडियो को देखें
#3 ETL/ELT टूल्स (Fivetran, Stitch, Matillion, Panoply) https://youtu.be/fn0sN3PFip0
#4 डेटा मॉडलिंग और वर्कफ़्लो मैनेजर (dbt, Airflow, Dagster, Prefect) https://youtu.be/IdVO1dC4bM8