- विभिन्न स्रोतों से डेटा इकट्ठा करने, SQL और Python का उपयोग करके डेटा ट्रांसफॉर्म करने, और डेटा क्वालिटी जांच जोड़कर end-to-end फ्लो बनाने के लिए एकीकृत framework
- dbt + Airbyte + Great Expectations को एक साथ लागू करने जैसा
- Go में लिखे CLI और उससे जुड़े VS Code extension से बना है। VS Code के अंदर पाइपलाइन बनाना, प्रबंधित करना और deploy करना संभव
ingestr के ज़रिए डेटा ingestion
ingestr Python में लिखा गया एक अलग open source CLI है, जो data sources के बीच आसान copy को संभालता है- समर्थन: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- SQL और Python का उपयोग करके डेटा ट्रांसफॉर्मेशन (dbt जैसा)
uv का उपयोग करके Python environment management। अलग-थलग चलाया जाता है- built-in डेटा क्वालिटी जांच
- Jinja template समर्थन
- dry-run समर्थन, जिससे पाइपलाइन को शुरू से अंत तक validate किया जा सकता है
- local machine, EC2 instance और GitHub Actions में चलाया जा सकता है
- environment variables का उपयोग करके secret injection
- विभिन्न table/view materialization strategies का समर्थन। incremental tables
अभी कोई टिप्पणी नहीं है.