आधुनिक डेटा इन्फ्रास्ट्रक्चर के लिए नई आर्किटेक्चर
(future.a16z.com)-
डेटा विशेषज्ञों के इंटरव्यू के आधार पर तैयार की गई आधुनिक डेटा infrastructure से जुड़ी जानकारी और शब्दावली की व्याख्या
-
डेटा क्षेत्र को समग्र रूप से समझने के लिए बेहद उपयोगी 6-पेज की PDF
अध्याय 1 में समेकित डेटा infrastructure का कॉन्सेप्ट मैप
- Sources : बिज़नेस और ऑपरेशनल डेटा उत्पन्न करते हैं
→ OLTP DB via *CDC
→ Applications/ERP(Oracle, Salesforce, Netsuite) : बिज़नेस में उत्पन्न होने वाला सारा डेटा
→ Event collector(Segment, Snowplow) : सेवा उपयोगकर्ताओं के सभी events को एकत्र करता है
→ Logs : वेब सर्वर और विभिन्न सर्वरों के logs
→ Third-party API(Stripe आदि) : पेमेंट और अन्य उपयोग APIs से उत्पन्न डेटा
→ फ़ाइलें और object storage
- Ingestion and Transformation : आजकल ETL से ELT, Extract / Load / Transform
ऑपरेशनल सिस्टम से डेटा extract करना(E) / उसे storage में ले जाना(L) / डेटा को analysis के लिए transform करना(T)
→ Connector(Fivetran, Stitch, Matillion) : कई sources से DW तक डेटा ले जाने वाले tools
→ Data Modeling (dbt, LookML) : डेटा modeling और transformation
→ Workflow Manager (Airflow, Dagster, Prefect) : डेटा flow automation के लिए orchestrator / scheduler
→ Spark Platform (Databricks, Amazon EMR) : distributed processing के लिए high-performance clustering platform
→ Python Libs : data analysis libraries - Pandas, AWS interface - Boto, large-scale parallel processing के लिए Dask, distributed processing के लिए Ray..
→ Batch Query Engine (Hive) : big data query
→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis) : real-time messaging/streaming platform
→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink) : streaming data का संग्रह/प्रोसेसिंग और analysis
- Storage : डेटा को query और processing योग्य रूप में store करना। low cost, scalability और analytical workloads के लिए optimized.
→ Data Warehouse (Snowflake, BigQuery, Redshift) : analysis योग्य जानकारी का एकीकृत data repository
→ Data Lake : DW के विपरीत, बिना शुद्ध किए हुए structured/unstructured raw data को store करता है
Databricks/Delta Lake(Spark और S3/HDFS आदि पर ACID transactions सक्षम करने वाला data lake),
Apache Iceberg(पेटाबाइट स्तर को store करने वाला ultra-large table format, Netflix द्वारा विकसित),
Apache Hudi(कुशल data lake, Uber द्वारा विकसित), Hive Acid
→ Apache Parquet - column-based storage format
Apache ORC - Optimized Row Columnar, column unit में लिखता है और index भी साथ में रिकॉर्ड करता है
Apache Avro - row unit में लिखता है, writing के लिए उपयुक्त, schema evolution के लिए उपयुक्त
→ AWS S3(Simple Storage Service), GCS(Google Cloud Storage), ABS(Azure Blob Storage), HDFS(Hadoop Distributed File System)
4&5. Historical & Predictive : analysts और data scientists को insights निकालने के लिए interface(query) प्रदान करता है
Historical : अतीत में क्या हुआ, यह बताता है। इसमें बहुत हाल का समय(लगभग real-time) भी शामिल है
Predictive : भविष्यवाणी, data-based/ML applications
→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)
→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )
→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)
→ Real-time Analytics : Imply/Druid - real-time analytics, Altinity/Clickhouse - OLAP, Rockset - commercial real-time analytics engine(उच्च-प्रदर्शन KV embedded DB RocksDB पर आधारित)
- Output : डेटा analysis के परिणामों को internal/external रूप से दिखाने वाले tools। बनाए गए data models को operational systems और applications में embed करना
→ Dashboards : Looker, Apache Superset, Mode, Tableau - Business Intelligence tools
→ Embedded Analytics : Sisense, Looker, cube.js - BI tools को internal systems में embed करना। API-based. internal analytics apps बनाए जा सकते हैं
→ Augmented Analytics : Thoughtspot, Outlier, Anodot, Sisu - AI का उपयोग करके अपने-आप analysis करने वाले tools
→ App Frameworks : Plotly Dash, Streamlit - ML App बनाने में मदद करने वाले frameworks
- अन्य
→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)
→ Quality and Testing (Great Expectations)
→ Entitlements and Security (Privacera, Immuta)
→ Observability (Unravel, Accel Data, Fiddler)
- तीन प्रमुख क्षेत्रों के लिए ब्लूप्रिंट
→ आधुनिक Business Intelligence(BI)
→ मल्टीमॉडल डेटा प्रोसेसिंग
→ AI और ML क्षेत्र
- Change Data Capture : OLTP के बदले हुए डेटा को real-time में विभिन्न अन्य storage(DB, DW) में कॉपी करना
4 टिप्पणियां
यहाँ बताए गए हर service और open source को एक-एक करके समझाने वाला YouTube वीडियो मैंने बनाया है.
इसे प्रति एपिसोड लगभग 10 मिनट के हिस्सों में बाँटा गया है, इसलिए ऊपर की सामग्री को थोड़ा और विस्तार से समझना चाहें तो इसे देखें.
GeekNews द्वारा नवीनतम डेटा इन्फ्रास्ट्रक्चर को समझना
अनुवादित संस्करण का लिंक गलत है, हाहा; कृपया नीचे दिए गए लिंक को देखें ^^;
https://drive.google.com/file/d/…
वाह, धन्यवाद। मुझे भी यह सामग्री बहुत पसंद है, इसलिए मैं मुख्य चार्ट के लिए एक अलग व्याख्यात्मक सामग्री (वीडियो) बनाने की कोशिश कर रहा हूँ।
https://drive.google.com/file/d/…
कंटेंट अच्छा लगा, इसलिए मैंने मूल लेख का संक्षिप्त अनुवाद करके देखा ^^