Flat File क्या है?

 (evidence.dev)
5 पॉइंट द्वारा GN⁺ 2025-03-13 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Flat File डेटा analysis में एक बहुत ही सामान्य format है
  • यह complete guide बताती है कि Flat File क्या है, इसके कौन-कौन से प्रकार हैं, किसे चुनना चाहिए, और इसके use cases, format की विशेषताएँ, तथा non-flat-file database और relational DBMS के साथ इसकी तुलना क्या है

परिभाषित करना आसान नहीं

  • Flat File का उपयोग मुख्य रूप से database से data निकालकर उसे process करने के लिए किया जाता है
  • यह CSV जैसी simple text file के रूप में होता है, जहाँ हर row एक record को दर्शाती है और fields comma से अलग होती हैं
  • लेकिन "Flat File" की परिभाषा बिल्कुल स्पष्ट नहीं है, फिर भी इसकी कुछ सामान्य विशेषताएँ हैं:
    • Text-only: binary data (Blob) नहीं, केवल text और numbers store करता है
    • तालिका (Tabular) format: प्रति file एक table, row-based record संरचना
    • Portable: बिना किसी विशेष software के आसानी से output, edit और process किया जा सकता है
    • असंरचित: आम तौर पर records के बीच hierarchy या relationship नहीं होती
    • कोई compression नहीं: डिफ़ॉल्ट रूप से smart compression नहीं होता (हालाँकि DuckDB, Spark आदि में zip files स्वीकार की जाती हैं)
    • कोई index नहीं: किसी विशेष record को खोजने के लिए built-in index नहीं होता
    • कोई self-description नहीं: आम तौर पर metadata या schema जानकारी नहीं होती
  • JSON और YAML इस परिभाषा से बाहर जाते हैं क्योंकि इनमें hierarchy और schema शामिल हो सकते हैं
  • यह तथ्य कि इनका उपयोग बहुत विविध use cases में हो सकता है, व्यावहारिक रूप से ज़्यादा मदद नहीं करता
    • CSV: data storage और exchange format
    • JSON: बड़े पैमाने पर data exchange, configuration management, API response format
    • YAML: configuration management और pipeline definition files

Flat File के प्रकार

  • data को कैसे व्यवस्थित और store किया जाता है, इसके आधार पर कई प्रकार मौजूद हैं
  • field और record organization methods
    • Unstructured Flat File: CSV की तरह single-table structure
    • Structured Flat File: JSON, YAML, XML आदि जिनमें hierarchy होती है
  • field delimiter के प्रकार
    • हर row एक record को दर्शाती है और delimiter से fields अलग की जाती हैं
    • comma(,), tab(\t), pipe(|) का उपयोग
  • fixed-width बनाम variable-width format
    • fixed-width format में fields की लंबाई तय होती है → processing तेज़ होती है
    • variable-width format में processing flexibility अधिक होती है
  • data delimiters
    • CSV में tab और newline store किए जा सकते हैं (escape processing के साथ)
    • TSV में tab और newline संभव नहीं
  • मानव-पठनीयता
    • Flat File अक्सर मनुष्यों द्वारा पढ़ी जा सकती है
    • कुछ platforms पर Excel files को भी Flat File माना जाता है
  • metadata शामिल है या नहीं
    • CSV जैसी files में metadata नहीं होता
    • JSON में अपना metadata और schema शामिल हो सकता है

Flat File के use cases

  • storage और exchange
    • data exchange: CSV, JSON अलग-अलग platforms के बीच data exchange के लिए उपयोगी हैं
    • ETL में data integration: Flat File का उपयोग ETL में source और target data के रूप में अक्सर होता है
    • archive और backup: Flat File text-based होने के कारण long-term storage के लिए उपयुक्त है
  • utility usage
    • configuration management: YAML, JSON, INI आदि environment variables, database connections आदि के लिए उपयोग होते हैं
    • data pipeline definition: JSON, YAML आदि pipeline structure define करने के लिए उपयोग होते हैं
    • dataset metadata: JSON, CSV के transformation और validation को define कर सकता है

Flat File के उदाहरण

CSV (Comma-Separated Values)

  • extension: .csv
  • delimiter: comma ,
  • structure: flat
  • मनुष्यों के लिए पढ़ना आसान
  • उदाहरण: 
    name, country, age  
Alice, USA, 22  
Bob, Canada, 34  
Charlie, UK, 28
  • कब चुनें:
    • structured tabular data के लिए उपयुक्त
    • BI systems, Excel/Google Sheets में export के समय उपयोगी
  • कब न चुनें:
    • complex hierarchy की आवश्यकता हो तो उपयुक्त नहीं
    • comma वाले data को handle करते समय समस्या हो सकती है

TSV (Tab-Separated Values)

  • extension: .tsv
  • delimiter: tab \t
  • structure: flat
  • मनुष्यों के लिए पढ़ना आसान
  • उदाहरण: 
    name	country	age  
Alice	USA	22  
Bob	Canada	34  
Charlie	UK	28
  • कब चुनें:
    • जब comma वाले data को process करना हो तब उपयोगी
    • Unix CLI tools में आसानी से process किया जा सकता है
  • कब न चुनें:
    • tab वाले data को handle करते समय समस्या होती है

JSON (JavaScript Object Notation)

  • extension: .json
  • structure: hierarchical
  • मनुष्यों के लिए पढ़ना आसान
  • उदाहरण: 
    [  
  {"name": "Alice", "country": "USA", "age": 22},  
  {"name": "Bob", "country": "Canada", "age": 34},  
  {"name": "Charlie", "country": "UK", "age": 28}  
]
  • कब चुनें:
    • hierarchical data structure की ज़रूरत हो तो उपयुक्त
  • कब न चुनें:
    • speed-first processing के लिए उपयुक्त नहीं

YAML (YAML Ain’t Markup Language)

  • extension: .yaml
  • structure: hierarchical
  • मनुष्यों के लिए पढ़ना आसान
  • उदाहरण: 
    name: Alice  
country: USA  
age: 22
  • कब चुनें:
    • जब human-readable configuration file चाहिए हो तब उपयुक्त
  • कब न चुनें:
    • बड़े पैमाने पर data storage के लिए उपयुक्त नहीं

ENV Files

  • extension: .env
  • structure: flat
  • मनुष्यों के लिए पढ़ना आसान
  • उदाहरण: 
    APP_NAME=MyApp  
ENVIRONMENT=production
  • कब चुनें:
    • deployment और local environment में settings file की आवश्यकता हो तो उपयुक्त
  • कब न चुनें:
    • complex data structures store करने के लिए उपयुक्त नहीं

Flat File vs Non-Flat File vs DBMS तुलना

Flat File की तुलना अक्सर relational database (RDBMS) से की जाती है, और Avro, Parquet, ORC जैसे intermediate formats भी मौजूद हैं। नीचे प्रमुख formats की विशेषताओं की तुलना दी गई है:

  • record organization method

    • CSV: row-based data storage
    • JSON: key-value pair आधारित storage
    • Parquet: column-based storage
    • relational DBMS: row-based storage

  • क्या यह मानव-पठनीय format है

    • CSV और JSON: text-based → पढ़ना आसान
    • Parquet और DBMS: binary-based → पढ़ना कठिन

  • portability

    • CSV, JSON, Parquet: platforms के बीच उच्च compatibility
    • DBMS: केवल specific software में उपयोग संभव

  • hierarchy support

    • CSV: hierarchy नहीं
    • JSON: hierarchy support
    • Parquet: nested structures support
    • DBMS: multiple tables और relational structure support

  • scalability

    • CSV, JSON: scalability कम
    • Parquet, DBMS: scalability अधिक

  • index support

    • CSV, JSON: index नहीं
    • Parquet: file-level और column-level metadata से तेज़ search संभव
    • DBMS: index support

  • schema support

    • CSV: schema नहीं
    • JSON: schema शामिल हो सकता है
    • Parquet, DBMS: schema enforced
  • Parquet, B-Tree या hash index का उपयोग नहीं करता। इसके बजाय यह file, row group और column-level metadata के माध्यम से data retrieval को तेज़ करता है

सही Flat File format कैसे चुनें

  • CSV, TSV → जब data को archive करना हो या platforms के बीच ले जाना हो, तब simple data exchange और storage के लिए
  • JSON → जब hierarchy वाला self-describing file format चाहिए हो
  • YAML → configuration और pipeline settings के लिए उपयुक्त
  • Parquet → जब छोटी file size, fast query, और complex data types support की आवश्यकता हो

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.