मैंने अपनी API में JSON का इस्तेमाल बंद करके Protobuf पर क्यों स्विच किया

 (aloisdeniel.com)
38 पॉइंट द्वारा GN⁺ 2025-12-05 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • वेब API के standard के रूप में स्थापित JSON पढ़ने में आसान और flexible है, लेकिन performance और stability के मामले में इसकी सीमाएँ हैं
  • Protobuf(Protocol Buffers) सख्त type definition और automatic code generation के ज़रिए data structure को स्पष्ट रूप से सुनिश्चित करता है
  • Binary serialization का उपयोग करके यह JSON की तुलना में लगभग 3 गुना या उससे अधिक data size कम करता है और transfer speed बेहतर बनाता है
  • server और client एक ही .proto schema साझा करते हैं, इसलिए type mismatch या manual validation की ज़रूरत नहीं रहती
  • debugging कठिन हो सकती है, लेकिन performance, maintainability, development efficiency के लिहाज़ से Protobuf आधुनिक API के लिए अधिक उपयुक्त है

JSON की सार्वभौमिकता और सीमाएँ

  • JSON एक इंसान द्वारा आसानी से पढ़ा जा सकने वाला text format है, जिसमें सिर्फ console.log() से भी data देखा जा सकता है
  • वेब के साथ बेहतरीन integration की वजह से इसे JavaScript और backend framework ecosystem में व्यापक रूप से अपनाया गया है
  • यह field जोड़ने, हटाने और type बदलने की flexibility देता है, लेकिन इसी कारण structure mismatch या error की संभावना भी रहती है
  • Tool ecosystem समृद्ध है, इसलिए सिर्फ text editor या curl से भी इसे आसानी से संभाला जा सकता है
  • लेकिन इन फ़ायदों के बावजूद, performance और type safety के मामले में इससे बेहतर विकल्प मौजूद हैं

Protobuf का अवलोकन

  • Google द्वारा 2001 में विकसित और 2008 में सार्वजनिक किया गया binary serialization format
  • internal system और microservice के बीच communication में व्यापक रूप से उपयोग होता है
  • अक्सर यह गलतफ़हमी होती है कि इसे gRPC के साथ ही इस्तेमाल करना चाहिए, लेकिन Protobuf को स्वतंत्र रूप से HTTP API में भी इस्तेमाल किया जा सकता है
  • शुरुआत में binary format के सीधे न दिखने की वजह से इसकी पहुँच कम थी, लेकिन efficiency और stability के मामले में यह बहुत मज़बूत है

शक्तिशाली type system और code generation

  • Protobuf .proto file के माध्यम से data structure को स्पष्ट रूप से परिभाषित करता है
    • हर field का सख्त type, numeric identifier, और स्थिर नाम होता है
  • उदाहरण: 
    message User {
  int32 id = 1;
  string name = 2;
  string email = 3;
  bool isActive = 4;
}
  • protoc command के ज़रिए Dart, TypeScript, Kotlin, Swift, C#, Go, Rust जैसी कई भाषाओं के लिए automatic code generation का समर्थन
  • generated code के साथ serialization(writeToBuffer) और deserialization(fromBuffer) किया जाता है, और manual validation या parsing की ज़रूरत नहीं पड़ती
  • नतीजतन समय की बचत और maintainability में सुधार दोनों साथ मिलते हैं

Binary serialization की दक्षता

  • Protobuf text की जगह binary data में serialize होता है, इसलिए यह बेहद compact और तेज़ है
  • एक ही data (User object) के size की तुलना:
    • JSON: 86 bytes (whitespace हटाने पर 68 bytes)
    • Protobuf: 30 bytes
  • इसकी efficiency के कारण:
    • numbers के लिए varint encoding का उपयोग
    • text key की जगह numeric tag का उपयोग
    • whitespace और अनावश्यक syntax को हटाना
    • optional field optimization
  • नतीजतन bandwidth की बचत, response speed में सुधार, mobile data की बचत, और user experience बेहतर होता है

Dart आधारित Protobuf API उदाहरण

  • shelf package का उपयोग करके एक सरल HTTP server बनाया जाता है, जो User object को Protobuf में लौटाता है
  • server code के मुख्य बिंदु:
    • User() object बनाकर writeToBuffer() से serialize करना
    • response header में 'content-type': 'application/protobuf' सेट करना
  • client, http package और user.pb.dart का उपयोग करके Protobuf data को सीधे decode कर सकता है
  • server और client एक ही .proto schema साझा करते हैं, इसलिए data structure mismatch नहीं होता
  • यही तरीका Go, Rust, Kotlin, Swift, C#, TypeScript आदि में भी समान रूप से लागू किया जा सकता है

JSON के बचे हुए फ़ायदे

  • Protobuf में schema के बिना अर्थ समझना कठिन होता है
    • field name की जगह सिर्फ numeric identifier दिखते हैं, इसलिए इसे इंसान के लिए पढ़ना मुश्किल होता है
  • उदाहरण तुलना:
    • JSON: { "id": 42, "name": "Alice" }
    • Protobuf: 1: 42, 2: "Alice"
  • इसलिए Protobuf के लिए:
    • dedicated decoding tool की ज़रूरत होती है
    • schema management और version management अनिवार्य हैं
  • फिर भी, performance और efficiency के फ़ायदे इससे कहीं अधिक बड़े हैं

निष्कर्ष

  • Protobuf एक परिपक्व और high-performance serialization technology है, जिसे public API में भी पूरी तरह इस्तेमाल किया जा सकता है
  • gRPC के बिना भी यह सामान्य HTTP API में स्वतंत्र रूप से काम करता है
  • यह performance, robustness, error reduction, और development efficiency सभी को बेहतर बनाता है
  • अगली पीढ़ी की परियोजनाओं में Protobuf अपनाने का पर्याप्त मूल्य है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.