वितरित सिस्टम के लिए Erasure Coding तकनीक

[GN⁺]

Hacker News राय

• यह देखकर हैरानी हुई कि rateless fountain codes का ज़िक्र नहीं किया गया

  • Luby Transform Code दिलचस्प है
  • LT codes का उपयोग RFC6330 के RaptorQ encoding में होता है

• पहले नेटवर्क coding algorithms प्रस्तावित किए गए थे

  • कई paths के ज़रिए फ़ाइलें और तेज़ी से प्राप्त की जा सकती हैं

• Erasure coding एक पुरानी तकनीक है

  • Usenet की PAR2 files याद आनी चाहिए

• अगर Erasure coding में रुचि है, तो multidimensional cases पर विचार करना चाहिए

  • सिर्फ spindle ही नहीं, बल्कि rack, room, data center, region जैसे अलग-अलग failure domains में encoding के बारे में सोचना चाहिए

• यह जानने की जिज्ञासा है कि क्या किसी ने किसी project में Wirehair का उपयोग किया है

  • Wirehair के पास लगभग आदर्श algorithm performance और API है
  • लेकिन Wirehair specification नहीं, बल्कि एक idea का implementation है
  • यह स्थिर है, लेकिन चिंता है कि क्या इसे एक भरोसेमंद specification में बदला जा सकता है

• यह Ceph के Erasure Code pool की मुख्य तकनीक है

  • coding parameters (k, m) को बाद में update नहीं किया जा सकता
  • इसी अनम्यता के कारण high-availability fault-tolerant data storage के लिए replicas अब भी मुख्य विकल्प हैं

• जिज्ञासा है कि M of N घटना के दौरान बनाए गए products, सभी N उपलब्ध होने की स्थिति से अलग encode किए जाते हैं या नहीं

  • शायद एक bit flag की ज़रूरत हो जो दिखाए: "N बहाल होने पर re-encoding आवश्यक"

• इससे Rabin का Information Dispersal Algorithm याद आता है

  • संबंधित paper का link दिया गया है

• जिज्ञासा है कि क्या यह सिर्फ read-only या read-heavy workloads के लिए ही व्यावहारिक है

• यह Ceph द्वारा distributed blob storage में उपयोग की जाने वाली replication strategies में से एक है