AWS ने S3 की compression को gzip से zstd में बदलकर आकार लगभग 30% घटा दिया
(twitter.com/adrianco)- Yann Collet द्वारा बनाए गए zstd ने कितना अनावश्यक हिस्सा कम किया, इस सवाल के जवाब में Adrian Cockcroft ने यह बात कही
- S3 के Exabyte-स्तर पर 30% की कमी बहुत बड़े पैमाने की लागत बचत है
- Twitter ने भी HDFS में zstd पर स्विच करते हुए हर साल सैकड़ों करोड़ won के बराबर (~ mid 8 figs/yr) की बचत की थी
4 टिप्पणियां
Uber ने भी GZIP/SNAPPY से ZSTD में बदलाव किया है.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/
zstd वाकई कमाल का है!
लिंक में compression performance comparison का सामग्री है, इसलिए साझा कर रहा हूँ।
https://github.com/facebook/zstd
आज पहली बार zstd इस्तेमाल किया।
यह mac में डिफ़ॉल्ट रूप से पहले से शामिल था।
कंप्रेस करना:
zstd file=> file.zstअनकंप्रेस करना:
unzstd file.zst=> file