Meta (पूर्व Facebook) ने अपने आंतरिक AI उपयोग के लिए उच्च-प्रदर्शन compression solution 'OpenZL' को open source किया

Meta (पूर्व Facebook) ने अपने आंतरिक उपयोग में रहे उच्च-प्रदर्शन data compression framework 'OpenZL' को open source के रूप में जारी किया है। खासकर AI और machine learning workloads जैसे विशाल मात्रा वाले विशेष datasets को प्रोसेस करने के लिए optimized OpenZL, मौजूदा general-purpose compression solutions की सीमाओं से आगे बढ़ते हुए उच्च compression ratio और तेज़ speed दोनों एक साथ प्रदान करता है.

विशेषताएँ और कार्य

OpenZL की सबसे बड़ी विशेषता इसका 'Format-Aware' compression तरीका है, जो data format के लिए optimized custom compressors बनाता है। यह data की संरचना का विश्लेषण करके सबसे efficient compression algorithm तैयार करता है, जिससे datacenter workloads के लिए आवश्यक तेज़ processing speed बनाए रखते हुए भी ऐसा उच्च compression ratio हासिल होता है जो general-purpose compressors से संभव नहीं था।

इसके अलावा, बनाए गए सभी विशेष compressors एकल general-purpose decompressor के साथ compatible होते हैं, जिससे system maintenance आसान हो जाता है। साथ ही, 'Trace Visualizer' tool के जरिए compression process का visual analysis करने की सुविधा भी मिलती है।

प्रदर्शन डेटा (Silesia compression corpus के SAO डेटा के आधार पर)

श्रेणी	OpenZL	zstd -3	xz -9
compression ratio	x2.06	x1.31	x1.64
compression speed	203 MB/s	115 MB/s	3.1 MB/s
decompression speed	822 MB/s	890 MB/s	30 MB/s

Meta की यह OpenZL open source रिलीज़, बड़े पैमाने पर data processing की आवश्यकता वाले AI और विभिन्न उद्योग क्षेत्रों में data storage और transmission लागत को घटाने तथा कार्यकुशलता को काफी बेहतर बनाने में योगदान देगी, ऐसी उम्मीद है।

[xguru]

OpenZL: फ़ाइल फ़ॉर्मैट को पहचान सकने वाला ओपन सोर्स compression framework
Facebook का परिचय लेख, जिसे AI ने अनुवाद किया है, उसे भी साथ में देखें

[t7vonn]

लगता है compression में Meta ही आगे बढ़ रहा है, हाहा; zstd भी एक बड़ी प्रगति थी

[darjeeling]

अंदरूनी तौर पर इसे पहले से ही अच्छी तरह इस्तेमाल कर रहे थे.. अब इसे सार्वजनिक करना मतलब..
कोई और बड़ा कदम आने वाला है।