- Fire-Flyer File System(3FS) एक उच्च-प्रदर्शन distributed file system है, जिसे AI training और inference workloads को संभालने के लिए डिज़ाइन किया गया है
- यह नवीनतम SSD और RDMA network का उपयोग करके shared storage layer प्रदान करता है, और distributed application development को सरल बनाता है
मुख्य विशेषताएँ और फायदे
- प्रदर्शन और उपयोगिता
- अलग की गई architecture: हजारों SSDs और सैकड़ों storage nodes की network bandwidth को जोड़कर, locality की परवाह किए बिना storage resources तक पहुंच संभव
- मज़बूत consistency guarantee: Chain Replication with Apportioned Queries(CRAQ) का उपयोग करके consistency बनाए रखता है, जिससे application code सरल होता है
- file interface support: FoundationDB-आधारित transactional key-value store का उपयोग करने वाली stateless metadata service प्रदान करता है। मौजूदा file interface का उपयोग होने से नया storage API सीखने की आवश्यकता नहीं
- विभिन्न workloads का समर्थन
- data preparation: data analysis pipeline के output को hierarchical directory structure में व्यवस्थित करता है, और बड़ी मात्रा में intermediate outputs को कुशलतापूर्वक प्रबंधित करता है
- data loader optimization: dataset को pre-load या shuffle किए बिना, कई compute nodes से training samples पर random access संभव
- checkpoint storage: बड़े पैमाने की training के लिए high-speed parallel checkpoint storage का समर्थन
- KVCache-आधारित inference optimization: DRAM-आधारित caching की तुलना में अधिक cost-efficient, साथ ही उच्च throughput और बड़ी storage capacity प्रदान करता है
performance test
- अधिकतम throughput test
- 180 storage nodes (प्रत्येक में 2×200Gbps InfiniBand NIC और 16 14TiB NVMe SSD लगे हुए)
- 500 से अधिक client nodes (प्रत्येक में 1×200Gbps InfiniBand NIC लगा हुआ)
- AI training jobs के समानांतर चलाए गए read load test में कुल 6.6TiB/s throughput दर्ज
- GraySort benchmark test
- 25 storage nodes (प्रत्येक node पर 2 NUMA domains, 2×400Gbps NIC)
- 50 compute nodes (192 physical cores, 2.2TiB RAM, 1×200Gbps NIC)
- 110.5TiB data (8,192 partitions) को 30 मिनट 14 सेकंड में sort किया, औसत throughput 3.66TiB/min हासिल
- KVCache performance test
- बड़े भाषा मॉडल(LLM) inference प्रक्रिया में key-value vector caching के जरिए अनावश्यक computation को न्यूनतम किया
- peak read throughput 40GiB/s दर्ज
- Garbage Collection(GC) चलने के दौरान delete operations(IOPS) के प्रदर्शन विश्लेषण को शामिल किया गया
- इसकी विशेषताएँ हैं उच्च-प्रदर्शन data processing, large-scale scalability, और सरल operations
- उच्च-प्रदर्शन data processing: DuckDB का उपयोग करके तेज data processing
- large-scale dataset support: petabyte(PB) स्तर के data को process कर सकता है
- operational simplicity: लंबे समय तक चलने वाली service के बिना आसानी से उपयोग किया जा सकता है
अभी कोई टिप्पणी नहीं है.