Launch HN: Regatta Storage (YC F24) – S3 को लोकल-जैसे POSIX cloud file system में बदलने की तकनीक

 (news.ycombinator.com)
5 पॉइंट द्वारा GN⁺ 2024-11-19 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • Regatta Storage का परिचय

    • Regatta Storage एक नया cloud file system है, जो असीमित क्षमता प्रदान करता है, लोकल जैसी performance देता है, और S3-compatible storage के साथ automatic sync को support करता है
    • Spark, Pytorch, pandas जैसे tools का उपयोग करके S3 के बड़े data sets को तुरंत accessible बनाता है
    • अकाउंट बनाकर सेवा को मुफ्त में आज़माया जा सकता है

  • विकास की पृष्ठभूमि

    • संस्थापकों ने Amazon EFS और Netflix में cloud storage को बनाने और ऑपरेट करने के अनुभव के आधार पर Regatta विकसित किया
    • उन्हें EFS की सरलता और scalability पसंद थी, लेकिन Netflix में EFS का उपयोग कम था
    • local disk से NFS पर workloads ले जाने पर performance समस्याएँ आती थीं
    • cloud storage बाज़ार में block या file storage से हल न होने वाली समस्याओं को सुलझाने के लिए Regatta बनाया गया

  • Regatta की विशेषताएँ

    • यह usage-based pricing वाला cloud file system है, जो applications के साथ अपने आप scale होता है
    • यह S3 और native file formats के साथ automatically sync होता है, जिससे मौजूदा data sets से जुड़ना संभव है और S3 से सीधे file data का उपयोग किया जा सकता है
    • जो data उपयोग में नहीं है, उसे Regatta cache से हटा दिया जाता है, इसलिए केवल S3 storage की लागत देनी पड़ती है
    • टीम छोटे file workloads के लिए local जैसी performance और distributed data jobs के लिए Lustre जैसी scalable performance देने वाला custom file protocol विकसित कर रही है

  • तकनीकी कार्यान्वयन

    • ग्राहक NFSv3 के माध्यम से Regatta file system को mount करते हैं, और caching instances ग्राहक के S3 bucket से जुड़ते हैं
    • यह sub-millisecond cached read और write performance देता है, साथ ही strong consistency बनाए रखता है
    • directory rename जैसे जटिल operations को तेज़ और विश्वसनीय तरीके से संभालता है, और उन्हें asynchronously S3 bucket तक propagate करता है

  • उपयोग के उदाहरण और अपेक्षाएँ

    • इसका उपयोग AI researchers के लिए serverless Jupyter notebook server बनाने में किया जा रहा है
    • इसे S3 के ऊपर distributed caching layer की तरह इस्तेमाल किया जा रहा है, ताकि common files तक low-latency access मिल सके
    • Ceph boot volume को replace करके लागत में बचत देखी गई है
    • टीम user feedback और भविष्य की दिशा के लिए ideas का स्वागत करती है, और community की राय का इंतज़ार कर रही है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-19
Hacker News टिप्पणियाँ

  • Rclone और Regatta Storage के बीच फर्क यह है कि filesystem mutation operations के समय Regatta high-speed caching layer का उपयोग करके strong consistency देता है। Rclone में parallel clients के बीच consistency सुनिश्चित करने वाली कोई layer नहीं है

    • Regatta Storage filesystem mutation operations के समय high-speed caching layer का उपयोग करके strong consistency देता है
    • Rclone में parallel clients के बीच consistency सुनिश्चित करने वाली कोई layer नहीं है

  • यह YC से निकले सबसे शानदार products में से एक है, और यह कैसे काम करता है इस पर कई सवाल हैं

    • यह जानना है कि 10GB local disk पर 50GB range के data को संभालते समय performance degradation होता है या नहीं
    • यह जानना है कि AWS के अलावा दूसरे cloud में भी fast speed मिल सकती है या नहीं
    • FUSE और NFS mounts के उपयोग के तरीके को लेकर जिज्ञासा है
    • यह जानना है कि क्या Clickhouse या Postgres को Regatta volume पर चलाया जा सकता है
    • open source को लेकर उनकी सोच क्या है, यह जानना है
    • क्या इसे कई servers पर mount किया जा सकता है, और उसकी limitations क्या हैं, यह जानना है

  • GCP Filestore का उपयोग करके DuckDB host किया जा रहा है, और Regatta की pricing तथा performance के बारे में जानकारी मांगी गई है

    • 10 TiB instance की pricing और performance की जानकारी मांगी गई है

  • SQLite/DuckDB/parquet के backup disk के रूप में इसमें रुचि है, और instance-local NVMe storage पर cached reads चाहिए

    • NFS से नहीं मिलने वाली locking और shared memory functionality की जरूरत है
    • इसे सीधे user space में implement किया जा सकता है, लेकिन तब S3 का ही उपयोग किया जाएगा

  • NFS को protocol के रूप में उपयोग करना अच्छा विचार माना गया है

    • IBM में इसी तरह के concept वाला encrypted filesystem लिखने का अनुभव रहा है
    • filesystem mount करते समय यह महसूस होना कि सारा data "बस मौजूद है", जादुई लगता है

  • इस बात की चिंता है कि AWS इस product की नकल करके इसे और कम कीमत पर दे सकता है

  • 2008 में Adobe के CEO के सामने iPhone से ली गई photo के Mac पर अपने-आप file के रूप में दिखाई देने वाला demo सफलतापूर्वक दिखाने का अनुभव साझा किया गया है

    • FUSE का उपयोग करके Adobe के distributed object storage से बात करने वाला local FUSE implement किया गया था
    • Dropbox के लॉन्च के साथ distributed systems research and development शुरू किया गया था

  • यह जानना है कि क्या Lambda + SQLite + Regatta का उपयोग करके real-time ACID SQL storage बनाया जा सकता है

  • यह स्पष्ट नहीं है कि file update conflicts को कैसे handle किया जाता है

    • उदाहरण के लिए, अगर दो users अलग-अलग computers से एक ही file को update करें, तो final file कैसी होगी, यह जानना है

  • s3fs, rclone, goofys आदि जैसे उल्लेखनीय alternatives मौजूद हैं