AWS से EU के cloud पर माइग्रेट करना - लागत में 62% की कमी

 (hopsworks.ai)
9 पॉइंट द्वारा GN⁺ 2025-03-15 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Hopsworks ने AWS की ऊंची egress लागत को कम करने के लिए 2024 की चौथी तिमाही में सफलतापूर्वक OVHCloud पर माइग्रेट किया और लागत में 62% की कमी की
  • खासकर network egress लागत AWS में 1TB पर $90 थी, जबकि OVH में 1TB पर $11, यानी सिर्फ 1/8, और यही कुल लागत बचत का मुख्य कारण बना
  • AWS परिपक्व ecosystem और उच्च reliability देता है, लेकिन OVHCloud सरल pricing structure और कम लागत पर प्रतिस्पर्धी performance देता है
    • Managed Kubernetes: AWS → $0.10/घंटा/cluster ($72/माह) / OVHCloud → मुफ्त
    • Network egress लागत: AWS → $90 प्रति 1TB / OVHCloud → $11 प्रति 1TB (local zone में मुफ्त)
    • S3 storage: AWS → $2300/माह प्रति 1TB / OVHCloud → $800/माह प्रति 1TB
    • Put/Get request लागत: AWS → $566 प्रति 100 million request / OVHCloud → मुफ्त
    • Container registry: AWS → $212/माह प्रति 5TB / OVHCloud → $212/माह प्रति 5TB (600GB पर $44/माह)
    • Availability zone के बीच data transfer: AWS → $2000 प्रति 100TB / OVHCloud → मुफ्त
    • EBS instance: AWS → $81.92/माह प्रति 1TB → OVHCloud / $97.28/माह प्रति 1TB

Hopsworks परिचय

  • Hopsworks बड़े पैमाने के AI systems को develop और operate करने के लिए एक open platform है
    • किसी भी Kubernetes cluster पर deploy किया जा सकता है, जिसमें public cloud और standalone data center शामिल हैं
    • AWS Sagemaker, GCP Vertex, Databricks जैसे MLOps platforms के विकल्प के रूप में इस्तेमाल किया जा सकता है
    • SIGMOD24 research paper में बेहतर real-time AI performance और Python व Lakehouse के श्रेष्ठ integration पर जोर दिया गया
    • इसे ML के लिए पहला Feature Store माना जाता है
  • Data और compute support
    • Lakehouse layer: Delta Lake, Apache Hudi, Iceberg (जल्द समर्थन) का उपयोग → बड़े historical data storage और batch inference को support
    • Low-latency database RonDB: real-time AI workload और snowflake schema data model को support
    • Compute support: Kubernetes पर Python, Spark, Ray और GPU sharing/optimization को support
      • अपना compute भी उपलब्ध कराया जा सकता है → Hopsworks को data layer की तरह इस्तेमाल करके AI pipeline integrate की जा सकती है
    • Model registry और deployment support: KServe/vLLM पर model deploy किए जा सकते हैं
  • Hopsworks Serverless (premium version)
    • मुफ्त storage space उपलब्ध (50GB Lakehouse data, 100MB RonDB feature data)
    • अधिकतम 100 model registry और 2 model deployment को support
    • ज्यादातर मुफ्त storage space उपलब्ध, लेकिन compute resource मुफ्त नहीं → AWS hosting लागत लगभग $8K/माह के स्तर पर रखी जा सकती है

AWS से OVH में माइग्रेट करने का निर्णय क्यों लिया गया

  • Hopsworks Query Service के लॉन्च से data egress लागत बढ़ने की चिंता
    • Python client में Arrow और DuckDB का उपयोग → सैकड़ों MB से GB स्तर का data Pandas DataFrame में पढ़ा जा सकता है
    • AWS की egress लागत में तेज वृद्धि की संभावना → लागत बढ़ने का जोखिम पहचाना गया
  • OVHCloud पर माइग्रेट करने का निर्णय
    • OVH एक यूरोप-आधारित cloud provider है, जो सभी आवश्यक managed services देता है
      • managed Kubernetes, managed container registry, S3-compatible object storage उपलब्ध
    • Helm Charts का उपयोग कर OVH पर Hopsworks install किया गया → smooth operation की पुष्टि हुई
    • चूंकि ज्यादातर users North America में हैं, इसलिए North America में OVH infrastructure बनाए रखने का निर्णय लिया गया

लागत बचत का प्रभाव

  • OVH पर migration के बाद लागत में 62% की कमी
  • AWS की ऊंची egress लागत का बोझ कम हुआ
  • serverless environment में storage और compute performance बनाए रखते हुए cost efficiency में सुधार

AWS services से OVHCloud services पर माइग्रेशन

  • केवल Kubernetes और S3 पर dependency थी → design ऐसा रखा गया कि cloud-specific services पर निर्भरता न रहे
    • Observability stack: OpenSearch और OpenSearch Dashboards आधारित
    • Metrics stack: Prometheus और Grafana आधारित

Managed Kubernetes service तुलना

  • AWS और OVHCloud दोनों managed Kubernetes service देते हैं
    • AWS परिपक्व ecosystem और उच्च reliability देता है
    • OVHCloud इसे मुफ्त देता है, इसलिए लागत के लिहाज से बेहतर है
  • AWS में Amazon Elastic Kubernetes Service (EKS) उपलब्ध है, जो परिपक्व, व्यापक रूप से उपयोग किया जाने वाला, high availability और मजबूत ecosystem वाला service है। लेकिन cluster के control plane की लागत $0.10/घंटा है, जिससे लगभग $72/माह खर्च आता है
  • OVHCloud में OVHCloud Kubernetes (fully managed Kubernetes) उपलब्ध है, जिसकी stability अच्छी है, लेकिन etcd की 400MB capacity limit कुछ Kubernetes clusters में समस्या पैदा कर सकती है। हालांकि managed Kubernetes के control plane की लागत मुफ्त है

Network egress लागत तुलना

  • OVHCloud की network egress लागत बहुत कम है
    • OVHCloud में केवल कुछ नए region में ही egress लागत लगती है, और वह भी AWS के 1/8 स्तर पर
    • कई cloud region में egress लागत मुफ्त है (मार्च 2025 तक)
    • AWS में egress लागत बहुत अधिक होने से लागत का बोझ बढ़ता है
  • AWS दुनिया भर में service देता है, और data egress लागत $0.09/GB है, यानी 1TB transfer पर $90/माह का खर्च
  • OVHCloud यूरोप और North America में service देता है
    • "local zone" में egress लागत मुफ्त
    • अन्य region में $0.011/GB, यानी 1TB transfer पर $11 का खर्च

S3 storage service तुलना

  • AWS S3 की reliability और availability ऊंची है, लेकिन लागत भी ज्यादा है
    • AWS cloud-based object storage service में top-tier performance देता है
    • OVHCloud S3 reliability बनाए रखते हुए AWS की तुलना में लगभग एक-तिहाई लागत पर उपलब्ध है
  • AWS S3 को सबसे reliable services में माना जाता है, और storage लागत $0.023/GB है, यानी 100TB storage पर $2300/माह का खर्च
    • Put, Copy, List, Post के लिए $0.005 प्रति 1000 request, और GET, SELECT के लिए $0.0004 per 1000 request, यानी 100 million operations पर लगभग $566/माह का खर्च
  • OVHCloud S3 की reliability अच्छी है और storage लागत कम है
    • storage लागत $0.008/GB है, यानी 100TB storage पर $800/माह का खर्च
    • Put/Get operations पर कोई शुल्क नहीं

Container registry service तुलना

  • AWS ECR एक परिपक्व और scalable managed service है
    • यह highly scalable है और configuration भी flexible है
    • OVHCloud Harbor fixed pricing model पर है, इसलिए scalability में सीमाएं हो सकती हैं
  • AWS ECR scalable और mature service देता है
    • storage लागत $0.10/GB है, यानी 5TB storage पर $212/माह का खर्च
    • कुल मिलाकर service performance OVHCloud से बेहतर है
  • OVHCloud Harbor में concurrent connections की सीमा (45 या 90) है
    • storage लागत 600GB पर $44/माह, 5TB पर $212/माह
    • 5TB से अधिक storage capacity के लिए flexible scaling संभव नहीं

Availability zone के बीच data transfer लागत तुलना

  • Hopsworks availability zone (AZ) failure सहने के लिए instances के बीच service replication करता है
    • इससे अलग-अलग availability zone में मौजूद instances के बीच network traffic पैदा होता है
  • AWS में data transfer लागत $0.02/GB है (egress $0.01 + ingress $0.01)
    • 100TB transfer पर $2000/माह का खर्च
  • OVHCloud में availability zone के बीच data transfer लागत मुफ्त है

EBS instance तुलना

  • Hopsworks उन services के लिए EBS (Block Storage) का उपयोग करता है जिन्हें persistent volume चाहिए
    • AWS में Elastic Block Storage का उपयोग
    • OVH में Ceph-आधारित Block Storage का उपयोग
    • कुछ instances local NVMe disk का उपयोग करते हैं → OVH छोटे storage (1~4TB) पर अधिक throughput देता है
  • AWS ज्यादा प्रकार के instances देता है, लेकिन NVMe local storage केवल बड़े disk पर उपलब्ध है
    • लागत $0.08/GB, यानी 1TB पर $81.92/माह
  • OVHCloud में instance types कम हैं, लेकिन छोटे storage पर NVMe performance बेहतर है
    • लागत $0.095/GB, यानी 1TB पर $97.28/माह

वास्तविक migration प्रक्रिया

  • Maintenance schedule की सूचना
    • 26 नवंबर 2024 को 24 घंटे का maintenance window घोषित किया गया
  • Backup और migration execution
    • Hopsworks cluster को AWS S3 bucket में backup करने के बाद OVHCloud के S3 bucket में migrate किया गया
    • कुछ downtime हुआ, लेकिन migration बिना समस्या के पूरा हुआ
  • Testing और operations फिर से शुरू
    • Helm charts से OVH पर Hopsworks cluster deploy किया गया
    • testing process के बाद कोई समस्या न मिलने पर login फिर से शुरू किया गया
    • migration के बाद user accounts में कोई समस्या नहीं हुई

सारांश

  • 2024 की चौथी तिमाही में AWS से OVHCloud पर हजारों users का migration पूरा किया गया
  • OVH और Hopsworks दोनों यूरोप में विकसित technologies हैं, लेकिन Hopsworks serverless service North America में दी जाती है, जहां इसके ज्यादातर users हैं
  • OVH की सरल और कम pricing structure आकर्षक है
    • केवल network egress ही नहीं, बल्कि ज्यादातर services की लागत भी कम है
    • overall service quality भी अच्छी है

संबंधित पढ़ाई

2 टिप्पणियां

 
kaydash 2025-03-15

AWS की एक बड़ी ताकत यह भी है कि उसके पास बहुत सारे references हैं।
लेकिन जब enterprise applications चलाने की बात आती है,
तो लगता है कि इसकी लागत वाकई बहुत ज़्यादा है।
अगर दूसरे CSPs में भी references पर्याप्त हों और stability सुनिश्चित हो, तो कम लागत होने पर migration पर विचार किया जा सकता है।
 
GN⁺ 2025-03-15
Hacker News टिप्पणियाँ

  • OVH को AWS की तुलना में सस्ता hosting provider माना जाता है। यह जानने की उत्सुकता है कि क्या यह engineering और high availability के मामले में इसकी भरपाई कर रहा है

    • मैं एक consulting company में cloud infrastructure सेटअप करने और security को मजबूत करने का काम करता हूँ
    • कई ग्राहक AWS, Azure, GCP से लेकर छोटे regional cloud providers तक अलग-अलग platforms का उपयोग करते हैं
    • छोटे cloud provider का उपयोग करने पर लागत लगभग आधी की जा सकती है, लेकिन इसके लिए अनुभवी engineers की ज़रूरत पड़ सकती है
    • कई छोटी कंपनियाँ AWS पर केंद्रित रहती हैं, लेकिन अगर आप AWS-specific services का उपयोग करते हैं तो बाद में कहीं और migrate करना आसान नहीं होता

  • कनाडा में हम AWS से बाहर निकलने पर विचार कर रहे हैं। OVH की कनाडा में प्रतिष्ठा अच्छी नहीं है

    • RDS-postgres का भरोसेमंद alternative सबसे बड़ी चिंता है
    • लागत मुख्य चिंता नहीं है, लेकिन cost saving एक अच्छा side effect है
    • आवश्यकताएँ: अच्छा OpenTofu (या Terraform) support, reliability, अच्छा managed database, कनाडा data center

  • टीम के एक सदस्य के रूप में, migration को लेकर कोई सवाल हों तो मैं खुशी से चर्चा के लिए तैयार हूँ

  • हमारी company भी OVH का उपयोग कर रही है। यह काफ़ी ठीक है और सस्ता भी है

    • कमी यह है कि 6 साल पहले data center में बिजली की समस्या हुई थी और पूरा दिन downtime रहा था
    • अब हमने कई cloud providers का उपयोग करने वाली architecture में बदलाव किया है और AWS से कम लागत पर चला रहे हैं

  • AWS के साथ 3 साल काम करने के बाद, AWS एक ठीक-ठाक business partner है

    • यह महँगा है और ज़्यादातर चीज़ें ठीक चलती हैं, लेकिन reliability की बारीकियों में अंतर महसूस किया जा सकता है
    • यूरोप और अमेरिका के बीच संबंध बिगड़ने से cloud services के हथियार की तरह इस्तेमाल होने की संभावना है

  • अगर आँकड़े मेल खाते हैं और migration संभव है, तो यह अच्छा है

    • backup plan पक्का होना चाहिए। OVH में आग लगने से data खोने की घटना हो चुकी है

  • मैंने personal projects में OVH का उपयोग किया था, लेकिन बंद कर दिया। यह iCloud Private Relay network के IPs को random तरीके से block कर देता है

    • email service का SPF record गलत सेट है
    • 1 साल से अधिक समय तक यह ठीक नहीं हुआ, इसलिए email कहीं और migrate कर दिया

  • OVH में data migrate करते समय, सारा data किसी दूसरे provider पर backup रखना चाहिए

    • OVH के data center में आग लगने की घटना में backup भी साथ में नष्ट हो गया था

  • जिज्ञासा है कि OVH की जगह Scaleway.com क्यों चुना गया

    • Scaleway भी एक यूरोपीय कंपनी है और AWS की कई managed services के लगभग समकक्ष services प्रदान करती है

  • AWS या Azure पर टिके रहने की कोई खास वजह नहीं है, लेकिन alternatives की marketing कम होने से management को मनाना मुश्किल होता है