AWS में डेटा ट्रांसफर लागत में भारी कटौती

 (bitsand.cloud)
5 पॉइंट द्वारा GN⁺ 2024-01-16 | 1 टिप्पणियां | WhatsApp पर शेयर करें

AWS में डेटा ट्रांसफर लागत को 99% तक कम करने का तरीका

  • AWS में डेटा ट्रांसफर करते समय गलती से बहुत ज़्यादा खर्च हो जाना आसान है, खासकर अगर डेटा ट्रांसफर पर ध्यान न दिया जाए तो लागत काफी बढ़ सकती है।
  • AWS डेटा ट्रांसफर के लिए निम्नलिखित शुल्क लेता है:
    • AWS से सार्वजनिक इंटरनेट पर डेटा ट्रांसफर करने पर, region के अनुसार, प्रति GB $0.09 से $0.154 तक शुल्क लगता है।
    • AWS regions के बीच डेटा ट्रांसफर पर प्रति GB $0.02 से $0.147 तक शुल्क लगता है, और यह उस डेटा ट्रांसफर की लागत है जो AWS network से बाहर नहीं जाता।
    • एक ही AWS region के भीतर availability zones के बीच डेटा ट्रांसफर पर प्रति GB $0.01 का खर्च आता है, और यह सभी regions में समान है।

AWS PrivateLink और VPC endpoints का उपयोग

  • AWS PrivateLink और VPC endpoints का उपयोग करने से यह सुनिश्चित किया जा सकता है कि डेटा AWS network से बाहर न जाए, जो कीमत के साथ-साथ security के लिहाज़ से भी उपयोगी है।
  • ये सुविधाएँ मुफ्त नहीं हैं और इनकी अपनी सीमाएँ तथा pricing complexity है, लेकिन इसकी विस्तृत जानकारी AWS और Vantage पर देखी जा सकती है।

S3 के जरिए डेटा ट्रांसफर लागत को बायपास करना

  • S3 की अधिकांश storage classes डेटा को availability zone की बजाय region स्तर पर स्टोर करती हैं।
  • S3 One Zone-Infrequent Access और S3 Express One Zone जैसी कुछ storage classes डेटा को केवल एक single availability zone में स्टोर करती हैं।
  • एक standard S3 bucket में स्टोर किया गया डेटा सभी AWS availability zones से समान रूप से उपलब्ध होता है, और S3 से डेटा डाउनलोड करना मुफ्त है (सिर्फ region के बीच या सार्वजनिक इंटरनेट पर डेटा ट्रांसफर होने पर standard data transfer शुल्क लगता है)।

डेमो

  • pricing measurement में noise न रहे, इसके लिए एक नया AWS account बनाया गया।
  • दो प्रयोग किए गए:
    1. पहले प्रयोग में, दो EC2 instances को private subnet वाले VPC में रखा गया, और us-east-1a instance से us-east-1b instance तक 1TB फ़ाइल ट्रांसफर की गई।
    2. दूसरे प्रयोग में, S3 Gateway endpoint वाले VPC में दो instances रखे गए, us-east-1a instance से S3 bucket में 1TB फ़ाइल upload की गई, और फिर us-east-1b instance से वह फ़ाइल download की गई।

परिणाम

  • standard data transfer प्रयोग में अपेक्षा के अनुसार $20 की लागत आई।
  • S3-आधारित डेटा ट्रांसफर प्रयोग में storage cost के रूप में सिर्फ कुछ cents लगे, और वास्तव में S3 storage cost बिल्कुल भी charge नहीं की गई।

निष्कर्ष

  • AWS, S3 डेटा को availability zones के बीच replicate करता है, और इसकी लागत S3 storage cost में शामिल होती है।
  • डेटा को S3 पर upload करने के तुरंत बाद delete करके 99% लागत बचत हासिल की जा सकती है।
  • यह तरीका मौजूदा data transfer code का विकल्प नहीं है, और इसमें direct network connection की तुलना में अधिक latency हो सकती है, लेकिन अगर मुख्य चिंता cost saving है, तो यह एक प्रभावी तरीका है।

GN⁺ की राय

  • यह लेख AWS में डेटा ट्रांसफर लागत कम करने का एक रचनात्मक तरीका प्रस्तुत करता है, जिससे cloud services का उपयोग करने वाली कंपनियों या व्यक्तियों को बड़ी बचत हो सकती है।
  • खास तौर पर S3 का उपयोग करके डेटा ट्रांसफर करने का तरीका, AWS के भीतर डेटा मूव करते समय आने वाली लागत को काफी कम करने की एक प्रभावी रणनीति है।
  • इस तरह की cost-saving विधि cloud infrastructure को optimize करना चाहने वाले enterprise के cloud architects या system administrators के लिए बेहद उपयोगी जानकारी देती है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-16
Hacker News की राय

  • Lightsail इंस्टेंस का उपयोग करने का तरीका

    • Lightsail इंस्टेंस का उपयोग AWS resources (जैसे EC2 instances या S3 buckets) से डेटा को "proxy" करने के लिए किया जा सकता है.
    • हर Lightsail इंस्टेंस कीमत में शामिल एक निश्चित data transfer quota देता है ($3.5 इंस्टेंस के लिए 1TB, $5 इंस्टेंस के लिए 2TB आदि).
    • $10 इंस्टेंस 3TB ट्रैफिक देता है, इसलिए इसकी cost-effectiveness सबसे अच्छी है.
    • EC2 में 3TB ट्रैफिक की लागत $276.48 है, जबकि S3 bucket में इसकी लागत $69 है.
    • नुकसान: Lightsail इंस्टेंस इस्तेमाल करने पर आने वाला और जाने वाला, दोनों ट्रैफिक "traffic" के रूप में गिने जाते हैं.

  • लागत बचाने वाली ट्रिक्स पर चेतावनी

    • लागत कम करने और free resources पाने के लिए कई तरह की ट्रिक्स मौजूद हैं.
    • ये तरीके चतुर हैं, लेकिन भरोसेमंद नहीं हैं.
    • यह OSS repositories के जरिए GitHub Actions में cryptocurrency mining जैसी ही तरह की hacking है.
    • इसे एक दिलचस्प hacking exercise की तरह देखें, लेकिन इसे असली product में deploy न करें, क्योंकि AWS account suspend होने का जोखिम है.

  • VPS के बजाय cloud solution इस्तेमाल करने पर विचार

    • VPS इस्तेमाल करते समय high availability की समस्या को कैसे हल किया जाता है?
    • छोटा business भी हमेशा चालू रहना चाहिए.
    • आम तौर पर दो या उससे अधिक VPS instances पर एक जैसी infrastructure सेट की जाती है और load balancing की जाती है.

  • S3 storage cost की गणना

    • S3 storage cost GB-month के आधार पर charge की जाती है.
    • अगर 1TB डेटा एक घंटे तक bucket में रहता है, तो लागत लगभग 3 सेंट होती है.
    • डेटा delete होने से ठीक पहले लागत इससे भी कम हो सकती है.
    • cost and usage report में TimedByteStorage value निर्णायक होती है.

  • GCP में इसी तरह का loophole patch

    • GCP ने 2023 में users के दुरुपयोग के कारण ऐसा ही एक loophole patch किया था.
    • अगर AWS पर भी यह व्यवहार व्यापक हो जाता है, तो उससे भी ऐसे ही कदम उठाने की उम्मीद है.

  • cloud लागत कम करने के अतिरिक्त सुझाव

    • अगर आप बड़े AWS customer हैं, तो discount माँगा जा सकता है.
    • सब कुछ एक availability zone (AZ) में रखना लागत कम करने में मदद कर सकता है.
    • कई AZ इस्तेमाल करने पर load को ध्यान में रखकर AZ balancing की जाती है.

  • cloud के विकल्प

    • जटिल और महंगी cloud services इस्तेमाल करने के बजाय खुद host करना, या Cloudflare जैसी बिना data transfer fee वाली services इस्तेमाल करना, या सस्ती VPS hosting services लेना एक विकल्प हो सकता है.
    • अगर आप cloud cost analysis की जरूरत वाले चरण तक पहुँच गए हैं, तो cloud इस्तेमाल करने पर फिर से विचार करना चाहिए.

  • AWS की जटिलता और optimization की समस्या

    • AWS बहुत जटिल है, इसलिए ग्राहक के लिए किसी एक पहलू में optimize करना मुश्किल होता है.
    • अगर बहुत सारे लोग ऐसी ट्रिक्स इस्तेमाल करने लगें, तो AWS loophole बंद कर सकता है.

  • ज्यादा bandwidth उपयोग के मामलों में विकल्प

    • Leaseweb, PhoenixNAP, Hetzner, OVH जैसी services पर विचार करें, जहाँ bandwidth की कीमत काफी कम है.
    • AWS की bandwidth pricing पर कभी-कभी बातचीत की गुंजाइश भी नहीं होती.

  • ECR का उपयोग करने वाली ट्रिक

    • ECR का उपयोग करके हर महीने इंटरनेट पर 5TB तक मुफ्त transfer किया जा सकता है.
    • container images public होनी चाहिए, लेकिन उनकी contents को encrypt किया जा सकता है.
    • यह Glacier में media archive स्टोर करते समय उपयोगी है.