क्लाउड egress लागत
(getdeploying.com)- डेटा egress वह ट्रैफ़िक है जो क्लाउड के बाहर जाता है, और डाउनलोड या क्लाउडों के बीच स्थानांतरण जैसे बड़े पैमाने के ट्रांसफ़र बढ़ने पर यह बिल में तेज़ी से बढ़ सकता है
- बिलिंग आमतौर पर मासिक GB/TB ट्रांसफ़र मात्रा के आधार पर होती है, जबकि क्लाउड में आने वाला ingress प्रायः मुफ़्त होता है, इसलिए लागत संरचना असममित होती है
- 1TB से अधिक egress के लिए Runpod, GPUhub, Civo और Lambda Labs मुफ़्त व असीमित हैं, जबकि AWS $90, Google Cloud $120, Vercel $150, और Netlify $550 तक पहुँचते हैं
- तुलना की रकम क्षेत्र और शर्तों के अनुसार बदल सकती है, और North Virginia या Frankfurt के करीब के क्षेत्रों को आधार बनाकर कई मान्यताओं पर निकाला गया अनुमान है, इसलिए नवीनतम कीमत की पुष्टि ज़रूरी है
- लागत घटाने के लिए CDN caching, compression, transfer pooling, usage alerts, और उसी data center या region के भीतर private networking पर विचार करें, साथ ही NAT gateway जैसी अतिरिक्त फ़ीस भी जाँचें
डेटा egress कैसे बिल किया जाता है
- डेटा egress वह डेटा है जो नेटवर्क छोड़ता है, और अधिक विशेष रूप से क्लाउड provider के नेटवर्क से public internet की ओर जाने वाले डेटा को कहा जाता है
- जब उपयोगकर्ता क्लाउड से डेटा डाउनलोड करते हैं, या एक क्लाउड provider से दूसरे क्लाउड provider को डेटा भेजा जाता है, तो यह इसी श्रेणी में आता है
- शुल्क आमतौर पर नेटवर्क के बाहर भेजे गए डेटा की मात्रा के आधार पर लिया जाता है
- माप की इकाई आमतौर पर मासिक GB या TB ट्रांसफ़र होती है
ingress और egress में अंतर
- क्लाउड provider के दृष्टिकोण से डेटा ट्रांसफ़र दो प्रकार का होता है
- ingress: नेटवर्क में आने वाला डेटा, जो आमतौर पर मुफ़्त होता है
- egress: नेटवर्क से बाहर जाने वाला डेटा, जिस पर आमतौर पर शुल्क लिया जाता है
- जब उपयोगकर्ता क्लाउड storage में फ़ाइल अपलोड करता है, तो क्लाउड provider के नज़रिए से वह ingress होता है
- उसी फ़ाइल को डाउनलोड करने पर provider के नेटवर्क से उपयोगकर्ता या CDN जैसी मध्यवर्ती परत की ओर डेटा जाता है, इसलिए egress शुल्क लग सकता है
provider egress शुल्क क्यों लेते हैं
- क्लाउड provider नेटवर्क के बाहर डेटा भेजने के लिए infrastructure और bandwidth की लागत उठाते हैं
- नेटवर्क की गुणवत्ता और लागत संरचना provider के अनुसार अलग हो सकती है
- कुछ providers के ISP के साथ बेहतर peering agreements हो सकते हैं या उनके पास अधिक स्थिर network infrastructure हो सकता है
- egress शुल्क ऐसे उपयोग पैटर्न को सीमित करने के साधन के रूप में भी इस्तेमाल हो सकता है जो नेटवर्क को संतृप्त कर दें, या जिनमें क्लाउड providers के बीच लगातार बड़े पैमाने पर डेटा स्थानांतरित किया जाता हो
1TB से अधिक egress लागत की तुलना
- मुफ़्त allowance से अधिक 1TB egress की लागत provider के अनुसार काफ़ी अलग है
- कुछ providers मुफ़्त या लगभग पूरी तरह मुफ़्त हैं
- Runpod, GPUhub: मुफ़्त·असीमित
- Civo, Lambda Labs: मुफ़्त·असीमित
- Cloudflare: अधिकांश services में मुफ़्त
- Gcore: server egress मुफ़्त, CDN में 1TB शामिल, उसके बाद €0.030/GB
- Scaleway: अधिकांश services में मुफ़्त, instance size के अनुसार bandwidth limit होती है
- कुछ providers कम दर वाले माने जाते हैं
- Hetzner: प्रति instance प्रति माह 1~60TB मुफ़्त, अतिरिक्त 1TB लगभग $1.14 या €1/TB
- Akamai Cloud: प्रति instance प्रति माह 1~20TB मुफ़्त, अतिरिक्त 1TB $5.00
- Oracle Cloud: प्रति माह 10TB मुफ़्त, अतिरिक्त 1TB $8.50
- Backblaze, DigitalOcean, Vultr: अतिरिक्त 1TB $10.00
- प्रमुख क्लाउड और platforms की 1TB अतिरिक्त लागत अधिक है
- Azure: प्रति माह 100GB मुफ़्त, Premium network North America के आधार पर $87.00
- AWS: प्रति माह 100GB मुफ़्त, North America के आधार पर $90.00
- Google Cloud: service के अनुसार अलग, Premium network के आधार पर $120.00
- Vercel: plan के अनुसार 100GB~1TB मुफ़्त, Edge के आधार पर $150.00
- Firebase: प्रति माह 10GB मुफ़्त, $200.00
- Render: plan के अनुसार 100GB~1TB मुफ़्त, 100GB पर $30 शुल्क, इसलिए 1TB $300.00
- Netlify: plan के अनुसार 100GB~1TB मुफ़्त, 100GB पर $55 शुल्क, इसलिए 1TB $550.00
- कीमतें क्षेत्र और अन्य शर्तों के अनुसार बदल सकती हैं
- तुलना North Virginia या Frankfurt के करीब के क्षेत्रों के आधार पर की गई है
- यह कई मान्यताओं पर आधारित अनुमान है, इसलिए नवीनतम जानकारी के लिए हर provider के pricing page को देखना चाहिए
egress लागत कम करने के तरीके
- अधिकांश क्लाउड providers हर महीने कुछ मात्रा में मुफ़्त egress देते हैं
- यह पूरे account allowance के रूप में मिल सकता है
- या server count के अनुसार प्रति server मासिक ट्रांसफ़र pooled हो सकता है
- उपयोग पैटर्न और provider चयन के आधार पर egress शुल्क को पूरी तरह टाला या न्यूनतम किया जा सकता है
- CDN का उपयोग करने से static assets को उपयोगकर्ता के नज़दीक cache करके serve किया जा सकता है, जिससे क्लाउड provider से उपयोगकर्ता तक सीधे जाने वाले डेटा की मात्रा घटती है
- compression ट्रांसफ़र से पहले डेटा का आकार घटाकर ट्रांसफ़र मात्रा कम करने का तरीका है
- Gzip और Brotli इसके प्रमुख compression algorithms हैं
- ऐसा क्लाउड चुनने पर जो data transfer pool देता हो, एक ही account के भीतर कई services की allowance को मिलाकर इस्तेमाल किया जा सकता है
- usage और billing alerts सेट करने पर मुफ़्त allowance या किसी निर्धारित threshold के पास पहुँचने पर सूचना मिल सकती है
- एक ही data center या region के भीतर private network का उपयोग करने पर services के बीच egress मुफ़्त हो सकता है
- हालांकि NAT gateway शुल्क या अन्य अतिरिक्त लागत लागू हो सकती है, इसलिए इसकी जाँच ज़रूरी है
1 टिप्पणियां
Hacker News की राय
egress traffic cost कई संगठनों के लिए अभी कुछ समय तक पूरी तरह cloud provider पर न जाने का एक अच्छा कारण है
storage cost के विपरीत, इसका कोई स्पष्ट वास्तविक लागत-आधारित कारण नहीं दिखता, और यह बस कुछ मामलों में प्रतिस्पर्धी के पास जाने की लागत को असहनीय बनाने वाला प्रभाव लगता है, जो अजीब है
उदाहरण के लिए, जहाँ मैं काम करता हूँ वह एक कंपनी distribution partners तक creative assets पहुँचाने का काम करती है, और हर महीने लगभग 180TB egress करती है, औसतन करीब 500Mb/s के स्तर पर
यह कंपनी commercial datacenter में 2 rack चलाती है, 10Gb/s Ethernet-over-DWDM से जुड़ी हुई, और हर datacenter में 2x512Mb/s और 1x1Gb/s internet uplink है
हर rack में सामान्य OEM server के 2 unit हैं, जिनमें लगभग 64 AMD Zen core, 1/2TB RAM, लगभग 8TB NVMe, और लगभग 100TB SAS RAID6 storage है
सिर्फ AWS egress cost बचाने से ही इस setup को सही ठहराया जा सकता है, और maintenance engineer की लागत शामिल करने पर भी पूरी तरह संभव है। असली operational effort भी न्यूनतम स्तर का दिखता है
इसलिए जिज्ञासा होती है कि क्या cloud provider एक बड़ा बाज़ार खो रहे हैं, या मौजूदा ग्राहकों पर लगाया जाने वाला margin ही इतना लाभदायक है
मान लीजिए आप AWS इस्तेमाल कर रहे हैं और ऐसा SaaS इस्तेमाल करना चाहते हैं जिसमें मध्यम से बड़े स्तर का data move होता हो, तो उदाहरण के लिए https://www.snowflake.com/en/data-cloud/pricing-options/ जैसी choice सामने आती है
हैरानी की बात है कि आप AWS, Azure, GCP में से चुन सकते हैं। Snowflake इन clouds के ऊपर host करने के लिए बड़ा पैसा चुकाता है, और वह लागत ग्राहकों पर डाल देता है
Snowflake बड़ा है, इंजीनियर भी बहुत हैं, और पहले से तीनों clouds support करता है, इसलिए वह स्पष्ट रूप से cloud-neutral है। अगर वह physical facility खुद चलाए तो यह बहुत सस्ता होगा, NVMe की वजह से performance भी बेहतर हो सकती है, और वह बचत ग्राहकों के साथ बाँट भी सकता है
फिर भी वह ऐसा नहीं करता, क्योंकि मुझे लगता है कि customer से Snowflake तक जाने वाली egress cost उस बचत को खत्म कर देगी, और लागत की अनिश्चितता ग्राहकों को डरा देगी
आखिरकार, जिस तरीके से ग्राहक egress cost से बचना चाहते हैं, वही खुद बड़े cloud providers के लिए बहुत पैसा बनाता है। regulators को इसे बहुत सावधानी से देखना चाहिए, लेकिन cloud के नज़रिए से यह शानदार business decision है
लेकिन पहले ही महीने सिर्फ egress traffic cost का 25,000 डॉलर वाला AWS bill आ गया, और पता चला कि data तीन बार AWS के बाहर जा रहा था
यह internet line जोड़ने जैसा ही है, और AWS कई third-party carrier-neutral datacenter में Direct Connect चलाता है
Direct Connect के जरिए AWS egress, public internet के $0.09/GB के बजाय $0.02/GB है
आप ग्राहकों को बिना अतिरिक्त शुल्क वाली internet line पर service दे सकते हैं, और backend में Direct Connect के जरिए S3 जैसी services तक पहुँच सकते हैं
consumer ISP कभी-कभी खुले internet exchange के साथ peering न करने की पूरी कोशिश करते हैं, और अगर आप ऐसे region में जाएँ जहाँ bandwidth महँगी है, जैसे Oceania, तो मामला और ज़्यादा जटिल हो जाता है
Cloudflare sales जिस chart को value समझाने के लिए अक्सर दिखाती है, वह Argo Smart Routing है, उसके पीछे वजह है, और AWS या GCP में लगभग 100 डॉलर प्रति TB लगने के पीछे भी यही कारण है
समस्या यह है कि software engineer की कई पीढ़ियाँ ऐसी आ चुकी हैं जिन्हें bandwidth pricing कैसे होती है, इसका पता ही नहीं है
उन्होंने सिर्फ managed providers ही इस्तेमाल किए हैं जो incoming/outgoing पर प्रति GB कुछ cents के हिसाब से charge करते हैं
लेख में कहा गया है कि “cloud provider network के बाहर data भेजने के लिए egress charge करते हैं क्योंकि इसमें लागत आती है। उन्हें users तक data भेजने के लिए ज़रूरी infrastructure और bandwidth की कीमत चुकानी पड़ती है,” लेकिन बड़े providers के मामले में pricing लागत-आधारित नहीं है
वे इतना ज़्यादा charge इसलिए करते हैं क्योंकि वे ग्राहकों और data को अपने platform से चिपकाए रखना चाहते हैं। data को move करना platform छोड़ने जैसा है, इसलिए वे ऊँची लागत से ऐसे व्यवहार को हतोत्साहित करते हैं
Bandwidth Alliance मौजूद है, और सूची में कई cloud companies हैं: https://www.cloudflare.com/en-gb/bandwidth-alliance/
असली जवाब काफ़ी ज़्यादा जटिल है। उदाहरण के लिए Google Cloud bandwidth के दो tier देता है: premium और standard
मूल लेख की गणना शायद default option यानी premium को मानकर की गई है, और स्वाभाविक रूप से वह काफ़ी महँगा है
Google Cloud का “premium” bandwidth, AWS Global Accelerator से बहुत मिलता-जुलता है, क्योंकि इसमें traffic को Google के अपने backbone network पर जितना हो सके उतना देर तक रखा जाता है, और फिर अंतिम user ISP और Google के बीच सबसे नज़दीकी peering point पर निकाला जाता है
AWS Global Accelerator में कुछ और विकल्प भी हैं, इसलिए बुनियादी तौर पर यह अलग product है, लेकिन routing characteristics के लिहाज़ से यह AWS की किसी भी दूसरी offering की तुलना में GCP premium bandwidth के ज़्यादा करीब है
क्योंकि ग्राहक egress cost चुकाना नहीं चाहते हैं
अगर आपने किसी cloud provider को बहुत पैसे दिए हों, और फिर पता चले कि आपका application किसी पुराने साधारण web hosting provider पर सबसे अच्छा चलता है और सबसे सस्ता भी पड़ता है, तो अपना पैसा और data किसी independent web host के पास ही छोड़ना बेहतर है
कम से कम यूरोप में, छोटे web host बड़े समूहों में समाहित हो रहे हैं, संभवतः private equity के निर्देशन में चलने वाले बड़े providers में। वे फिर तुरंत कीमतें कई सौ प्रतिशत बढ़ा देते हैं
पिछले 3~4 सालों में मैंने Netherlands के कई web host के साथ यह कई बार झेला है, और हाल ही में एक जगह का मासिक bill लगभग 3 यूरो से बढ़कर लगभग 18 यूरो हो गया
जब भी मैं “egress cost” की बात पढ़ता हूँ तो आमतौर पर हँसी आती है। मेरा data मेरा data है, तो उसे मेरी hard disk से निकालने के लिए मुझे पैसे क्यों देने चाहिए, यह समझ नहीं आता
लेकिन अब मेरे use case पर भी बादल मंडराने लगे हैं। web host एक-एक करके consolidate हो रहे हैं, AWS की नकल करते हुए कीमतें बहुत बढ़ा रहे हैं, और आखिरकार egress fee भी ले आएँगे—अब इस पर शक करना मुश्किल है
अधिग्रहण के बाद उन्होंने “नई pricing structure के अनुसार हम आपका plan upgrade कर रहे हैं” जैसी चिकनी-चुपड़ी भाषा वाला email भेजा, और लगभग 2 साल के भीतर हमें 450 यूरो सालाना देना पड़ने लगा
कुछ ही सालों में 9 गुना बढ़ोतरी Netherlands में private equity शैली की सबसे बेशर्म हरकतों में से एक थी, और इस बात से सहमत हूँ कि बेतुकी egress fee जोड़ना भी बस समय की बात है
तब समझ आएगा कि network bandwidth सीमित resource है, उसके लिए भुगतान करना पड़ता है, और उसे ग्राहकों में बाँटना भी पड़ता है
जब ग्राहक गलती से उसे अनंत मान लेते हैं, तो इस सीमित चीज़ को सीमित रखने और बाँटने का सबसे आसान तरीका billing है, और वही कीमत लेना है जो demand को नियंत्रित कर सके
एक चालाकी पर ध्यान देना चाहिए। भले ही कोई cloud provider egress सस्ता दे, वह instance network speed सीमित करके high-egress workload को महँगा बना सकता है
कई vendor ऐसा करते हैं कि अगर किसी एक component पर saturation आ जाए, तो आपको पूरा instance बड़ा करना पड़ता है। उदाहरण के लिए, भले ही आपको ज्यादा CPU न चाहिए, network throughput बढ़ाने के लिए 2 CPU instance से 4 CPU instance पर जाना पड़े
ऊपर से देखने पर egress सस्ता लगता है और instance भी hardware के मुकाबले अच्छी कीमत पर दिखता है, लेकिन अगर आपका workload balanced instance—जैसे 1 CPU / 1 GB RAM / अन्य अनुपात—नहीं चाहता, तो pricing अजीब हो सकती है
Oracle Cloud, Google, Microsoft और Amazon की तुलना में उसका केवल एक हिस्सा ही charge करता है
सोचता हूँ Oracle इतनी कम लागत कैसे बनाए रखता है। या फिर क्या बाकी कंपनियाँ दाम इसलिए फुलाती हैं ताकि ग्राहक competitor के पास न जा सकें?
अगर ऐसा है, तो Oracle इस तरह की vendor lock-in प्रथा न अपनाने के लिए तारीफ़ का हकदार है
Oracle की भी egress fee पर margin काफी अच्छा होने की संभावना है
AWS/GCP/Azure की pricing बेतुकी इसलिए है क्योंकि बहुत-से ग्राहकों के लिए running cost के दौरान यह बड़ी रकम नहीं होती, लेकिन data बाहर ले जाते समय यह इतना महँगा हो जाता है कि वे वहन नहीं कर पाते
इनके लिए यह बस vendor lock-in का एक tool है
OVHCloud में यह मुफ़्त है: https://us.ovhcloud.com/public-cloud/faq/
एक data company के रूप में हमें Scaleway, Hetzner और OVH से बहुत लाभ मिला है
हालाँकि Scaleway का US infrastructure जोड़ने का कोई plan नहीं है, और मुझे नहीं पता कि Hetzner की US में कितनी मौजूदगी है
इसलिए उसी लागत पर ज्यादा bandwidth देना हैरान करने वाली बात नहीं है
Hetzner का ARM offering 2xvCPU, RAM 4GB, storage 40GB, egress 20TB सिर्फ 3.79 यूरो प्रति माह में देता है, इसलिए छोटे और मध्यम websites के लिए इसकी value को हराना मुश्किल है
आपको तथाकथित wallet denial attack से सुरक्षित रहने में सक्षम होना चाहिए
मुझे पता ही नहीं था कि यह इतना पागलपन की हद तक महँगा है। मैं Google Fiber internet से जुड़े Synology NAS website पर 1TB फिल्मों वाला folder रख सकता हूँ और मेरा दोस्त उसे मुफ़्त में डाउनलोड कर सकता है
लेकिन अगर वही website Google Cloud पर host करूँ तो वे $111.60 charge करेंगे? समझ नहीं आता ऐसी pricing संभव कैसे है
और cloud data center में reliability में एक 9 और जुड़ जाता है
आम तौर पर commercial application चलाना भी मना होता है
Google Fiber का network बेहतरीन है, लेकिन उसके exchange points US के भीतर केवल कुछ दर्जन जगहों पर हैं
Google Cloud customer होने पर egress traffic दुनिया के किनारों तक Google network पर चलता है, और सैकड़ों interconnect points तथा exchanges का उपयोग करता है
संभवतः traffic अंतिम उपयोगकर्ता से कुछ मील की दूरी तक पहुँचने से पहले तक private network पर ही रहता होगा
यह सेब और हीरे की तुलना करने के ज्यादा करीब है
Google Cloud की तरफ़ की गणना में यह जानना ज़रूरी है कि वह Premium Networking विकल्प है या Standard Networking
दोनों में बहुत फ़र्क है। Standard Network, AWS egress के ज़्यादा क़रीब है, और GCP का Premium विकल्प डिफ़ॉल्ट रूप से local PoP और Google backbone की dark fiber का इस्तेमाल करके origin तक कनेक्ट करता है
Google Cloud के मामले में, अगर आप वहाँ से जाना चाहते हैं, तो यह भी याद रखना चाहिए कि वास्तव में egress cost के बिना migrate किया जा सकता है: https://cloud.google.com/blog/products/networking/eliminatin...
इससे सामान्य egress cost नहीं बदलती, लेकिन संभव है कि यह anti-competitive practices के आरोप से बचने के लिए एक अस्थायी उपाय हो