Fly.io, अब GPU के साथ

 (fly.io)
1 पॉइंट द्वारा GN⁺ 2024-02-14 | 1 टिप्पणियां | WhatsApp पर शेयर करें

AI वाकई शानदार है

  • Fly.io एक नई public cloud service है, जो computing power को users के नज़दीक तैनात कर सकती है.
  • अब GPU का उपयोग करके edge computing environment में AI workloads को संभाला जा सकता है.
  • Fly.io users को full-stack apps या Fly Machines API पर आधारित development platform को users के पास चलाने की सुविधा देता है.

Fly.io GPU के वास्तविक उपयोग के उदाहरण

  • Fly.io के cloud backbone पर अपना code और पसंदीदा models deploy किए जा सकते हैं.
  • Fly.io GPU का उपयोग करके Ollama (text generation वाले दोस्तों के लिए) चलाने वाला GPU app दो चरणों में आसानी से शुरू किया जा सकता है.
  • fly.toml में config जोड़कर और fly apps create sandwich_ai && fly deploy कमांड चलाकर app deploy किया जा सकता है.

प्रकाश की गति की भी एक सीमा है

  • GPU को तेज़ी से शुरू करना अच्छा है, लेकिन Fly.io की असली ताकत edge पर inference में दिखाई देती है.
  • उदाहरण के तौर पर, एक ऐसा app हो सकता है जिसमें user kitchen में मौजूद ingredients डालते ही तुरंत sandwich recipe पा सके.
  • Fly.io के पास दुनिया भर के data centers में GPU हैं, और यह GPU support वाले हर region में वही program चलाने की सुविधा देता है.

केवल जब सच में ज़रूरत हो

  • GPU शक्तिशाली parallel processing devices हैं, लेकिन सस्ते नहीं हैं.
  • fly.toml फ़ाइल में services section जोड़कर app को scale up और scale down करने का तरीका तय किया जा सकता है.
  • इसे इस तरह सेट किया जा सकता है कि जब users sandwich recipe न मांग रहे हों, तब GPU की लागत न चुकानी पड़े.

विस्तृत जानकारी

  • अमेरिका, यूरोप और सिडनी के कई regions में उपलब्ध GPU दिए जा रहे हैं.
  • कई GPU options और pricing उपलब्ध हैं, और default रूप से हर deployment में आठ AMD EPYC CPU cores इस्तेमाल होते हैं.
  • volumes को अधिकतम 500GB तक attach किया जा सकता है, और reserved instances तथा dedicated hosts पर discounts भी दिए जाते हैं.

GN⁺ की राय:

  • Fly.io एक अभिनव cloud service दे रहा है, जो edge computing environment में AI workloads को संभालकर user experience बेहतर बनाने पर केंद्रित है.
  • GPU आधारित यह service तेज़ inference speed और cost efficiency, दोनों को ध्यान में रखकर solution देती है, और खास तौर पर उन applications के लिए उपयुक्त है जिन्हें real-time में high computing power चाहिए.
  • यह service AI तकनीक की accessibility बढ़ा सकती है और developers को नई, अभिनव applications बनाने में मदद कर सकती है, इसलिए यह एक बेहद दिलचस्प और उपयोगी प्रगति है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-14
Hacker News की राय
  • एक उपयोगकर्ता ने Fly की बुनियादी सुविधाओं को लेकर निराशा जताई। उन्होंने कहा कि सपोर्ट टीम आंतरिक प्लेटफ़ॉर्म समस्याओं की पहचान नहीं कर पाती, और error messages अस्पष्ट होते हैं या बिल्कुल नहीं होते। इस उपयोगकर्ता के अनुसार, जिन्हें Kubernetes से डर लगता है या उसकी जानकारी नहीं है, उनके लिए Fly आकर्षक हो सकता है, लेकिन उन्हें खुद Kubernetes की कमी महसूस होने लगी।
  • Fly.io के एक डेवलपर रिलेशंस प्रतिनिधि ने बताया कि GPU अब सामान्य उपयोगकर्ताओं के लिए उपलब्ध है, और लोग GPU के साथ प्रयोग कर सकते हैं। उन्होंने GPU पर एक blog post का लिंक भी साझा किया और कहा कि किसी के भी सवाल हों तो पूछें।
  • एक अन्य उपयोगकर्ता ने कहा कि Fly VM चलाने के लिए Firecracker का उपयोग करता है, और यह भी बताया कि Firecracker मूल रूप से GPU को support नहीं करता। उन्होंने जिज्ञासा जताई कि Fly ने GPU support कैसे लागू किया, और इस पर एक तकनीकी पोस्ट की उम्मीद की।
  • एक उपयोगकर्ता ने Fly की scale-to-zero सुविधा की प्रशंसा की और कहा कि बहुत कम उपयोगकर्ताओं वाली प्रयोगात्मक साइट चलाते समय इससे server cost कम की जा सकती है। उन्होंने per-request billing time का एक उदाहरण भी माँगा।
  • एक उपयोगकर्ता ने इस बात पर अफसोस जताया कि Fly के लिए S3 का कोई विकल्प उपलब्ध नहीं है। उन्होंने GNU Affero project को एक विकल्प के रूप में सुझाया, लेकिन महसूस किया कि यह business के लिए उपयुक्त नहीं है। उन्हें Fly की सादगी, किफ़ायतीपन और built-in VPN पसंद है, लेकिन user assets को store करने के लिए Fly छोड़ना पड़ता है, और यही उनकी अगली परियोजना में Fly का उपयोग न करने की सबसे बड़ी वजह है।
  • एक उपयोगकर्ता ने पूछा कि Fly का target market आखिर है क्या। उन्होंने सवाल उठाया कि क्या यह उन छोटे या अभी तक प्रमाणित न हुए apps के लिए है जिन्हें AI model चलाने हैं लेकिन hosting service का उपयोग नहीं करना, या फिर इसका कोई और उद्देश्य है।
  • एक उपयोगकर्ता ने Fly के performance के अनुभव के बारे में पूछा और कहा कि पहली नज़र में यह महँगा लगता है। उदाहरण के तौर पर उन्होंने इसकी तुलना Hetzner की CPU machine से की।
  • एक उपयोगकर्ता ने पूछा कि क्या किसी ने Beam.Cloud service की Fly के साथ तुलना की है।
  • एक उपयोगकर्ता ने कहा कि scale को 0 पर ले जाने में कितनी तेज़ी लगती है; अगर यह तेज़ है, तो यह बेहद दिलचस्प होगा।
  • एक उपयोगकर्ता ने पूछा कि क्या Fly, replicate द्वारा उपयोग की जाने वाली cog file चला सकता है, और क्या उसी prediction API के साथ pre-packaged models चलाए जा सकते हैं। उनका मानना था कि replicate की वजह से लोग हिचक सकते हैं, लेकिन अगर इसे अपनाया जाए तो अनुभव अधिक seamless हो सकता है।