इमेज जनरेशन मॉडल FLUX तेज़ है और open source है

 (replicate.com)
3 पॉइंट द्वारा GN⁺ 2024-10-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • FLUX, Replicate पर अधिक तेज़ी से चलता है, और optimized code को open source के रूप में जारी किया गया है ताकि कोई भी उसे देख और बेहतर बना सके
  • गति बढ़ने का रहस्य
    • FLUX मॉडल को Black Forest Labs के साथ मिलकर मैनेज किया जाता है, और दो मुख्य optimization किए गए हैं
      • मॉडल optimization: torch.compile और CuDNN attention kernels का उपयोग करके performance बेहतर की गई है
      • नए synchronous HTTP API को जोड़कर इमेज मॉडल की गति में बड़ा सुधार किया गया है
    • flux-fp8-api की quantization से output में थोड़ा बदलाव आता है, लेकिन quality पर बड़ा असर नहीं पड़ता
    • optimization के तरीकों को पारदर्शी रूप से सार्वजनिक किया गया है, और users को optimization disable करने की सुविधा भी दी गई है
  • open source की speed
    • open source मॉडल अक्सर डिफ़ॉल्ट रूप से धीमे होते हैं, और कई बार model providers उन्हें optimize करके proprietary API के रूप में उपलब्ध कराते हैं
    • FLUX के सभी सुधारों को open source किया गया है ताकि community के साथ मिलकर और भी तेज़ मॉडल विकसित किए जा सकें
  • FLUX के उपयोग
    • Replicate पर FLUX चलाने के अलावा इसके कई और उपयोग संभव हैं
      • user data के साथ FLUX को fine-tune किया जा सकता है
      • code बदलकर custom version deploy किया जा सकता है
      • नए playground में मॉडल को आज़माकर outputs की तुलना की जा सकती है

GN⁺ की संक्षिप्त जानकारी

  • FLUX, Replicate पर performance improvement और open source उपलब्धता के ज़रिए सभी को optimized मॉडल इस्तेमाल करने का अवसर देता है
  • open source की speed समस्या को हल करने की यह कोशिश community collaboration के ज़रिए और तेज़ मॉडल विकसित करने में मदद कर सकती है
  • FLUX के विविध उपयोग users को custom solutions बनाने का अवसर देते हैं
  • समान सुविधाओं वाले अन्य projects में TensorFlow और PyTorch शामिल हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-15
Hacker News की राय

  • एक राय है कि text-to-image मॉडल अक्षम लगते हैं, और इसे कई चरणों में बाँटकर प्रोसेस करना बेहतर होगा। हर चरण को स्वतंत्र रूप से train किया जा सकता है, जिससे modularization संभव होगा और image editing भी आसान हो जाएगी

    • उदाहरण के लिए, "object x object y के बगल में है, और उसके ऊपर text foo है" जैसी image बनाना अधिक आसान होगा, ऐसा समझाया गया है
    • यह भी कहा गया है कि अंतिम rendering model prompt से अलग मौजूद हो सकता है, जिससे art style या realism level को समायोजित किया जा सके

  • इस बात पर ज़ोर दिया गया है कि non-commercial software open source नहीं होता, और यदि मूल लेखक maintenance बंद कर दे तो कोई दूसरा व्यक्ति उसे आगे जारी नहीं रख सकता या फिर उसे मुफ़्त में काम करना पड़ेगा

    • open source ऐसा license देता है जिससे मूल लेखक के काम रोक देने पर भी हर कोई development जारी रख सकता है
    • केवल FLUX.1 [schnell] ही open source (Apache2) है, जबकि FLUX.1 [dev] non-commercial है

  • FLUX.schnell को आसानी से इस्तेमाल करने के लिए Pollinations URL में prompt डालने का सुझाव दिया गया है

    • FLUX की speed को हैरान करने वाली बताया गया है, और कहा गया है कि सिर्फ़ तीन L40S GPU से हर 30 मिनट में 8000 images बनाई जाती हैं

  • कहा गया है कि FLUX का उपयोग करके Substack के लिए सफ़ेद background वाली images बनाना पसंद है

    • यह अच्छा लगता है क्योंकि text के साथ visual रूप में कुछ संप्रेषित किया जा सकता है

  • कहा गया है कि FLUX, local hosting generation systems में prompt adherence के मामले में अग्रणी है, लेकिन shallow depth of field का हमेशा दिखाई देना असुविधाजनक है

  • बताया गया है कि Midjourney subscription रद्द कर दिया गया है, और Replicate तथा Ideogram पर विचार किया जा रहा है

  • FLUX 1.1 के training data को लेकर जिज्ञासा जताई गई है, और कहा गया है कि generated images निजी फ़ोटो जैसी लगती हैं

    • यह सवाल उठाया गया है कि क्या training data सार्वजनिक Facebook posts, Snapchat, Vkontakte आदि से लिया गया है

  • यह राय दी गई है कि FLUX 1.1 pro model ने शायद पिछले open models से बहुत अलग training data इस्तेमाल नहीं किया होगा

  • FLUX के comparison page का ज़िक्र करते हुए कहा गया है कि speed version मूल model से पूरी तरह अलग images दिखाता है

  • Meta के model को लेकर open source विवाद का उल्लेख करते हुए समझाया गया है कि FLUX के मामले में केवल FLUX schnell ही open source है

    • कहा गया है कि Meta के Llama model का license अधिक उदार है, और उसे FLUX schnell की तुलना में fine-tune करना आसान है

  • दावा किया गया है कि open source community को OpenFLUX जैसे projects का समर्थन करना चाहिए

  • इस पर सवाल उठाया गया है कि हाथ अब भी अजीब दिखने की समस्या क्यों हल नहीं हो पाई है