मुफ़्त open source AI image upscaler 'Upscayl'

 (github.com/upscayl)
6 पॉइंट द्वारा GN⁺ 2024-04-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Upscayl एक मुफ़्त open source image upscaler है, जो low-resolution images को उन्नत AI algorithms की मदद से बड़ा और बेहतर बनाता है, और v2.15 latest release उपलब्ध कराता है
  • image details का वर्णन AI model द्वारा संभव detail का अनुमान लगाने के तरीके से बेहतर किया जाता है, और यह Real-ESRGAN तथा Vulkan architecture का उपयोग करता है
  • इसे चलाने के लिए Vulkan-compatible GPU चाहिए, और ज़्यादातर integrated GPU (iGPU) या CPU पर यह काम नहीं कर सकता
  • यह Linux, macOS 12 या उससे ऊपर, और Windows 10 या उससे ऊपर को support करता है; Linux में Flatpak·AppImage·AUR·Snap·RPM·DEB·ZIP जैसे कई distribution methods उपलब्ध हैं
  • यह धुंधली या out-of-focus images को restore करने वाला tool नहीं है; input के रूप में low-resolution या pixelated images का उपयोग करना चाहिए

Upscayl क्या करता है

  • Upscayl low-resolution images को बड़ा और बेहतर बनाने वाला एक मुफ़्त open source AI image upscaler है
  • इसका लक्ष्य quality loss के बिना images को बड़ा करना है, और इसकी आधिकारिक साइट upscayl.org है
  • latest release v2.15 के रूप में दी गई है

काम करने का तरीका और मुख्य तकनीक

  • Upscayl AI model के जरिए image details का अनुमान लगाकर image को बेहतर बनाता है
  • यह अंदरूनी तौर पर Real-ESRGAN और Vulkan architecture का उपयोग करता है
  • backend upscayl-ncnn है, और यह AGPLv3 license वाला पूरी तरह open source backend है
  • CLI tool भी upscayl-ncnn नाम से उपलब्ध है

इंस्टॉलेशन और supported platforms

  • Upscayl को image upscaling के लिए Vulkan-compatible GPU चाहिए
    • कई integrated GPU काम नहीं कर सकते
    • README में बताया गया है कि कोशिश करके देखने में कोई समस्या नहीं है
  • Linux में यह अधिकांश distributions की software list में उपलब्ध होना चाहिए
    • distribution की Store app Flatpak या Snap version को support कर सकती है
    • portable तरीके के लिए release section या official website से upscayl-x.x.x-linux.AppImage डाउनलोड करके execute permission देकर चलाया जा सकता है
    • RPM, DEB, ZIP formats भी चुने जा सकते हैं
  • macOS के लिए macOS 12 या उससे ऊपर target है
    • Mac App Store लिंक दिया गया है
    • DMG file डाउनलोड करके उसे Applications folder में ले जाने के बाद Finder से खोला जा सकता है
    • Homebrew install command brew install --cask upscayl है
  • Windows के लिए Windows 10 या उससे ऊपर target है
    • upscayl-x.x.x-win.exe डाउनलोड करके चलाया जाता है
    • अगर SmartScreen warning दिखाई दे, तो More Info के बाद Run Anyway चुनने या unverified publisher dialog में YES दबाने का निर्देश दिया गया है

दस्तावेज़, models और results की जाँच

  • docs और guides Upscayl Documentation में देखे जा सकते हैं
  • अतिरिक्त models custom-models से आज़माए जा सकते हैं
  • models को सीधे convert करने का तरीका Model Conversion wiki में है
  • compatibility Compatibility List में देखी जा सकती है
  • समस्या समाधान के लिए Troubleshooting document का उपयोग किया जाता है
  • upscaling से पहले और बाद के comparison results COMPARISONS.MD में देखने के लिए कहा गया है

सीमाएँ और उपयोग संबंधी सावधानियाँ

  • Upscayl low-resolution और pixelated images को बेहतर बना सकता है
  • यह deblur या focus adjustment feature प्रदान नहीं करता
    • out-of-focus या पूरी तरह धुंधली images के लिए यह उपयुक्त नहीं है
    • README में दिए गए उदाहरणों जैसी images का उपयोग करने की सलाह दी गई है
  • GPU ID इस्तेमाल होने वाले GPU को चुनने की setting है
    • विस्तृत प्रक्रिया Wiki Guide में है
    • Windows में अगर Upscayl performance mode पर सेट नहीं है, तो system इस setting को override कर सकता है
  • अगर Batch Upscayl को बीच में रोका गया हो और images process न हुई हों या compression/scale सही न हो, तो संभव है कि model कुछ खास tasks को support न करता हो
    • ऐसे में Upscayl पहले सभी images की upscaling पूरी करता है और उसके बाद post-processing करता है, इसलिए process खत्म होने तक इंतज़ार करना चाहिए

development और build

  • development environment में Node.js install करने के लिए Volta के उपयोग की सिफारिश की गई है
    • Volta install करने के बाद volta install node चलाएँ
  • local run flow repository clone करने, dependencies install करने, और development server चलाने के क्रम में है
  • अगर Git install नहीं करना चाहते, तो source zip डाउनलोड करके उसे upscayl folder में extract करने के बाद बाकी प्रक्रिया आगे बढ़ाई जा सकती है
  • app packaging npm run dist से की जाती है
  • app publish command npm run publish-app है, और केवल maintainers को GH_TOKEN= shell में जोड़ने के बाद इसे चलाने के लिए कहा गया है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-04-02
Hacker News की राय

  • अगर आप मेरी तरह Real-ESRGAN-ncnn-vulkan [1] इस्तेमाल करते हैं और सोच रहे हैं कि upscayl-ncnn CLI [2] ने क्या बदला है, तो बड़ा फर्क नहीं दिखता और व्यावहारिक बदलाव भी बहुत ज्यादा नहीं लगते [3]
    आलोचना करने के लिए नहीं कह रहा, बस जानना चाहता था कि क्या CLI टूल पर स्विच करना वाकई लायक है। $subj इसी पर आधारित एक अलग GUI ऐप है
    [1] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan
    [2] https://github.com/upscayl/upscayl-ncnn
    [3] https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan/compare/m...

    • Upscayl NCNN में नए Vulkan सपोर्ट, bug fixes और नए features जैसे कई बदलाव शामिल किए गए हैं, और जल्द ही और भी जोड़े जाएंगे। बस हमने अभी बदलाव push नहीं किए हैं, और CPU सपोर्ट पर भी काम चल रहा है
      Real-ESRGAN इस्तेमाल करने का मतलब है लंबे समय से update न हुए codebase और कई issues के साथ काम चलाना। मेरी जानकारी में, फिलहाल Real-ESRGAN NCNN को maintain करने वाला अकेला project Upscayl NCNN ही है
    • मैं यही पूछने के लिए comments देखने आया था। RealESRGAN को कई सालों से इस्तेमाल कर रहा हूं, और इससे upscale की हुई कुछ तस्वीरें घर में लगाई भी हैं
      family album की बहुत-सी पुरानी तस्वीरों को upscale किया, फिर Photoroom, Snapseed जैसे tools से defects ठीक किए और print के लिए भेजा—वाकई बहुत अच्छा काम करता है
      जब internet पर कोई low-res पुरानी photo मिलती है जिसका high-res original Google, DuckDuckGo, Kagi पर कितना भी खोजने पर नहीं मिलता, तो उसे RealESRGAN से upscale करके wallpaper या presentation background वगैरह में इस्तेमाल करता हूं
    • अगर लोग GUI पसंद करते हैं, तो इसमें बुरा कुछ नहीं है

  • TV या फिल्मों में जब भी image को “enhance” करने वाला scene देखता था, तो खूब हंसता था: https://youtu.be/LhF_56SxrGk
    लगता है कल का science fiction अब reality बन गया है

    • यह सोचकर अब शरीर में झटका-सा लगता है। जब filmmakers “enhance!” कहते थे, तो मैं और बहुत-से geeks कहते थे, “जब pixels ही नहीं हैं तो यह हो ही कैसे सकता है!”
      लेकिन अब यह मौजूद है। “Enhance” सच में संभव हो गया है
    • अब बस details को hallucinate करके बना दिया जाता है
    • “कल का science fiction अब reality” वाली बात मजेदार है, क्योंकि https://upscayl.org पर सच में “From Science Fiction to Reality” लिखा है
    • सही expression तो “Hallucinate!” होना चाहिए था
    • हालांकि अगर आप किसी suspect की car number plate upscale करने की कोशिश करें, तो average noise के आधार पर कोई number बन सकता है, जो असल से अलग हो सकता है

  • दिसंबर में इस्तेमाल किया था और यह काफी intuitive लगा। जो लोग पहली बार कई tools explore करना चाहते हैं, उन्हें recommend किया जा सकता है
    हालांकि मेरी समझ में quality अभी state-of-the-art से काफी पीछे है। एक दोस्त ने हाल ही में Topaz recommend किया था, लेकिन वह open source नहीं है

    • quality कुछ मामलों में सच में comparable है। लेकिन Upscayl एक free project है, इसलिए अभी इसका अपना model नहीं है और यह community models पर निर्भर है। वे models भी अपने-आप में काफी अच्छे हैं
      अगर पर्याप्त funding जुटी, तो हम अपना मजबूत model बनाने की योजना रखते हैं :)
      https://ckovalev.com/midjourney-ai/guide/upscaling-ai-art-fo...
    • a1111 के extras tab से मुझे सबसे अच्छे results मिले। बेशक, आपको पता होना चाहिए कि हर option का मतलब क्या है, और interface निश्चित रूप से ज्यादा complex है

  • UpScayl शानदार है और मैं इसे काम में अक्सर इस्तेमाल करता हूं। जल्दबाजी में low-res graphics या illustrations को graphics work के लिए बड़ा करना, print और Photoshop work के लिए portrait photos upscale करना, editing के लिए पुरानी copies को बड़ा करना—कई तरह से इस्तेमाल करता हूं
    यह perfect नहीं है, लेकिन alternatives भी perfect नहीं हैं। फिर भी यह बेहद useful है

    • पसंद आया यह जानकर खुशी हुई। हम इसे और बेहतर बना रहे हैं, और Upscayl Cloud आने के बाद professionals के लिए भी संभावनाएं बहुत बढ़ जाएंगी। बेशक reasonable limits के भीतर :)

  • upscayl की accessibility अच्छी है, लेकिन इसमें मेरी जरूरत के बहुत-से features नहीं थे। upscaling जब regular workflow बन गया, तो मैंने https://github.com/AUTOMATIC1111/stable-diffusion-webui इस्तेमाल करना शुरू किया, लेकिन जो लोग बस कुछ images enhance करना चाहते हैं, उनके लिए यह ideal tool है

  • अभी के upscalers, दूसरे क्षेत्रों की progress की तुलना में, अब भी आश्चर्यजनक रूप से उम्मीद से कम लगते हैं

  • क्या कोई ऐसा model है जो सिर्फ upscaling नहीं, बल्कि image cleanup करता हो? मेरे पास शुरुआती low-res point-and-shoot cameras से ली गई बहुत-सी पुरानी photos हैं, जिनमें JPEG artifacts जैसे issues हैं
    लगता है कि modern models को ऐसे problems solve करने के लिए आसानी से fine-tune किया जा सकता है, लेकिन हर कुछ महीनों में खोजने के बावजूद अभी तक कुछ नहीं मिला

    • ये models देख सकते हैं: https://replicate.com/collections/image-restoration
      ज्यादातर local पर चल सकते हैं, लेकिन cog/docker/hf समझने में समय लगाने से पहले replicate पर test कर लेना recommend करूंगा

  • अफसोस की बात है कि video में अभी तक Topaz Labs के paid tools की quality के बराबर कुछ नहीं देखा। दूसरे implementations में sharpness और consistency हमेशा problem लगती है
    काश कोई मुझे गलत साबित कर दे। मेरे पास एक project रुका हुआ है क्योंकि source quality और resolution कम हैं

  • इसी से जुड़ा सवाल: watermark removal के लिए कौन-सी app है?