AI द्वारा गलत बनाई गई इमेज से Stable Diffusion XL को और स्मार्ट तरीके से fine-tune किया गया

• ओपन सोर्स के रूप में जारी Stable Diffusion XL 1.0 (SDXL) 1024x1024 resolution की image generation को support करता है
• SDXL Base और Refine, दो मॉडल में उपलब्ध है; Refine मॉडल में speed drop नहीं होता, इसलिए इसे इस्तेमाल करना बेहतर है
• Diffusers Python library का उपयोग करके इसे hack किया जा सकता है
  • Prompt Weighting और Dreambooth LoRA जैसी सुविधाएँ संभव हैं
• wrong negative prompt के साथ LoRA को गलत इमेज पर train करके देखा गया, तो quality में सुधार हुआ

[cosine20]

अच्छा आइडिया है।

[kuroneko]

मैंने कभी नहीं सोचा था कि LoRA को उल्टा भी इस्तेमाल किया जा सकता है। जानबूझकर अजीब इमेजें generate करके उन्हें LoRA से train करना, फिर keywords को negative में डालना...

यह एक सरल आइडिया लगता है, लेकिन उदाहरणों को देखें तो यह काफी प्रभावी दिखता है, इसलिए हैरानी होती है।