DALL-E 2 कैसे काम करता है?

1. टेक्स्ट और विज़ुअल semantics को जोड़ना
   → CLIP मॉडल का उपयोग: सैकड़ों मिलियन images और उनसे जुड़े captions पर train करके यह सीखा जाता है कि कोई caption किसी image से कितना संबंधित है
2. विज़ुअल semantics से image generation
   → GLIDE मॉडल का उपयोग: image encoding process को उलटने का तरीका सीखता है। इसमें diffusion मॉडल का उपयोग होता है
3. टेक्स्ट के अर्थ को संबंधित विज़ुअल semantics से map करना
   → Prior मॉडल का उपयोग: image caption के text encoding को संबंधित image के image encoding से map करता है
4. सब कुछ एकीकृत करना
   → CLIP text encoder image description को representation space में map करता है
   → Diffusion Prior, CLIP text encoding को संबंधित CLIP image encoding से map करता है
   → संशोधित GLIDE generation मॉडल reverse diffusion का उपयोग करके representation space से image space में map करता है, और दिए गए caption के भीतर semantic जानकारी को पहुँचाने वाली अनेक संभावित images बनाता है

3 महत्वपूर्ण बातें

1. DALL-E 2 diffusion मॉडल की ताकत दिखाता है
2. अत्याधुनिक deep learning मॉडल को train करने के साधन के रूप में natural language के उपयोग की आवश्यकता और उसकी शक्ति को रेखांकित करता है
3. web-scale datasets पर train किए गए मॉडलों के लिए Transformers अब भी सबसे प्रमुख स्थान पर हैं, यह फिर से साबित करता है

[xguru]

DALL·E 2 का परिचय
DALL·E से क्या-क्या किया जा सकता है