Stable Diffusion से गेम बैकग्राउंड इमेज बनाना (Tales of Syn का मामला)

 (talesofsyn.com)
19 पॉइंट द्वारा kaykim 2023-03-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) में Stable Diffusion का उपयोग करके 2D isometric (आम बोलचाल में, quarter-view) RPG की बैकग्राउंड बनाने की प्रक्रिया को विस्तार से समझाया गया है.

इस्तेमाल किए गए टूल्स:

  • Stable Diffusion v1.5
  • Automatic1111 WebUI
  • Alpaca Photoshop Plugin
  • Boosting Monocular Depth
  • Substance Designer
  • Unity URP
  • Amplify Shader Editor

शुरुआत में step count कम रखा गया था, इसलिए नतीजे अच्छे नहीं थे, लेकिन step count को 100+ तक बढ़ाने और 15~30 CFG (classifier free guidance) लागू करने पर अधिक दिलचस्प परिणाम मिले.

बनाई गई इमेजों को Photoshop में एडिट किया गया, और Alpaca नाम के Stable Diffusion प्लगइन का उपयोग करके resolution बढ़ाया गया.

मौजूदा lighting हटाकर मनचाही lighting जोड़ने के लिए 2D scene का normal map चाहिए था, इसलिए Boosting Monocular Depth के MiDaS और LeRes का उपयोग करके इमेज के depth map generation को automate किया गया.

इस तरह बने MiDaS depth map और inverted LeRes depth map इमेजों को Substance Designer में Height to Normal World Units node का उपयोग करके normal map में बदला गया, और normal blend node से दोनों को मिलाया गया.

Amplify Shader Editor में बनाए गए custom Unity URP shader के depth और normal map का उपयोग करके camera movement के साथ हल्का fake 3D perspective जोड़ने के लिए parallax occlusion mapping आज़माई गई, लेकिन isometric view में depth सटीक नहीं थी, इसलिए यह खास अच्छा नहीं लगा.

Normal mapping shadow लागू करके directional light की shadow जोड़ने की कोशिश की गई, लेकिन यह वास्तविक lighting के लिए उपयुक्त नहीं था. हालांकि 3D character shading को संभालने वाले custom lighting pass के रूप में इसकी संभावना हो सकती है.

2K इमेज को 4 हिस्सों में बांटने के बाद, हर हिस्से पर img2img में शुरुआत जैसा ही prompt इस्तेमाल करके resolution बढ़ाया गया, लेकिन सीमाएं आपस में जुड़ नहीं रही थीं. आखिरकार, उसी प्रक्रिया से पहले से upscaled 4 हिस्सों को जोड़ने वाली इमेजें बनाई गईं, फिर उन्हें Photoshop में मिलाकर अंततः 4K इमेज बनाई गई.

संबंधित GeekNews:
https://hi.news.hada.io/topic?id=7206

संबंधित पढ़ाई

1 टिप्पणियां

 
kaykim 2023-03-05

डेवलपर ने इसके अलावा अन्य development process भी साझा किए हैं:

Stable Diffusion से 3D character model बनाना:
https://talesofsyn.com/posts/creating-3d-character-models

isometric शैली के DreamBooth model को fine-tune करना:
https://talesofsyn.com/posts/fine-tuning-isometric-style