RealFill: diffusion model का उपयोग करके image completion

• Google Research और Cornell University द्वारा विकसित image completion के लिए एक नया generative approach
• RealFill का लक्ष्य image के गायब हिस्सों को उस सामग्री से भरना है जो मूल रूप से वहां होनी चाहिए, ताकि अधिक वास्तविक image बनाई जा सके
• मॉडल को personalize करने के लिए कुछ reference images का उपयोग किया जाता है, जिन्हें target image से बिल्कुल मेल खाना जरूरी नहीं है और जो viewpoint, lighting condition, camera aperture या image style में अलग-अलग हो सकती हैं
• RealFill ने एक नए image completion benchmark में, जो विविध और चुनौतीपूर्ण scenarios को कवर करता है, मौजूदा approaches को बड़े अंतर से पीछे छोड़ा
• इस प्रक्रिया में reference और target images के लिए pre-trained inpainting diffusion model को fine-tune करना शामिल है, जिससे यह input image के scene की content, lighting और style सीखता है
• fine-tuned model का उपयोग फिर standard diffusion sampling process के जरिए target image के गायब क्षेत्रों को भरने के लिए किया जाता है
• RealFill reference और target के बीच बड़े अंतर होने पर भी मूल scene के प्रति वफादार और visually appealing high-quality images बनाता है
• RealFill की सीमाओं में तुलनात्मक रूप से धीमी gradient-based fine-tuning process और reference व target images के बीच viewpoint परिवर्तन बहुत बड़ा होने पर 3D scene को recover करने में कठिनाई शामिल है
• RealFill, Stable Diffusion जैसे base pre-trained models के लिए, चुनौतीपूर्ण मामलों में अब भी कठिनाई का सामना करता है

[GN⁺]

Hacker News की राय

• 'RealFill' पर लेख, जो diffusion model का उपयोग करने वाला image completion टूल है
• यह टूल वर्तमान और पुरानी तस्वीरों को बेहतर बनाने में संभावित रूप से उपयोगी हो सकता है
• RealFill, मिलती-जुलती तस्वीरों को मिलाकर एक बेहतर image बना सकता है
• सोशल मीडिया पोस्ट के लिए कृत्रिम image generation करने वाला टूल, जो आकर्षण और मज़ेदारपन बढ़ा सकता है
• RealFill, फ़िल्म और TV में उपयोगी post-production टूल हो सकता है, जो "uncropping" और 4:3 को widescreen में बदलने की flexibility देता है
• यह टूल holographic camera array में सस्ते pinhole camera की समस्याओं को ठीक करने में इस्तेमाल किया जा सकता है
• RealFill, गलती से कट गई पारिवारिक तस्वीर को ठीक करने में इस्तेमाल किया जा सकता है
• AI-आधारित digital zoom-out फीचर, जो lens या दूरी की परवाह किए बिना zoom-out की गई तस्वीरें बना सकता है
• डेमो में "सच्चा" और "रिकवरी" जैसे शब्दों के उपयोग पर चिंता, क्योंकि परिणामस्वरूप image सच्ची या restore की गई नहीं बल्कि एक illusion है
• यह Pixel फ़ोन को और आकर्षक बना सकने वाला टूल है, magic eraser और "सच्ची image completion" जैसी सुविधाओं के साथ
• पिछले कुछ वर्षों में AI की प्रगति प्रभावशाली रही है, और RealFill जैसे टूल महत्वपूर्ण प्रगति चरण को दर्शाते हैं
• कुछ टिप्पणीकारों ने यथार्थ का भ्रम पैदा करने के लिए AI के उपयोग के निहितार्थों पर चिंता जताई
• टूल की क्षमता की तुलना GoPro camera द्वारा selfie stick हटाने से की गई, जहाँ आसपास के frames का उपयोग करके pixels भरे जाते हैं