Macro Splats 2025

• Gaussian splat कई धुंधले ellipsoids से बना होता है, जिनकी वजह से इसे 3D फ़ोटो की तरह अलग-अलग कोणों से देखा जा सकता है
• कीड़ों जैसे macro subjects की जटिल और सूक्ष्म texture को प्रभावी ढंग से पुनर्निर्मित किया जा सकता है
• shallow depth of field से होने वाली समस्या को हल करने के लिए focus stacking तकनीक अपनाई गई
• automated equipment और अनुकूलित शूटिंग विधि से शूटिंग की दक्षता और गुणवत्ता बढ़ाई गई
• अंत में COLMAP और Postshot का उपयोग करके high-resolution 3D model बनाया गया और सार्वजनिक किया गया

---

Macro Splats 2025 सारांश

Gaussian Splat की अवधारणा और 3D फ़ोटोकरण

• Gaussian splat एक ऐसी तकनीक है जिसमें 3D space में धुंधले ellipsoids को एक-दूसरे पर रखा जाता है, और हर ellipse को view-dependent color दिया जाता है
• AI model की training की तरह, कई फ़ोटो इनपुट देकर optimization को बार-बार दोहराने पर यथार्थवादी 3D फ़ोटो परिणाम तैयार किए जा सकते हैं
• इस तरीके से ऐसी 3D images मिलती हैं जिन्हें अलग-अलग कोणों से जीवंत रूप में देखा जा सकता है

macro subjects पर लागू करने की प्रेरणा

• कीड़ों जैसे रोएँदार या जटिल संरचना वाले macro subjects Gaussian splat representation के लिए बहुत उपयुक्त हैं
• यह रेखांकित किया गया है कि ऐसी texture पारंपरिक 3D reconstruction तकनीकों में दिखाना कठिन होता है

Focus Stacking का उपयोग करने वाली शूटिंग प्रक्रिया

• macro photography की प्रकृति के कारण depth of field बहुत कम होती है, इसलिए पूरे विषय को एक साथ sharp कैद करना मुश्किल होता है
• Focus stacking ऐसी तकनीक है जिसमें एक ही कोण से थोड़ा-थोड़ा अलग focus वाली कई images ली जाती हैं, फिर उन्हें मिलाकर एक पूरी तरह sharp फ़ोटो बनाई जाती है
• आम तौर पर एक stack में 50~500 फ़ोटो चाहिए होती हैं, लेकिन शूटिंग दक्षता के लिए इसे हर stack पर 16 फ़ोटो तक समायोजित किया गया और f/18 aperture value का उपयोग किया गया
• rotating disk, boom arm, automatic focus rail आदि की मदद से कीड़ों को कई कोणों से व्यवस्थित रूप से शूट किया गया
• कुल 111 कोणों से 1776 तस्वीरें ली गईं, और पूरी शूटिंग में लगभग 4 घंटे लगे

3D मॉडल निर्माण और post-processing

• सभी images को batch focus stacking के जरिए 111 high-resolution फ़ोटो में बदला गया
• camera position की जानकारी COLMAP से पुनर्प्राप्त की गई, और color correction तथा background masking का काम किया गया
• अंतिम data को Postshot में train करके splat model बनाया गया, और support/mounting वाले हिस्से को न्यूनतम retouch से हटाया गया

3D मॉडल की सार्वजनिक उपलब्धता और उपयोग

• तैयार किए गए कीट मॉडल को superspl.at पर 3D में स्वतंत्र रूप से देखा जा सकता है
• cluster fly model को यहाँ मुफ्त में जारी किया गया है, और attribution की शर्त पर commercial और non-commercial दोनों उद्देश्यों के लिए उपयोग की अनुमति है

[GN⁺]

Hacker News राय

• मैंने अब तक जो कंप्यूटर ग्राफिक्स देखे हैं, उनमें यह mandarín wasp सबसे प्रभावशाली कामों में से एक है, और macro photography के हिसाब से भी शीर्ष स्तर का है। यह कि इसे real-time में render किया जा सकता है, और भी हैरान करने वाली बात है। कुछ दिन पहले PS6 पर चर्चा हो रही थी, और अगर मैं अब भी console या game development में शामिल होता, तो ऐसे assets को गेम में लाने के तरीकों पर बहुत ध्यान देता
  • Gaussian splats में आम video game के लिए जरूरी flexibility की कमी है। यह असली PBR नहीं है, इसलिए lighting लगभग hardcoded रहती है। Rigging अच्छी तरह काम नहीं करती, और editing भी बहुत कठिन है। किसी एक object की visualization के लिए यह अच्छा है, लेकिन कई elements से बने scene को तैयार करने के लिए उपयुक्त नहीं है
• यह सच में बहुत शानदार दिखता है। वेबसाइट पर feedback दूँ तो gray background पर black text की readability कम थी, इसलिए मुझे reader mode इस्तेमाल करना पड़ा
  • पेज की color saturation इतनी तेज़ थी कि मुझे लगा शायद कोई highlighted foreground है जो मैं देख नहीं पा रहा, और पूरा पेज किसी background की तरह लग रहा था
  • मेरी तो बिल्कुल उलटी experience रही। यह उन कुछ वेबसाइटों में से एक है जहाँ मैं चश्मा पहनकर भी बिना text blur हुए साफ़ पढ़ सकता हूँ
• यह काम वाकई शानदार दिखता है, और मैंने कभी macro photography और Gaussian splatting को मिलाने के बारे में नहीं सोचा था। इसे free culture file (CC BY) के रूप में जारी करने के लिए मैं सच में आभारी हूँ
• Exquisite Creatures Revealed के artist के साथ collaboration देखना शानदार होगा। वह तरह-तरह के कीड़ों को preserve करता है और उन्हें ऐसे प्रदर्शित करता है कि प्रकृति के रंग और iridescence उभरकर आएँ। मैं उस प्रदर्शनी से इतना प्रभावित हुआ कि दोबारा गया। artist की जानकारी यहाँ देखी जा सकती है
• सोच रहा हूँ कि क्या focus-distance-dependent gaussian splats को fit करने पर कोई research है। यानी मूलतः bokeh को model करने के तरीके के रूप में, raw images डालकर शायद एक ऐसा model मिल सके जो कुल मिलाकर sharp हो
  • कई टीमें इस विषय पर research कर रही हैं: dof-gs project, dof-gaussian project
• सोच रहा हूँ कि मक्खी के शरीर की iridescent reflections को यह कैसे capture करता है। कभी-कभी ऐसा लगता है जैसे reflected हिस्सों के ज़रिए background दिख रहा हो। क्योंकि reflection का रंग angle के साथ बदलता है, मुझे लगा था कि gaussian splat generation के लिए हर light ray को संतुष्ट करने वाला उत्तर ढूँढना मुश्किल होगा। कम से कम मुझे लगा था कि reflective surface गंदी-सी निकलेगी, तो सोच रहा हूँ कि क्या कोई गुप्त trick है, या फिर मैं gaussian splats को ही गलत समझ रहा हूँ
  • रंग viewpoint के अनुसार बदलते हैं, और इसका मतलब है कि lighting baked-in है। इसलिए मुझे नहीं लगता कि इसे सीधे 3D animation या real-time environment में इस्तेमाल करना आसान है, हालांकि dynamic lighting पर research चल रही हो सकती है। कभी-कभी यह गलत भी दिखता है; उदाहरण के लिए fly model में बहुत पास जाने पर शरीर के कुछ हिस्से transparent लगते हैं, और specular highlight अंदरूनी सतह के पीछे वाले splat की तरह दिखाई देती है। mirror model में यह और ज़्यादा स्पष्ट है, और आप सचमुच mirror के आर-पार भी जा सकते हैं
  • Gaussian splats में viewpoint के हिसाब से color दिया जा सकता है। मेरी जानकारी में यह spherical harmonics से किया जाता है। Angular resolution इन harmonic components की संख्या पर निर्भर करती है; अगर यह बहुत कम हो, तो सारी reflections धीमे और smooth तरीके से बदलती हैं, और reflections धुंधली हो जाती हैं
  • FTA के अनुसार, “Gaussian splat मूलतः कई धुंधले ellipsoids होते हैं, और हर ellipsoid का viewpoint-dependent color होता है।” आशा है यह मदद करेगा
  • "View-dependant colors with SH" सेक्शन देखना उपयोगी होगा: संबंधित लेख
• Browser में, फोन पर भी real-time में चल सकने वाला घुमाने योग्य demo बहुत अच्छी तरह काम करता है। Gaussian splat rendering की लागत शायद इतनी ज़्यादा नहीं है; लगता है ज़्यादा computation सिर्फ precomputation में जाती है
  • फ़ाइल का आकार भी प्रभावशाली रूप से छोटा है। अभी लिंक नहीं है, लेकिन motion समेत 4D splat भी जारी किया गया है, जिसे video की तरह देखा जा सकता है और scene के अंदर move भी किया जा सकता है, और उसकी फ़ाइल भी सिर्फ कुछ megabytes की है
• बहुत शानदार काम है। लेकिन mobile पर 3D बिल्कुल उपयोगी नहीं है। Orbit mode में 3D को touch करते ही view southern hemisphere angle पर lock हो जाता है, और फिर जैसे भी घुमाओ, स्क्रीन पागलों की तरह झटके से घूमती रहती है
  • मैं PlayCanvas developer हूँ। क्या आप बता सकते हैं कि यह किस phone/device पर हुआ? यह bug हो सकता है (pun intended)
• हाल में इसका उपयोग "The Matrix" को फिर से देखने में भी किया गया था: YouTube वीडियो
• यह Stars/NoooN [1] में दिखाए गए 23,806 triangles के real-time rendering की तुलना में बहुत बड़ी प्रगति है। [1] YouTube वीडियो
  • सोच रहा हूँ यह कब बनाया गया था। YouTube वीडियो 14 साल पुराना है, लेकिन यह उससे भी कहीं ज़्यादा पुराना लगता है