Show HN: स्ट्रॉबेरी का Gaussian Splat

 (superspl.at)
2 पॉइंट द्वारा GN⁺ 18 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Strawberry danylyon द्वारा SuperSplat पर पोस्ट किया गया डाउनलोड किया जा सकने वाला स्ट्रॉबेरी 3D सीन है, और इसका लाइसेंस CC BY 4.0 के रूप में दिखाया गया है
  • सीन डेटा में 46,530 आइटम और 22.94 MB फ़ाइल आकार दिखाया गया है, और पोस्ट किए जाने का समय 13 घंटे पहले के रूप में दिखता है
  • शूटिंग 90 व्यूपॉइंट्स से की गई थी, और हर व्यूपॉइंट पर 88 focus stack इमेज का उपयोग हुआ
  • उपकरण में Nikon Z8 full-frame, f/7.1, 1/160 सेकंड, ISO 100, Laowa 180mm macro lens, LED light, और blue screen बैकग्राउंड शामिल हैं
  • ट्रेनिंग slang-splat में की गई थी, और COLMAP तथा COLMAP dataset साथ में उपलब्ध कराए गए हैं

सीन अवलोकन

  • Strawberry SuperSplat पर पोस्ट किया गया एक 3D स्ट्रॉबेरी सीन है, और पोस्ट करने वाले danylyon हैं
  • सीन डेटा में 46,530 आइटम दिखाए गए हैं, और फ़ाइल आकार 22.94 MB है
  • पोस्ट किए जाने का समय 13 घंटे पहले दिखाया गया है, और इसे डाउनलोड किया जा सकता है
  • लाइसेंस CC BY 4.0 के रूप में दिखाया गया है

शूटिंग की शर्तें

  • स्ट्रॉबेरी सीन को 90 व्यूपॉइंट्स से शूट किया गया था, और हर व्यूपॉइंट पर 88 focus stack इमेज का उपयोग हुआ
  • शूटिंग उपकरण और सेटिंग्स Nikon Z8, full-frame, f/7.1, 1/160 सेकंड, ISO 100, और Laowa 180mm macro lens हैं
  • लाइटिंग LED light से की गई थी, और बैकग्राउंड blue screen था

ट्रेनिंग और डेटा

  • ट्रेनिंग slang-splat में की गई थी
  • उपयोग किए गए सॉफ़्टवेयर के रूप में COLMAP दिखाया गया है
  • COLMAP dataset भी उपलब्ध है, और Patreon पर मुफ़्त में इस्तेमाल किया जा सकता है

उपयोग की शर्तें

  • सीन को CC BY लाइसेंस के तहत डाउनलोड किया जा सकता है
  • स्पष्ट रूप से कहा गया है कि attribution कोई अनिवार्य शर्त नहीं है, बल्कि आभार के रूप में सुझाया गया है
  • यह भी बताया गया है कि इस काम का उपयोग attribution के बिना भी किया जा सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 18 시간 전
Hacker News की राय

  • 2011 में वीडियो गेम चलाने के लिए PlayCanvas बनाया था, और 2026 में स्ट्रॉबेरी चला रहे हैं

    • जिनकी रुचि हो, उनके लिए SuperSplat और PlayCanvas GitHub पर open source के रूप में उपलब्ध हैं: https://github.com/playcanvas
    • open source की सबसे प्यारी बातों में से एक यह है कि लोग इसके बिल्कुल नए उपयोग खोज लेते हैं

  • वाह, समय का पता ही नहीं चला. आखिर यहाँ तक पहुँचा, और यह खूबसूरत है: https://superspl.at/scene/ff1d0393

    • मेरे environment में इस scene में rendering bug अजीब तरह से बना रहता है. पेड़ और horizon, mill building के सामने दिखाई देते हैं, और orbit mode के अलावा बाहर का हिस्सा सही से render नहीं होता
      फिर भी जब पता चला कि सीढ़ियाँ चढ़कर ऊपर जा सकते हैं, तो काफ़ी हैरानी हुई. दौड़ने के लिए Shift चाहिए
      scene की boundaries पर clipping बहुत ज़रूरी है. Scaniverse जैसी app इस्तेमाल करें तो boundary box जोड़कर दूर के, आम तौर पर खराब reconstruct हुए points को हटाया जा सकता है
      अगर आपके पास LiDAR scanner वाला नया iPhone है, तो ज़ोरदार सिफारिश है. आप अपने घर या बगीचे को dollhouse की तरह render कर सकते हैं, और दीवारों या structures की planning और measurement में यह उम्मीद से ज़्यादा काम का है
    • यह मेरे iPhone 12 mini पर पूरी तरह smooth चल रहा है, यह चौंकाने वाला है
      घूम-फिर सकने के साथ resolution भी काफ़ी अच्छा है, सच में शानदार scene है

  • [1] पढ़ लिया, लेकिन अब भी ठीक-ठीक समझ नहीं आ रहा कि मैं क्या देख रहा हूँ. अंदाज़ा है कि यह बहुत सारी high-resolution photos से reconstruct किया गया 3D model है
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • यह बहुत से अर्धपारदर्शी blobs को मिलाकर बनाया गया है ताकि यह स्ट्रॉबेरी जैसा दिखे
      इसमें कोई mesh या model नहीं है. स्ट्रॉबेरी की visual surface असली physical positions में surface जैसी दिखने वाली जगह पर न होकर, एक-दूसरे से दूर blobs से बनी हो सकती है
      इसलिए इन्हें radiance fields कहा जाता है. क्योंकि यह geometry नहीं, बल्कि प्रकाश को model करते हैं
      हक़ीक़त में blobs की position और rotation पर constraints लगाकर इसे स्ट्रॉबेरी की geometry से बेहतर मिलाया जा सकता है
    • Gaussian splatting कैसे काम करता है, यह वीडियो समझाता है: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • इसका working principle दूसरी replies में अच्छे से समझाया गया है. अगर image पर बहुत ज़्यादा zoom in करें, तो आप surface के “आर-पार” जाने लगते हैं, और इससे इसका idea समझने में मदद मिलती है
      अहम बात यह है कि इसमें कोई defined geometric surface, यानी mesh, नहीं है. और अच्छा splat बनाने के लिए बहुत सारे angles से बहुत बड़ी संख्या में photos लेनी पड़ती हैं, इसलिए यह बहुत कठिन है, जबकि खराब splat बनाना बहुत आसान है. लेकिन सही बन जाए तो कमाल है
    • मैंने पहली बार https://youtube.com/watch?v=X8yRlA7jqEQ से सीखा था, वाकई कमाल है
    • 2 मिनट का एक अच्छा explainer video भी है: https://youtu.be/HVv_IQKlafQ

  • सुंदरता
    Gaussian splats में जो बात मुझे पसंद है, वह है इनका degrade होने का तरीका. अचानक टूटने, detail level बदलने, या sphere के cube बन जाने की जगह, यह धीरे-धीरे ज़्यादा “dreamlike” हो जाते हैं. बुनियादी shape बनी रहती है और बस detail कम होती जाती है
    उदाहरण के लिए यह scene: https://superspl.at/scene/e721ea7c
    जब आप पेड़ के पास जाते हैं, तो आसपास की चीज़ें धुंधली होने लगती हैं, जैसे हक़ीक़त का कपड़ा उधड़ रहा हो

    • तो शायद आपको मेरा Gaussian splats से निकला art work भी पसंद आए. मैं इन्हें gaussographs कहता हूँ
      https://bayardrandel.com/gaussographs
      हाल के काम Instagram पर हैं
      https://www.instagram.com/bayardrandel/
    • मैं ज़्यादा जानकार नहीं हूँ, लेकिन effect शानदार है. कम-से-कम इस स्ट्रॉबेरी में यह zoom in करने से ज़्यादा उसके पास जाने जैसा लगता है
      zoom करने पर जो अतिरिक्त “fake detail” देखने की उम्मीद होती है, वह नहीं दिखती; बल्कि ऐसा लगता है कि आप त्वचा को पार करके कल्पित अंदरूनी हिस्से में जा रहे हैं
    • इससे Minority Report का “memory” scene बहुत याद आता है: https://www.youtube.com/watch?v=arTIRgdEb1g
    • यह वाकई ग़ज़ब का effect है. ऐसा लगता है जैसे हक़ीक़त धुंध, पाले जमे काँच, फैला हुआ रंग, aurora के टुकड़े, या dandelion fluff जैसी चीज़ों में बिखर रही हो
      consistency जितनी कम होती है, exploration उतना ही मुश्किल और कम predictable हो जाता है
      सामान्य 3D models की तुलना में, यह दिमाग के spatial information को store और process करने के तरीके के कहीं ज़्यादा करीब लगता है
    • यह फोटो और 3D model के बीच कहीं होने की वजह से अच्छा लगता है. इसके जैसा कुछ खास नहीं है

  • अगर सिर्फ धुंधली image दिख रही है और कुछ load या काम नहीं कर रहा, तो JavaScript console में "WebGL not supported" दिख रहा है या नहीं, यह जाँच लें

  • यह भी दिलचस्प है: https://github.com/apple/ml-sharp
    यह single image से Gaussian splats बनाने वाला Apple model है. M1 Pro पर लगभग 30 सेकंड लगता है
    बहुत ज़्यादा हिलने पर यह टूट जाता है, लेकिन हल्का-सा left-right sway या VR में दूसरे eye viewpoint के लिए यह शानदार है. यह उस पुराने तरीके से कहीं बेहतर दिखता है जो मैं https://github.com/combatwombat/tiefling में इस्तेमाल करता हूँ: depth map + vertex shader
    बस ml-sharp के weights 2.6GB हैं, इसलिए browser में चलाने के लिए यह थोड़ा बड़ा है

    • क्या यही latest OS versions की Photos app में Apple के काम की बुनियाद है?
      अब यह iDevice और Mac पर 30 सेकंड से काफ़ी तेज़ लगता है
    • किसी को पता है कि Nvidia पर चलाने के लिए कितनी VRAM चाहिए होगी?

  • कुछ हफ़्ते पहले Gaussian splatting के बारे में जाना, और शायद यह मज़ाकिया, भोला या बेवकूफ़ी भरा सवाल हो सकता है. क्या dynamic lighting पर कोई प्रगति है, या कम-से-कम सैद्धांतिक रूप से इसकी संभावना है?

    • इस पर सीधे काम करने वाली research मौजूद है. उदाहरण: https://arxiv.org/abs/2601.23065
      लेकिन diffuse reflection से अधिक जटिल मामलों में सही materials पाना मुश्किल है
      AI-आधारित relighting शायद जल्द ही अच्छी तरह काम करने लगेगी
    • बुनियादी रूप से आप शायद surface पर lighting डाल सकते हैं, लेकिन shadows को सही से handle करना मुश्किल होगा. structures ठोस वस्तुओं से ज़्यादा 3D space के particles जैसे हैं
      यह कुछ वैसा लग सकता है जैसे काफ़ी modern assets पर पुराने game engine की real-time lighting चढ़ा दी गई हो. Quake 2~3 दौर की तरह
      या शायद splats से sparse voxel volume बनाकर, हर voxel को प्रकाश absorb करने वाला voxel opacity value देकर कोई “occlusion pre-pass” किया जा सकता है. यह आजकल की precomputed global illumination से बहुत अलग नहीं होगा
      वैसे मैं rendering expert नहीं हूँ, बस एक सनकी आदमी हूँ जिसने पहले OpenGL में तरह-तरह की चीज़ें की थीं

  • बस वाह!
    वेबसाइट देखते-देखते इस scene पर और ज़्यादा हैरानी हुई: https://superspl.at/scene/c67edb74

    • इसमें 100% तक पहुँचते ही browser लगातार crash हो जाता है. Safari/iOS, iPhone 13 environment
      comments में linked कुछ और scenes को explore और use कर पाया था, इसलिए अजीब है
    • मैं बस जल्दी से size comparison देखना चाहता था
      अगर मैंने Chrome को सही पढ़ा है, तो website और data मिलाकर 171MB है
      अगर गणना सही है, तो Netflix की highest transfer rate के हिसाब से यह लगभग 40 सेकंड के bandwidth के बराबर है
    • खूबसूरत है, और ceiling के अंदर “चलकर” ऊपर जाकर नीचे देख पाना काफ़ी शानदार है
      आप कितने अजीब इंसान हैं, इस पर निर्भर करता है कि यह Quasimodo जैसा लगता है या भगवान बनने जैसा
    • पीछे वाला bishop थोड़ा सपाट दिखता है, यह थोड़ा अफ़सोसजनक है ;-)

  • इसे देखते-देखते मैं rabbit hole में उतर गया और उस कंपनी तक पहुँच गया जो Gaussian splat video बनाती है: https://www.4dv.ai/. दिलचस्प है

  • यह एक खूबसूरत छोटे miniature जैसा लगता है. किसी बड़े scene की बजाय detailed छोटी object पर Gaussian splatting लागू होते देखना अच्छा है
    इस स्ट्रॉबेरी का शायद सबसे उबाऊ पहलू, यानी license, मुझे दिलचस्प लगा. इसमें लिखा है, “CC BY license के तहत download किया जा सकता है, लेकिन attribution ज़रूरी नहीं है, बस करेंगे तो अच्छा लगेगा,” और मैं वकील नहीं हूँ, लेकिन CC-BY के तहत license देकर उसकी BY requirement को description में माफ़ कर देना सही नहीं लगता
    अगर attribution को optional बनाना है, तो क्या CC0 जैसी ज़्यादा permissive license लेकर attribution सिर्फ request नहीं करना चाहिए?

    • मुझे लगता है, यह संभव है. जैसे “जो चाहो करो” भी एक informal license की तरह है. बस थोड़ा बेमतलब है
    • यह उनका अपना content है, तो वे जो चाहें कर सकते हैं
      कुछ हद तक. फ्रांस जैसे देशों में attribution right मूल रूप से non-transferable है, इसलिए लेखक स्थायी रूप से attribution का अधिकार छोड़ देने के बाद भी कभी भी उसे माँग सकता है
      लेकिन अमेरिका में contract clause से लाभ पाने वाला पक्ष आम तौर पर उस clause को नज़रअंदाज़ या waive कर सकता है. इसे तब भी “CC BY” कहा जा सकता है या नहीं, इस पर बहस हो सकती है, क्योंकि attribution उसकी मूल बात है
      फिर भी CC BY के तहत license देकर तुरंत उस requirement को waive कर देना वैध लगता है