Spark - Three.js के लिए उन्नत 3D Gaussian Splatting renderer

 (sparkjs.dev)
3 पॉइंट द्वारा GN⁺ 2025-06-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Spark एक उन्नत renderer है जिसे Three.js scenes में 3D Gaussian Splatting render करने के लिए बनाया गया है
  • इसे World Labs ने बनाया है, और यह मौजूदा scene के अंदर दूसरे meshes और splats को साथ में place करने देता है
  • इसका लक्ष्य सभी devices पर तेज़ rendering है, और यह अलग-अलग environments में splat content संभालने पर केंद्रित है
  • Programmable dynamic splat effects को support करता है, जिससे static display से आगे बढ़कर scene के भीतर effects बनाए जा सकते हैं
  • ply, sogs, spz, splat, ksplat जैसे कई formats support करता है, और official docs से तुरंत शुरुआत की जा सकती है

Three.js scenes में integrate होने वाला splat renderer

  • Spark Three.js के लिए 3D Gaussian Splatting renderer है
  • इसे World Labs ने बनाया है
  • इसे मौजूदा Three.js scenes में integrate करके अन्य meshes और splats के साथ इस्तेमाल किया जा सकता है

Rendering features और supported formats

  • बताया गया है कि यह सभी devices पर तेज़ rendering देता है
  • Programmable dynamic splat effects को support करता है
  • Supported formats ये हैं
    • ply
    • sogs
    • spz
    • splat
    • ksplat
  • शुरुआत करने के लिए docs Get started पर उपलब्ध हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-06-13
Hacker News की टिप्पणियां

  • डेमो वाकई प्रभावशाली है, और पुराने iPhone पर भी अच्छी तरह चलता है
    3D programming की ज्यादा जानकारी न रखने वाले hobby game developer के नजरिए से, अगर GitHub या वेबसाइट पर कहीं Gaussian splatting क्या है, इसकी एक लाइन की परिभाषा दे दी जाए तो अच्छा होगा
    Wikipedia की यह बात ही काफी होगी कि “Gaussian splatting एक volume rendering technique है जो data को surface या line primitives में बदले बिना सीधे volume data render करती है”; इससे project और उसके संभावित उपयोग कहीं ज्यादा रोमांचक लगेंगे
    अगर इससे high-performance बादल, आग, धुआं जैसी चीजें बनाई जा सकें तो बहुत शानदार होगा

    • FAQ जरूर जोड़ना चाहिए

  • food scan demo, खासकर “Interactivity” example section कमाल का है
    Mel's Steak Sandwich में bread के छेदों के अंदर झांकने वाला scene खासतौर पर अच्छा लगा, और दिख रहे detail level की तुलना में integrated graphics notebook पर भी performance आश्चर्यजनक रूप से अच्छी है
    यह technique अभी सबसे आम तौर पर कहां इस्तेमाल हो रही है, यह जानने की उत्सुकता है

    • handheld devices या drones से छोटी objects scan करने को लेकर एक उत्साही community है
      Tipatat ने demo के लिए काफी food scans उपलब्ध कराए, और kotohibi के flower scans भी पसंद हैं: https://superspl.at/user?id=kotohibi
    • उस level of detail के हिसाब से transfer size भी बुरा नहीं है। सिर्फ करीब 80MB है
      व्यंग्य नहीं कर रहा, सच में काफी साफ-सुथरा है

  • यह भी शानदार है, और BabylonJS में भी Gaussian splatting support अच्छा है: https://doc.babylonjs.com/features/featuresDeepDive/mesh/gau...

    • BabylonJS और original post के Aframe [1] की license, GitHub stars और forks की संख्या मिलती-जुलती लगती है, लेकिन Aframe ज्यादा नया और game/VR side पर ज्यादा focused लगता है
      Babylon, Aframe, Three.js, PlayCanvas [2] इस्तेमाल कर चुके लोगों के नजरिए से ये कैसे compare होते हैं, यह जानना चाहूंगा
      मेरी समझ के मुताबिक PlayCanvas सबसे mature, feature-rich और performance में भी अच्छा है लेकिन commercial है; Babylon एक feature-rich 3D engine है; और Three.js काफी raw जैसा है। animation, textures वगैरह जैसे अच्छे elements हैं, लेकिन आखिर में ऐसा लगता है कि अपना tool set खुद ही बनाना पड़ता है
      इनमें से किसी के साथ अच्छे या बुरे अनुभव रहे हों तो जानना चाहूंगा
      demo वाकई stable है। Aframe की core appeal क्या है, यह जानने की उत्सुकता है
      Gaussian splatting का भविष्य कैसे आगे बढ़ेगा, यह भी जानना चाहूंगा। visualization या industrial “digital twins” से आगे इसके use cases बनेंगे या नहीं, निकट भविष्य में इन्हें edit या animate किया जा सकेगा या नहीं, और creation व gaming में ये कब तक useful होंगे
      [1] https://github.com/aframevr/aframe
      [2] https://playcanvas.com/

  • repository link थोड़ा ज्यादा साफ दिखे, इसलिए यहां है: https://github.com/sparkjsdev/spark

  • बहुत शानदार
    अभी performance bottleneck कहां है, खासकर dynamic scenes के मामले में क्या insights हैं, यह जानना चाहूंगा
    particle simulation example अटकता है, फिर camera rotate करने पर काफी बेहतर हो जाता है; static background दिखने से कहीं ज्यादा भारी लगता है
    दूसरी तरफ, bottleneck से अलग, procedurally बनाया गया Sierpinski pyramid बेहतरीन है

    • scene में splats की संख्या और उनका distribution performance को प्रभावित करते हैं
      शायद camera को ऐसी दिशा में घुमाया गया जहां splats कम थे
      consistent performance देने के लिए अभी काफी काम बाकी है, और आगे शायद LOD system देखेंगे

  • अभी भी इस बात को लेकर काफी संदेह है कि Gaussian splatting demos से आगे कोई मायने रखता है या नहीं
    files बहुत बड़ी हैं। उदाहरण के लिए एक steak sandwich ही 12MB का है
    पिछले साल SIGGRAPH में Gaussian splatting आधारित Matterport clone था, जिसमें 2-room apartment देखने के लिए 1.5GB stream करना पड़ता था
    demo खुद शानदार है

    • यह भी देखना चाहिए कि 12MB वाला steak sandwich उनमें सबसे बड़े items में से है
      बाकी 10MB से कम हैं, और काफी convincing चीजों में से कई 1–3MB range में हैं। उदाहरण के लिए Iberico Sandwich 1MB है, Clams and Caviar 1.8MB है
      और advanced compression methods भी आ रहे हैं। जैसे SOGS है। यह 30MB है
      https://vincentwoo.com/3d/sutro_tower/
    • SOGS compression अच्छी तरह काम करता है
      पूरे spherical harmonic coefficients सहित 10 लाख Gaussians को करीब 14MB में रखा जा सकता है
      PlayCanvas blog पर अच्छा article है: https://blog.playcanvas.com/playcanvas-adopts-sogs-for-20x-3...
    • बड़े file size की मुख्य वजह ज्यादातर spherical harmonic coefficients को store करना है, और यह solve किया जा सकने वाला problem है

  • काम शानदार है, लेकिन Nvidia RTX A3000 GPU वाले laptop के Firefox में performance काफी खराब है
    इसमें first-degree burns कराने लायक पर्याप्त shader cores हैं

    • क्या ऐसा किसी खास demo या example में है?

  • क्या phone हाथ में लेकर घूमते हुए grass, bushes, soil जैसी चीजों के Gaussian splats capture किए जा सकते हैं
    और फिर 1-meter square जमीन का टुकड़ा या bushes वाला 1-meter cube area चुनकर, grass blocks को repeat करके बिछाया जाए और बीच-बीच में soil व bushes मिलाकर “Minecraft जैसा दिखने वाला” world बनाया जा सकता है
    हजारों blocks render करने के लिए शायद काफी powerful hardware चाहिए होगा

    • ऐसा prototype तो जरूर बनाया जा सकता है
      असल में देखने पर यह वाकई कमाल लगेगा

  • वाकई बहुत शानदार दिखता है
    web browser में webpage खोलने पर क्या यह VR में भी काम करेगा? अगर हां, तो और भी कमाल होगा

    • VR में भी काम करता है। जल्द ही demo जारी करने की योजना है