CityGaussian: Gaussian का उपयोग करके रीयल-टाइम हाई-क्वालिटी बड़े पैमाने के सीन रेंडरिंग

 (dekuliutesla.github.io)
1 पॉइंट द्वारा GN⁺ 2024-04-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें

CityGaussian: तेज़ और उच्च-गुणवत्ता वाले बड़े पैमाने के सीन रेंडरिंग के लिए Gaussian तकनीक

  • CityGaussian (CityGS) बड़े पैमाने के 3D Gaussian Splatting (3DGS) के कुशल प्रशिक्षण और रीयल-टाइम रेंडरिंग के लिए एक नया दृष्टिकोण प्रस्तुत करता है.
  • वैश्विक सीन पूर्वज्ञान और अनुकूली प्रशिक्षण डेटा चयन के माध्यम से कुशल प्रशिक्षण और seamless संयोजन संभव होता है.
  • Gaussian primitive डेटा के आधार पर विभिन्न level of detail को compress करके बनाया जाता है, और प्रस्तावित block-आधारित level of detail चयन तथा aggregation रणनीति के जरिए अलग-अलग स्केल पर तेज़ रेंडरिंग हासिल की जाती है.
  • बड़े पैमाने के सीन पर व्यापक प्रयोगों के नतीजे दिखाते हैं कि यह दृष्टिकोण अत्याधुनिक रेंडरिंग गुणवत्ता हासिल करता है और बहुत अलग-अलग स्केल वाले बड़े सीन को लगातार रीयल-टाइम में रेंडर कर सकता है.

SOTA से तुलना

  • CityGS के बिना LoD तकनीक: MatrixCity को 2.5 करोड़ Gaussian के साथ दर्शाया गया है, और A100 पर परीक्षण के अनुसार यह 18 FPS की गति देता है, जिससे roaming अनुभव असुविधाजनक हो जाता है.
  • CityGS और LoD तकनीक: LoD समर्थन के साथ CityGS बहुत अलग-अलग स्केल पर रीयल-टाइम में रेंडर हो सकता है, और A100 पर परीक्षण के अनुसार इसकी औसत गति 36 FPS है.

दृश्य तुलना

  • MegaNeRF, SwitchNeRF, GPNeRF, 3DGS जैसी मौजूदा तकनीकों की तुलना में CityGS की बेहतर रेंडरिंग गुणवत्ता का दृश्य रूप से तुलनात्मक प्रदर्शन किया गया है.

GN⁺ की राय

  • CityGaussian बड़े पैमाने के 3D सीन को रीयल-टाइम में रेंडर करने के क्षेत्र में एक महत्वपूर्ण तकनीकी प्रगति को दर्शाता है. इससे virtual reality, game development, urban planning और simulation जैसे क्षेत्रों में अनुप्रयोग की संभावनाएँ बढ़ती हैं.
  • रीयल-टाइम रेंडरिंग उपयोगकर्ता अनुभव को बहुत बेहतर बनाती है, और CityGaussian द्वारा दिया गया उच्च frame rate इस अनुभव को और अधिक smooth तथा यथार्थवादी बना सकता है.
  • हालांकि, रीयल-टाइम रेंडरिंग तकनीक को आम तौर पर high-performance computing संसाधनों की आवश्यकता होती है, जो लागत और accessibility के लिहाज़ से बाधा बन सकती है.
  • इस तकनीक को व्यापक रूप से अपनाए जाने के लिए hardware प्रगति के साथ optimization तकनीकों में लगातार सुधार की आवश्यकता होगी.
  • साथ ही, CityGaussian जैसी तकनीक का उपयोग करने वाले अन्य प्रोजेक्ट या उत्पाद भी बाज़ार में मौजूद हो सकते हैं, इसलिए उपयोगकर्ताओं को अपनी आवश्यकताओं के अनुसार सर्वोत्तम समाधान चुनने के लिए कई विकल्पों की तुलना करनी चाहिए.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-04-03
Hacker News की राय
  • Google Maps 3D tiles और gaussian splats को मिलाने वाले एक प्रयोगात्मक प्रोजेक्ट का परिचय दिया गया है। इस तकनीक के जरिए वास्तविकता के काफ़ी करीब प्रभाव हासिल किया गया है, और संबंधित कोड सहित उदाहरण दिए गए हैं।
  • वीडियो में इस्तेमाल किया गया dataset 'Matrix city' है, जो लगता है कि कुछ साल पहले जारी किए गए Unreal Engine 5 के Matrix demo से निकाला गया है। अनुमान है कि यह फ़ोटो नहीं, बल्कि photorealism तकनीक से बनाया गया है।
  • औसत frame rate 36 frames per second है, और इसका परीक्षण A100 graphics card पर किया गया। इस graphics card की कीमत लगभग $8,000 है।
  • gaussian splat नाम की यह तकनीक Gauss के नाम पर रखी गई है। हालांकि इसे सीधे Gauss ने आविष्कार नहीं किया था, लेकिन इसकी गणितीय नींव में उनका बड़ा योगदान है।
  • एक तकनीकी सवाल उठाया गया है कि क्या Gaussian splats वही तकनीक है जिसकी वजह से Unreal Engine हाल में इतने शानदार demo दिखा पाया।
  • लोग यह जानने को उत्सुक हैं कि यह तकनीक किस license के तहत जारी होगी, और कुछ की इच्छा है कि इसे open source games में इस्तेमाल होते देखें।
  • 3D gaussians का उपयोग करके बड़े scenes render करने की उन्नत तकनीक को लेकर जिज्ञासा है, और कुछ लोग इसका code test करके देखना चाहते हैं।
  • एक राय यह भी है कि यह तकनीक मौजूदा city simulation game 'Cities: Skylines' की तुलना में कोई स्पष्ट रूप से बेहतर चीज़ नहीं दिखाती, और केवल सीमित frames दिखाए जाने से असली प्रभाव समझना मुश्किल है।
  • एक टिप्पणी में सवाल उठाया गया है कि क्या 3D gaussian splats वास्तव में उपयोगी साबित होंगे। rendering बहुत धीमी है और data बहुत ज़्यादा है, इसलिए इसके व्यावहारिक न होने की चिंता जताई गई है। साथ ही यह दावा भी किया गया है कि rasterization हमेशा ray tracing से तेज़ होगी। gaussian point cloud से पारंपरिक geometry और materials बनाना दिलचस्प बताया गया, लेकिन यह भी कहा गया कि photogrammetry तो काफ़ी समय से पहले ही उपयोग में है।
  • इस तकनीक की memory और computing requirements को लेकर भी सवाल उठाए गए हैं।