3D अभिव्यक्तियों को कुशल 3D mesh में बदलने की MeshAnything तकनीक

 (buaacyw.github.io)
1 पॉइंट द्वारा GN⁺ 2024-06-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें

MeshAnything: कलाकार-निर्मित mesh जनरेशन

अवलोकन

  • MeshAnything इस बात की नकल करता है कि मानव कलाकार 3D अभिव्यक्तियों से mesh कैसे निकालते हैं।
  • इसे विभिन्न 3D asset production pipelines के साथ जोड़कर 3D उद्योग में उपयोग योग्य कलाकार-निर्मित mesh (AM) बनाए जा सकते हैं।

मौजूदा तरीकों से तुलना

  • MeshAnything सैकड़ों गुना कम faces के साथ mesh बनाता है, जिससे storage, rendering और simulation की दक्षता में बड़ा सुधार होता है।
  • यह मौजूदा तरीकों के समान precision हासिल करता है।

तरीका

  • MeshAnything एक autoregressive transformer है, जो दिए गए 3D shape के अनुरूप कलाकार-निर्मित mesh बनाता है।
  • यह दिए गए 3D asset से point cloud sample करता है, उसे features के रूप में encode करता है, और फिर decoder-only transformer में inject करता है।
  • जटिल 3D shape distributions को सीखने के बजाय, यह optimized topology के जरिए shapes को कुशलता से बनाता है।

और अधिक परिणाम

  • विभिन्न 3D asset production तरीकों के साथ एकीकृत होकर यह अत्यधिक controllable कलाकार-निर्मित mesh generation हासिल करता है।
  • MeshAnything बेहतर topology और कम faces के साथ mesh बनाता है, और समान shape बनाए रखते हुए पूरी तरह अलग topology भी बना सकता है।

GN⁺ की राय

  • दक्षता: MeshAnything मौजूदा mesh generation तरीकों की तुलना में बहुत कम faces के साथ mesh बनाता है, जिससे storage और rendering efficiency में बड़ा सुधार होता है।
  • प्रयोज्यता: यह विभिन्न 3D asset production pipelines के साथ integrate हो सकता है, इसलिए पूरे 3D उद्योग में इसके उपयोग की संभावना अधिक है।
  • तकनीकी लाभ: जटिल 3D shape distributions को सीखे बिना भी optimized topology के माध्यम से shapes को कुशलता से बनाया जा सकता है।
  • आलोचनात्मक दृष्टिकोण: नई तकनीक अपनाने पर मौजूदा systems के साथ compatibility issues या शुरुआती learning curve हो सकता है।
  • सुझाया गया विकल्प: समान क्षमताओं वाले अन्य प्रोजेक्ट्स में MeshGPT आदि शामिल हैं, और अलग-अलग प्रोजेक्ट्स के फायदे-नुकसान की तुलना करना उपयोगी होगा।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-06-22
Hacker News राय
  • 3D मॉडल जनरेशन पेपरों की अक्सर आलोचना होती है, इसलिए यह शोध स्वागतयोग्य है। लेकिन non-commercial लाइसेंस निराशाजनक है। GitHub जानकारी के अनुसार, A6000 GPU पर mesh जनरेशन में लगभग 7GB और 30 सेकंड लगते हैं, और केवल 800 से कम faces वाले mesh ही बनाए जा सकते हैं.
  • low-polygon जनरेशन परिणामों में यह सबसे बेहतर है। अभी भी यह triangle mesh है, लेकिन चीजें धीरे-धीरे बेहतर हो रही हैं.
  • अंतिम लक्ष्य quad-केंद्रित polygon, edge smooth/crease, स्वाभाविक texture UV, और repeating textures के जरिए PBR texture जनरेशन है। इसके बाद दिशा image से CAD model infer करने की ओर बढ़नी चाहिए.
  • lidar scan या photogrammetry से बने बड़े mesh या point cloud को संभालने के लिए high-performance PC और महंगे software की जरूरत होती है। mesh को छोटा बनाकर वेब पर साझा करने लायक करना उपयोगी होगा.
  • point cloud scan को मैन्युअली प्रोसेस करने का अनुभव है। 450GB डेटा बना था, और पिछला प्रोजेक्ट 2.1TB था। इस पेपर का scale खिलौने जैसा लगता है, लेकिन शुरुआत होना महत्वपूर्ण है.
  • AI-generated mesh को "artist-made" कहना भ्रामक हो सकता है.
  • social impact वाले अनुच्छेद में labor cost reduction का उल्लेख अच्छा लगा। यह महत्वपूर्ण है कि इसका मतलब artists की जरूरत को खत्म करना नहीं है.
  • कुछ जटिल models पर इसे टेस्ट करने वाला हूँ.
  • MeshAnything सैकड़ों गुना कम faces वाले mesh बनाता है, जिससे storage, rendering, और simulation efficiency में बड़ा सुधार होता है.
  • ऑनलाइन demo आज़माया, लेकिन output mesh में ऐसे holes बन गए जो मूल में नहीं थे। समझ नहीं आता कि algorithm में समस्या है या नहीं.
  • परिवर्तित mesh efficient नहीं हैं, और उनमें बहुत से n-gons हैं, इसलिए retopology काम की जरूरत है.