Meta AI ने वीडियो में हर point (pixel) को ट्रैक करने वाला मॉडल CoTracker पेश किया

 (co-tracker.github.io)
3 पॉइंट द्वारा GN⁺ 2023-08-31 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • Meta AI ने वीडियो के points (pixels) को ट्रैक करने के लिए नया मॉडल CoTracker पेश किया
  • CoTracker का लक्ष्य points के बीच के correlation को ध्यान में रखते हुए पूरे वीडियो में कई points को ट्रैक करना है
  • इसका architecture optical flow और tracking literature के विचारों पर आधारित है, और specialized attention layers वाले transformer network का उपयोग करता है
  • यह sliding window approach का उपयोग करता है, इसलिए इसे लंबे वीडियो पर लागू किया जा सकता है, और अन्य point tracking methods की तुलना में अधिक efficient और अधिक accurate साबित हुआ है
  • यह मॉडल खास तौर पर occlusion होने की स्थिति में भी अधिक साफ और linear tracking उत्पन्न करता है
  • Accuracy के मामले में CoTracker ने TAPIR और Multi-Flow Tracking जैसे अन्य शोधों की तुलना में बेहतर performance दिखाया है
  • यह software engineers को वीडियो में points ट्रैक करने के लिए एक नया शक्तिशाली tool देता है, जो performance और accuracy को बेहतर बनाने वाली एक महत्वपूर्ण प्रगति है

संबंधित पढ़ाई

3 टिप्पणियां

 
kuroneko 2023-08-31

डेमो काफ़ी सुंदर लग रहा है। VR में जो चीज़ें चाहिए होती हैं, उन्हें सोचें तो ऐसा भी लगता है कि बिज़नेस के साथ कुछ हद तक मेल बैठता है...
 
GN⁺ 2023-08-31
Hacker News टिप्पणियाँ
  • Meta के research डिविजन का बिज़नेस एंगल स्पष्ट नहीं है, और core business के साथ इसका संबंध समझ में नहीं आता।
  • Facebook के tracking pixel के अनुभव ने संभवतः Meta के CoTracker मॉडल की सफलता में योगदान दिया है।
  • ऐसा लगता है कि Meta का लक्ष्य VR को विश्वासयोग्य बनाना और real time में दुनिया को समझ सकने वाले AI systems बनाने पर केंद्रित है।
  • CoTracker के paper, GitHub और demo के लिंक दिए गए हैं।
  • Google के पास Tapir नाम का अपना point tracking version है, जो Apache-2.0 license के साथ आता है।
  • product company में research process, engineering-केंद्रित company से अलग होता है।
  • CoTracker और video codec के motion estimation algorithm के बीच तुलना कुछ सवाल उठाती है।
  • CoTracker जैसे open source AI models startups के लिए कम margin वाले बेहद प्रतिस्पर्धी बाज़ार की ओर ले जा सकते हैं।
  • Andrew Zisserman, Hartley और Faugeras जैसे प्रभावशाली लोगों का उल्लेख किया गया है।
  • CoTracker के भविष्य में AR applications हो सकते हैं।
 
xguru 2023-08-31

Meta के research division का business angle स्पष्ट नहीं है, और core business के साथ इसका रिश्ता भी समझ में नहीं आता।

यही मुख्य comment है। research अच्छी है, लेकिन business के साथ इसका alignment अच्छी तरह समझ में नहीं आने वाले हिस्से भी काफी हैं।
कुछ-कुछ पुराने Google को देखने जैसा एहसास भी होता है..