SAM 2: इमेज और वीडियो के लिए Segment Anything

 (github.com/facebookresearch)
5 पॉइंट द्वारा GN⁺ 2024-07-30 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Segment Anything Model 2 इमेज और वीडियो में promptable visual segmentation समस्या को हल करने के लिए एक मॉडल है
    • इमेज को single-frame वीडियो मानकर इसे वीडियो तक विस्तारित किया गया है
    • real-time वीडियो प्रोसेसिंग के लिए streaming memory के साथ एक सरल transformer architecture का उपयोग करता है
    • उपयोगकर्ता इंटरैक्शन के जरिए मॉडल और डेटा को बेहतर बनाने वाला data engine बनाकर SA-V dataset एकत्र किया गया
  • यह विभिन्न कार्यों और visual domains में मजबूत प्रदर्शन प्रदान करता है
  • Segment Anything Video (SA-V) dataset भी जारी किया गया
    • इसमें 50,583 विविध वीडियो और 642,036 उच्च-गुणवत्ता वाले spatiotemporal segmentation masks (Masklet) शामिल हैं
    • CC by 4.0 लाइसेंस

संबंधित पढ़ाई

2 टिप्पणियां

 
GN⁺ 2024-07-30
Hacker News की राय

  • mIoU और image processing speed में 6 गुना सुधार दिलचस्प है

    • speed improvement मुख्य रूप से efficient encoder की वजह से है
    • एक ही image की कई segmentations में इसका फ़ायदा कम हो सकता है
    • मूल SAM के साथ तुलना ज़रूरी है

  • Segment Anything टीम ने SAM 2 मॉडल जारी किया है

    • यह real-time object segmentation के लिए पहला unified model है
    • code, model, dataset, research paper और demo सार्वजनिक किए गए हैं
    • लोग इससे क्या बनाएँगे, यह देखने की उत्सुकता है

  • SAM 1 को पहले इस्तेमाल किया है

    • SAM 2 paper का सार:
      • 256 A100 GPU पर 108 घंटे तक training हुई
      • training cost लगभग $50k थी, जो काफ़ी कम है
      • नया SA-V dataset 50k video से बना है
      • 3-stage annotation bootstrap method का उपयोग किया गया
      • memory attention feature जोड़ा गया

  • video frame को classify करके किसी खास frame को ढूँढने वाला model train करना चाहता हूँ

    • सोच रहा हूँ कि क्या SAM-2 को base model के रूप में इस्तेमाल किया जा सकता है

  • SAM loss function का बड़ा प्रशंसक हूँ

    • आभार व्यक्त करता हूँ

  • web demo बहुत साफ़-सुथरा है

    • जब हर जूते को अलग object के रूप में चुना गया, तब model ने overlap होने पर भी segmentation किया

  • SAM का पहला model सबसे उपयोगी था

    • SAM2 को आज़माने को लेकर उत्साहित हूँ

  • research demo Illinois और Texas में उपलब्ध नहीं है

    • वजह जानने की जिज्ञासा है

  • military use को लेकर चिंता है

  • यह चौंकाने वाली उपलब्धि है