प्राकृतिक भाषा में YouTube वीडियो के अंदर खोज

 (github.com)
10 पॉइंट द्वारा xguru 2021-02-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI के CLIP neural network का उपयोग करके वीडियो के अंदर किसी खास दृश्य को खोजें

→ "Road Works", "People crossing the street", "Fire truck" जैसे वीडियो के भीतर की इमेज खोज सकते हैं

काम करने का तरीका

  1. YouTube वीडियो डाउनलोड करें

  2. हर frame निकालें

  3. सभी frames को CLIP से encode करें

  4. CLIP से natural language search को encode करें

  5. natural language search से खास scene खोजें

  • Google Colab में notebook के रूप में सीधे चलाया जा सकता है

→ https://colab.research.google.com/github/haltakov/…

संबंधित पढ़ाई

1 टिप्पणियां

 
xguru 2021-02-15

कॉमेंट्स में उसी डेवलपर ने Unsplash की image search भी CLIP से बनाई है, यह भी काफ़ी उपयोगी लगती है

Unsplash पर अपलोड की गई 20 लाख फ़ोटो में से यह आपकी मनचाही सामग्री वाली तस्वीरें ढूंढ देता है.

  • "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"