वीडियो में Google search

नमस्ते
मैं एक डेवलपर हूँ जिसने Flick नाम का एक workout tracking app विकसित और संचालित किया है,
और फिलहाल LLM, Multimodal, Langchain, खासकर LLM agent और वीडियो के intersection में गहरी रुचि रखता हूँ.

जिस प्रोजेक्ट का परिचय देना चाहता हूँ, वह एक search engine है जिसमें अपलोड किए गए वीडियो के भीतर मनचाहा सीन या वीडियो क्लिप टेक्स्ट या इमेज से खोजा जा सकता है.

अभी ज़्यादातर वीडियो इंसान ही संभालते हैं, लेकिन मैंने यह प्रोजेक्ट इस सोच के साथ शुरू किया कि अगर वीडियो को संभालने वाला API हो, तो शायद AI agent सीधे वीडियो edit या extract कर सके.

आप इसे आज़माकर देख सकें, इसलिए Playground में कुछ random YouTube वीडियो अपलोड करके रखे हैं.
अगर आप उपयोग के बारे में feedback दें तो मैं बहुत आभारी रहूँगा.

P.S. अगर आप खुद वीडियो अपलोड करना चाहते हैं, या API के रूप में results चाहिए, तो कभी भी संपर्क करें.

[kuroneko]

काफ़ी पहले से home video मैनेज करने वाले प्रोग्रामों में कुछ ऐसे प्रोग्राम थे जो
वीडियो से कई सीन निकालकर पारंपरिक(?) CNN के ज़रिए उन्हें classify करते थे और फिर search करने देते थे...

लेकिन यह उन तरीकों से एकदम अलग स्तर पर काम करता हुआ लगता है।

मैंने कुछ बार search करके देखा, तो नतीजों में लगभग 70~80% सच में वही सीन थे जिन्हें मैं ढूंढ रहा था।
उदाहरण के लिए, "A scene where something explodes" खोजने पर इसने ज़्यादातर Spider-Man फ़िल्मों में कुछ चमकते हुए सीन अच्छी तरह ढूंढ दिए।

बेशक, तेज़ी से बदलने वाले सीन को भी यह explosion बताकर खोज लेता है... फिर भी यह बहुत हैरतअंगेज़ है।
जब मैंने Netflix लोगो वाली एक तस्वीर अपलोड की, तो Netflix सहित जहाँ-जहाँ किसी कंपनी का लोगो दिख रहा था, उन सबको भी यह ढूंढ लेता है।

(फिर भी, Korean सपोर्ट न होना थोड़ा अफ़सोसजनक है.)

[kuroneko]

लगता है कि यह फ़ीचर images पर भी अच्छी तरह काम करेगा, और इससे ऐसा महसूस होता है कि वह दिन भी दूर नहीं जब हर व्यक्ति videos सहित अपने पूरे album को
AI से search कर सकेगा.

या फिर live streaming या बहुत लंबे videos edit करते समय पूरा video देखे बिना भी
AI के ज़रिए highlights या बिल्कुल ज़रूरी हिस्से ढूँढकर निकाले जा सकेंगे...

कंपनियों के नज़रिए से सोचें तो YouTube में natural language + scene के आधार पर search करने वाला फ़ीचर भी आ सकता है.

खैर, इतना शानदार project public करने के लिए धन्यवाद.
यह शायद अभी आप जिस direction में development कर रहे हैं उससे थोड़ा अलग है, लेकिन उम्मीद है कि कभी न कभी ऐसा project open source के रूप में public होगा ताकि Self host करना संभव हो सके.

[ysc7064]

नमस्ते kuroneko ji, लगता है आपने प्रोजेक्ट के साथ बहुत मज़ेदार तरीके से प्रयोग किया, उसके लिए धन्यवाद।

1. 'वह दिन जब हर व्यक्ति AI से अपने पूरे एल्बम, जिसमें वीडियो भी शामिल हों, को खोज सकेगा'
   -> यह पढ़ते ही मुझे अपना वह रूप याद आ गया जो एल्बम उलट-पलट कर फोटो ढूँढता था...

2. 'बहुत लंबे वीडियो को एडिट करना, और AI के ज़रिए highlights या ज़रूरी हिस्सों को ढूँढकर निकालना'
   -> बिल्कुल। AI का उपयोग करके वीडियो प्रोडक्शन की marginal cost को कम करने में मेरी रुचि है।

इतना विस्तार से अपना उपयोग अनुभव साझा करने के लिए एक बार फिर आपका बहुत-बहुत धन्यवाद।
मैं इसे ध्यान से पढ़ूँगा और उन हिस्सों को निकालकर, जो प्रोजेक्ट को प्रेरणा दे सकते हैं, आगे भी लगातार लागू करता रहूँगा।