Marqo, yolox, CLIP और OWL-ViT का उपयोग करके localization और open-vocabulary reranking के साथ image search

मुख्य सारांश: यहाँ हम दिखाते हैं कि Marqo, yolox, CLIP और OWL-ViT का उपयोग करके localization और reranking जोड़ते हुए image search को कैसे आगे बढ़ाया जा सकता है। localization का एक अतिरिक्त आयाम जोड़ने से search performance बेहतर हो सकती है, image search के लिए नए use cases सक्षम हो सकते हैं, और साथ ही explainability भी बढ़ सकती है। open-vocabulary detection model का उपयोग करके दोबारा rank करने से अधिक सूक्ष्म localization संभव होता है। लेख का पहला भाग background information को कवर करता है और दूसरा भाग working code शामिल करता है (जिसे यहाँ भी पाया जा सकता है)।