GPT-4V(ision) की पहली छाप

 (blog.roboflow.com)
1 पॉइंट द्वारा GN⁺ 2023-09-29 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 25 सितंबर 2023 को, OpenAI ने अपने उन्नत मॉडल GPT-4 के दो नए फीचर्स लॉन्च करने की घोषणा की
  • ये नए फीचर्स उपयोगकर्ताओं को इमेज के बारे में सवाल पूछने और voice को query input के रूप में इस्तेमाल करने की सुविधा देते हैं, जिससे GPT-4 एक multimodal मॉडल बन जाता है
  • GPT-4V(ision) या GPT-4V एक multimodal मॉडल है, जिसमें उपयोगकर्ता इमेज को input के रूप में अपलोड कर सकते हैं और इमेज के बारे में प्रश्न पूछ सकते हैं। इसे visual question answering (VQA) नामक task के रूप में जाना जाता है
  • GPT-4V को visual question answering, optical character recognition (OCR), math OCR, object detection, CAPTCHA, crossword, Sudoku आदि कई tasks में test किया गया
  • इस मॉडल ने सामान्य image-related सवालों में अच्छा प्रदर्शन किया और कुछ इमेज में context awareness भी दिखाई। साथ ही, टेक्स्ट में फिल्म का नाम बताए बिना भी यह इमेज में दिख रही फिल्म से जुड़े सवालों का सफलतापूर्वक जवाब दे सका
  • हालांकि, GPT-4V की कुछ सीमाएँ हैं। यह object detection के लिए bounding boxes को सटीक रूप से वापस नहीं कर पाया, जो दिखाता है कि फिलहाल यह इस उपयोग के लिए उपयुक्त नहीं है। साथ ही, यह कभी-कभी hallucination के कारण गलत जानकारी भी लौटाता है
  • OpenAI ने vision मॉडल का alpha version चुनिंदा उपयोगकर्ताओं के एक छोटे समूह को उपलब्ध कराया ताकि research की जा सके, और अलग-अलग लोगों द्वारा दिए गए prompts के माध्यम से यह समझा जा सके कि GPT-4V कैसे काम करता है, साथ ही feedback और insights जुटाए जा सकें
  • OpenAI ने मॉडल से जुड़े कई जोखिमों की पहचान करने, उनका अध्ययन करने और उन्हें कम करने की कोशिश की। उदाहरण के लिए, GPT-4V इमेज में किसी खास व्यक्ति की पहचान करने से बचता है और hate symbols से जुड़े prompts का जवाब नहीं देता
  • सीमाओं के बावजूद, GPT-4V machine learning और natural language processing के क्षेत्र में एक उल्लेखनीय प्रगति है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-29
Hacker News राय
  • AI मॉडल GPT-4V की क्षमता पर लेख, और अनुमान है कि यह विभिन्न डिवाइसों और एप्लिकेशन के लिए एक बेहतरीन यूज़र इंटरफ़ेस बन सकता है।
  • कुछ चरम विफलताओं के बावजूद, AI की UI elements और layout को समझने और उनके साथ interact करने की क्षमता प्रभावशाली है।
  • GPT-4V कॉमिक इमेजों को panel-दर-panel सटीक रूप से वर्णित कर सकता है, जो उन्नत computer vision क्षमता दिखाता है।
  • इमेजों में हास्य को समझने की AI की क्षमता पिछले 10 वर्षों में काफी बेहतर हुई है।
  • GPT-4V की कुछ सीमाओं में game board की संरचना का गलत अर्थ निकालना या इमेज के कुछ खास elements को नज़रअंदाज़ कर देना शामिल है।
  • AI, NVIDIA की GPU pricing strategy पर बने मज़ाक को सही ढंग से समझा नहीं पाता।
  • GPT-4V के responses असंगत हो सकते हैं, खासकर coin sets में currency की व्याख्या करते समय।
  • AI अक्सर subjective सवालों का जवाब देने में हिचकिचाता है, जिससे कुछ users में असंतोष पैदा होता है।
  • अपनी उन्नत क्षमताओं के बावजूद, GPT-4V अभी भी tic-tac-toe जैसे सरल खेलों में कठिनाई झेलता है।