Qwen VLo - दुनिया को 'समझने' से 'चित्रित' करने तक

 (qwenlm.github.io)
1 पॉइंट द्वारा GN⁺ 2025-06-29 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Qwen VLo एक preview model है जो QwenVL·Qwen2.5 VL की image understanding क्षमता को image generation तक बढ़ाता है, और इसे Qwen Chat में सीधे आज़माया जा सकता है
  • image को एक ही बार में पूरा करने के बजाय, बाएँ से दाएँ और ऊपर से नीचे तक बनाते हुए progressive generation के जरिए परिणामों की consistency और harmony बढ़ाता है
  • मूल image के अर्थ और संरचना को बनाए रखते हुए रंग, style और objects बदलने वाली image re-creation पर फोकस करता है
  • सिर्फ natural language instructions से background replacement, object add/delete, style conversion, text editing, poster creation, depth map·segmentation map·detection map·edge information generation तक संभाल सकता है
  • अभी यह preview stage में है, इसलिए inaccuracies, मूल image से mismatch, instructions न मानने की संभावना है; multi-image input और extreme aspect ratio generation की कुछ सुविधाएँ official release से पहले की अवस्था में हैं

Qwen VLo की भूमिका और approach

  • Qwen VLo multimodal understanding और generation को integrate करता है; यह images को समझने से आगे बढ़कर उसी understanding के आधार पर images को फिर से बनाने वाला model है
  • मौजूदा version preview है और Qwen Chat पर इस्तेमाल किया जा सकता है
  • केवल text से image बना सकते हैं, या image upload करने के बाद natural language में उसे modify कर सकते हैं
    • “Generate a picture of a cute cat” जैसे text prompt से image generate की जा सकती है
    • cat image upload करने के बाद “Add a cap on the cat’s head” जैसा instruction देकर image modify की जा सकती है

बाएँ से दाएँ बनने वाला progressive generation

  • Qwen VLo image को sequentially compose करने वाली progressive generation method का उपयोग करता है
  • इसे generation के दौरान predictions को लगातार refine और optimize करके final image की consistency और harmony बढ़ाने के लिए design किया गया है
  • यह mechanism visual quality बढ़ाता है और users को results पर अधिक flexible control देने वाला creative experience प्रदान करता है
  • dynamic resolution generation के साथ मिलकर, यह लंबे text वाले ads या comic panels जैसे fine control की जरूरत वाले tasks के लिए उपयुक्त है
    • generation process को gradually देखते हुए real-time adjustment संभव है

understanding से generation तक विस्तारित capabilities

  • मूल structure बनाए रखने वाली re-creation

    • मौजूदा multimodal models generation process में meaning से भटक सकते हैं, कार को किसी दूसरे object के रूप में समझ सकते हैं, या original की key structure बनाए नहीं रख पाते
    • Qwen VLo detail capture capability को मजबूत करके generation के दौरान high-level semantic consistency बनाए रखने का लक्ष्य रखता है
    • car photo पर “color change” request करने पर यह vehicle model को identify कर सकता है और original structure बनाए रखते हुए color style बदल सकता है

  • natural language आधारित image editing

    • “इस picture को Van Gogh style में बदल दो”, “इसे 19th-century photo जैसा बना दो”, “clear sky add कर दो” जैसे instructions process कर सकता है
    • art style conversion, scene reconstruction, detailed correction जैसे tasks को support करता है
    • depth map, segmentation map, detection map, edge information prediction जैसे traditional visual recognition tasks भी editing instructions के रूप में किए जा सकते हैं
    • object modification, text editing, background change जैसे complex instructions को एक ही command में process कर सकता है

  • multilingual instruction support

    • Chinese और English समेत कई languages को support करता है
    • users language की परवाह किए बिना अपनी requirements describe कर सकते हैं और results पा सकते हैं

demo में दिखने वाले task types

  • image generation और continuous editing

    • cute Shiba Inu generate करने के बाद background को meadow में बदलना, red hat और black transparent sunglasses जोड़ना, और hat पर “QwenVLo” text डालना दिखाया गया है
    • उसी image को Ghibli style, 3D Q-version style में बदलना, या modified objects को आगे के editing context में लगातार उपयोग करना दिखाया गया है
    • pen को blue mask से detect करना, या dog के edges को pink mask से segment करना भी शामिल है

  • style conversion और reinterpretation

    • cartoon को real photo में बदलना, background को Eiffel Tower से replace करना, या person को balloon की तरह हवा में तैरता हुआ बना सकता है
    • couple photo को minimalist flat illustration sticker या 3D rendering collectible figure में convert करना और “Happy Wedding” text add करना भी शामिल है
    • Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft, pixel art style transitions को cover करता है
    • cat को Pixar 3D style में बदलने या Miami night skyline को jelly texture वाले special material modeling style में convert करने के examples भी हैं

  • complex prompt handling

    • subway में black hat पहने man, red sunglasses पहने woman, Husky, window के बाहर Statue of Liberty, और “Qwen VLo” station sign को साथ शामिल करने वाली photo generate कर सकता है
    • notebook में diagram draw करने वाला first-person view scene, Isaac Newton द्वारा prism से experiment demonstrate करने वाला scene जैसे previous results को आगे बढ़ाने वाले instructions भी process करता है
    • black cat को protagonist बनाकर animals का group, aliens और flying saucers के आमने-सामने वाले wide-angle large photo के poster-type prompts भी शामिल हैं

posters और text image generation

  • Qwen VLo text और image inputs को साथ इस्तेमाल करने वाले tasks के अलावा text-to-image generation भी support करता है
  • general images के अलावा Chinese और English वाले bilingual posters बना सकता है
    • “Qwen VLo!” text के साथ energy से बना night wizard animation art
    • sunglasses और earmuffs पहने orange cat selfie scene
    • “2025”, “A New Beginning”, “新的开始”, “长安”, “Father’s Day” जैसे text वाले poster-type images
  • advertising poster में coffee can, hand-drip kettle, coffee color palette, “一杯咖啡，唤醒你的清晨” जैसे title placement को handle करता है
  • दूसरे poster example में lighting product को central visual element के रूप में रखकर dark blue background, warm orange halo, और “Illuminating not just the desk, but an attitude.” text place किया गया है

perception और location awareness तक शामिल generation

  • Qwen VLo generation और editing के अलावा existing image पर annotations भी add कर सकता है
  • example tasks में ये शामिल हैं
    • fruits से भरी table generate करने के बाद edge detection map prediction
    • image में banana edges को red mask से segment करना
    • messy desk image में mobile phone को red box से mark करना
    • marked mobile phone को हटाकर desk पर coffee add करना
    • final image को edge detection image में convert करना
  • क्योंकि यह integrated understanding-generation model है, इसलिए generated image को भी फिर से analyze कर सकता है
    • dog और cat generate करने के बाद breeds पूछने वाले example में, dog को Beagle या Beagle mix, और cat को Tabby cat के रूप में identify करता है

resolution, aspect ratio, multi-image input

  • Qwen VLo dynamic resolution learning का उपयोग करके dynamic resolution generation support करता है
  • input और output दोनों में arbitrary resolution और aspect ratio वाली images स्वीकार करता है
  • fixed format में बंधे बिना poster, illustration, web banner, social media cover जैसे scenarios के अनुरूप images बना सकता है
  • 4:1 या 1:3 जैसे elongated formats भी handle कर सकता है
    • हालांकि extreme aspect ratio image generation feature अभी official release से पहले की अवस्था में है
  • कई input images को समझने और generate करने की capability भी शामिल है
    • toiletries image को red basket image के अंदर रखने वाला task example के रूप में इस्तेमाल हुआ है
    • multi-image input feature अभी official release से पहले की अवस्था में है

preview stage की limitations और आगे की दिशा

  • Qwen VLo अभी preview stage में है, इसलिए कई limitations बाकी हैं
    • generation process में inaccuracies दिख सकती हैं
    • original image से match न करने वाले results आ सकते हैं
    • instructions follow करने में fail हो सकता है
    • generated image के intent को recognize और understand करने की stability कम हो सकती है
  • आगे stability और robustness को लगातार improve करने की योजना है
  • multimodal large model text और visual input/output को दोनों दिशाओं में handle करते हुए answers को सिर्फ text में नहीं, बल्कि images में भी दे सकता है
  • diagram generation, guide lines add करना, key areas annotation जैसे features और अधिक तरह के communication tools के रूप में उपयोग किए जा सकते हैं
  • segmentation map या detection map जैसे intermediate results generate करके model अपनी understanding verify करे और performance improve करे, इस दिशा में भी exploration जारी रखने की योजना है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-06-29
Hacker News टिप्पणियाँ

  • weights जारी न किए जाने की बात निराशाजनक है। Qwen की ताकत ऐतिहासिक रूप से open weights रणनीति रही है, और अच्छा होता अगर 4o की autoregressive image generation से मुकाबला करने वाला सचमुच open-weights model आता।
    weights तक access होने पर कई दिलचस्प research directions संभव हो जाती हैं। अगर development cost recover करने की चिंता है, तो BFL के Flux Kontext Dev release जैसा तरीका参考 किया जा सकता है: researchers और individuals को weights मुफ्त में देना, और startups से उचित कीमत वाला commercial license लेना।

    • images के नारंगी tint को देखकर यह काफी साफ लगता है कि इसे OAI output पर train किया गया है। सवाल है कि क्या उन्होंने अपना data बनाने की कोशिश भी की थी।
      अंत में यह OAI पर train हुआ, OAI जितना ही बंद है, और उससे भी महत्वपूर्ण बात, OAI से खराब है। ऐसी चीज़ को API के पीछे बंद करके रखना अजीब strategy है।

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

    • किसी वजह से चीन का open weights era खत्म हो गया लगता है। यह अचानक और coordinated कदम जैसा लगता है।
      Alibaba ने Qwen को open करना बंद कर दिया, Tencent ने Hunyuan को open करना बंद कर दिया, और Bytedance का Seedream closed रूप में आया। फिर भी यह साफ लगता है कि वे अब भी Western models के outputs पर train कर रहे हैं। रणनीतिक रूप से मुझे लगता है कि 100% open जाना और infrastructure/services बेचना ही सही रास्ता है।

    • अगर बात open weights की है, तो क्या लोगों को उन्हें freely इस्तेमाल करने में सक्षम नहीं होना चाहिए?
      सुझाया गया तरीका “open weights” से ज़्यादा trial weights, shareware weights, या academic-use weights जैसा है। open source software की तरह किसी भी काम में इस्तेमाल कर सकने का अर्थ हट जाए, तो “open” शब्द गलत impression देता है।

    • मुझे निजी तौर पर संदेह है कि सिर्फ image generation fees से दसियों मिलियन डॉलर के investment, GPU time और engineers की salaries recover की जा सकेंगी।

  • मेरी नज़र में ये सारी images uncanny valley में फंसी हुई हैं। रंग और shadows सब गड़बड़ लगते हैं।

    • सब काफी कच्चा है। research के अलावा इस तरह के outputs का इस्तेमाल कहाँ हो सकता है, यह मुझे ठीक से समझ नहीं आता।

  • bear image editing example देखकर लगता है कि model जितना कहा गया था उससे ज़्यादा बदल देता है।
    background बदलने को कहा गया था, लेकिन bear खुद भी पूरी तरह बदल गया; shirt वही है, पर fur और face साफ तौर पर अलग हैं। bear को balloon में बदलते समय भी उसने background बदल दिया, pavement हटा दिया, और watermelon के बाएं तरफ का seed भी गायब हो गया। उत्सुकता है कि क्या यह बेहतर prompt से ठीक हो सकता है, या model/architecture की सीमा है।

    • दोनों हैं। बेहतर prompt से results सुधारे जा सकते हैं, लेकिन मूल कारण आपस में जुड़ी हुई architecture और training method की सीमाएँ हैं।

  • अनिवार्य test की तरह bicycle चलाते pelican की image SVG के बजाय image के रूप में try की, और accordion की कुछ images भी बनाईं। fingers और black keys को बिल्कुल सही match कराने में थोड़ी दिक्कत है, लेकिन यह काफी तेज है।
    https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...

    • लगता है Simon के test point को miss कर दिया गया। AI द्वारा bicycle पर बैठे pelican की drawing बनाना Stable Diffusion 2/3 के बीच किसी समय से ही solved problem है।
      चुनौती pixel-based format नहीं, बल्कि SVG इस्तेमाल करने में है। SVG सही बनाने के लिए कुछ हद तक reasoning की जरूरत होती है।

  • अजीब बात है कि image modification examples—यानी editing या style transfer जैसे results—में GPT Image 1, यानी ChatGPT 4o के latest image model में दिखने वाला हल्का पीला tint है। Flux Kontext में ऐसा feel नहीं दिखता, तो सोचता हूँ ऐसा क्यों है।

  • automatic read-aloud को कैसे रोकें, समझ नहीं आ रहा। क्या website बस चुपचाप रहकर मेरे कुछ करने को कहने तक इंतजार नहीं कर सकती?
    watch पर video fullscreen में auto-play हुआ और तुरंत पढ़ना भी शुरू कर दिया। reference के लिए, यह iOS पर Firefox है।

    • Settings => Site Settings => Autoplay: Block Audio and Video
      यह Firefox Android के आधार पर है, इसलिए iOS version में वही feature है या नहीं, पता नहीं। desktop में भी है। वहीं से websites के notification भेजने की requests भी पूरी तरह block की जा सकती हैं।

  • एक machine learning researcher और physics degree holder के रूप में, ऐसे models के लिए समझना और “वर्णन करना” जैसे शब्द इस्तेमाल करने को लेकर मैं काफी सावधान हूँ। खासकर समझना शब्द बहुत मददगार नहीं है, और सच कहूँ तो नुकसानदेह है।
    physics में maths इस्तेमाल करने की वजह specificity है, और coding कठिन होने की वजह भी यही है। लगता है लोग इस बात को कम आंकते हैं कि वे दुनिया को कितना ज्यादा समझते हैं। महत्वपूर्ण चीज़ सूक्ष्म फर्क है, लेकिन वह इतना रोज़मर्रा का है कि हम उसका महत्व भूल जाते हैं। Asimov की “Relativity of Wrong” पढ़ने लायक है। अगर कहना है कि ऐसे systems कुछ समझते हैं, तो उन्हें deduction और abduction करनी चाहिए, concepts और ideas को refine करना चाहिए, और जो ingest किया है उसके combinations से आगे कुछ discover कर पाना चाहिए। पूरे human knowledge पर train होकर वही knowledge दोहराना intelligence साबित नहीं करता। इस model size में knowledge को losslessly compress किया गया हो, इसकी संभावना कम है, लेकिन data और knowledge में गहराई से गए बिना यह जानना बहुत मुश्किल है कि क्या जाना गया है और क्या memorized है। उपयोगी चीज़ बनाना और intelligence बनाना अलग समस्याएँ हैं।

    सचमुच समझने के लिए counterfactual thinking propose कर पाने की क्षमता चाहिए। physics का हर proposition counterfactual proposition है। F=ma को उदाहरण लें: mass या acceleration बदलने पर भी force calculate किया जा सकता है। किसी specific mass को specific acceleration से चलते देखकर पूछा जा सकता है, “अगर यह दोगुना heavy होता तो?” और जवाब दिया जा सकता है। इंसान का world model भी यही करता है। हम इसे maths में explain नहीं करते, लेकिन हम counterfactuals बनाते हैं और अक्सर उन्हें अच्छी तरह handle करते हैं। मुझे नहीं लगता कि modern machine learning systems वास्तव में ऐसा करते हैं।

मूल लेख की इमेज समझ की कमी का अच्छा उदाहरण है। दाईं तरफ न सिर्फ उंगलियों की संख्या गलत है, बल्कि keyboard keys भी अजीब हैं। थोड़ा-सा भी समझ हो तो पता चल जाएगा कि keys repeat नहीं होनी चाहिए। layout भी सपने की किसी चीज़ जैसा बेतरतीब है, key count शायद markings की संख्या से मेल नहीं खाता, और size भी गड़बड़ दिखता है। जितनी देर देखते हैं, यह और खराब लगता है—ऐसे systems में यह आम है। पहली नज़र में ठीक लगता है, लेकिन ध्यान से देखने पर uncanny valley में और गहराई तक चला जाता है

https://youtube.com/watch?v=cDA3_5982h8

code गणित है। Turing-complete languages और computable mathematics के बीच isomorphism है। और सख्ती से देखना हो तो Church और Turing को पढ़ सकते हैं। बेशक physics और mathematics एक जैसे नहीं हैं, लेकिन mathematics असंगत रूप से प्रभावी है

https://hermiene.net/essays-trans/relativity_of_wrong.html

https://en.wikipedia.org/wiki/Counterfactual_thinking

  • कुछ बनाने वाले के नज़रिए से ऐसे straw man argument से थकान होती है
    input और output को व्यापक रूप से समझे जाने वाले शब्दों में व्यक्त करना मददगार है। ऊपर से उन्होंने quotes भी लगाए हैं, ताकि यह संकेत मिले कि वे उन शब्दों के दीर्घकालिक निहितार्थों को बढ़ा-चढ़ाकर दावा नहीं कर रहे। release पढ़ने वाले को बस इतना समझ आता है कि Qwen पहले देखने/पहचानने/समझने वाला VLM था और अब images generate/describe/draw कर सकता है। इससे आगे crisis बनाने की जरूरत नहीं है

  • उत्सुकता है कि इस model या 4o जैसी तरीके से images generate करने वाले दूसरे models पर कोई technical report है क्या। मैं 4o-टाइप image generation की architecture सच में समझना चाहता हूं

  • मुझे लगता है कि machine learning ने दुनिया को “समझने” की तुलना में उसका वर्णन करने की दिशा में कहीं ज्यादा प्रगति की है

    • मुझे जिज्ञासा है कि इंसान खुद को दुनिया को बेहतर समझने वाला क्यों मानते हैं। हमारे भीतर दुनिया को लेकर emotions होते हैं, लेकिन emotions समझ नहीं देते। यहां “समझ” को भी अभी define करना होगा
      “समझ गया” कहना दरअसल किसी व्यक्ति का arbitrary निजी criterion भर है

  • image को language model के देखने से पहले 256 tokens में compress किया जाता है। जब आप hat जोड़ने को कहते हैं, तो पूरा face फिर से draw होने की वजह यह है कि objects अलग-अलग store नहीं होते
    memory में कोई स्थायी bear मौजूद नहीं होता; सब कुछ एक fused latent space soup में होता है। नए constraint के तहत फिर से sampling होती है, और prompt में मामूली बदलाव भी पूरे embedding balance को फिर से adjust कर देता है। इसलिए छोटी edit भी पूरी image में फैल जाती है। यह single-shot scene synthesis जैसा दिखता है, और दूसरे use cases में उपयोगी है

    • इसलिए मुझे Flux Kontext पसंद है। इसमें multimodal model जैसी editing capability है, फिर भी details खराब नहीं होतीं
      gpt-image-1 की editing “इसे Ghibli style में बना दो” जैसे पूरे style change के लिए ठीक है, लेकिन realistic image में glasses जोड़ते हुए सारी details बनाए रखने में अच्छी नहीं है