DALL·E 3

 (openai.com)
1 पॉइंट द्वारा GN⁺ 2023-09-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • OpenAI का DALL·E 3 ChatGPT users और API developers के लिए एक text-to-image generation model है, जिसका लक्ष्य दिए गए वाक्यों को अधिक ईमानदारी से दर्शाने वाली images बनाना है
  • मौजूदा systems अक्सर शब्दों या descriptions को छोड़ देते थे, जिससे users को prompt engineering पर निर्भर रहना पड़ता था, लेकिन DALL·E 3 को इस तरह design किया गया है कि वही prompt देने पर भी यह DALL·E 2 से बेहतर results दे
  • ChatGPT integration के जरिए users सिर्फ एक छोटा वाक्य या विस्तृत paragraph लिखें, तो ChatGPT अपने-आप DALL·E 3 के लिए detailed prompt बना देता है
  • अगर result image पसंद आए लेकिन details सही न हों, तो कुछ शब्दों में modification request की जा सकती है, और generated images को reprint, sell या merchandise करने के लिए अलग permission की जरूरत नहीं है
  • Safety measures के तौर पर यह वास्तविक public figures के नामों वाली requests और living artists की style वाली requests को reject करता है, और creators भविष्य में image generation model training से अपनी images को opt out कर सकते हैं

Text को अधिक सटीकता से follow करने वाली image generation

  • DALL·E 3 ChatGPT users और API के जरिए developers को उपलब्ध कराया जाता है
  • Text-to-image systems में शब्दों या descriptions को ignore करने की प्रवृत्ति होती है, इसलिए desired result पाने के लिए अक्सर prompt engineering सीखनी पड़ती है
  • DALL·E 3 का लक्ष्य users द्वारा दिए गए text को अधिक सटीकता से follow करने वाली images बनाना है
  • इसे इस तरह design किया गया है कि वही prompt देने पर भी DALL·E 2 की तुलना में साफ तौर पर बेहतर परिणाम दे

ChatGPT से prompt generation और modification तक जोड़ना

  • DALL·E 3 ChatGPT में natively integrated है, जिससे idea generation और prompt refinement को ChatGPT के अंदर ही handle किया जा सकता है
  • Users जिस scene को देखना चाहते हैं, उसे एक simple sentence से लेकर detailed paragraph तक natural language में request कर सकते हैं
  • ChatGPT user के idea के आधार पर DALL·E 3 के लिए customized detailed prompt अपने-आप generate करता है
  • जब कोई specific image पसंद आए लेकिन exactly desired result न हो, तो सिर्फ कुछ शब्दों से modification request की जा सकती है

Generated images के usage rights

  • DALL·E 3 से बनाई गई images users इस्तेमाल कर सकते हैं
  • DALL·E 2 की तरह ही generated images को reprint, sell और merchandise करने के लिए OpenAI से अलग permission की जरूरत नहीं है

Public figure generation और harmful bias घटाने के लिए safety measures

  • DALL·E 3 में public figure names को directly request करने वाली image generation को reject करने के लिए mitigation measures हैं
  • OpenAI ने red teams के साथ मिलकर public figure generation, visual overrepresentation/underrepresentation से जुड़े harmful biases जैसे risk areas में safety performance सुधारा है
    • Red teams domain experts होते हैं जो model को stress test करते हैं
    • इस काम का इस्तेमाल propaganda और disinformation जैसे क्षेत्रों में risk assessment और mitigation efforts के लिए किया जाता है
  • OpenAI यह identify करने के बेहतर तरीकों पर भी research कर रहा है कि कोई image AI-generated है या नहीं
  • वह अपने internal tool provenance classifier का experiment कर रहा है, जो यह identify करने में मदद कर सकता है कि कोई image DALL·E 3 से generated है या नहीं
  • OpenAI इस tool के जरिए generated images का उपयोग कैसे हो सकता है, इसे बेहतर समझने और additional information share करने की योजना रखता है

Creator control और reference materials

  • DALL·E 3 को इस तरह design किया गया है कि living artist style में images request करने पर वह reject करे
  • Creators भविष्य में image generation model training से अपनी images को exclude करने के लिए opt out कर सकते हैं
  • संबंधित materials के रूप में research paper और image opt-out form उपलब्ध हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-21
Hacker News की राय

  • अगर यह अभी सार्वजनिक नहीं हुआ है, तो यह announcement of an announcement की श्रेणी में आता है (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
    जब सच में चर्चा करने लायक कुछ आ जाए, तब thread खोला जा सकता है, और इंतज़ार करने में कोई नुकसान नहीं है (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)

    • इतना ज़ोरदार ढंग से visibility कम की गई पोस्ट पहली बार देख रहा हूं, लेकिन यह “announcement” इतना फीका है कि इसका स्वागत है

  • जिनकी दिलचस्पी हो उनके लिए: पिछले साल DALL·E 2 से करीब 7,000 images generate करके https://generrated.com/ पर डाली थीं
    मैं प्रयोग करना चाहता था कि DALL·E 2 क्या बना सकता है, और दूसरों के लिए inspiration या starting point के तौर पर share करना चाहता था
    API आने से पहले की बात थी, इसलिए सब कुछ manually generate और save करना पड़ा, खर्च भी काफी हुआ, लेकिन मज़ा आया
    DALL·E 3 का access मिल जाए तो शायद सब कुछ update करना पड़ेगा

    • अगर ऐसा करते हैं, तो v2 और v3 images की comparison देखना शानदार होगा
    • अब prompt में artist name नहीं लिख सकते, इसलिए DALL·E 3 के साथ उस site को maintain करना मुश्किल लगता है
      Edit: असल में लगता है कि सिर्फ जीवित कलाकारों को ही prompt में नहीं लिख सकते, और कम-से-कम लेख में तो ऐसा ही लिखा है
    • क्या किसी को कोई ठोस technical reason पता है कि यह शब्दों को इतना ठीक से क्यों नहीं बना पाता?
      ऐसे patterns दिखते हैं जिनसे अनगिनत reasonable hypotheses बनाई जा सकती हैं, लेकिन जिज्ञासा से असली वजह जानना चाहता हूं
      images देखने पर खास तौर पर दिलचस्प यह है कि text एक बार भी बिल्कुल सही नहीं मिलता और हमेशा थोड़ा-थोड़ा चूक जाता है। कभी-कभी बहुत गलत होता है, लेकिन ज़्यादातर काफी करीब होता है
    • यह सचमुच अजीब है कि ये platforms image management, download और पूरा prompt हासिल करना इतना मुश्किल क्यों बना देते हैं
      मैंने Midjourney के लिए एक Discord bot बनाया था, जो simple config से version वगैरह समेत जितनी information मिल सके उतनी के साथ images download और annotate कर सकता है: https://github.com/ernop/social-ai/tree/main/SocialAI
      फिर भी यह perfect नहीं है। यह भेजे गए command से information लेता है, लेकिन उस समय शायद defaults पर निर्भर था, इसलिए आज interpret करने पर पुराने version, seed आदि को prompt में शामिल न किया हो तो reconstruct करना मुश्किल है
      फिर भी कम-से-कम prompt के साथ 30 हजार images वाला folder permanent रख पाना, और बाद में फिर से run करके समय के साथ comparison कर पाना अच्छा है
    • काफी अच्छा था। पहले लगा कि सिर्फ 5 images होने से थोड़ा फीका है, लेकिन इसमें कई styles और concepts के खूब examples हैं, इसलिए यह बेहतरीन inspiration source बन जाता है

  • मन में आने वाली बातें: ChatGPT integration बहुत बड़ा है। अगर ChatGPT Plus और enterprise integration अक्टूबर में आता है, तो यह Midjourney और कई text-to-image SaaS कंपनियों पर बड़ा दबाव डाल सकता है, और उन्हें NSFW use cases पर focus करने को मजबूर कर सकता है
    Quality Midjourney जैसी दिखती है, लेकिन Midjourney में upscaling या कई variations generate करने जैसे useful features भी हैं। उत्सुक हूं कि DALL·E 3 user experience के मामले में बराबरी कर पाएगा या नहीं
    UI के तौर पर मैं Discord की तुलना में ChatGPT को बहुत ज़्यादा पसंद करता हूं, इसलिए यह विकल्प बेहतर है

    • ChatGPT integration में जो सच में चौंकाने वाली बात हो सकती है, वह है text को ChatGPT से refine करने की तरह image को बार-बार modify करके मनचाहे result तक पहुंचने की क्षमता
      अभी Midjourney या Stable Diffusion में कभी-कभी जबरदस्त image आती है और कभी नहीं, और यह casino जैसा लगता है। Stable Diffusion में mask लगाकर फिर कोशिश कर सकते हैं, लेकिन यह झंझट भरा और time-consuming है
      अगर आप कहें, “यह image अच्छी है, लेकिन बंदर सिर्फ एक हो और sky को green कर दो,” और वह original image लेकर उसे modify कर दे, तो यह पूरी तरह game बदल देगा
      शायद असल में इसके ऐसे काम करने की संभावना कम है, लेकिन उम्मीद है ऐसा हो
    • DALL·E 2 में Midjourney से काफी पहले से ही variation generation और inpainting जैसी चीजें थीं
      फिर भी इस competition में कौन, और क्या जीतेगा यह देखना सचमुच दिलचस्प होगा
    • ChatGPT integration इतना बड़ा नहीं लगेगा
      Bing Chat पहले से internally GPT-4 इस्तेमाल करता है, Bing Image Creator भी integrated है, और internally शायद DALL·E 2.5 जैसा कुछ इस्तेमाल करता है, लेकिन अच्छा नहीं है
      यह बस image prompt आपके लिए लिख देता है, और जो काम आप खुद कर सकते हैं उसे एक बार और relay करने वाली बेकार telephone game जैसा है
    • निष्पक्षता से कहें तो NSFW market काफी बड़ा है, और अकेले ही कई कंपनियों को sustain करने के लिए पर्याप्त है
      Literotica पर trained बड़े language model जैसी चीज भी संभव नहीं होगी क्या
    • पक्का नहीं। मैं पहले से ChatGPT से Midjourney के लिए prompts बनवा रहा हूं और यह कुछ clicks में हो जाता है
      कोई बहुत बड़ा फर्क महसूस नहीं होता, खासकर क्योंकि Midjourney DALL·E से कहीं बेहतर है

  • कहा गया है कि “DALL·E 3 को इस तरह डिज़ाइन किया गया है कि वह जीवित कलाकार की शैली में इमेज मांगने पर मना कर दे”, और “क्रिएटर अब भविष्य के image generation model training से अपनी इमेजों को बाहर रख सकते हैं”
    तो इसका मतलब इस version में भी copyright वाले कामों को बिना अनुमति training में इस्तेमाल किया गया है
    ऊपर से manual तौर पर opt-out करने का बोझ कलाकारों पर डाल दिया गया है
    क्या उन्हें डर नहीं लगता कि किसी दिन अदालत हर generated image के लिए हर कलाकार को भुगतान करने को मजबूर कर देगी

    • मेरी training भी ऐसे ही हुई है
    • लगता है वे यह दांव लगा रहे हैं कि जब तक ऐसा होगा, तब तक घोड़ा अस्तबल से भाग चुका होगा
      यानी अदालत को हजारों बहुत बड़ी और ताकतवर कंपनियों को लाखों लोगों को पैसे देने पर मजबूर करना पड़ेगा, जो असल में संभालना मुश्किल कानूनी प्रयास बन जाएगा
    • “copyright वाले कामों से दोबारा training की गई” इस बात का अभी पक्का सबूत नहीं है
      उन्होंने source या methodology सार्वजनिक नहीं की है, और “training” और “copyright” को छोड़कर बाकी सब सवालों के घेरे में है। अगर ऐसा न होता तो वे पहले से royalties दे रहे होते
      हो सकता है पिछले version 2 के outputs को GPT द्वारा बनाए गए prompts के साथ इस्तेमाल किया गया हो, और generated images के हिसाब से लोगों ने correction किया हो
      यह भी हो सकता है कि computer vision से नई और मौजूदा images का analysis करके, अगर image में नए features मिलें तो उन्हें prompt में जोड़कर दोबारा training की गई हो
    • जीवित कलाकारों को अपनी खुद की शैली में images मांगने में सक्षम होना चाहिए
    • आम copyright व्यवस्था में ऐसी चीज़ का “अनुमत” होना, और अब mass-market commercial product में इसका आना, पूरी तरह पागलपन है
      अदालतों की हालत देखते हुए, इसके पलटने की उम्मीद भी नहीं है
      संभावना है कि Disney जैसे बड़े intellectual property holders के साथ भालू को न छेड़ने के लिए backroom deals हो रही हों, जबकि छोटे players को बचाव करने लायक नहीं छोड़ा जा रहा हो—ठीक कहें तो वे पहले से गरीब हैं और उन्हें और पैसों से दूर रखा जा रहा है

  • Midjourney के लिए यह असली खतरा हो सकता है, लेकिन लगता नहीं कि यह Stable Diffusion को हटा पाएगा
    prompt adherence शायद बेहतरीन होगी, लेकिन customization की कमी और art style restrictions इसकी उपयोगिता बहुत घटा देंगे
    लोग शायद DALL·E 3 से composition के लिए base image बनाएंगे, और style, upscaling, details के लिए Stable Diffusion चलाएंगे

    • जानना चाहूंगा कि आपको क्यों लगता है कि यह Stable Diffusion के लिए खतरा नहीं है
      generated है या नहीं, यह पहचानना मुश्किल हो ऐसी ultra-high-quality images मैंने Stable Diffusion की तुलना में Midjourney में कहीं ज्यादा देखी हैं
    • art style restrictions सच कहूं तो चिढ़ पैदा करती हैं। मेरी इसमें खास रुचि नहीं है
      Midjourney की filtering भी काफी परेशान करने वाली थी, और ChatGPT का simple requests को सिर्फ इसलिए बेवजह reject करना कि उन्हें गलत समझा जा सकता है, लगातार बेहद irritate करता था
      अगर उन दोनों को मिलाकर artist style filtering भी साफ तौर पर जोड़ दी जाए, तो मैं बस skip कर दूंगा
      जोड़ दूं कि मैं Midjourney से NSFW नहीं बना रहा हूं। मेरी बात उस स्थिति की है जहां मुझे “counter पर cheese काटते हुए व्यक्ति की stock photo” चाहिए थी, लेकिन “cutting” या “slicing” जैसे शब्द इसलिए इस्तेमाल नहीं कर सकता क्योंकि वे gore images बनाने में इस्तेमाल हो सकते हैं

  • “क्रिएटर अब भविष्य के image generation model training से अपनी images को बाहर रख सकते हैं” कहने के बाद link का एक-एक image submit करने वाला form होना मजेदार है
    कहा तो जाता है कि site पर GPTBot को block किया जा सकता है, लेकिन अगर bot पहले ही images scrape कर चुका है तो क्या होगा, यह भी समस्या है
    वैसे भी कोई दूसरा व्यक्ति मेरी photo ऐसी किसी और website पर डाल सकता है जो GPTBot को block नहीं करती

  • हाल के project की वजह से मैं काफी Midjourney images बना रहा हूं, और फिर समझ आया कि AI art doomers शायद किस बात को नहीं समझते: curation का महत्व
    /r/Midjourney या ऊपर वाले DALL·E link की recommended images को बस देख लें, तो दिखता है कि generator के “default results” कितने boring होते हैं
    images बनाना आसान हो सकता है, लेकिन कौन-सी image आकर्षक है यह चुनने के लिए अभी भी artistic sense और skill चाहिए
    बड़े परिप्रेक्ष्य में illustration-style art शायद curation activity के ज्यादा करीब हो जाएगी, और भारी मात्रा में images में से छांटने की क्षमता मुख्य skill बनेगी

    • क्या यह photography जैसा है
    • text-to-image tools को मैं बहुत अच्छी तरह नहीं जानता, लेकिन क्या reference image input के तौर पर नहीं दे सकते
      अगर input के लिए reference image बनाई जा सके तो मुझे लगता है result बेहतर होगा। input जितना अच्छा, output उतना अच्छा
      commercial field में ऐसा लगता है कि AI का अच्छा इस्तेमाल करने वाले artists आगे निकलेंगे
    • पता नहीं वह phase कितने समय तक चलेगा, और मुझे लगता है किसी को भी उस पर निर्भर नहीं रहना चाहिए
    • लगता है कि human preferences के आधार पर filter करने वाली AI भी train की जा सकती है
      फिर भी taste और technical talent वाले artist के पास image को curated ideal के और करीब manipulate करने की गुंजाइश रहेगी
      आज के Stable Diffusion आधारित Photoshop workflow की तरह generated output आधार बनाएगा, और workflow mature होने पर manual input फिर बढ़ेगा
      जैसे ControlNet से कोई खास pose या placement तय करके composition lock कर दी जाए, AI 90% भर दे, फिर इंसान अपनी पसंद से आखिरी 10% polish करे और iterate करे

  • “DALL·E 3, ChatGPT के ऊपर natively बनाया गया है” वाले point, ChatGPT और image generation के tight integration, और announcement के साथ research paper न आने को देखते हुए, मुझे मजबूत शक है कि यह GPT-4 multimodal capabilities का trial run है और संभवतः मिलते-जुलते infrastructure पर चलता है

    • GPT-4 सिर्फ text-to-text और image-to-text कर सकता है, images सीधे generate नहीं कर सकता
      इसलिए यह बस API call इस्तेमाल करेगा। इसमें कुछ खास नहीं है और Bing भी यही करता है
    • अब तक GPT-4 ने जो drawings बनाई हैं वे इस स्तर की नहीं थीं, लेकिन यह कोई नया version हो सकता है
      संदर्भ: https://arxiv.org/pdf/2303.12712.pdf

  • क्या कॉपीराइट वाली “training” सामग्री हटा दी गई है, या वे अभी भी बिना सहमति लोगों की मेहनत से “सीखा” कहकर उसे बिना अनुमति बेच रहे हैं

    • घोषणा के अंत में देखें तो भाषा बहुत सावधानी से रखी गई है: “DALL·E 3 को इस तरह design किया गया है कि अगर किसी जीवित artist की style में images मांगी जाएं तो वह refuse करे। Creators अब भविष्य के image generation models की training से अपनी images को बाहर रख सकते हैं”
      यानी वे अभी भी लोगों की मेहनत पर निर्भर हैं, लेकिन अच्छी बात यह है कि आप opt out कर सकते हैं ताकि आपका काम DALL·E 4 का चारा न बने
    • कानूनी तौर पर शायद बड़ा issue न हो
      मुख्य बात इस पर निर्भर है कि क्या वे सफलतापूर्वक यह तर्क दे पाते हैं कि AI इंसानों की तरह सीखता है, इसलिए मौजूदा works की direct copy न होने वाला output एक नई रचना है
      अगर AI किसी artist की art style को replicate करे तो भी यही बात मिलती-जुलती लागू होती है। यह वैसा ही है जैसे कोई इंसान weekend में किसी artist के काम को देखकर उसी style में commissioned work बना दे; और क्योंकि art style को copyright से protect नहीं किया जा सकता, यह पूरी तरह legal है
      हालांकि Adobe ज़रूर चाहेगा कि ऐसा हो[0]
      0: https://twitter.com/UltraTerm/status/1679294173793628161
    • नहीं हटाया गया है। लंबे समय में यह Adobe के AI के जीतने की एक वजह हो सकती है
      एक और बात जो बार-बार दिमाग में आती है, वह यह है कि क्या ऐसे AI-generated outputs game industry जैसी collapse ला सकते हैं
      अगर बहुत प्रचारित लेकिन अर्थहीन और कम-value AI content की over-supply हो गई, तो consumers की रुचि खत्म हो सकती है और वे books, games, films, digital art, music जैसी industries में खर्च करना बंद कर सकते हैं, जिससे वे ढह सकती हैं
    • OpenAI Shutterstock से image data license करता है, इसलिए संभव है कि उसने पूरी तरह licensed images पर training की हो
      https://investor.shutterstock.com/news-releases/news-release...
      हमेशा की तरह, training data को लेकर और transparency हो तो अच्छा होगा
    • मुझे हमेशा से यह बात नापसंद रही है कि human artists बिना अनुमति दूसरे लोगों के works देखकर “train” करते हैं, उसे बिना अनुमति अपने meat brain में download कर लेते हैं, और फिर अपने organic neural network को उस art पर train करते आए हैं
      ऐसा नहीं होना चाहिए। copyright maximalist नज़रिए से यह copyright infringement है

  • एक और race शुरू हो गई
    कुछ लोगों को OpenAI से तीखी चिढ़ लगती दिखती है, लेकिन कम-से-कम OpenAI कुछ क्षेत्रों में खुद को वह benchmark जिसे पार करना है बनाने में सचमुच बहुत अच्छा है
    और ऐसा करते हुए लगता है कि वह पूरे field को काफी आगे धकेल देता है

    • OpenAI को नापसंद करने की वजह यह है कि इसकी स्थापना AI safety के लिए हुई थी, लेकिन safety के सबसे खिलाफ चीज़ AI capability race को बढ़ावा देना है, और OpenAI बार-बार ठीक वही कर रहा है
    • यह नहीं भूलना चाहिए कि OpenAI जल्द ही Microsoft ही है
      मेरे जैसे पुराने लोग 90s में Microsoft ने जो कुछ किया था, उसे याद रखते हैं। आज भी अगर वह किसी field में आगे हो, तो वही करता, और पीछे से कभी-कभी अब भी वैसा करता है
      मुझे FB या Zuckerberg पसंद नहीं हैं, लेकिन LLAMA को free में release करना एक अच्छा कदम था
      उम्मीद है OpenAI के अंदर से एक और leak आए और हमें सब कुछ access मिल जाए