Apple की computational photography में मिली वास्तविकता को विकृत करने वाली गलती

 (appleinsider.com)
1 पॉइंट द्वारा GN⁺ 2023-12-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ब्रिटिश कॉमेडियन और अभिनेत्री Tessa Coates की wedding dress वाली तस्वीर में असली व्यक्ति और दो शीशों में दिख रहे प्रतिबिंब अलग-अलग poses में दिखाई दिए, जिससे iPhone की photo processing की कमी उजागर हुई
  • वजह कोई अतियथार्थवादी घटना नहीं, बल्कि iPhone द्वारा शीशे में दिख रहे प्रतिबिंबों को उसी व्यक्ति के रूप में group न कर पाने वाली computational photography error थी
  • तस्वीर Panorama mode में ली गई थी, और Coates के हिलने के दौरान अलग-अलग क्षणों की images को एक तस्वीर में combine कर दिया गया
  • Apple का algorithm saturation, contrast, detail, blur न होना आदि के आधार पर हर क्षेत्र की “best” image चुनते समय हर शीशे के लिए अलग-अलग क्षण चुन बैठा
  • शीशों और movement वाले scenes में latest smartphones भी वास्तविकता से अलग composite results बना सकते हैं, इसलिए कई बार captured result पर ज्यों-का-त्यों भरोसा करना मुश्किल हो जाता है

शीशे के सामने तस्वीर में बने तीन अलग-अलग poses

  • ब्रिटिश कॉमेडियन और अभिनेत्री Tessa Coates wedding dress try करते समय शीशे के सामने फोटो खिंचवा रही थीं
  • तस्वीर में Coates खुद और दोनों तरफ के शीशों में उनके प्रतिबिंब साथ दिख रहे थे, लेकिन तीनों रूपों के poses अलग-अलग थे
    • एक शीशे में हाथ नीचे किए हुए रूप
    • दूसरे शीशे में कमर के सामने हाथ जोड़े हुए रूप
    • वास्तविक व्यक्ति में बायां हाथ शरीर के बगल में रखा हुआ रूप
  • देखने में यह बहुत अजीब लगता है, लेकिन वजह iPhone के capture processing के दौरान हुई गलती थी

iPhone capture pipeline में क्या हुआ

  • iPhone shutter button दबाते ही अरबों computations करके एक तस्वीर बनाता है
  • इस मामले में camera यह नहीं पहचान पाया कि वह शीशों की तस्वीर ले रहा है, और Coates के तीन रूपों को अलग-अलग लोगों की तरह process कर बैठा
  • Coates के हिलने के दौरान तस्वीर ली गई, जिससे उसी scene के अलग-अलग क्षणों की कई images capture हुईं

Panorama mode और image compositing

  • update के मुताबिक यह तस्वीर Panorama mode में ली गई थी
  • Panorama shooting में camera scene को scan करता है, इस दौरान कई images capture होती हैं, और बाद में algorithm उन्हें stitch करता है
  • Apple का algorithm हर हिस्से में saturation, contrast, detail, blur न होना आदि के आधार पर बेहतर image चुनता है
  • final composite image को उस क्षण की सबसे अच्छी और वास्तविक व्याख्या होना चाहिए था, लेकिन शीशे शामिल होने के कारण हर प्रतिबिंब में अलग-अलग क्षण रह गए

“तीन Tessa” क्यों बनीं

  • algorithm वास्तविक व्यक्ति और दोनों शीशों के प्रतिबिंबों को एक ही व्यक्ति के रूप में group नहीं कर पाया
  • हर mirror region में अलग frame को ज्यादा उपयुक्त माना गया, जिससे final photo में अलग-अलग poses एक साथ आ गए
  • नतीजतन वास्तविक व्यक्ति और दो प्रतिबिंब अलग-अलग हरकतें करते दिखने वाली composite image बन गई

फिर से बनाने की संभावना और सीमाएं

  • ऐसा result सिर्फ हाल के iPhone में नहीं, बल्कि कई smartphones में भी reproduce किया जा सकता है
  • वजह शीशों को handle करने में computational photography की limitation है
  • कुछ युवा पीढ़ी के लोग इस phenomenon को समझकर social media के लिए मजेदार images बनाने में इस्तेमाल करते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-02
Hacker News की राय

  • लगता है कि इस छोटे सारांश लेख ने जिस मूल लेख[0] का संदर्भ दिया है, वह शायद बेहतर स्रोत हो सकता है
    [0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...

  • purists को computational photography का विचार हमेशा नापसंद रहेगा, लेकिन मुझे सच में पसंद है कि iPhone हाथ में पकड़कर रात, कम रोशनी और motion वाली तस्वीरें अच्छी तरह खींच लेता है
    मैंने ऐसी रात की तस्वीरें भी ली हैं जिन्हें छोटे physical sensor से असंभव मानता था
    क्या वे उस पल के असली दृश्य को pixel-by-pixel 100% सही दिखाती हैं? नहीं, लेकिन मुझे इससे खास फर्क नहीं पड़ता
    पहले भी मैंने HDR exposure compositing, shallow depth of field के लिए focus stacking, और भीड़भाड़ वाली जगह की कई तस्वीरें लेकर लोगों और कारों के बिना एक फोटो में stitch करने जैसे काम किए हैं; ये सब आंखों से देखे दृश्य की perfect reproduction नहीं हैं, लेकिन जिस subject को कैप्चर करना चाहता हूं, उसके लिए multiple exposures को मिलाना अपना काम कर देता है

    • कोई photographer film photography को भी reality का perfect reflection नहीं मानता
      lens खुद भी flaws और बदलाव पैदा करता है, और film व development process भी ऐसा ही करते हैं
      इसका मतलब यह नहीं कि क्या कैप्चर हो और कैसा दिखे, यह तय करने का अधिकार चाहना आपको purist बना देता है
      यही choices photography को art बनाती हैं
      अंततः यह technology वह control user से छीन लेती है
      अगर आपको ठीक लगता है कि Apple photo का subject और उसका रूप तय करे, तो कोई बात नहीं, लेकिन मुझे लगता है कि बहुत से लोग इससे सहमत नहीं होंगे
    • मुझे अभी की feature से अपने-आप में आपत्ति नहीं है, लेकिन खासकर AI के दौर में यह slippery slope जैसा लगता है
      जल्द ही camera सिर्फ हर व्यक्ति के लिए best frame चुनने तक सीमित नहीं रहेगा, बल्कि सबसे अच्छी आंखें, symmetry correction, aesthetically सबसे pleasing skin tone आदि भी चुनने लगेगा
      कुछ हद तक यह हमेशा से होता रहा है, लेकिन एक बार photos ने “real” होने का दिखावा छोड़ दिया, तो यह दिशा अपरिहार्य लगती है
      WALL-E में captain के portraits धीरे-धीरे मोटे होते जाते हैं, वह scene याद आता है, लेकिन असल में समय के साथ photo में captain और ज्यादा attractive व sculpted दिखना चाहिए था
      हालांकि reality में वह फिर भी मोटापा झेल रहा होगा
    • मेरी चिंता purism से जुड़ी नहीं है; समस्या यह है कि output अक्सर sensor की वजह से नहीं, बल्कि model के choices की वजह से खराब होता है
      रात में photo लिया जा सकता है, लेकिन मेरी आंखों यानी मेरे sensor ने जो देखा, उससे तुलना करने पर वह अक्सर पहचानना मुश्किल होता है
      यह थोड़ा बेहतर reality नहीं, बल्कि ऐसा लगता है जैसे camera सामने की composition से असंबंधित तरीके से तय कर रहा हो कि light को कैसे arrange करना है
      एक लेख भी था कि जिन स्थितियों में iPhone की “अच्छी lighting” के बारे में assumptions टूट जाती हैं, वहां वह portrait photos को सीधा खराब कर देता है
      कभी-कभी मुझे 5 साल पुराने phone की photos नए phone से ज्यादा पसंद आती हैं, क्योंकि hardware बेहतर होने के बावजूद tuning खराब है
      model में अक्सर न दिखने वाली चीजों—जैसे crawl spaces, plumbing, dental close-ups—की photo लें, तो दिलचस्प चीजें होती हैं
      RAW mode न हो तो कभी-कभी मुझे पूरी तरह बेकार results मिले हैं, और ऐसा लगा जैसे computational photo processing stage को बिल्कुल पता नहीं कि वह क्या कर रहा है
      यह sensor की limit से ज्यादा, iPhone द्वारा ज्यादा discretion लेते हुए photos को पहले से कहीं खराब बना देने का मामला है
    • जैसे ही technology हाथ की position को फिर से imagine करके उसे किसी का गला दबाते हुए दिखा दे, purist न होने पर भी उससे नफरत होने लगती है
    • पता नहीं ऐसे “purists” असल में कितने होंगे
      sensor ने जो reality देखी, उसे pixel-by-pixel perfect तरीके से दिखाना शायद केवल police या insurance investigators जैसी जरूरतों के लिए होगा
      art के रूप में photography purity के बारे में कभी नहीं रही; ज्यादातर लोग ऐसी photos चाहते हैं जो हमने जो देखा और जिस तरह देखा उसे reflect करें, और उसे render करने के लिए वे technical steps स्वीकार करेंगे
      अगर चांद सुंदर है और landscape को हल्के से रोशन कर रहा है, तो हम ऐसी photo चाहते हैं जिसमें bright moon और dark background दोनों दिखें, और उसके लिए काफी computation की जरूरत पड़ सकती है
      लेकिन doppelgänger bride, जरूरत से ज्यादा HDR photos, और ऐसे landscapes जिनसे पक्षी व खंभे हटा दिए गए हों, वे किसी के देखे हुए दृश्य नहीं हैं
      वे शानदार paintings हो सकती हैं, लेकिन निजी तौर पर मुझे लगता है कि यह photography से अलग किसी art में चला जाता है

  • कुछ महीने पहले Pixel 7 पर मेरे साथ भी कुछ ऐसा ही हुआ
    इस हिरण की photo में: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
    zoom करने पर detail level पर सब कुछ oil painting जैसा दिखता है, खासकर हिरण का चेहरा और पीछे की wall
    असली wall या हिरण बिल्कुल ऐसे नहीं दिखते थे, और मैंने कोई filter भी use नहीं किया था
    computational photography सच में कमाल की है, लेकिन थोड़ी चिंताजनक भी

    • वह किसी advanced feature की वजह से नहीं, बल्कि basic noise reduction की वजह से है
      2016 के आसपास iPhone 6s से ली गई photos भी zoom करने पर ऐसी ही दिखती हैं
    • वह noise reduction है
      ऐसे mosaic जैसे patterns, noise भरी photo की तुलना में आंखों को ज्यादा अच्छे लगते हैं
      physics के नियमों के हिसाब से छोटे phone lens और sensor में light capture करने की सीमा होती है
      hardware काफी बेहतर हुआ है, लेकिन अभी limit तक नहीं पहुंचा; फिर भी अगर phone processing के बिना RAW की noisy image ज्यों की त्यों दे, तो आपको पसंद नहीं आएगा
      सही pixel grid और color space में ले जाने के लिए जरूरी processing को भी हटाया नहीं जा सकता
    • सोच रहा हूं कि क्या वह photo zoom करके ली गई थी
      Pixel 7 में dedicated zoom camera नहीं है, इसलिए अगर zoom किया था तो वह digital zoom होगा, और quality काफी गिरती है
      processing stage को low-quality frames इस्तेमाल करने पड़ते हैं, और ऐसे results अक्सर आते हैं
      phone users को ऐसी बातों की चिंता नहीं करनी चाहिए, लेकिन अनुभव से कहूं तो जिन phones में zoom camera नहीं होता, उन पर zoom किए बिना photo लेना या 2x से आगे न जाना और बाद में crop करना अक्सर बेहतर होता है
    • ऐसा लगता है जैसे उसने हिरण और wall को एक ही subject मानकर texture को average किया और दोनों पर apply कर दिया
    • यह effect शायद aggressive noise filtering की वजह से आया है
      हो सकता है settings में filtering strength कम की जा सके

  • ऐसी चीज़ें अब ज्यादा बार होने लगी हैं, और यह “जब तक आप सच में image को गौर से नहीं देखते, बेहतर compression” और “AI सुधार” का एक अशुभ मिश्रण लगता है
    कुछ हफ्ते पहले मैंने अपने बेटे की एक बहुत सुंदर तस्वीर ली थी; composition, expression, focus और light सब बिल्कुल perfect थे, बस एक ही समस्या थी
    फोन के algorithm ने तय कर लिया कि मेरे बेटे की त्वचा उतारकर उसे पीछे की दीवार की texture से बदल देना बेहतर होगा
    बेशक Galaxy S22 Ultra जैसा सस्ता फोन खरीदना मेरी ही गलती रही होगी, और S23 Ultra बेहतर होगा, लेकिन तब वह आया नहीं था
    इसलिए आगे कम से कम तस्वीरें बचाने के लिए मैंने RAW चालू किया, लेकिन RAW सिर्फ असुविधाजनक “Pro” camera mode में ही काम करता है और कभी-कभी चुपचाप non-Pro mode में लौट जाता है
    आखिरकार मैंने हार मानकर एक third-party camera app install कर लिया
    कम से कम Mark मेरी तस्वीरों को सक्रिय रूप से खराब तो नहीं करता, इसलिए शायद उसी पर भरोसा करना चाहिए: https://play.google.com/store/apps/details?id=net.sourceforg...

    • मैं Samsung S23U इस्तेमाल कर रहा हूं, उससे पहले S22U और उससे पहले OnePlus इस्तेमाल करता था, लेकिन बहुत photos लेने के बावजूद मेरे साथ ऐसा कभी नहीं हुआ
      low light में basic noise removal और brightness correction magic, और बेवकूफाना moon replacement feature के अलावा यह computational photography इस्तेमाल करता हुआ भी नहीं लगता
      10x lens से ही Apple को हरा दिया था, moon वाली बकवास करने की जरूरत नहीं थी
      मुझे default camera app ठीक लगता है

  • ये examples अभी नहीं तो आगे चलकर legal defense के हिस्से के रूप में जमा करके पेश किए जाएंगे
    सही हो या नहीं, ऐसे extreme cases कुछ judges और juries के लिए reasonable doubt की सीमा पार करा सकते हैं
    AI manipulation सच में हो रहा है, और उसकी boundaries का अनुमान लगाना मुश्किल हो सकता है

    • कल्पना की जा सकती है कि किसी politician की जनता पर घिनौनी प्रतिक्रिया देती हुई photo हो, लेकिन असल में वह चेहरा कुछ moments बाद के expression से जोड़कर लगाया गया हो
      इससे भी बुरा, blast site पर मौजूद किसी व्यक्ति को ऐसे capture किया जा सकता है जैसे उसने explosion से पहले प्रतिक्रिया दी हो
      causality को लेकर हमारी कुछ built-in assumptions होती हैं, और यह AI उन्हें तोड़ देता है
      कुछ खास स्थितियों में यह संभावित रूप से बहुत बड़ी बात हो सकती है

  • हमारे परिवार को pano-Frankenstein photos लेना पसंद है
    जब कोई व्यक्ति dramatic तरीके से जल्दी-जल्दी expressions बदल रहा हो, और आप चेहरे के आर-पार panorama लें, तो phone चेहरे को एक consistent image में stitch करने की कोशिश करता है, और नतीजे काफी मजेदार आते हैं

  • नए Google Pixel camera app खोलते ही frames save करना शुरू कर देते हैं
    जब आप सच में photo लेते हैं, तो यह पिछले frames के कुछ हिस्सों का इस्तेमाल करके बिना delay के लगभग HDR composite बनाता है
    यहां भी कुछ ऐसा ही हुआ हो सकता है
    शायद processing ने अलग-अलग frames से photo के अलग-अलग हिस्सों के लिए best exposure चुना और ऐसा effect बन गया

    • यही वजह है कि camera खोलकर preview में छोड़ देने पर battery पिघलती है
      कुछ लोग नई जगह घूमते हुए camera को घंटों खुला रखते हैं ताकि कोई बढ़िया चीज तुरंत capture कर सकें, और फिर lunch तक battery dead होने की शिकायत करते हैं

  • मुझे नहीं पता यह सच है या नहीं
    Apple ने कभी publicly नहीं कहा कि वह इस level की manipulation करता है, और बेशक इसका मतलब यह नहीं कि वह ऐसा नहीं करता, लेकिन एक capture के अंदर उस महिला को जितनी movement करनी पड़ेगी, वह संभव नहीं लगती
    Live Photos के साथ भी मुझे नहीं लगता ऐसा होगा

    • article के मुताबिक यह panorama photo थी, इसलिए यह Live Photo या HDR के समान effect पैदा करने की तुलना में काफी कम interesting है
    • मैं भी skeptical हूं
      अगर सच है तो काफी अजीब है, इसलिए विश्वास करना चाहता हूं, लेकिन यह थोड़ा बहुत ज्यादा perfect दिखता है
      लगता है कोई न कोई इसे prove या disprove करने की कोशिश कर ही रहा होगा
    • HN पर ऐसी बेहद non-technical articles का बिना criticism के स्वीकार हो जाना थोड़ा निराशाजनक है

  • मैं butterfly house में था, और close-up photo ने तितली की टांगें मिटा दीं, सिर्फ wings बचाए
    image link: https://ibb.co/nwbw5xY

    • ऐसा लगता है जैसे background blur करने वाला portrait photo effect इस्तेमाल हो रहा है
      phone ने टांगों को background का हिस्सा मान लिया
      बालों के साथ भी यही होता है
    • वह noise removal होगा
      टांगें पतली होती हैं, इसलिए उन्हें noise समझना आसान है
      खासकर digital zoom और कम रोशनी में, क्योंकि pixels बहुत कम होते हैं और हर pixel का noise ज्यादा होता है

  • हाल ही में एक podcast[0] में सुना कि iPhone camera app में button लंबे समय तक दबाने पर यह photos का एक bundle capture करता है और फिर, जैसे सभी की आंखें खुली हों, वैसी “best” मानी गई एक photo दिखाता है
    बेशक यहां जो हुआ, वह वैसा नहीं है
    मैं लोगों को photos से दूर रखने की कोशिश करता हूं, इसलिए हर बार इसे test करना भूल जाता हूं
    [0] शायद यही episode था: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...

    • अफसोस है कि कुछ major releases पहले इसका behavior बदल गया
      अब button लंबे समय तक दबाने पर video recording में switch हो जाता है
      जो लोग video नहीं लेते, उनके लिए यह परेशान करने वाला है
      screen button इस्तेमाल करें तो burst लेने के लिए left swipe कर सकते हैं, लेकिन जहां तक मुझे पता है, volume button से burst photos trigger करने का कोई तरीका नहीं है
      iPhone 15 series के नए programmable button से शायद संभव हो
    • Live Photo feature में भी शायद ऐसा ही तरीका है
      photo लेना असल में एक छोटा video होता है, और उसमें से optimal frame चुन लिया जाता है