नमक के दाने के आकार का “meta-optics” कैमरा

 (cacm.acm.org)
1 पॉइंट द्वारा GN⁺ 2024-11-24 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Princeton University और University of Washington के शोधकर्ताओं ने नमक के दाने के आकार का meta-optics कैमरा बनाया है, और समान स्तर की इमेज क्वालिटी देने वाले पारंपरिक कैमरों की तुलना में 500,000 गुना छोटा imaging device प्रस्तावित किया है
  • 0.5mm चौड़ी metasurface पर 16 लाख बेलनाकार nano-antenna लगाए गए हैं, और इसे semiconductor chip की तरह बनाया जा सकने वाला ढांचा देकर miniaturization की संभावना बढ़ाई गई है
  • मौजूदा meta-optics कैमरों में sharp, wide field-of-view full-color images की सीमा थी, लेकिन यह device पारंपरिक कैमरों जैसी गुणवत्ता के साथ full-color और wide field-of-view images बनाता है
  • शोधकर्ताओं ने AI optimization से nano-antenna design की तेज़ गणना की, और physics-based neural network से कैमरे द्वारा बने aberrations हटाने वाला hardware-software integrated pipeline इस्तेमाल किया
  • यह छोटे endoscope, smartphone·wearable·AR/VR cameras, drones, पूरी सतह को camera बनाने वाले arrays, और space के लिए ultralight telescopes जैसे applications तक ले जा सकता है

नमक के दाने के आकार का meta-optics कैमरा

  • Princeton University और University of Washington के शोधकर्ताओं ने meta-optics camera को नमक के दाने के आकार में साकार किया है
  • यह कैमरा पारंपरिक कैमरों से कहीं छोटा होते हुए भी पारंपरिक कैमरे जैसी full-color image quality का लक्ष्य रखता है
  • समान स्तर की image quality capture करने वाले पारंपरिक camera की तुलना में यह 500,000 गुना छोटा है
  • यह device शोधकर्ताओं द्वारा विकसित ultra-small camera system है और metasurface technology पर आधारित है
    • metasurface में 16 लाख बेलनाकार pillars embedded हैं
    • manufacturing method computer chip production जैसा है

पारंपरिक lens की सीमाएं और metasurface approach

  • camera design में device को जितना संभव हो छोटा बनाते हुए भी अधिक रोशनी record करना, यानी size और light मात्रा का trade-off, मुख्य constraint होता है
  • smartphones में body पतली होने के बावजूद बेहतर photo quality के लिए कई lenses लगाए जाते हैं, जिससे camera module बड़ा और protruding हो जाता है
  • metasurface एक artificial material है जो light को अनूठे तरीके से control कर सकता है
    • इसकी width लगभग 0.5mm की ultra-thin flat structure है
    • surface पर “nano-antenna” कहे जाने वाले लाखों बेलनाकार pillars होते हैं
    • हर nano-antenna को light को एक खास तरीके से shape करने के लिए tune किया जा सकता है
  • standard refractive lens lens-surface shape और material changes के जरिए performance improve करता है, लेकिन metasurface sub-wavelength level पर light को adjust कर सकता है
  • इस camera का meta-optic lens 0.5mm और sensor 1mm आकार का है, और single metasurface को traditional lens से अधिक light-steering capability रखने के लिए design किया गया है

पिछले meta-optics cameras से अंतर

  • शोधकर्ताओं ने camera में metasurface इस्तेमाल करने की concept पर नहीं, बल्कि वास्तविक imaging use cases के लिए usable quality हासिल करने पर focus किया
  • मौजूदा approaches sharp और wide field-of-view वाले full-color images capture करने वाले meta-optics camera design तक नहीं पहुंच पाए थे
  • यह device full-color और wide field-of-view imaging के लिए पहला high-quality polarization-independent nano-optic imager बताया गया है
  • एक digit order तक बड़े पारंपरिक cameras की तुलना में भी image quality समान स्तर की है

AI-based design और post-processing pipeline

  • शोधकर्ताओं ने hardware design और software post-processing को साथ में improve करके पिछले meta-optics imaging systems की सीमाएं कम कीं
  • पहला step metasurface पर nano-antenna design को AI optimization algorithm से calculate करना है
    • metasurface की optical response simulate करना और उसका gradient calculate करना computationally expensive है
    • शोधकर्ताओं ने metasurface physics को तेजी से approximate करने वाला “proxy” बनाया, जिससे design जल्दी calculate हुआ
  • दूसरा step physics-based neural network से camera द्वारा capture की गई images process करना है
    • यह neural network metasurface physics के आधार पर trained है
    • यह camera द्वारा बनाए गए aberrations को remove कर सकता है
  • शोधकर्ताओं ने metasurface को optimizable differentiable layer की तरह treat किया, और उसे light से compute करने वाली optical neural network layer की तरह optimize किया
  • metasurface physics simulator और post-processing algorithm को एक pipeline में combine किया गया
    • यह pipeline वास्तविक meta-optic camera बनाने में इस्तेमाल हुई
    • captured images को high-quality full-color images में reconstruct करती है
  • broadband applications में lens के ठीक से काम करने के लिए computational processing के साथ combine approach जरूरी है

medical, consumer devices और drone applications

  • सबसे direct application area medical imaging है
    • camera जितना छोटा होगा, invasiveness उतनी कम होगी
    • meta-optics camera का इस्तेमाल करने वाला ultra-small endoscope नई non-invasive diagnosis और surgery को संभव बना सकता है
    • ऐसे body parts की imaging की संभावना भी है, जहां मौजूदा technology से पहुंचना मुश्किल है
  • consumer hardware में भी camera और lens को मौजूदा devices की तुलना में एक digit order तक छोटा design किया जा सकता है
    • smartphone screen या smartphone का back itself camera बन सकता है
    • glasses जैसे wearable surfaces में high-quality camera लगाया जा सकता है
    • VR headset ज्यादा हल्के और sleek हो सकते हैं
  • drones पर भी छोटे cameras का असर पड़ सकता है
    • reconnaissance जैसे military purposes और delivery जैसे civilian purposes, दोनों में cameras की जरूरत होती है
    • बहुत छोटे cameras हल्के drones और कम battery consumption की ओर ले जा सकते हैं

पूरी सतह को camera बनाने की संभावना

  • शोधकर्ताओं का छोटा camera बड़े cameras को नमक के दाने के आकार वाले cameras के flat array के रूप में फिर से सोचने पर मजबूर करता है
  • ऐसे arrays सतह को ही camera में बदलने के तरीके तक ले जा सकते हैं
  • बड़ा metasurface telescope के लिए जरूरी lens को replace करने की संभावना रखता है
    • telescope बनाना आसान हो सकता है
    • ज्यादा powerful lens को space में भेजना भी आसान हो सकता है

manufacturing method और materials

  • metasurface को computer chip production में इस्तेमाल होने वाली mature technologies जैसी method से बनाया जा सकता है
  • आज computer chips wafers पर बनाए जाते हैं, और एक wafer में समान chip copies सैकड़ों की संख्या में होती हैं
  • metasurface भी इसी तरह produce किया जाता है, इसलिए प्रति individual metasurface cost को काफी कम करने की संभावना है
  • शोधकर्ताओं ने mounting surface के लिए silica wafer और nano-antenna के लिए silicon nitride का इस्तेमाल किया
  • दोनों materials मौजूदा computer chip production की semiconductor manufacturing technology के compatible हैं

और पढ़ें

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-24
Hacker News की रायें

  • “सामान्य कैमरे जैसी गुणवत्ता वाली फुल-कलर इमेज बनाता है” वाली पंक्ति पर मुझे काफी संदेह था, क्योंकि लेख में नैनो कैमरे से ली गई कोई उदाहरण फोटो नहीं थी, लेकिन मूल पेपर में काफी प्रभावशाली उदाहरण हैं
    https://www.nature.com/articles/s41467-021-26443-0/figures/2

    • इमेज सचमुच प्रभावशाली है, लेकिन “सामान्य कैमरे के बराबर गुणवत्ता” वाली बात से सहमत होना मुश्किल है
      sharpness और color साफ तौर पर कम लगते हैं
    • अगर व्याख्या यह है कि “ultrathin meta-optics subwavelength nano-antennas से incoming light को नियंत्रित करती है, जिससे पारंपरिक diffractive optical elements की तुलना में design freedom और space-bandwidth product बढ़ता है”, तो जिज्ञासा है कि क्या यह मूल रूप से visible wavelength range में beam-steering phased array जैसा कुछ है
    • दिलचस्प बात यह है कि यह पेपर 2021 का है
    • यह कैसे काम करता है, जानने की उत्सुकता है
      अगर यह बस neural network से image restore करता है, तो यह कुछ वैसा ही है जैसे Samsung सफेद गोल डिस्क पहचानने पर चांद की फोटो चिपका देता था, इसलिए उतना प्रभावशाली नहीं लगेगा

  • कुछ साल पहले एक futurist के interview में ऐसी बात सुनी थी: कभी बच्चे toy store से एक sticker खरीदेंगे, और हर sticker असल में IPv6 address वाला camera होगा
    आप sticker कहीं चिपकाएँ और browser में वह address खोलें, तो real-time camera video देख सकेंगे
    ऐसी technology बनाने वाले घटक पहले से मौजूद हैं, बस अभी mass market में आने लायक सस्ते नहीं हुए हैं; और जब economies of scale काम करेंगी, तो समाज को physical privacy के अर्थ पर बड़े स्तर पर फिर से सोचना पड़ेगा

    • संभव तो हो सकता है, लेकिन direct sunlight के बिना ऐसे system के लिए उपयुक्त energy harvesting method आसानी से समझ नहीं आता
    • यह technology पहले से मौजूद है, इस दावे पर मुझे बहुत संदेह है
      अगर “sticker” का मतलब बहुत बदल दें, तो शायद संभव हो

  • लगता है Vernor Vinge की सूची में एक और चीज जोड़नी पड़ेगी
    यह technology A Deepness in the Sky वाली universal surveillance को सीधे संभव बना सकती है, इसलिए इसे ध्यान से देखना चाहिए

    • उनकी एक और शानदार novel 'The Peace War' में आने वाले बिखेरे जा सकने वाले surveillance cameras भी याद आते हैं
      अगर याद सही है, वे बीज के आकार के थे
      https://en.wikipedia.org/wiki/The_Peace_War
    • मुझे पहले से smart dust में रुचि रही है, लेकिन हाल में इससे जुड़ी खबरें कम लगती हैं
      हो सकता है दूसरे topics ने attention और funding ले ली हो, लेकिन यह भी संभव लगता है कि अब यह इतना दिलचस्प स्तर पर पहुंच गया हो कि कई R&D teams government NDAs के तहत चली गई हों
    • अगर कोई location tracker बनाना चाहता, तो सोचता हूं वह वास्तव में कितना छोटा बनाया जा सकता है
      वैसे नाम “Vernor” ही सही है
    • मैंने A Deepness in the Sky नहीं पढ़ी है, लेकिन दिलचस्प है कि बहुत-सी science fiction इस मामले में काफी गलत रही
      cameras को हमेशा रेत के कण से कहीं बड़ा दिखाया गया
    • Rudy Rucker की Postsingular भी याद आती है
      उसमें orphidnet utility fog universal perception और visualization को संभव बनाता है

  • यहां सब privacy और surveillance के बारे में सोच रहे हैं, लेकिन मैं सोच रहा हूं कि क्या यह technology nano cameras को lasers से relativistic speed तक accelerate कर के दूसरे solar systems की close-up imaging करा सकेगी

    • कुछ समय से Starshot project की बात नहीं सुनी; शायद यह technology उसे फिर से गति देने में मदद करे
      Proxima Centauri तक न भी जाएं, तो भी हमारे solar system के भीतर और cameras होना अच्छा होगा
      https://en.wikipedia.org/wiki/Breakthrough_Starshot
    • उन images को वापस भेजने के लिए उसी स्तर के छोटे transmitter और energy source की भी जरूरत होगी

  • अगर आकार बहुत छोटा और field of view चौड़ा है, तो array के ऊपर सामान्य lens लगाकर smartphone camera में 160×160 degree class ultra-wide angle बनाया जा सकता है
    बेहद छोटा 360×180 degree standalone camera भी संभव है, और AR glasses में कुछ cameras डाल दिए जाएं तो 360×160 degree range में आसपास की स्थिति को बहुत अच्छी तरह समझा जा सकता है
    एक और application छोटा light field camera हो सकता है
    यह technology सीधे लागू हो सकती है या इसमें बदलाव चाहिए, यह नहीं पता; लेकिन छोटे और सस्ते light field cameras आएं तो shooting के बाद focus adjustment और stereo से बेहतर 3D sensing/scene reconstruction में उपयोगी होंगे

  • “camera से high-quality images बनाने के लिए proprietary AI-based image post-processing लागू करता है” वाली व्याख्या देखकर, सहज अर्थ में इसे सामान्य camera से compare करना मुश्किल लगता है

    • ऐसा नहीं है क्या? modern cameras सब यही करते हैं
      upscaling, noise removal, deblurring, color adjustment, shadow और highlight correction तक—processing pipeline से गुजरने के बाद sensor ने जो देखा था, वैसा बहुत कम बचता है
      phone cameras professional cameras की तुलना में बहुत ज्यादा extreme तरीके से करते हैं, बस; लेकिन सभी यह processing करते हैं

  • यह नई खबर नहीं लगती
    यह 2021 में प्रकाशित paper है, और यहां पहले भी आया था
    https://news.ycombinator.com/item?id=29399828

  • अगर सच है तो smartphone में 10,000 camera array (100×100) डालकर computational photography से दिलचस्प चीजें की जा सकती हैं

    • मोटा हिसाब लगाएं तो paper कहता है कि sensor के raw data से वास्तविक image reconstruct करने में करीब 58ms लगते हैं
      10,000 sensors पर सीधे लागू करें तो करीब 10 मिनट लगेंगे, लेकिन optimization और parallelization की गुंजाइश जरूर होगी
      sensor 720×720px image बनाता है, इसलिए 100×100 array का मतलब 72,000×72,000px, यानी लगभग 5 gigapixel image होगा
      smartphone के लिए process और store करने को यह बहुत बड़ी pixel count है
    • output quality में sensor size बहुत महत्वपूर्ण है
      इसलिए professionals आज भी phone नहीं, बड़े full-frame cameras लेकर चलते हैं
      sports photography जैसी speed की समस्या भी है, लेकिन सरल करके कहें तो speed भी process किए जाने वाले data की मात्रा और resolution से प्रभावित होती है
      high-resolution sensors में files बहुत बड़ी हो जाने की समस्या होती है, और छोटी high-quality photo की तुलना में processing धीमी होती है तथा storage भी कहीं ज्यादा लेती है
      video में यह और भी गंभीर हो जाता है
      संभव है कि Apple ने लंबे समय तक main camera को 12 megapixel पर इसलिए ही रखा हो

  • दिखने में शानदार optics device की व्याख्या है, लेकिन image वास्तव में कैसे record होती है यह अच्छी तरह नहीं बताया गया
    इसमें “neural network” वाला हिस्सा भी है
    सोच रहा हूं कि क्या generative AI statistically सबसे plausible pixels के आधार पर blurry parts भरकर उन्हें “enhance” करती है
    article काफी खराब है

    • देखने से लगता है कि light के interference pattern से image निकालने के लिए neural network इस्तेमाल किया जाता है
      standard computational model से भी किया जा सकता होगा, लेकिन computational load बहुत ज्यादा लगती है
      इसलिए यह “enhancement” शायद उसी अर्थ में हो जिसमें JPEG image को lossy format में store करता है

  • (2021) असली मूल text यहां है: https://light.princeton.edu/publication/neural-nano-optics/