What if Eye..? - अगर आंख होती...?

 (eyes.mit.edu)
1 पॉइंट द्वारा GN⁺ 2025-02-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • What if Eye...? एक ऐसा प्रोजेक्ट है जो वीडियो गेम जैसे ब्रह्मांड में evolution को फिर से चलाकर जैविक visual intelligence के सिद्धांतों और AI के नए रूपों की computational तरीके से पड़ताल करता है
  • Agents एक light-sensing cell और एक छोटे brain से शुरू करते हैं, और वास्तविक physics, body constraints व survival pressure के बीच visual intelligence को evolve करते हैं
  • navigation और detection जैसे goals बदलने पर तुलना की जा सकती है कि कौन-सी eye structures और behaviours स्वाभाविक रूप से उभरती हैं
  • brain और eye size को साथ-साथ scale करने पर power-law scaling दिखती है, लेकिन अगर visual acuity bottleneck हो, तो सिर्फ brain बढ़ाने से behaviour में सुधार रुक जाता है
  • optical genes को activate करने पर lens-like optics बार-बार उभरती है और light collection व spatial precision के बीच के मूलभूत trade-off को हल करने के तरीके के रूप में काम करती है

visual evolution को फिर से चलाने वाला experimental environment

  • What if Eye...? “evolution एक बार हुई थी” वाली धारणा से शुरू करता है और वीडियो गेम जैसे universe में visual evolution को computational तरीके से recreate करता है
  • लक्ष्य fixed dataset और human bias से design की गई visual intelligence नहीं, बल्कि environment के भीतर sensing hardware और perception, reasoning, action software का emergence कराना है
  • Agents केवल एक light-sensing cell और छोटे brain के साथ शुरू करते हैं
    • वे real-world physics conditions का सामना करते हैं
    • body वाले constraints के अधीन होते हैं
    • survival pressure के बीच visual intelligence को evolve करते हैं
  • हर experiment एक hypothesis की तरह बनाया जाता है
    • What-if question या counterfactual condition set की जाती है
    • वीडियो गेम जैसे physics engine में embodied agents को evolve किया जाता है
    • देखा जाता है कि कैसी eyes और behaviours उभरती हैं

eye और brain के साथ evolve होने की conditions

  • जब vision का goal बदलता है, agents सिर्फ दो tasks वाली world में evolve करते हैं
    • NAVIGATION: obstacle maze walls से बचते हुए जितनी जल्दी हो सके left की ओर move करना goal है
    • DETECTION: food को detect करना और poison से बचना goal है
  • जिन conditions में brain पूरे evolution के दौरान छोटा रहता है, वहां eye और brain size को साथ व्यवस्थित रूप से scale करने पर neural capacity और task performance के बीच power-law scaling उभरती है
    • यह relation केवल तब valid है जब visual resolution भी साथ में scale हो
    • अगर visual resolution bottleneck हो, तो सिर्फ brain को बड़ा करने से बेहतर behaviour नहीं मिलता
  • जिन conditions में eye light को refract कर सकती है, वहां optical genes activate किए जाते हैं
    • optics न होने पर pinhole strategy image को sharp बना सकती है, लेकिन light sacrifice करनी पड़ती है, इसलिए limits आ जाती हैं
    • optics होने पर lens light collection और spatial precision के बीच trade-off को solve करने के तरीके के रूप में उभरता है
  • integrated genotype में hardware यानी physical visual sensor और software यानी learning components दोनों शामिल होते हैं
    • morphology genes eye की location और field of view जैसे spatial sampling properties तय करते हैं
    • optical genes photoreceptor count, optical elements, pupil size जैसे light interaction aspects को संभालते हैं
    • neural genes learning capacity specify करते हैं
    • तीन gene clusters को स्वतंत्र रूप से mutate होने योग्य हिस्सों में बांटकर realistic evolutionary paths explore किए जा सकते हैं

public materials और presentations

  • यह project paper, roadmap, presentations, open-source tools और public exhibition उपलब्ध कराता है
  • प्रमुख publications ये हैं
    • Computationally Recreating Vision Evolution: पूरे experimental setup, results और evolutionary analysis वाला Science Advances peer-reviewed paper
    • A Roadmap for Generative Design of Visual Intelligence: visual intelligence को हाथ से design करने के बजाय generate क्यों करना चाहिए, उसके applications और approach को संक्षेप में बताने वाला MIT Press लेख
    • Designing Imaging Systems with Reinforcement Learning: environment feedback के आधार पर imaging systems और task-specific perception models को co-design करने का तरीका propose करने वाला ICCV paper
    • Emergence of foveal image sampling from learning to attend in visual scene: visual scene में attention सीखने पर foveal image sampling उभरती है, यह बताने वाला NeurIPS paper
    • Designing neural network architectures using reinforcement learning: visual task performance सुधारने के लिए reinforcement learning से neural network architectures design करने वाला ICLR paper
    • The First Signs of Vision: Cambrian explosion से आज तक animal vision evolution की interactive simulation पर Cathy Chang की MIT thesis
  • public presentations में ये items शामिल हैं
  • code और exhibition items भी उपलब्ध हैं
    • Simulator: evolution simulator run करने, नए tasks define करने और embodied agents को खुद evolve करने के लिए open-source tool
    • Colab Notebook: browser में Cambrian agents के साथ experiments करने के लिए interactive notebook, जो अभी public release के लिए planned है
    • Video Exhibition: visitors को evolving vision का direct experience कराने वाली public-participation exhibition
  • यह collaboration MIT GenAI Impacts of Generative AI Grant के support से हुआ है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-02-15
Hacker News की राय

  • हाई स्कूल के एक Computer Science शिक्षक ने कभी horseshoe crab की आंखों के बारे में क्लास में पढ़ाया था
    उन्होंने कहा था कि horseshoe crab की आंखें अपने field of view से बड़ी चीज़ें नहीं देख पातीं, इसलिए वे छोटे जीवों को खा लेते हैं और बड़े जीवों को नजरअंदाज करते हैं; इसके लिए उन्होंने Excel में neural network model इस्तेमाल किया था
    वे शिक्षक शानदार थे; उन्होंने Computer Science में जिज्ञासा और insight रखना सिखाया, और Donald Knuth, TeX वगैरह से भी परिचय कराया

    • यह कल्पना करना मुश्किल है कि field of view से बड़ी चीज़ दिखती ही नहीं
      शायद यह वैसा ही है जैसे इंसानों के सामने कोई चीज़ इतनी बड़ी और समान रूप से चमकदार हो कि उसे “देखना” कहना मुश्किल हो?

  • Dawkins भी यहां आंखों के evolution को संक्षेप में समझाते हैं: https://www.youtube.com/watch?v=2X1iwLqM2t0

    • लेक्चर इस तरह शुरू होता है: “मान लें कि हम ऐसे पूर्वज से शुरू करते हैं जिसकी आंखें बिल्कुल नहीं हैं, बस प्रकाश-संवेदनशील कोशिकाओं की एक परत है”
      यह शर्त इतनी बुनियादी है कि 0 से “प्रकाश-संवेदनशील कोशिकाओं की एक परत” तक पहुंचना लगभग कुछ भी नहीं लगता, लेकिन असल में ऐसा नहीं है
      उससे पहले photoreceptor proteins, काम करने वाला nervous system या signal processing pathway, प्रकाश के absorption को electrical signal में बदलने की व्यवस्था, और उस signal को जीव के दूसरे हिस्सों के साथ coordinate करने वाली प्रणाली आदि चाहिए

  • यह सवाल biology से ज्यादा physics/Computer Science वाला हो सकता है, लेकिन सोचता हूं कि MIT ने आंखों पर जो प्रयोग किया, उसे पूरे जीव पर आजमाने लायक पर्याप्त अच्छा physics simulator आने में कितना समय बाकी है
    अगर कभी यह संभव हो गया और पृथ्वी की physics input देने पर पृथ्वी के जीवों जैसे roughly मिलते-जुलते जीव output कर सके, तो शायद किसी exoplanet की physics डालकर यह भी पता लगाया जा सके कि वहां के जीवन-रूप कैसे दिखेंगे

    • दिलचस्प बात है कि अभी hobby के तौर पर मैं कुछ ऐसा ही बना रहा हूं। जल्द ही open source में रिलीज करने वाला हूं: https://www.youtube.com/watch?v=PDePFvxj6Po
      पूरे जीव की complexity model करने से हम अभी काफी दूर हैं, ऐसा लगता है। लेकिन अगर मकसद किसी research question का जवाब देना हो, तो आज भी इसके सरल version model किए जा सकते हैं। जैसे इस research team ने vision कैसे evolve होता है, इसे handle किया
      हाल ही में C. elegans को 3D में model किया गया, जिसमें सभी neurons और neurotransmitters शामिल थे, और उसने virtual stimuli पर असली worm की तरह response दिया (https://www.nature.com/articles/s43588-024-00738-w)
      single organism तो अब संभव है, लेकिन ऐसे entities का 3D में evolve होना शायद और समय लेगा। वैसे मैं Computer Science major नहीं हूं, बस enthusiast हूं
    • simulation में आप कितनी precision चाहते हैं, इस पर जवाब “80s में भी संभव था” से लेकर “शाब्दिक रूप से असंभव” तक जा सकता है
    • 10 साल पहले जब academia में था, तब भी किसी ion को solvate करने वाले 8 water molecules से ज्यादा model करते ही computational cost बहुत बढ़ने लगती थी
      यह इस पर निर्भर है कि model को कितना accurate बनाना चाहते हैं, और अगर सपनों जैसे स्तर की बात करें तो ऐसी simulations को meaningful बनाने के लिए quantum computing की जरूरत होगी, ऐसा लगता है
    • philosophical नजरिए से देखें तो इसे असंभव भी कहा जा सकता है
      गणित जैसी चीजों पर लागू होने वाले laws का विचार जीवों पर फिट न बैठे, क्योंकि जीवों को teleology से समझाया जाता है। दिल संयोग से blood circulate नहीं करता; वह शरीर को oxygen पहुंचाने के लिए blood circulate करने के मकसद से धड़कता है
      और यह कि ठंडे climate में रहने वाले जीवों के पास आम तौर पर मोटा fur होता है, इसका मतलब यह नहीं कि मोटा fur सीधे ठंडे climate को imply करता है। कुछ mammals किसी ecosystem में वह ecological niche भरते हैं जो दूसरे ecosystem में birds भरते हैं, और कहीं और fish वही भूमिका निभाती हैं। New Zealand में, जिन niches को दूसरे ecosystems में mammals भरते, उन्हें birds भी भरते हैं
      biology पूरी तरह inductive science हो सकती है या नहीं, यह मुझे पक्का नहीं पता
    • muscles और skeletal structure की physics simulations कई बार की जा चुकी हैं, और मुझे लगता है कि यह study इसलिए interesting है क्योंकि इसका focus आंखों और vision पर है
      संबंधित YouTube videos भी काफी मजेदार category हैं: https://www.google.com/search?q=simulating+evolution+muscles
      आम तौर पर वे 2D होती हैं या उनमें बड़ी simplifications होती हैं। अगर “असली” जीव evolve कराने की कोशिश करें, तो “brain” को ignore करने पर भी complexity बहुत तेजी से explode करेगी

  • Greg Egan की Permutation City(1994) में आने वाले “Autoverse” की याद आती है। अगर यह लेख पसंद आया, तो जोरदार recommendation है

    • कुछ छोटा पढ़ना हो तो उसी लेखक की “Crystal Nights” भी है: https://www.gregegan.net/MISC/CRYSTAL/Crystal.html
    • सहमत। उसी लेखक की Diaspora भी गहराई से recommend करता हूं। यह “Permutation City” से थोड़ी ज्यादा approachable हो सकती है

  • आंखों के evolution से जुड़ा एक मजेदार तथ्य: dragonfly की आंख में दिखने वाला काला बिंदु कोई पीछा करती pupil नहीं है, न ही आंख में खुद कोई बदलाव है
    दरअसल आप dragonfly की आंख की column-like structure को सीधे सामने से देख रहे होते हैं। यह light को बेहद efficient तरीके से capture करती है, इसलिए काली दिखती है, और efficiency के मामले में physical limit के बहुत करीब है

    • ठीक से समझ नहीं आया। इंसान की pupil भी इसलिए काली दिखती है कि light अंदर जाती है और वापस नहीं आती, है ना?
    • तो क्या dragonfly scaling laws तक पहुंच गई है?

  • 90s में artificial life simulator बनाने के अनुभव से कहूं तो model में बहुत कुछ उन parameters पर निर्भर करता है जो simulation बनाने वाला डालता है
    अगर आप light-sensitive cell से शुरू करें, और maze अच्छी तरह पार करने वाले actors को reward देने वाला genetic algorithm बनाएं, तो आखिरकार कई photosensitive cells को आंख की तरह इस्तेमाल करने वाले actor “evolve” हो जाएंगे
    सवाल यह है कि इससे वाकई evolution या life के बारे में पता चलता है, या सिर्फ उस simulation के बारे में जिसे आपने set किया है

    • मैं इसे तीसरी चीज मानता हूं, लेकिन यह भी सोचता हूं कि यह पुराने kitchen-sink style organism simulations से अलग है। वे ज्यादा करके shallow-programmed behaviors को आपस में interact करते देखने जैसे थे
      यह simulation से ज्यादा model जैसा है, और एक specific real phenomenon को जितना हो सके focused और concise तरीके से explain करने वाला model है
      यहां से सीखने की बात यह है कि compound eyes और camera-type eyes, दो तरह की आंखों को, minimum anatomical control elements के साथ 3 specific tasks के set से model किया जा सकता है
      तब model से मिले साफ evidence की तुलना और contrast करना, और देखना कि यह explanation evolutionary biology के तरीकों से मिलने वाले कम definitive explanations के साथ कैसे fit होता है, सच में उपयोगी हो सकता है
      अच्छी analogy यह होगी कि gates, latches और clocks से ही क्या modern superscalar microarchitecture के “emergence” को explain किया जा सकता है। मतलब high frequency को physical circuits में डालने पर जो analog chaos पैदा होता है, उसे model करना जरूरी नहीं है
    • जाहिर है, यह आखिरी वाली चीज के बारे में है। physics की तरह इसे सीधे experiment से verify नहीं कर सकते, इसलिए बस इतना ही है
      सही सवाल शायद यह होगा कि वह knowledge पूरी तरह बेकार है, या बाद में किसी काम आ सकती है

  • “from scratch” जैसा title हो तो मुझे लगा था कि single photoreceptor भी किसी और चीज से evolve होता दिखेगा

  • जब तक उधर temporary तौर पर fix हो रहा है, मैंने website mirror कर दी है: https://cambrian.pages.dev/
    website टूटी हुई लग रही थी (repository delete हो गई क्या?), इसलिए मुझे इसके बजाय यहां जाना पड़ा: https://eyes.mit.edu/ACI/
    और जिस paper पर वह website है, वह यहां है: https://arxiv.org/pdf/2501.15001

    • अब फिर से online है

  • मैं author हूं। कोई सवाल हो तो जवाब दूंगा

    • यहां goal क्या है? जानना चाहता हूं कि आगे इससे क्या करने की योजना है