ऑटोमोटिव LiDAR तकनीक का अवलोकन
(viksnewsletter.com)- स्वायत्त वाहनों के लिए LiDAR आसपास के वातावरण को तेज़ी से 3D में पहचानने वाला मुख्य सेंसर है, लेकिन व्यापक अपनाने के लिए हजारों डॉलर के स्तर वाले उपकरणों की कीमत को काफी घटाना होगा
- प्रमुख तरंगदैर्ध्य 905nm और 1550nm लागत, आउटपुट, detector sensitivity, eye safety, sunlight interference और नमी वाली स्थितियों में अलग-अलग फायदे-नुकसान रखते हैं
- APD, SPAD, SiPM जैसे photodetector का चुनाव sensitivity, लागत और signal processing integration के तरीके पर सीधे असर डालता है; SPAD एकल photon के आगमन समय को picosecond स्तर पर पहचान सकता है
- फिलहाल सरल dToF का अधिक उपयोग होता है और commercial range लगभग 100~200m है; FMCW दूरी और गति दोनों की गणना कर सकता है, लेकिन implementation complexity अधिक है
- rotating mechanical structure से MEMS, Flash, OPA की ओर बढ़ते हुए moving parts घटाकर लागत, reliability और capture speed सुधारने की प्रवृत्ति स्पष्ट है
स्वायत्त वाहनों में LiDAR की भूमिका
- LiDAR(Light Detection and Ranging) infrared laser से दूर स्थित वस्तुओं तक की दूरी मापने की तकनीक है
- यह vegetation, urban terrain, छिपे हुए archaeological sites, architecture, augmented reality आदि में पहले से उपयोग होती रही है, और autonomous vehicles में आसपास के environment की सटीक 3D image तेज़ी से बनाने वाली “आंखों” की भूमिका निभाती है
- Radar से इसका मूल सिद्धांत मिलता-जुलता है, लेकिन यह microwave से छोटी wavelength वाले laser का उपयोग करके अधिक detailed images बना सकता है
- Waymo और Cruise की autonomous taxis में इसका उपयोग पहले से हो रहा है, और Level 4 autonomous driving में भी यह प्रभावी तकनीक साबित हुई है
- सबसे बड़ी बाधा लागत है
- वाहन की छत पर लगा rotating LiDAR dome हजारों डॉलर के स्तर का होता है
- light source, detector, electronic circuits और mechanical parts कुल लागत बढ़ाते हैं
- व्यापक adoption के लिए लागत को कम-से-कम एक order of magnitude से अधिक घटाना होगा
- LiDAR क्षेत्र में 140 से अधिक startups लागत घटाने और commercialization के लक्ष्य से प्रतिस्पर्धा कर रहे हैं
Operating wavelength: 905nm और 1550nm
- Automotive LiDAR मुख्यतः visible light 380~700nm से बाहर infrared region में काम करता है, और प्रमुख wavelengths 905nm और 1550nm हैं
- wavelength का चुनाव laser output, detector sensitivity और natural/artificial light interference के स्तर पर निर्भर करता है
- sunlight infrared region में भी मजबूत interference source है, और किसी खास wavelength पर जमीन तक पहुंचने वाली sunlight की मात्रा solar photon flux से मापी जाती है
- 905nm, 940nm, 1550nm के आसपास upper atmosphere में water vapor absorption के कारण कमी वाले bands होते हैं, जो ground systems में interference घटाने में मदद करते हैं
- यही absorption effect fog और rain वाली roads पर LiDAR signal को कमजोर कर सकता है
-
905nm के फायदे और नुकसान
- 905nm visible light के करीब है, इसलिए eye safety और interference दोनों समस्याएं साथ आती हैं
- यह retina में आसानी से absorb हो सकता है और लंबे exposure पर नुकसान पहुंचा सकता है, इसलिए कड़े eye safety standards का पालन जरूरी है
- sunlight और vehicle headlights जैसे visible light के पास वाले interference sources अधिक होने से system performance घट सकती है
- दूसरी ओर, छोटी wavelength पर आम तौर पर photodetector sensitivity अधिक होती है और laser light sources ज्यादा शक्तिशाली व सस्ते होते हैं
- Ouster ने high solar photon flux के बावजूद 850nm अपनाया है
- नम स्थितियों में visibility
- light source और detector performance
- environmental interference हटाने के लिए patented approach अपनाने के कारण हैं
-
1550nm के फायदे और नुकसान
- 1550nm में solar radiation interference कम होता है, और light केवल cornea तक प्रवेश करती है, इसलिए retina protection के लिहाज से eye safety concern कम होता है
- बेहतर eye safety के कारण अधिक समय तक higher output का उपयोग किया जा सकता है, और यह longer detection range दे सकता है
- नुकसान यह है कि water vapor द्वारा absorption अधिक होने से wet conditions में इसका उपयोग कठिन हो जाता है
Photodetectors: APD, SPAD, SiPM
- Automotive LiDAR में सबसे सामान्य detector Avalanche Photodiode(APD) है
- APD photoelectric effect का उपयोग करने वाला PN semiconductor junction है, जो incoming photons पर प्रतिक्रिया कर electron-hole pairs बनाता है और photons की संख्या के अनुपात में current पैदा करता है
- APD material के अनुसार wavelength response और लागत बदलती है
- Silicon APD NIR पर अच्छी प्रतिक्रिया देता है और manufacturing cost कम होती है
- InGaAs SWIR wavelengths के लिए उपयुक्त है, लेकिन ज्यादा महंगा है
- Germanium भी APD material के रूप में उपयोग होता है
-
SPAD
- SPAD(Single-Photon Avalanche Diode) पारंपरिक APD की तरह light की मात्रा के अनुपात में analog signal नहीं, बल्कि photon arrival के करीब binary response बनाता है
- यह strong reverse bias वाले Geiger-mode में काम करता है, और एक single photon पर भी avalanche breakdown से बड़ा current पैदा करता है
- photon arrival time को picosecond, यानी एक trillionth of a second स्तर की accuracy से माप सकता है, इसलिए precise distance measurement में लाभदायक है
- CMOS process से लागू किया जा सकता है, इसलिए low cost के लिए अनुकूल है, और detector array के ठीक पास बड़े पैमाने पर signal processing integrate की जा सकती है
-
SiPM
- 905nm region में Silicon Photomultiplier(SiPM) ने Silicon APD को काफी हद तक replace कर दिया है
- SiPM, SPAD और quenching resistor से बने microcell array होते हैं
- avalanche current flow को self-limit करते हुए high photoelectric gain देते हैं, और output current level के अनुसार incoming photons की संख्या को सटीक रूप से detect कर सकते हैं
दूरी मापने के तरीके: dToF और FMCW
-
Direct Time-of-Flight
- dToF(Direct Time-of-Flight) laser pulse भेजने के बाद reflected signal के लौटने का समय मापने की विधि है
- transmission से reception तक का कुल समय round-trip delay है, और वास्तविक object तक का समय इस value का आधा होता है
- दूरी propagation medium में light की speed का उपयोग करके calculate की जाती है
- मापी जा सकने वाली minimum distance timing electronics के resolution से सीमित होती है
- नजदीकी objects में round-trip delay इतना छोटा हो सकता है कि detector उसे अलग न कर पाए
- इसी कारण minimum depth आम तौर पर कुछ cm के स्तर तक सीमित रहती है
- maximum distance transmission output, detector sensitivity और free-space path loss से तय होती है
- अगर reflected signal background noise से अलग न हो पाए, तो distance interpretation संभव नहीं होता
- commercial dToF systems की maximum range 100~200m है
- वर्तमान में अधिकांश LiDAR systems simplicity के कारण dToF का उपयोग करते हैं
-
iToF और AMCW
- dToF से अलग time-based approach में continuous-wave signal का उपयोग करके reflected wave के phase change को detect किया जाता है
- इस विधि को iToF(indirect ToF) या अधिक specifically AMCW(Amplitude Modulated Continuous Wave) कहा जाता है
- iToF timing drift के प्रति कम sensitive है और short-range measurement के लिए अधिक उपयुक्त है
-
FMCW
- FMCW(Frequency Modulated Continuous Wave) LiDAR transmitted pulse की wavelength या frequency को modulate करता है
- यह 1960s से मौजूद तकनीक है, और automotive radar में भी व्यापक रूप से उपयोग होने वाली concept है
- frequency-modulated signals के group को chirp कहा जाता है, और reflected signal time delay के कारण transmitted signal से instantaneous frequency difference रखता है
- इस beat frequency को mixer से downconvert करके object की distance और speed दोनों calculate की जा सकती हैं
- implementation complexity dToF से अधिक है
- modulation के लिए frequency-tunable laser light source चाहिए
- transmitted और received signals से जानकारी निकालने के लिए अतिरिक्त electronic circuits चाहिए
- फायदे भी स्पष्ट हैं
- हर समय point पर frequency अलग होने से आसपास के LiDAR systems के बीच interference कम होता है
- ToF की तुलना में lower laser peak power चाहिए, जो खासकर 905nm पर eye safety standards को प्रभावित करता है
Mechanical LiDAR और MEMS mirror
-
Rotating scanning LiDAR
- Mechanical LiDAR infrared laser को brushless DC motor पर लगाकर sensor घुमाने की विधि है
- horizontal direction में 360° field of view देकर blind spots हटाता है, लेकिन vertical direction field of view लगभग 90~95° तक सीमित है
- Waymo का Laser Bear Honeycomb mechanical scanning LiDAR का उदाहरण है और Waymo autonomous vehicles के ऊपर लगा हुआ अक्सर दिखता है
- motor और precision drive parts component cost बढ़ाते हैं और repeated use से wear के targets बनते हैं
- इसी कारण scanning LiDAR systems bulky और महंगे होते हैं
-
MEMS mirror LiDAR
- MEMS mirror LiDAR laser light source और sensor को सीधे हिलाने के बजाय, movable micro-electromechanical mirror पर laser reflect कराता है
- MEMS mirror को constant speed पर back-and-forth oscillate कराने से LiDAR को 3D space में scan किया जा सकता है
- actuation methods तीन प्रकार के होते हैं
- electrostatic actuation: केवल electric field का उपयोग
- electromagnetic actuation: electric field और magnetic field का उपयोग
- electrothermal actuation: heat का उपयोग
- design में मुख्य trade-off mirror weight और scan speed है
- heavy mirror की scan speed कम होती है
- 2D MEMS mirror में slow axis और fast axis होते हैं, और यह एक direction में तेजी से चलकर raster scan करता है
- vertical direction में यह धीमे चलता है, जिससे नए fast scan के लिए static position shift बनता है
- MEMS mirror legacy CMOS foundry के back-end-of-line process से manufacture किए जा सकते हैं और mature technology माने जाते हैं
- यह विशेषता scanning LiDAR को low cost में लागू करने के लिए लाभदायक है
Solid-state LiDAR: Flash और OPA
-
Flash Lidar
- Flash lidar 3D space को scan नहीं करता, बल्कि सामने के space को एक बार में illuminate करने वाली photography method के करीब है
- laser light source के रूप में VCSEL का उपयोग करता है, diffuse light से target space को illuminate करता है और reflected signal को SiPM array से detect करता है
- प्रति सेकंड maximum 30 frames की speed से LiDAR flash capture कर real-time 3D space rendering देता है
- rotating mechanical LiDAR की तुलना में field of view छोटा होता है, और resolution digital camera की तरह इस बात से सीमित होता है कि दिए गए area में कितने pixels रखे जा सकते हैं
- scanning method की तुलना में signal-to-noise ratio कम होता है
- limited optical laser output को array के सभी pixels में distribute करना पड़ता है
- laser जैसी wavelength वाला environmental background noise detection sensitivity को सीमित करता है
- signal-to-noise ratio Flash lidar detection range का final limiting factor है
- literature में maximum 100m detection distance और cm-level resolution report किए गए हैं
- कुछ companies multi-beam approach अपनाती हैं
- environment के केवल उस हिस्से को illuminate करती हैं जहां detector information खोजता है
- कम संख्या के relevant pixels पर अधिक optical output भेजा जा सकता है, जिससे signal-to-noise ratio बढ़ता है
- यह scanning LiDAR और Flash lidar के combination के करीब है
- moving parts न होने से system reliability अधिक होती है, vibration effects के प्रति मजबूत होता है, और data capture speed अधिक होती है
-
Optical Phased Array Lidar
- OPA(Optical Phased Array) LiDAR silicon photonics का उपयोग करके chip पर scanning LiDAR लागू करने की approach है और अभी research stage में है
- concept phased array antenna से लिया गया है, और antenna array के हर signal phase को adjust करके radiated beam scan करने की विधि जैसा है
- OPA में integrated optical waveguides या integrated heaters का उपयोग करके phase change implement किया जाता है
- heater thermo-optic coupling के जरिए light को slow करता है
- phase change के अनुसार radiated wavefront की direction को 3D space में scan किया जा सकता है
- advantages electronic control और moving parts हटाने से मिलने वाली high scan speed हैं
- 300mm silicon wafer पर purely integrated approach से implement किया जा सकना cost और reliability के लिहाज से आकर्षक है
-
OPA की तकनीकी चुनौतियां
- optical frequency को phased array पर लागू करने से अलग कठिनाइयां पैदा होती हैं
- Thermal management: chip पर कई laser light sources से निकलने वाली heat को प्रभावी ढंग से dissipate करना होगा
- Element spacing: phased array में element spacing half-wavelength होनी चाहिए, और 1550nm laser में हर light source को 1 micron से कम दूरी पर रखना होगा
- Scan angle: सबसे अच्छी quality beam array के सामने की दिशा, यानी boresight, से आती है; center से 60° से अधिक हटने पर grating lobe beam width को degrade करता है
- Analog Photonics MIT से spin out हुई company है, जिसे Prof. Michael Watts ने founded किया है और जो OPA technology commercialization पर काम कर रही है
1 टिप्पणियां
Hacker News की रायें
बेसिक overview के तौर पर यह ठीक-ठाक है
यह हैरान करता है कि rotating scanner अब भी इस्तेमाल होते हैं। Velodyne ने इसे पहली बार बनाए 20 साल हो चुके हैं, और यह काम तो ठीक करता है, लेकिन बहुत महंगा है। लगा था कि Flash LiDAR या MEMS mirror इसकी जगह ले लेंगे, लेकिन Continental ने 10 साल से भी पहले एक अग्रणी Flash LiDAR कंपनी खरीदी थी, फिर भी बड़े parts suppliers को जिस पैमाने का mass market चाहिए था, वह आखिरकार बना ही नहीं
Waymo वाहन के कोनों पर लगे छोटे sensors में भी अब भी rotating LiDAR इस्तेमाल करता है। वहां लंबी दूरी मापने की जरूरत कम होती है, इसलिए कोई सस्ता और body में embedded alternative चाहिए। इसकी जगह बहुत vulnerable है। शायद Fiberglas body panel के पीछे लगाया गया millimeter-wave phased-array radar जैसा कुछ संभव हो। Waymo को New York में जाने से पहले यह समस्या हल करनी होगी
छत पर लगा LiDAR शायद समस्या न हो। “इसे हटना चाहिए क्योंकि कार को कार जैसा दिखना चाहिए” कहना कुछ ऐसा है जैसे यह जिद करना कि ऑटोमोबाइल को घोड़ा-गाड़ी के आकार का होना चाहिए। शुरुआती कारें गाड़ियों जैसी दिखती थीं, लेकिन यह लंबे समय तक नहीं चला
Pulsed LiDAR का continuous-wave तरीकों पर बड़ा फायदा यह है कि समान devices के बीच interference problem काफी कम होता है। duty cycle बहुत छोटा होता है, और एक pulse का round-trip data 1 microsecond से भी कम में collect हो जाता है। pulse timing में थोड़ी randomness डाल दें तो लगातार कई बार टकराव होने की बात खत्म हो जाती है
पुराने Velodyne devices में, अगर दो units को बिल्कुल पास-पास लगातार on रखा जाए तो damage का risk था। मिलते-जुलते devices में GPS time का उपयोग करके सभी devices की rotation synchronize करने का सुझाव भी सुना था ताकि वे एक-दूसरे की ओर न देखें, लेकिन असल में यह कोई बड़ी समस्या नहीं लगी
अधिकतर automotive LiDAR भी पहले से ही “photon-starved region” में काम करते हैं, प्रति reflection लगभग 200–300 photons के स्तर पर[0]। इसे पूरे scene में फैला दें तो signal-to-noise ratio तेजी से गिरता है
इसलिए 1550nm इस्तेमाल करना पड़ता है, और 1550nm पर बड़े detector arrays और high-power lasers बहुत महंगे होते हैं
MEMS को लेकर कुछ समय हो चुका है, लेकिन मुझे याद है कि field of view/steering angle range, steering speed, और maximum beam output तक को लेकर चिंताएं थीं
LiDAR पर काम करने वाले मेरे दोस्त Jake ने बताया कि aperture size भी MEMS की समस्या है। aperture छोटा हो तो collect होने वाली light कम होती है और signal-to-noise ratio घट जाता है
[0] https://www.hamamatsu.com/content/dam/hamamatsu-photonics/si...
यह समझने के लिए कि rotating laser क्यों समझदारी भरा है, LiDAR के बारे में कुछ बातें जाननी होंगी
पहली बात, cone shape में light emit करने वाला हर device inverse-square falloff झेलता है। दूरी दोगुनी होने पर प्रति unit area मिलने वाली light 1/4 रह जाती है। यह रात की flash photography में सबसे साफ दिखता है, लेकिन LiDAR पर भी लागू होता है। कारों में आदर्श रूप से 100m दूर की वस्तु detect करनी होती है, इसलिए पूरे area को illuminate करने के बजाय laser point डालना कहीं ज्यादा realistic है
दूसरी बात, कोई भी light source हो, वह आंखों के लिए safe होना चाहिए। infrared को visible light की तुलना में safety का फायदा है, लेकिन 100m दूर की वस्तु illuminate करने लायक bright light source को safe बनाना, infrared के फायदे के बावजूद, बहुत मुश्किल है। scanning laser किसी एक point पर लंबे समय तक नहीं रुकता, इसलिए ज्यादा intensity को safely इस्तेमाल किया जा सकता है
तीसरी बात, कोई भी light source हो, उसे सूरज से compete करना होगा। सूरज कभी low angle पर होकर sensor को सीधे dazzle करता है, और कभी उसी object को illuminate करता है जिसे detect करना है। इसलिए weak light source और inverse-square falloff की भरपाई सिर्फ clever signal processing से नहीं की जा सकती
आखिर में, ये automakers ऐसा future मानकर चलते हैं जहां सड़क पर हर vehicle यह technology इस्तेमाल कर रहा होगा। तब अलग-अलग vehicles के reflected signals के interference का risk भी है। rotating LiDAR भी vulnerable हो सकता है, लेकिन Flash LiDAR खास तौर पर ज्यादा vulnerable है
दूसरी ओर, car companies moving parts से डरती नहीं हैं। कारों में पहले से बहुत सारे rotating parts होते हैं, और हजारों घंटे लगातार घूम सकने वाली चीजें बनाना वे अच्छी तरह सीख चुकी हैं
कोने maximum visibility के लिए optimal mounting locations हैं। यह car को प्रभावी रूप से corner के पार देखने देता है, जो centrally mounted sensors से संभव नहीं है
मुझे समझ नहीं आता कि Waymo को New York से पहले इसे क्यों सुलझाना होगा। vandalism की वजह से?
कुछ साल पहले Hacker News पर आया एक दिलचस्प “LiDAR gem” है
https://news.ycombinator.com/item?id=33554679
यह Tor पर leak हुए Git repository से निकला LiDAR obstacle detection algorithm है
यह drivable-area mapping algorithm है, जो 2017 में एक self-driving car company से leak हुए लगने वाले Git repository में मिला था। यह repository कई वर्षों तक एक या अधिक Tor hidden services से access की जा सकती थी
LiDAR code लगता है Velodyne HDL-32E के लिए लिखा गया था। यह कई stages में काम करता है और हर stage पिछले stage के output को refine करता है। यह algorithm second stage में है, और बाकी methods बस छोटी-मोटी improvements जोड़ते हैं, इसलिए यही मुख्य obstacle detection method है
leaked code points की column-major matrix इस्तेमाल करता है और NaN, यानी no-return points, को explicitly handle करता है। मैंने इसे कहीं ज्यादा cache-efficient row-major matrix layout में फिर से लिखा, और ऐसी conditionals इस्तेमाल कीं जो explicit checks के बिना NaN points को ignore करती हैं
इसकी simplicity को देखते हुए यह obstacle detection का हैरानीजनक रूप से effective तरीका है
एक दोस्त ने पूछने को कहा है
मैंने कभी automotive FMCW LiDAR पर काम किया था, जो market में लगभग आ ही नहीं पाया। technology शानदार है, लेकिन cost कम करके scale करना मुश्किल था, और automotive market में यह बेहद जरूरी है। उस market में margins बहुत कम हैं
क्या LiDAR दूसरे ड्राइवरों या पैदल चलने वालों की आंखों के लिए खतरनाक है?
वह grade इस आधार पर दिया जाता है कि आंख को लंबे समय तक बिल्कुल पास लगाकर सीधे देखने पर भी ठीक है या नहीं
“आसपास की high-resolution image को radar से कहीं बेहतर बना पाना ही LiDAR की खास superpower है।”
क्या यह सच में सही है? automotive radar fixed होता है। मिलते-जुलते LiDAR भी fixed होते हैं और लगता है कि n lasers के लिए n points जैसे होते होंगे
अगर rotating radar हो तो वह आसपास को continuous resolution में देख सकता है, और LiDAR sampling नहीं करता क्या?
मुझे लगा था कि LiDAR का फायदा accuracy और objects की height बेहतर मापने में है, और radar field of view को flat बना देता है
यह एक शानदार technology है जिससे Musk नफरत करते हैं
1: https://www.youtube.com/watch?v=d6RndtrwJKE&t=1119s
nature में इसके जैसा कुछ नहीं होने की एक वजह है
क्या कोई ऐसा LiDAR device है जिसे घर ले जाकर iPhone से ज्यादा resolution में घर scan कर सकें?
consumer use में photogrammetry कहीं ज्यादा सस्ती है, इसलिए अगर high detail level पर तय accuracy जरूरी नहीं है तो आम तौर पर वही पसंद की जाती है। LiDAR फिलहाल industrial/professional context में ज्यादा fit बैठता है, क्योंकि इसकी accuracy ज्यादा होती है। LiDAR कम लागत वाले consumer level तक आ पाएगा या नहीं, यह बड़ा open question है, और basically automotive वाली problem जैसी ही है
वह “grave” जैसा दिखने वाला हिस्सा roughly इंसान के size और shape का था, जमीन धंसी हुई थी और बीच में सबसे गहरी थी, और grapefruit से थोड़े बड़े पत्थरों से घिरी हुई थी
मुझे उसे grave मानने की वजह यह है कि Utah Tooele county में Mercur cemetery नाम के historic site पर मैंने संयोग से बहुत मिलता-जुलता कुछ देखा था
क्या LiDAR से मेरी grave hypothesis को prove या disprove किया जा सकता है?
संबंधित लेख: https://www.viksnewsletter.com/p/teslas-big-bet-cameras-over...
यह Tesla जैसा ही level लगता है, लेकिन Waymo शायद उस level को sufficient नहीं मानता
[1] https://www.forbes.com/sites/bradtempleton/2024/10/30/waymo-...
[2] https://arxiv.org/pdf/2410.23262
LiDAR इतना महंगा क्यों है? इसे अभी और छोटा करने की भी ज़रूरत है। फिर भी, पर्याप्त engineering effort हो रहा है, इसलिए यह समय के साथ हल होने वाली समस्या लगती है
LiDAR में consumer laser pointer से भी आंखों को नुकसान हो सकता है, इसलिए सोचता हूं कि hostile attacks या denial-of-service attacks रोकने वाला कोई system है या नहीं
अगर कोई safety system पर physical attack करना शुरू करता है, तो मुझे लगता है उसे काफी लंबी जेल की सज़ा मिल सकती है
पहले university में research engineer के तौर पर काम करते समय, जब 16-beam Velodyne high-end equipment हुआ करता था, मैंने उसे इस्तेमाल करके देखा था
demo वाले दिन उसे car पर लगाया और 3D में points draw करते हुए obstacles को red में mark किया, लेकिन सूर्यास्त के समय ऐसे artifacts बने जिन्हें साफ़ तौर पर filter करने का तरीका नहीं था
अजीब बात है कि हम उस phenomenon को फिर से reproduce नहीं कर पाए। शायद यह कुछ specific atmospheric conditions की वजह से था