सशस्त्र पुलिस ने छात्र को घेर लिया, क्योंकि AI ने Doritos के पैकेट को हथियार समझ लिया

• अमेरिका के एक हाई स्कूल में AI हथियार डिटेक्शन सिस्टम की खराबी के कारण एक छात्र को सशस्त्र पुलिस ने घेर लिया
• यह सिस्टम निगरानी कैमरा फुटेज का विश्लेषण करके बंदूक जैसी आकृति पहचानने वाली तकनीक है, लेकिन इसने वास्तव में Doritos के स्नैक पैकेट को बंदूक समझ लिया
• छात्र को बंदूक तानकर हथकड़ी लगाई गई, और बाद में पुलिस द्वारा दिखाए गए AI कैप्चर इमेज में यह false positive साबित हुआ
• इस सिस्टम को विकसित करने वाली Omnilert ने दावा किया कि ‘यह false positive था, लेकिन सिस्टम ने इरादे के मुताबिक काम किया’ , और स्कूल प्रशासन ने भी इसी रुख का समर्थन किया
• इस घटना ने स्कूलों में AI निगरानी तकनीक की विश्वसनीयता और नैतिक सीमाओं पर बहस छेड़ दी है, और AI-निर्भर समाज के जोखिमों को उजागर किया है

---

घटना का सार

• अमेरिका के मैरीलैंड राज्य के बाल्टीमोर में Kenwood High School में 16 वर्षीय छात्र Taki Allen को AI निगरानी सिस्टम की गलत पहचान के कारण सशस्त्र पुलिस ने काबू कर लिया
  • घटना 20 अक्टूबर को हुई, जब Allen फुटबॉल प्रैक्टिस के बाद अपने दोस्तों के साथ था
  • कई पुलिस गाड़ियां स्कूल के सामने पहुंचीं और छात्रों पर बंदूक तानकर “जमीन पर लेट जाओ” का आदेश दिया
• Allen को घुटनों के बल बैठाकर हथकड़ी लगाई गई और उसकी तलाशी ली गई, लेकिन पुलिस को कोई हथियार नहीं मिला
  • पुलिस द्वारा दिखाई गई AI कैप्चर इमेज में उसकी जेब में रखा मुड़ा हुआ Doritos पैकेट बंदूक के रूप में पहचाना गया था
• Allen ने कहा कि उस समय उसे लगा “मैं मर भी सकता हूँ”, और घटना के बाद उसने बताया कि वह स्कूल लौटने से डरता है

AI सिस्टम कैसे काम करता है और इसकी समस्याएं

• यह सिस्टम Omnilert की Gun Detection Technology है, जिसे पिछले साल Baltimore County Public Schools में AI निगरानी समाधान के रूप में लागू किया गया था
  • यह मौजूदा CCTV फुटेज का रीयल-टाइम विश्लेषण करके बंदूक जैसी लगने वाली वस्तुओं का पता लगाता है और तुरंत पुलिस को अलर्ट भेजता है
• Omnilert ने इस घटना को “false positive(गलत पहचान)” माना, लेकिन फिर भी दावा किया कि सिस्टम ने “जैसा इरादा था वैसा काम किया”
  • कंपनी का कहना है कि उद्देश्य “तेजी से मानव सत्यापन के जरिए सुरक्षा सुनिश्चित करना” है, इसलिए यह तकनीक की बुनियादी समस्या नहीं है
• लेकिन कंपनी की प्रचार सामग्री में “तुरंत बंदूक पहचान” और “लगभग शून्य के करीब false positive rate” पर जोर दिया गया है, इसलिए इस घटना ने उसकी विश्वसनीयता पर सवाल खड़े कर दिए

स्कूल और स्थानीय समुदाय की प्रतिक्रिया

• Baltimore County Public Schools ने अभिभावकों को भेजे गए पत्र में Omnilert की ही बात दोहराई और कहा कि यह “छात्रों की सुरक्षा और जागरूकता बढ़ाने के लिए उठाया गया कदम” था
  • स्कूल ने घटना देखने वाले छात्रों के लिए काउंसलिंग सेवा उपलब्ध कराने की घोषणा की
• लेकिन Allen ने कहा कि उसे “स्कूल की ओर से कोई सीधी माफी या संपर्क नहीं मिला”
  • उसने कहा कि उसे सिर्फ इतना बताया गया कि “यह केवल protocol था”, और स्कूल की प्रतिक्रिया पर उसने निराशा जताई
• घटना के बाद Allen ने कहा, “अब मुझे डर लगता है कि अगर मैं फिर से स्नैक खाऊंगा या ड्रिंक पीऊंगा, तो कहीं पुलिस फिर न आ जाए,” और वह स्कूल लौटने से हिचक रहा है

AI निगरानी तकनीक पर बढ़ती बहस

• इस घटना ने AI निगरानी सिस्टम की विश्वसनीयता और नैतिक सीमाओं पर बहस को और तेज कर दिया
  • खासकर स्कूल जैसे संवेदनशील स्थानों में यह सामने आया कि AI की गलत पहचान छात्रों की सुरक्षा को खतरे में डाल सकती है
• विशेषज्ञों ने चेतावनी दी है कि अगर AI की निर्णय-त्रुटि सीधे वास्तविक सशस्त्र प्रतिक्रिया में बदल जाए, तो यह जान-माल के नुकसान तक पहुंच सकती है
• यह घटना AI तकनीक की सामाजिक जिम्मेदारी और मानव सत्यापन प्रक्रिया के महत्व को फिर से केंद्र में ले आई है

AI के विस्तार से जुड़े अंतरराष्ट्रीय रुझान

• इसी दौरान, अमेरिकी सेना के Major General William ‘Hank’ Taylor ने सार्वजनिक रूप से कहा कि वे ChatGPT का उपयोग सैन्य निर्णय लेने में करते हैं, जिससे विवाद खड़ा हुआ
  • इससे पता चलता है कि सार्वजनिक संस्थानों और सैन्य संगठनों में भी AI पर निर्भरता तेजी से बढ़ रही है
• ब्रिटेन में वयस्क कंटेंट एक्सेस के लिए facial recognition आधारित age verification system लागू किया गया, जिससे एक और AI विवाद सामने आया
  • एक ऐसे व्यक्ति, जिसके शरीर पर बहुत सारे टैटू थे, ने दावा किया कि सिस्टम ने उसे “remove your face” संदेश दिखाया, जिससे AI पहचान त्रुटियों के दुष्प्रभाव सामने आए
• इन उदाहरणों को ऐसे प्रमुख मामलों के रूप में देखा जा रहा है जो दिखाते हैं कि AI के मानव जीवन और सार्वजनिक सुरक्षा के क्षेत्रों में गहराई से प्रवेश करने पर कितने अप्रत्याशित परिणाम सामने आ सकते हैं

[onixboox]

जिस छात्र को गिरफ्तार किया गया, कहीं ऐसा तो नहीं कि वह अश्वेत था इसलिए?

[GN⁺]

Hacker News राय

• Omnilert ने इस घटना को “false positive” माना, लेकिन फिर भी दावा किया कि सिस्टम ने “इरादे के मुताबिक काम किया”
  लेकिन असल में हुआ यह कि बंदूकधारी लोग “किसी किशोर के पास बंदूक है” जैसी गलत जानकारी पाकर पहुंच गए, जिससे बेहद खतरनाक स्थिति बन गई
  वह छात्र इससे ट्रॉमा झेल सकता है। विडंबना यह है कि लेख में दिए गए उद्धरण उस छात्र से ज़्यादा इस तकनीक को बनाने वाले बड़ों को अपरिपक्व दिखाते हैं

  • एक और उदाहरण के तौर पर, Lawrence स्कूल ज़िले के AI निगरानी सिस्टम पर मुकदमे की खबर देखें: एक छात्र ने ग्रुप चैट में मज़ाक किया, AI ने उसे रिपोर्ट कर दिया, और उसे गिरफ्तार करके 24 घंटे तक माता-पिता या वकील से मिले बिना हिरासत में रखा गया
    अब Gaggle के खिलाफ मुकदमा चल रहा है, और प्रतिद्वंद्वी Lightspeed पैसे लेकर alerts की human review का विकल्प देता है
  • “तेज़ human verification से सुरक्षा” जैसी बात आखिरकार सिर्फ़ ज़िम्मेदारी से बचना लगती है
  • यह असल में ऐसी AI swarm स्थिति है जहाँ “AI ने अपने-आप संसाधन तैनात कर दिए।” इंसानी निर्णय नहीं था, सिर्फ़ अमल था
  • हर सिस्टम में false positive और false negative होते हैं, लेकिन इस मामले में दोनों ही खतरनाक हैं
    detection model की quality बेहतर करने के अलावा, fail होने पर लागत कम करने वाली संरचना भी चाहिए। human verification या second-check process उसी के तरीके हैं
  • इंजीनियरों ने इसे “public safety में मदद करने वाला tool” कहकर बनाया होगा, लेकिन marketing और sales ने इसे “पूरी तरह automated decision-making system” की तरह पैकेज कर दिया, और नतीजा यह व्यंग्य जैसा यथार्थ है कि एक गड़बड़ी ने बंदूक तान दी

• यह घटना ऐसी लगती है जैसे open source object-recognition model YOLO को थोड़ा बदलकर commercial बना दिया गया हो
  असल में यह कितना accurate है, किस data पर train किया गया है, और इसका false positive rate कितना है, यह किसी को नहीं पता
  मेरा मानना है कि ऐसे सिस्टम deploy करने के लिए statistics और training data का खुलासा अनिवार्य होना चाहिए

  • आखिरकार इसने “human in the loop” की अवधारणा को पूरी तरह नज़रअंदाज़ कर दिया। किसी दिन यह कंपनी manslaughter lawsuit का सामना कर सकती है

• The Civil Rights Lawyer के रूप में सक्रिय John Bryan शायद इस मामले पर बात करेंगे
  वह लंबे समय से पुलिस द्वारा अपर्याप्त जानकारी के आधार पर बंदूक तानने को कानूनी रूप से ‘अत्यधिक बल का उपयोग’ कहते आए हैं
  अगर AI और पुलिस दोनों ने तस्वीर देखकर उसे बंदूक समझा होता, तो शायद इसे कुछ हद तक जायज़ ठहराया जा सकता था, लेकिन अगर AI ने अपने-आप dispatch कर दिया, तो इसकी वैधता बहुत कमज़ोर हो जाती है

  • कभी न कभी अदालत में शायद यह दलील सुनने को मिले कि “AI evidence भरोसेमंद है क्योंकि उस पर अरबों डॉलर लगाए गए हैं”
  • मैं जानना चाहता हूँ कि बिना उचित कारण बल प्रयोग क्या सीधे अत्यधिक दमन माना जाता है, या इसमें कोई gray area भी है

• ऐसे सिस्टम उन लोगों के हाथ में देना ख़तरनाक है जो AI को तकनीकी रूप से ठीक से नहीं समझते
  उनके AI output पर अंधविश्वास करने की संभावना ज़्यादा होती है
  AI safety टीमों को सच में जिस बात पर ध्यान देना चाहिए, वह है समाज को यह समझाना कि “computer ग़लत हो सकते हैं”

• स्कूल प्रशासन ने कहा कि वे “छात्रों को counseling support देंगे,” लेकिन उससे ज़्यादा ज़रूरी है कि उन पर गलत अलर्ट के लिए वित्तीय ज़िम्मेदारी डाली जाए
  ऐसी तकनीक अभी भी लैब स्टेज में ही रहनी चाहिए

  • गलत फैसलों के लिए कोई ज़िम्मेदार होना चाहिए। decision-maker accountability ही बुरे निर्णयों को रोक सकती है
  • पहले ही गलत response में manpower और resources बर्बाद हो चुके हैं। अब इस्तीफ़ा या सज़ा होनी चाहिए
  • यह सोचकर तंज़ सूझता है कि शायद counseling की जगह therapy gift card ही दे दें
  • बेशक तकनीक में हमेशा जोखिम होते हैं, लेकिन मैं यह नहीं मानता कि सिर्फ़ एक false positive उसके सारे फ़ायदों को ख़त्म कर देता है
    फिर भी false alarms और actual detections का अनुपात पारदर्शी तरीके से सार्वजनिक होना चाहिए

• Palantir जैसे surveillance platform पूरे समाज में फैलने के दौर में हैं
  non-deterministic ML systems में गलती होने पर जानमाल का नुकसान हो सकता है
  authoritarian समाजों में ऐसी गलतियाँ छिपा दी जाती हैं, इसलिए अभी कानूनी नियमन की मांग करनी चाहिए

  • लेकिन यह मामला Palantir का नहीं बल्कि Omnilert से जुड़ा है। मुद्दों को मिलाना नहीं चाहिए

• Omnilert ने कहा कि “सिस्टम ने इरादे के मुताबिक काम किया,” लेकिन असल में AI ने किसी पर swatting कर दी
  जहाँ ऐसे सिस्टम लगे हों, वहाँ से दूर रहना ही ज़्यादा सुरक्षित है

  • यह “bug नहीं, feature है” जैसी कॉरपोरेट शैली की सफ़ाई का क्लासिक उदाहरण है
  • ऐसी तकनीक आखिरकार एक निर्दोष छात्र की बलि ले सकती है। तकनीक अभी उस स्तर तक पहुँची ही नहीं है
  • यह दावा कि इंसानी सुरक्षा को प्राथमिकता दी गई, साफ़ तौर पर झूठ है

• “तेज़ human verification” कहा गया था, लेकिन असल में यह बंदूक की नली के सामने verification निकला

  • “verification में समय बर्बाद मत करो, तुरंत खतरा खत्म करो” जैसी सोच और भी ज़्यादा खतरनाक है
  • पुलिस के पहुँचते ही उन्हें AI द्वारा detect किया गया original video तुरंत देख पाने में सक्षम होना चाहिए। तभी false positives घटेंगे और स्थिति सही समझ आएगी
  • अगला चरण शायद ऐसा हो कि यह साबित करने के लिए कि आप robot नहीं हैं, बंदूक से CAPTCHA लिया जाए

• हर बार airport के TSA scanner से गुजरते समय बेवजह तनाव होता है। zip वाली पैंट की वजह से अक्सर अतिरिक्त जांच झेलनी पड़ती है
  अब हम ऐसे दौर में हैं जहाँ सड़कों पर लगे AI security cameras लोगों को मनमाने ढंग से flag कर सकते हैं
  ऐसे सिस्टम पैसे कमाते हैं, इसलिए इनके बिना नियंत्रण फैलने का ख़तरा बड़ा है

  • Precheck या Global Entry लेने से screening की frequency कम हो सकती है। झुंझलाहट भरा है, लेकिन व्यावहारिक उपाय है
  • सिर्फ़ जांच से बचने के लिए कपड़े बदलना security theater का दुष्प्रभाव है। कभी ऐसा भी हो सकता है कि हमें रोज़मर्रा के कपड़े तक उसी हिसाब से चुनने पड़ें
  • नागरिकों को खुद ईमेल के ज़रिए अपनी राय भेजनी चाहिए। कुछ सौ लोग भी सक्रिय हों तो राजनेता प्रतिक्रिया देते हैं। सबसे बड़ी समस्या चुप्पी है
  • एक बार मैंने ID की जगह gun carry permit दिखा दिया था, तो अतिरिक्त जांच हुई, लेकिन शुक्र है मामला वहीं निपट गया
  • मेरा एक दोस्त scanner पार करने के बाद मेरा इंतज़ार कर रहा था, तो उसे “इधर-उधर मंडराने” के नाम पर फिर से जांचा गया। लगता है नस्ली पूर्वाग्रह काम कर रहा था

• “सिस्टम ने इरादे के मुताबिक काम किया” सुनकर असल दुनिया वाला ‘Not a hotdog’ meme याद आता है
  फ़र्क बस इतना है कि इस बार सवाल “gun / not gun” का था, और accuracy उससे भी बदतर निकली