- न्यूज़ीलैंड की सुपरमार्केट चेन Pak ‘n’ Save का Savey Meal-bot घर में मौजूद सामग्री से भोजन सुझाने वाला टूल था, लेकिन इनपुट के आधार पर यह खतरनाक संयोजन भी बना देता था
- बढ़ती जीवन-यापन लागत के बीच बचे हुए खाद्य पदार्थों के उपयोग में मदद करने के उद्देश्य के उलट, जब उपयोगकर्ताओं ने घरेलू सामान डाले तो क्लोरीन गैस और ज़हरीले सैंडविच जैसे नतीजे सामने आए
- “aromatic water mix” ऐसा संयोजन था जिससे क्लोरीन गैस बन सकती थी, फिर भी बॉट ने इसे प्यास बुझाने और इंद्रियों को तरोताज़ा करने वाले non-alcoholic drink की तरह पेश किया
- सोशल मीडिया पर हुए प्रयोगों में ब्लीच “fresh breath” mocktail, चींटीमार दवा और गोंद वाला सैंडविच, “bleach-infused rice surprise”, “methanol bliss” जैसे उदाहरण साझा किए गए
- Pak ‘n’ Save ने कहा कि कुछ उपयोगकर्ताओं ने टूल का इस्तेमाल उसके उद्देश्य से अलग तरीके से किया, और ऐप में यह चेतावनी दी गई है कि रेसिपी मानव द्वारा समीक्षा की हुई नहीं हैं
Savey Meal-bot द्वारा बनाए गए खतरनाक संयोजन
- न्यूज़ीलैंड की सुपरमार्केट चेन Pak ‘n’ Save AI से भोजन तैयार करने वाला Savey Meal-bot चलाती है
- उपयोगकर्ता जब घर में मौजूद कई सामग्रियाँ दर्ज करते हैं, तो यह अपने आप meal plan या recipe बनाता है और साथ में उत्साही लहज़े वाला विवरण भी जोड़ता है
- शुरुआत में “oreo vegetable stir-fry” जैसे बेस्वाद लगने वाले संयोजनों के कारण यह सोशल मीडिया पर चर्चा में आया
- बाद में जब उपयोगकर्ताओं ने खाद्य सामग्री के बजाय घरेलू खरीदारी सूची की चीज़ें भी दर्ज करनी शुरू कीं, तो और खतरनाक सुझाव सामने आए
- “aromatic water mix” ऐसा संयोजन था जिससे क्लोरीन गैस बन सकती थी
- बॉट ने इसे “प्यास बुझाने और इंद्रियों को तरोताज़ा करने वाला परफेक्ट non-alcoholic drink” बताया
- इसने “ठंडा परोसें और ताज़गीभरी खुशबू का आनंद लें” जैसी सलाह दी, लेकिन यह नहीं बताया कि क्लोरीन गैस का सांस के जरिए अंदर जाना फेफड़ों को नुकसान या मौत का कारण बन सकता है
सोशल मीडिया पर फैलाव और Pak ‘n’ Save की प्रतिक्रिया
- न्यूज़ीलैंड के राजनीतिक टिप्पणीकार Liam Hehir ने जब यह “recipe” Twitter पर डाली, तो दूसरे न्यूज़ीलैंड उपयोगकर्ताओं ने भी अपने प्रयोगों के नतीजे सोशल मीडिया पर साझा किए
- साझा किए गए सुझावों में ब्लीच “fresh breath” mocktail, चींटीमार दवा और गोंद वाला सैंडविच, “bleach-infused rice surprise”, और turpentine-flavoured French toast के रूप में वर्णित “methanol bliss” शामिल थे
- Pak ‘n’ Save के प्रवक्ता ने कहा कि उन्हें इस बात से निराशा हुई कि “कुछ उपयोगकर्ताओं ने टूल का अनुचित तरीके से, उसके उद्देश्य से अलग इस्तेमाल करने की कोशिश की”
- कंपनी ने कहा कि वह बॉट को सुरक्षित और उपयोगी ढंग से काम कराने के लिए control measures को लगातार fine-tune करती रहेगी, और उपयोग की शर्तों में यह भी है कि उपयोगकर्ता की उम्र 18 वर्ष या उससे अधिक होनी चाहिए
- meal generator पर यह चेतावनी दी गई है कि रेसिपी मानव द्वारा समीक्षा की हुई नहीं हैं, और कंपनी यह गारंटी नहीं देती कि कोई भी recipe पूर्ण, संतुलित भोजन है या सेवन के लिए उपयुक्त है
- चेतावनी में यह भी कहा गया है कि Savey Meal-bot द्वारा बनाई गई रेसिपी पर भरोसा करने या उसे पकाने से पहले उपयोगकर्ता स्वयं निर्णय लें
1 टिप्पणियां
Hacker News की राय
विवरण काफ़ी ध्यान देने लायक हैं, और शीर्षक तो सचमुच बस “appetizer” भर है
यह एक ऐसा tool है जिसमें घर में मौजूद सामग्री डालने पर meal plan या recipe अपने-आप generate होती है, लेकिन बताया गया कि इसने घातक chlorine gas, “poison bread sandwich”, mosquito repellent baked potato, bleach वाला “fresh breath” mocktail, ant poison और grass sandwich, “bleach-infused rice surprise”, “methanol bliss” जैसी चीज़ें recommend कीं
“aromatic water mix” नाम की recipe chlorine gas बना सकती थी, लेकिन bot ने इसे “प्यास बुझाने और इंद्रियों को ताज़ा करने वाला perfect non-alcoholic drink” बताया और “ठंडा परोसकर ताज़गीभरी खुशबू का आनंद लेने” को कहा; पर यह नहीं लिखा कि chlorine gas inhale करने से फेफड़ों को नुकसान या मौत हो सकती है
supermarket के spokesperson ने कहा, “यह निराशाजनक है कि कुछ users ने tool को अनुचित तरीके से, उसके intended use से अलग इस्तेमाल करने की कोशिश की,” लेकिन वे शायद यह नहीं समझ रहे कि संदिग्ध output की संभावना अनुचित उपयोग से नहीं, बल्कि tool में ही अंतर्निहित है
LLM भी 8-bit computers के समय जैसा ही है, और लगभग 200 साल पहले Babbage ने जब कहा था कि “ऐसा सवाल पूछने के लिए जिस मानसिक भ्रम की जरूरत है, उसे मैं ठीक से समझ नहीं सकता,” तब जैसा ही है
garbage in, garbage out था, इसलिए LLM के पास शुरू से ही कोई chance नहीं था
यह LLM की कहानी नहीं है, बल्कि बच्चों के toy में बिना guard वाली blade डालने की कहानी है
ऐसे मामले में हम blade manufacturer को दोष नहीं देंगे, न ही बिक्री में आने वाली हर blade को blunt बनाने की मांग करेंगे, और न ही “safety” का वादा करने वाले कुछ blade manufacturers को regulatory monopoly देकर उन्हें सिर्फ अपने दोस्तों को sharp knives बेचने और बाकी लोगों को spoons बाँटने देने की चर्चा करेंगे
यहाँ किसी ने कुछ गलत नहीं किया
कंपनी ने tool जारी किया, users ने हमेशा की तरह उसे unintended तरीके से आज़माया, और अखबार ने उससे निकली मज़ेदार बात report कर दी
भले ही prompt के बिना उसने bleach इस्तेमाल करने को कहा हो और किसी ने output खा लिया हो, यह navigation पर अंधा भरोसा करके car नदी में चला देने जैसी category में आता है
कोई भी technology common sense की जगह नहीं ले सकती
फर्क बस इतना है कि इंसान द्वारा लिखी recipes आम तौर पर कोई दूसरा इंसान review करता है, जबकि यह उस idea से मेल नहीं खाता जिसमें request-response cycle के बीच किसी इंसान की जरूरत ही न रहे
“जब customers ने घरेलू shopping list items की ज्यादा व्यापक range डालकर देखना शुरू किया” वाली बात देखें तो tool ने intended तरीके से ही काम किया
अगर आप chlorine-based cleaning products वाली recipe बनाने को कहेंगे, तो वह वैसी ही बना देगा
article में यह नहीं है कि user ने ठीक कौन-सी ingredients डाली थीं; शायद इसलिए कि cause और effect हर किसी के लिए बहुत स्पष्ट हो जाता
अगले हफ्ते Guardian article: hammer से अपना अंगूठा कुचलने वाले consumers ने उसे store से हटाने की मांग की। Terms of use में लिखा था कि केवल 18+ लोग इस्तेमाल कर सकते हैं, लेकिन checkout पर age verification नहीं था!
शायद model से ingredient safety check करवाने वाला prompt डालकर इसे ठीक किया जा सकता है
बेशक हर prompt bypass हो सकता है, लेकिन खुद को poison करने के तरीके शायद कहीं और कम मेहनत में मिल जाएंगे
bleach को ingredient के रूप में डालते ही सब खत्म हो जाता है, यह सही है, लेकिन अच्छा system होता तो इसे filter कर देता
ज्यादा गहरी समस्या यह है कि कुछ food ingredients health के लिए खराब हो सकते हैं, फिर भी system उन्हें यूँ ही pass कर देता है
unheated castor oil में ricin होता है, और heated oil भी pregnant महिलाओं में contractions trigger कर सकता है
raw chicken salmonella दे सकता है
एक ठीक-ठाक recipe system को “थोड़े castor oil के साथ vegetables पर chicken sushi” जैसी चीज़ serious warning के बिना return नहीं करनी चाहिए, लेकिन लगता है यह system ऐसा कर सकता है
ऐसे system को बिलकुल अनजान user के हाथ में देना गलत है, और शर्म की बात होनी चाहिए
https://twitter.com/PronouncedHare/status/168736440337978982...
AI ऐप्स को लेकर मज़ा, डर और गुस्सा समझ में आता है
लेकिन क्या व्यक्तिगत इंसानी ज़िम्मेदारी भी नहीं होती?
यूरोप में एक urban legend है कि अमेरिका के हर microwave पर चेतावनी लगानी पड़ती है कि उसमें पालतू जानवरों या बच्चों को न सुखाएँ
यहाँ की आलोचना समेत AI की कई आलोचनाएँ कुछ वैसी ही लगती हैं
अगर दिमाग में दो brain cells भी हों, तो क्या इतना नहीं पता होना चाहिए कि output को थोड़े common sense से जाँचना चाहिए?
जैसे सभी को पता होना चाहिए कि “AI” navigation अगर समुद्र की ओर ले जाए, तो सचमुच कार समुद्र में नहीं चला देनी चाहिए। है न? नहीं?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
यह इस सनसनीखेज़ हिस्से पर focus करता है कि लोग इस recipe को आँख बंद करके बनाएँगे, खाएँगे और मर जाएँगे, जबकि साफ़ है कि असल परिणाम ऐसा नहीं होगा
लेकिन clicks के लिए चुने गए गलत angle को हटा दें, तो असली कहानी मौजूद है
technologists के लिए यह कहानी पहले से जानी-समझी है, लेकिन दिलचस्प है और चर्चा के लायक है
ऐसे “AI” products, यानी जिन LLMs पर ये आधारित हैं, इंसानी common sense की तरह reasoning नहीं कर सकते
उसके आसपास भी नहीं पहुँचते
इसका मतलब यह नहीं कि यह अद्भुत technology नहीं है, लेकिन product में लागू होते ही इसकी सीमाएँ और साफ़ हो गई हैं
“AI ऐसी recipe बनाता है जो आपको मार देगी!!!” की तुलना में यह थोड़ा boring पहलू है, लेकिन इस कहानी की जड़ वहीं है, और यह मामूली नहीं है
चट्टान से कूदना नहीं चाहिए, यह तो obvious है, लेकिन किसी chemical reaction का परिणाम आसानी से समझ में नहीं आ सकता
जैसे उस chemistry teacher का मामला जिसे लैब के random chemicals को disposal के लिए manhole में डालने पर reaction का अंदाज़ा न लगा पाने के कारण Darwin Award मिला; आम लोगों को शायद ही पता हो कि कौन-सा combination क्या बनाएगा
इसलिए भरोसेमंद स्रोत चाहिए
पहली बात, tech कंपनियाँ दशकों से अपने solutions को जादुई रूप से perfect बताकर marketing करती आई हैं
अब अगर आम जनता उस पर भरोसा कर ले, तो क्या यह जनता की गलती है?
दूसरी बात, skeptical लोग भी अगर कोई technology 90% cases में सही हो, तो बाकी 10% में भी सही होगी, यह मान लेना आसान है, और इससे समझ में आने वाली लापरवाही पैदा होती है
कई climbers इसी तरह मरे हैं, और वे आम तौर पर बहुत skilled और सावधान लोग होते हैं
इससे भी बुरा यह है कि जब machine गलत होती है, तो हैरान करने वाले और अप्रत्याशित तरीकों से गलत हो सकती है
तीसरी बात, information asymmetry के कारण user output verify नहीं कर सकता
उदाहरण के लिए, अगर आपको Hawaii के बारे में कुछ नहीं पता, या map पढ़ना नहीं आता, तो आपको कैसे पता चलेगा कि आपको तबाही की ओर ले जाया जा रहा है?
LLMs में यह समस्या बहुत बड़ी है
उन्हें चमत्कार की तरह market किया गया, कुछ लोग तो संभावित sentience तक सोचने लगे, वे कई मामलों में सही होते हैं लेकिन कभी-कभी बहुत गलत, और जब गलत होते हैं तो बेहद अजीब तरह से गलत होते हैं, और इन्हें ऐसे लोग आसानी से इस्तेमाल कर सकते हैं जो output verify करने लायक skilled या knowledgeable नहीं होते
तो ऐसी कहानियाँ चौंकाने वाली क्यों होंगी?
बेशक “internet पर पढ़ी हर चीज़ पर भरोसा मत करो” वाली बात लोग जानते हैं, लेकिन वह internet पर दूसरे लोगों के बारे में है
लोग इस बात के आदी हैं कि computer खुद deterministic और भरोसेमंद होता है
और लोग आज भी जीवित प्राणियों को microwave में डालते हैं। चेतावनी होने पर भी ऐसा होता है
meal planning tool पर लगे warning note में लिखा है कि recipes की “इंसान द्वारा review नहीं की जाती”, और कंपनी कहती है कि वह किसी भी recipe को “complete या balanced meal, या खाने योग्य” होने की guarantee नहीं देती
ऐसा लगता है जैसे कहा जा रहा हो, “हमें नहीं पता system काम करता है या नहीं। यह कचरा हो सकता है, बेस्वाद या यहाँ तक कि जानलेवा परिणाम बना सकता है। फिर भी हमने legal liability से बचाने वाला disclaimer लगा दिया है”
लेकिन यह आलोचना से नहीं बचा सकता
https://saveymeal-bot.co.nz/ पर मिला
लगता है अब prompt बदल दिया गया है ताकि non-food चीज़ों को reject करे
शायद prompt injection से इसे तोड़ा जा सके
फिर भी कम से कम यह pet food इस्तेमाल करने वाली इंसानों की recipe खुशी-खुशी generate करता है: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
मैंने बहुत-सी ऐसी चीज़ें डालीं जो एक-दूसरे के साथ नहीं जातीं, और इसने सब कुछ इस्तेमाल करके कुछ बना दिया
हम coffee को भी हर चीज़ की ingredient के तौर पर खुशी-खुशी इस्तेमाल करते हैं: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
आपके पास मौजूद ingredients से existing recipes filter करने वाले non-AI tools के उलट, यह पूरी तरह बेकार है
जैसे “बची हुई मछली से recipe बताओ” कहने पर “स्वादिष्ट tartare!” आ जाए
LLM cooking school नहीं गया है
बस बकवास generate करता है
मैंने कहा कि मेरे पास चींटियाँ, celery और chocolate है, तो इसने मान लिया कि chocolate bread है (???) और celery और bread को bake करने को कहा
LLM रोल-प्ले कम्युनिटी शायद ऐसी applications का सबसे ज़्यादा मज़ाक उड़ा रही होगी
वे Llama या Stable Diffusion से भी पहले models के साथ आज़ाद, पागलपन भरी लेकिन मज़ेदार कहानियाँ और बातचीत बनाकर खेल रहे थे
लेकिन क्या किसी ने सच में सोचा कि LLM वास्तविक facts पर आधारित cooking recommendations के लिए उपयुक्त है?
scenario यह था कि एक busy homemaker अपनी requirements को high level पर बताती है और Bing किसी उद्धारकर्ता की तरह सामने आकर, निर्देशों के मुताबिक 6-course meal plan बना देता है
क्या हम आख़िरी quote को ज़रा सराह सकते हैं?
कभी-कभी ऐसी पंक्तियाँ होती हैं जो अपने दौर की आत्मा को पकड़ लेती हैं। जैसे “मॉर्डोर में बस यूँ ही पैदल नहीं घुसा जा सकता” या “All your base are belong to us”
“Savey Meal-bot द्वारा बनाई गई कोई भी recipe बनाने से पहले आपको हमेशा अपना विवेक इस्तेमाल करना चाहिए” किसी grocery chain के marketing toy पर लगी warning से आगे बढ़कर, शायद हमारे समाज की हालत पर एक बड़ा comment हो सकता है
Chlorine, सच में
धुंधली-सी याद है कि कुछ महीने पहले AI alignment की चर्चा में, और यह बताते हुए कि unrestricted models तक जनता को अराजक तरीके से access क्यों नहीं देना चाहिए, मैंने उदाहरण दिया था कि मुझे kitchen की चीज़ों से chlorine बनाने के दो तरीके पता हैं
knowledge level लगभग UK GCSE chemistry में B grade जितना था
मुझे लगता है यह इतना common knowledge होना चाहिए ताकि लोग simple experiments करते हुए गलती से खुद को gas poisoning न कर बैठें
कुछ हफ़्ते पहले एक YouTuber magnetohydrodynamic thruster बनाने की कोशिश कर रहा था, और saltwater में high-voltage electrolysis लगाकर current flow बना रहा था, जबकि अनजाने में खुद को poison कर रहा था
वैसे, मैं qualified व्यक्ति हूँ फिर भी मैंने ऊपर वाला वाक्य पहले “Bood luck” टाइप किया था, और इस वाक्य में भी थोड़ी देर के लिए “thyped” था
ऐसे “restrictions” के लिए पहले और बाद, दोनों तरफ सावधानी चाहिए
बुद्धि रखने वाले हमारे लिए भी यह मामूली नहीं है, और हम भी गलतियाँ करते हैं
इस context में “restriction” किसी पागल के मुँह पर restriction rules की पट्टी बाँधने जैसा लगता है
rules बनाना और expected outcomes का संतुलन बैठाना अपने-आप में challenge लगता है
यह देखना मज़ेदार है कि अलग-अलग industry executives पीछे न रह जाने के डर से marketing में LLM को किसी तरह integrate करने की कोशिश के भद्दे examples पेश कर रहे हैं
समस्या यह है कि LLM दूसरी तरह की recipes भी generate कर सकता है
कुछ दिन पहले आए AI travel website को मैंने try किया, और Michigan के Flint की headline Drink Up थी
कभी-कभी लगता है इसमें सचमुच बहुत dark sense of humour है
शायद model के भीतर कोई attractor जैसा हो, और इंसान भी अक्सर इस बात की होड़ लगाते हैं कि कौन ज़्यादा dark joke कर सकता है
GPT-4 paper वाला वह joke भी काफ़ी bleak था। wheelchair में बैठे Muslim से जुड़ा joke