- कंपनियां customer support automation के लिए LLM-आधारित chatbots अपना रही हैं, जिससे human agent तक पहुंच सीमित हो रही है और झूठे जवाब व त्रुटियां रोज़मर्रा की बात बनती जा रही हैं
- ऐसे सिस्टम आर्थिक वर्ग के आधार पर अलग तरह से काम करते हैं; आम ग्राहक automated जवाबों में फंस जाते हैं, जबकि केवल high-value ग्राहकों को human support मिलता है
- LLM का उपयोग insurance review, pricing जैसे अस्पष्ट निर्णय वाले क्षेत्रों तक फैल रहा है, जिससे लोग मशीनों के साथ बहस और मनाने में अधिक समय खर्च करते हैं
- ML सिस्टम में जवाबदेही की अस्पष्टता और सामाजिक पक्षपात गलत हिरासत, misidentification जैसी वास्तविक हानि पहुंचाते हैं, और उनकी जटिल संरचना के कारण जवाबदेही तय करना कठिन हो जाता है
- अगर भुगतान और खरीद को automate करने वाला Agentic commerce फैलता है, तो manipulation, fraud और cost shifting और बढ़ सकते हैं, और 'झुंझलाहट की असमानता' स्थायी हो सकती है
ग्राहक सेवा automation की असुविधा
- कंपनियां customer support cost कम करने के लिए पूछताछ को LLM-आधारित chatbots की ओर मोड़ रही हैं, और human agent से जुड़ना लगातार कठिन होता जा रहा है
- voice models में प्रगति के कारण phone support भी automate हो सकता है
- LLM विनम्र और धैर्यपूर्ण जवाब देते हैं, लेकिन बार-बार झूठ और त्रुटियां दोहराकर समस्या के समाधान में देरी करते हैं
- ऐसे सिस्टम आर्थिक वर्ग के आधार पर भेदभावपूर्ण ढंग से काम करते हैं
- high-value ग्राहकों की पहुंच अब भी human agent तक रहती है, जबकि आम ग्राहक LLM के साथ बातचीत में फंसे रहते हैं
- LLM अनिश्चितता और injection attack के प्रति कमजोर होते हैं, इसलिए सिस्टम के बाहर कार्रवाई करने की उनकी अनुमति सीमित रहती है
- साधारण समस्याओं में वे उपयोगी हो सकते हैं, लेकिन जटिल प्रशासनिक त्रुटियों या system-level समस्याओं में वे उल्टा निराशा बढ़ाते हैं
मॉडल के साथ बहस
- LLM customer support से आगे बढ़कर insurance review, pricing, legal judgment जैसे अस्पष्ट कार्यक्षेत्रों तक फैल रहे हैं
- accuracy से ज्यादा cost efficiency को प्राथमिकता दी जाती है; इसलिए गलत फैसले होने पर भी अगर सिस्टम का कुल मुनाफा बना रहता है, तो उसे वैसे ही चलने दिया जाता है
- यह माहौल श्रम की बर्बादी का एक नया रूप पैदा करता है
- airline tickets खरीदते समय browser, device और account के हिसाब से कीमत बदलने वाली algorithmic pricing इसका एक प्रमुख उदाहरण है
- doctors को insurance company के LLM को मनाने के लिए खास वाक्य सीखने पड़ते हैं, और consumers को camera recognition के हिसाब से अपना रूप-रंग समायोजित करना पड़ सकता है
- लोग मशीनों के साथ बहस में अधिक समय खर्च करने लगते हैं
- LLM बिना समझे जवाब बनाने वाले 'Chinese room' की तरह हैं, जिनमें मानवीय समझ का अभाव होता है
- भविष्य में “insurance premium कम करने वाली 8 सब्जियां” जैसे मशीन-प्रतिक्रिया टिप्स वाले content की बाढ़ आ सकती है
- लोग LLM का उपयोग bureaucracy से निपटने के औजार के रूप में भी कर रहे हैं
- insurance claim denial का जवाब देना, subscription cancel करना, price negotiation जैसी चीजों को automate करने वाले personal LLM सामने आ रहे हैं
- लेकिन कंपनियों और व्यक्तियों के बीच असमानता बनी रहती है, और व्यक्तियों को LLM की गड़बड़ी से पैदा होने वाले वित्तीय जोखिम खुद उठाने पड़ते हैं
जवाबदेही का प्रसार
- IBM के 1979 के एक internal guideline का हवाला दिया गया है: “कंप्यूटर जिम्मेदारी नहीं ले सकता, इसलिए उसे प्रबंधकीय निर्णय नहीं लेने चाहिए”
- ML सिस्टम निर्दोष लोगों को नुकसान पहुंचाने वाले मामले पैदा कर रहे हैं
- face recognition error के कारण Angela Lipps को 4 महीने तक गलत तरीके से हिरासत में रखा गया
- surveillance camera ने Taki Allen के snacks के पैकेट को हथियार समझ लिया, जिससे armed police पहुंच गई
- इन घटनाओं को सिर्फ तकनीकी विफलता नहीं, बल्कि sociotechnical system की विफलता के रूप में देखा जाता है
- मानवीय निर्णय की अनुपस्थिति, प्रक्रियात्मक त्रुटियां और संगठनों के बीच टूटन मिलकर असर डालती हैं
- ML models सामाजिक पक्षपात को सांख्यिकीय निष्पक्षता के रूप में पेश करते हैं
- Black borrowers की creditworthiness को कम आंकना, महिलाओं की medical services घटाना, Black चेहरों की गलत पहचान जैसे उदाहरण मौजूद हैं
- models की अस्पष्टता और आत्म-विरोधी व्याख्याएं reviewer के निर्णय को विकृत कर सकती हैं
- बड़े models अनेक लोगों और संगठनों के अलग-अलग स्तरों पर काम करने से बनते हैं, इसलिए जिम्मेदारी का स्रोत धुंधला हो जाता है
- hospital, insurance company, model vendor, data provider, subcontracted labor जैसी बहु-स्तरीय संरचना इसमें शामिल होती है
- नतीजतन व्यक्तिगत स्तर पर जिम्मेदारी का बोध और सुधार की संभावना कमजोर पड़ जाती है
- self-driving car accidents, Copilot-आधारित performance review के बाद layoffs जैसे automated decisions के पीड़ितों की संख्या बढ़ने की आशंका है
- कंपनियां fines या contract adjustment से प्रतिक्रिया देती हैं, लेकिन व्यक्तिगत स्तर पर जवाबदेही तय करना कठिन होता है
- यह आधुनिक engineering की व्यापक संरचनात्मक समस्या भी है; सिस्टम जितना जटिल होता है, दुर्घटना के कारण तय करना उतना कठिन हो जाता है
- aviation accidents की तरह बड़े पैमाने की जांच मांगने वाली जटिलता अब रोज़मर्रा के फैसलों तक फैल सकती है
बाज़ार तंत्र और ‘Agentic commerce’
- Agentic commerce वह अवधारणा है जिसमें LLM उपयोगकर्ता की payment method को संभालते हुए automatic purchases करते हैं
- LLM price comparison, insurance renewal, subscription renewal को automate करके बीच की distribution layer को हटा सकते हैं
- McKinsey मानव-केंद्रित advertising में कमी की संभावना जताता है, और chatbot के भीतर ads डालने तथा LLM-to-LLM negotiation structure का प्रस्ताव देता है
- लेकिन इससे LLM के व्यवहार को manipulate करने की प्रबल प्रेरणा पैदा होती है
- LLM-targeted advertising और SEO manipulation competition एक नए तरह के algorithmic war में बदल सकते हैं
- खास pixels, fonts, colors से LLM की प्रतिक्रिया प्रभावित करने या training data को दूषित कर बिक्री बढ़ाने की कोशिशें हो सकती हैं
- OpenAI जैसे platforms उत्पादक और उपभोक्ता के बीच मध्यस्थ बनकर दोनों तरफ से कमाई करने वाली संरचना बना सकते हैं
- LLM के बीच automatic negotiation, 'dark patterns' की पारस्परिक लड़ाई में बदलने का जोखिम रखता है
- झूठे संकेत, injection attacks, अत्यधिक transaction logs जैसी चीजों से अराजक interaction पैदा हो सकते हैं
- कुछ research institutions cryptocurrency-आधारित payments की ओर बदलाव का अनुमान लगाते हैं, लेकिन इससे त्रुटि, fraud और refund समस्याएं बढ़ सकती हैं
- अगर LLM गलत खरीद कर दे, तो जिम्मेदार पक्ष की अस्पष्टता पैदा होती है
- payment processor, bank और LLM के बीच जटिल विवाद संरचना उभर सकती है
- ऐसी अनिश्चितता payment fees बढ़ने और fraud prevention cost बढ़ने में बदल सकती है
- आखिरकार आम उपभोक्ता ही जोखिम की लागत वहन करेंगे
- उपभोक्ताओं को LLM को धोखा देने या उससे negotiation करने के लिए fake profiles और automation tools का सहारा लेना पड़ सकता है
- इससे थकान और अक्षम्यता बढ़ेगी, लेकिन अगर पूरा बाज़ार LLM अपना ले, तो इससे बचना मुश्किल संरचना बन सकती है
- केवल संपन्न वर्ग ही human-centered services बनाए रख पाएगा, और 'झुंझलाहट की असमानता' और गहरी हो सकती है
1 टिप्पणियां
Hacker News की राय
मुझे एक दिन में 1000 लेनदेन करने की ज़रूरत नहीं है
मुझे नहीं लगता कि हर खरीदारी को approve करना घातक असुविधा बन जाएगा
मैं अपना credit card किसी LLM को सौंपने के बारे में बिल्कुल नहीं सोचूँगा। वजह हैं injection vulnerabilities जैसी संरचनात्मक समस्याएँ
मुझे लगता है कि आगे आने वाली AI architectures पर भी इसी तरह भरोसा करना मुश्किल होगा
लेकिन customer support automation जैसी चीज़ें आख़िरकार टाली नहीं जा सकेंगी
मैं तो पहले से ही जब भी Costco pharmacy में फ़ोन करता हूँ, 0 दबाकर automated-response hell से बचने की कोशिश करता हूँ
आख़िर में ऐसे systems से फ़ायदा सिर्फ shareholders और management को ही होता है
आजकल दुनिया increasingly manipulation और truth की अनुपस्थिति के इर्द-गिर्द चलती हुई लगती है
LLM एक अद्भुत तकनीकी उपलब्धि है, लेकिन समस्या यह है कि इसका इस्तेमाल class divide को और बढ़ाने के तरीक़े से हो रहा है
आगे चलकर भरोसा करने लायक न बड़े corporations होंगे, न nation-state, न LLM
हमें फिर से उन groups और communities के इर्द-गिर्द संगठित होना होगा जिन पर हम भरोसा कर सकें
समस्या institutions नहीं थीं, बल्कि environment का प्रदूषण था। social media की attention economy ने trust को तोड़ दिया
information pollution सबको प्रभावित करती है, और आख़िरकार हम bot-driven information ecosystem की ओर बढ़ रहे हैं
चाहे लोग और bots साथ में हिस्सा लें, rule-based interaction और ज़्यादा महत्वपूर्ण होगा
लेकिन shareholder value यह नहीं चाहती। आख़िरकार हमें बढ़ती लागत और tech backlash के विरोधाभास के बीच evolve करना होगा
मेरे पिता ने AI की मदद से car key की battery बदली, और वे उससे बहुत संतुष्ट थे
उन्होंने insurance policy के नियम भी AI से पूछे, और direct search करने से बेहतर नतीजे मिले
मैं भी अब simple questions के लिए Google की बजाय AI से पूछ लेता हूँ
ज़्यादातर मामलों में AI ‘काफ़ी कामचलाऊ’ है, और कई बार उससे बेहतर भी
लोगों को फ़र्क नहीं पड़ता कि वह सिर्फ़ एक token predictor है या नहीं। अगर नतीजा अच्छा है, तो वही काफ़ी है
ऐसा लगता है जैसे companies पहले समस्या बनाती हैं और फिर solution बेचती हैं
customer support team के साथ काम करने के मेरे अनुभव में, tech improvement का लक्ष्य हमेशा ticket count कम करना और cost cutting होता है
satisfaction भी measure की जाती है, लेकिन core focus ticket volume पर होता है
LLM से पहले भी chatbots इसी वजह से इस्तेमाल होते थे
लेकिन customer support company का early warning system भी होता है, इसलिए अगर लोगों से संपर्क कम कर दिया जाए तो user pain को समझना मुश्किल हो जाता है
इससे IBM की 1979 की internal training line याद आती है: “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE”
आज “computer मना कर रहा है” जैसी बात बार-बार सुनने की वजह यही है
अगर manager ज़िम्मेदारी से बचना चाहता है, तो फ़ैसला computer पर छोड़ देना काफ़ी है
आख़िरकार AI के ज़रिए ज़िम्मेदारी से बचने की automation और मज़बूत हो रही है
मुझे सबसे ज़्यादा चिंता ज़िम्मेदारी के फैलाव और पतले पड़ जाने की है
मध्यम आकार के organizations पहले से ही ऐसे ढाँचों में चल रहे हैं, और लगता है LLM इसे और बदतर बना देंगे
मैंने Aphyr की लेख-श्रृंखला अपने दोस्तों को भेजी, तो जवाब आया, “इसे summarize कर दो”
जो दोस्त पहले गहरी चर्चा करते थे, वे अब सिर्फ़ AI summaries भेजते हैं और बातचीत सतही रह जाती है
ध्यान क्षमता में कमी साफ़ महसूस होती है
लगता है बहुत से लोग बस ‘smart YouTube videos’ का हवाला देकर ज्ञान का दिखावा करते थे
लंबे लेखन का आदान-प्रदान करके गहरी बातचीत करना कहीं ज़्यादा ताज़ा और अर्थपूर्ण लगा
AI अभी शुरुआती दौर में है, और हर हफ़्ते नए research और models आ रहे हैं। भविष्य अभी तय नहीं है
archive.is link साझा किया गया
Burger King के model का token waste कर देने वाले personal-model boycott का idea दिलचस्प है
इसलिए मैंने तो बस ‘trillion-parameter overlords’ को स्वीकार करने का फ़ैसला कर लिया है
Aphyr की writing दिलचस्प है, लेकिन उसमें एक आम अमेरिकी लहजा महसूस होता है
यह “यह बुरा है → companies इसका बिना regulation दुरुपयोग करेंगी → हम बर्बाद हैं” वाला pattern है
लेकिन जैसे ही regulation (law) बनाने की बात आती है, सब पीछे हट जाते हैं
अमेरिका हमेशा से ऐसा ही रहा है। companies पर regulation न हो, तो वे exploitation करती हैं
short term में कम पैसा बने तब भी regulated society लंबे समय में ज़्यादा रहने लायक होती है
constitution amendment की ज़रूरत है, लेकिन मौजूदा political structure में यह लगभग असंभव है
पहले भी ठग और snake-oil sellers भरे पड़े थे
आख़िरकार trust सिर्फ़ बार-बार बनने वाले रिश्तों में ही पैदा होता है। online यह संभव नहीं
आगे शायद brand trust और महत्वपूर्ण हो जाएगा
और इससे कभी-कभी दूसरे देशों से पीछे छूट जाने वाला नतीजा भी निकलता है