- Deloitte ने जनरेटिव AI का उपयोग कर त्रुटियों वाली 4.4 लाख डॉलर की रिपोर्ट जमा करने के बाद ऑस्ट्रेलियाई सरकार को आंशिक रिफंड दिया
- यह रिपोर्ट वेलफेयर सिस्टम के compliance framework और IT सिस्टम की समीक्षा के लिए थी, और इसमें कई त्रुटियां तथा फर्जी quotes और झूठे reference पाए गए
- Deloitte ने रिपोर्ट के परिशिष्ट में Azure OpenAI GPT–4o जैसे large language models के उपयोग का उल्लेख किया, लेकिन यह स्वीकार नहीं किया कि त्रुटियों का सीधा कारण AI था
- लेबर पार्टी की एक सीनेटर ने कंसल्टिंग कंपनी की विशेषज्ञता की कमी बताते हुए AI की बड़ी भूमिका की आलोचना की
- अंतिम रिपोर्ट में संशोधन के बाद भी मुख्य बिंदु और निष्कर्ष नहीं बदले, और सिफारिशें भी बरकरार रहीं
Deloitte ने ऑस्ट्रेलियाई सरकार को AI उपयोग के मामले में रिफंड दिया
घटना का सार
- Deloitte ने 4.4 लाख डॉलर की सरकारी रिपोर्ट तैयार करने में जनरेटिव AI के उपयोग को स्वीकार करने के बाद, उसमें त्रुटियां मिलने पर अनुबंध राशि का कुछ हिस्सा रिफंड करने का फैसला किया
- यह रिपोर्ट ऑस्ट्रेलिया के Department of Employment and Workplace Relations (DEWR) के अनुरोध पर वेलफेयर लाभार्थियों की compliance automation system की समीक्षा के लिए तैयार की गई थी
- रिपोर्ट में framework rules और वास्तविक कानून के बीच कमजोर जुड़ाव तथा IT सिस्टम की मूलभूत खामियों सहित कई समस्याओं की ओर इशारा किया गया
AI का उपयोग और समस्याएं
- रिपोर्ट 4 जुलाई को पहली बार सार्वजनिक होने के बाद, मीडिया ने इसमें कई त्रुटियों और अस्तित्वहीन quotes की समस्याएं उठाईं
- University of Sydney के Dr. Christopher Rudge के अनुसार, रिपोर्ट में AI की आम "hallucination" समस्या के कई संकेत थे, यानी ऐसे source गढ़ लेना जो वास्तव में मौजूद नहीं हैं
- उदाहरण के लिए, रिपोर्ट के नए संस्करण में भी झूठे quotes और बढ़ गए, जिससे संकेत मिलता है कि कुछ निष्कर्ष वास्तविक स्रोत सामग्री के बजाय AI द्वारा तैयार किए गए थे
- Deloitte ने अपडेटेड रिपोर्ट के परिशिष्ट में Azure OpenAI GPT–4o जैसे large language models के उपयोग की जानकारी जोड़ी
- इसमें कहा गया कि DEWR के Azure environment में license-आधारित toolchain का उपयोग किया गया था
- हालांकि, उसने यह नहीं माना कि मूल रिपोर्ट की समस्याओं का प्रत्यक्ष कारण AI था
प्रतिक्रिया और आगे की कार्रवाई
- लेबर पार्टी की सीनेटर Deborah O’Neill ने आलोचना करते हुए कहा, "Deloitte को मानव विशेषज्ञता की कमी से जूझता हुआ कहा जा सकता है, और आंशिक रिफंड खराब काम के लिए अपर्याप्त माफी है"
- उनका कहना था कि सरकार और ग्राहक पक्ष को वास्तविक विशेषज्ञों और AI-से-असंबद्धता का प्रमाण चाहिए
- उन्होंने यह भी कहा कि "कंसल्टिंग फर्म रखने से बेहतर ChatGPT subscription लेना होगा"
- मीडिया जांच के अनुसार, रिपोर्ट में मौजूद न होने वाले विश्वविद्यालय शोध रिपोर्टों का हवाला, और अदालती फैसलों के गलत सारांश जैसी ठोस झूठी सामग्री शामिल थी
- उदाहरण: University of Sydney, Lund University के प्रोफेसरों के पेपर, और Robodebt मामले (Deanna Amato v Commonwealth) के फैसले आदि से जुड़े कथित सारांश गलत थे
आधिकारिक रुख और प्रभाव
- Deloitte ने कहा कि उसने DEWR के साथ सीधे यह मामला सुलझा लिया है, और अपडेटेड रिपोर्ट के निष्कर्षों तथा सिफारिशों में कोई बदलाव नहीं किया गया है
- DEWR ने भी कहा कि सिर्फ कुछ अधूरे footnotes और quotes सुधारे गए हैं, जबकि कुल सिफारिशें और मुख्य सामग्री बरकरार हैं
- कुछ विशेषज्ञों का कहना है कि रिपोर्ट के समग्र निष्कर्ष मौजूदा सबूतों से मेल खाते हैं, लेकिन रिपोर्ट की विश्वसनीयता पर सवाल उठे हैं
निहितार्थ
- यह मामला कंसल्टिंग उद्योग में जनरेटिव AI के उपयोग को लेकर पारदर्शिता और विशेषज्ञता सुनिश्चित करने की मांग को सामाजिक स्तर पर उभारता है
- ऑर्डर देने वाले पक्ष अब AI उपयोग के खुलासे और विशेषज्ञता के सत्यापन की प्रक्रिया को मजबूत करने की जरूरत को अधिक स्पष्ट रूप से समझेंगे
1 टिप्पणियां
Hacker News की राय
कुछ और संदर्भ जोड़ें तो, यह रिपोर्ट उस विवादित IT सिस्टम के बारे में है जिसने सरकारी सहायता पाने वाले लोगों पर यह कहकर ज़िंदगी बर्बाद कर देने वाले गलत जुर्माने लगाए कि उन्होंने नौकरी खोजने की शर्तें पूरी नहीं कीं। ये जुर्माने सीधे कर्ज़ संबंधी फैसले के रूप में थोपे गए, जिससे वसूली एजेंट सचमुच घर तक आकर सामान ले जाने लगे। इतना ही नहीं, सिस्टम की गंभीर खामियों के कारण उन लोगों पर भी गलत जुर्माने लगाए गए जिन्होंने कभी कोई सरकारी सहायता ली ही नहीं थी। ऐसे में Deloitte जैसी consulting कंपनी को 4.4 लाख डॉलर देकर रिपोर्ट बनवाई गई, और उन्होंने AI का इस्तेमाल करके रिपोर्ट बनाई, लेकिन उसमें और भी गलतियाँ छोड़ दीं। चिंता यह है कि अगर Deloitte को सिस्टम बनाना भी सौंप दिया जाता, तो Royal Mail और Fujitsu वाला मामला फिर दोहराया जा सकता था
चिंता है कि AI का ऐसा दुरुपयोग सचमुच जीवन-मृत्यु का मुद्दा बन सकता है। Deloitte के लोग अज्ञानी या आलसी नहीं हैं, बल्कि वे केवल पैसे के पीछे भागने वाला समूह हैं, इसलिए AI से जैसे-तैसे औपचारिक शर्तें पूरी करके अगले कॉन्ट्रैक्ट पर बढ़ जाने का रवैया दिखाते हैं। नतीजा यह हो सकता है कि बहुत से लोगों की ज़िंदगी बर्बाद हो जाए या वे चरम कदम तक उठा लें। यह सिर्फ दस्तावेज़ी हेरफेर नहीं, बल्कि ऐसा मसला है जिसमें हथियारबंद लोग सच में किसी के घर तक आ सकते हैं
कल्पना करने की भी ज़रूरत नहीं, ऐसी समस्या पहले भी हो चुकी है। Deloitte Rhode Island डेटा लीक मामला देखें
अगर Deloitte से होकर जाना भी झंझट लगे, तो सीधे OpenAI को ही दे दो, ऐसा भी एक मत है
शुरुआत से ही दिक्कत यह थी कि संभवतः मूल सिस्टम बनाते समय भी Deloitte का ही इस्तेमाल किया गया था
consultants/outsourcing की समस्याओं की बात करें तो A-team/B-team स्विच का मुद्दा भी उठाना चाहिए। शुरुआत में कोई बहुत सक्षम दिखने वाला व्यक्ति मीटिंग में आता है और कॉन्ट्रैक्ट जीत लेता है, लेकिन जैसे ही डील पक्की होती है, वह किसी और sales मौके पर निकल जाता है, और फिर B-team या C-team के सदस्य दिखाई देते हैं
मेरे अनुभव में, बड़े service contracts में A-team पहले हमें फुसलाकर डील साइन करवाती है, लेकिन असल काम B-team करती है। और जब तक हमारी दिलचस्पी कम होने लगती है, तब तक टीम बदलकर Z-team आ जाती है। हमने कहा था कि quality पर पैसे की कोई कमी नहीं करेंगे और उम्र भर ज़्यादा देंगे, फिर भी लालच में वे पूरा कॉन्ट्रैक्ट ही गंवा बैठते हैं
टीम जितनी बड़ी होती है, मामला उतना ही यह हो जाता है कि एक A-grade विशेषज्ञ 100 टीमों के बीच घूमता है, और जब क्लाइंट नाराज़ हो तो थोड़ी देर के लिए आकर भरोसा दिलाता है, फिर गायब हो जाता है। बाकी सब या तो junior level के होते हैं (और अब AI की वजह से विशेषज्ञ और भी कम हो गए हैं)। मेरे एक ग्राहक ने 5 लाख डॉलर देकर एक प्रोजेक्ट आउटसोर्स किया और सोचा कि कई महीनों तक 15 लोगों को भुगतान किया गया है, लेकिन Zoom इंटरव्यू में पता चला कि उन 15 में से केवल 1 व्यक्ति को प्रोजेक्ट के बारे में जानकारी थी। वही व्यक्ति शुरुआती tech lead था और वह भी किसी तरह part-time जुड़ा हुआ था। कोड quality देखकर लगता था कि बाकी करीब 5 लोग codex या claude से कोड कॉपी-पेस्ट कर रहे थे, उसे 'fake QA' से गुज़ारकर सीधे deploy कर रहे थे। AI से पहले भी ऐसा होता था, फर्क बस इतना था कि तब सचमुच 15 junior लोग बेतरतीब coding कर रहे होते थे
यह बात हमारे समय की बहुत सटीक विडंबना है, Dilbert comic देखें
यही पूरा खेल है। partner से मुलाकात होती है और आखिर में junior लोगों को भेज दिया जाता है, जबकि billing partner-level की होती है। बदकिस्मती हो तो आपको खुद ही उन juniors को train भी करना पड़ता है
सकारात्मक ढंग से कहें तो consulting/outsourcing का एक कारण यह भी है कि कुछ बड़े one-off projects इतने भारी होते हैं कि internal staff से संभलते नहीं। कई freelancers को अलग-अलग भर्ती करके टीम बनाने से बेहतर होता है कि पहले से बनी external team को कुछ समय के लिए इस्तेमाल कर लिया जाए। व्यवहार में consulting firms भी कई बार बाहर से लोगों को जोड़कर टीम जैसा रूप दे देती हैं
कोई समझा सकता है कि consulting आखिर कैसे और क्यों चलती है? अगर कोई व्यक्ति केवल 'सलाह' ही देता हो तो उसे नाकाम माना जाता, लेकिन वही चीज़ कंपनी के रूप में हो तो corporates और सरकारें लाइन लगाकर सलाह लेने लगती हैं। जबकि कंपनी के अंदर के लोग बाहरी consultant से अपनी स्थिति बेहतर जानते हैं, फिर भी presentation और Googling करने वाला बाहरी व्यक्ति ज़्यादा भरोसा और पैसा क्यों पाता है, समझ नहीं आता
असल में, जब कोई बुरा विचार बिना जिम्मेदारी लेना चाहे लागू कराना हो, तब consulting को रखा जाता है और तब तक दोहराया जाता है जब तक मनचाही बात न मिल जाए। consulting की quality महत्वपूर्ण नहीं होती; interns या AI से भी काम चल सकता है। अगर नतीजा खराब निकले तो दोष consultants पर डाल सकते हैं। internal staff कंपनी के हित में सलाह देता है, इसलिए उसे अपने हित के खिलाफ होने पर दबा दिया जाता है या नज़रअंदाज़ किया जाता है। और जब समस्या खुलती है, तब तक लोग नौकरी बदल चुके होते हैं और उनके resume में बस एक लाइन बढ़ जाती है
सच यह भी है कि बहुत सी बड़ी कंपनियों के पास अंदरूनी expertise होती ही नहीं। ऊपर से कई बार एक व्यक्ति खुद को expert बताकर बेहतर लोगों की भर्ती रोकता रहता है। अच्छे consultants सिर्फ यह नहीं बताते कि क्या करना है, बल्कि उसके समर्थन में सबूत भी देते हैं, और ज़रूरत हो तो project basis पर उसे लागू भी करते हैं। सचमुच अच्छे IT consultants के पास कुछ गिने-चुने skillsets होते हैं, जिनके लिए full-time hire करना कंपनी को भारी पड़ता है, लेकिन महीने में कुछ घंटों के लिए outsource करना काफ़ी मूल्यवान होता है। दूसरी ओर बड़ी consulting firms सिर्फ sales पर जान लगाती हैं और decision makers को VIP की तरह ट्रीट करती हैं। travel, drinks, entertainment जैसी पीछे की चीज़ें भी काम करती हैं। मैंने खुद एक बार किसी project पर सलाह देते हुए client के सामने एक बेहूदा consultant की Dynamics CRM और Sharepoint बेचने वाली दलील को सार्वजनिक रूप से काटा था
consulting सिर्फ 'सलाह' नहीं होती। इसमें software implementation जैसी बहुत सी hands-on जिम्मेदारियाँ भी शामिल होती हैं। बड़ी कंपनियाँ असल में 'legal guarantee' चाहती हैं। अगर project फेल हो जाए तो मुकदमे के लिए कोई स्पष्ट पक्ष होना चाहिए। deliverable की 'quality' कानूनी सुरक्षा के सामने गौण हो जाती है। यह भूमिका consulting firms निभाती हैं। उनके पास बहुत लोग होते हैं, जिनमें नए graduates भी बहुत होते हैं। quality कम पड़े तो वे बस और लोग जोड़ देते हैं या overtime कराते हैं। इसी ढांचे के कारण इन्हें 'meatfarm' भी कहा जाता है। ये आसानी से डूबती भी नहीं। software development भी कई स्तर की subcontracting या offshore outsourcing से होती है, जहाँ हर स्तर पर फीस कटती है। काम खुद मुश्किल, उबाऊ और बहुत हद तक खुरदुरा होता है। contracts भी एक छोटे उपन्यास जितने विस्तार वाले होते हैं। Accenture में junior रहते हुए मैंने देखा था कि एक साधारण website scrollbar color बदलने के estimate के लिए भी, भले भारत की टीम उसे 10 lines के code से कर दे, 3000 euro का quote बनता था। उसके बाद मैंने नौकरी बदल ली
सैद्धांतिक रूप से, ऐसे लोग भी होते हैं जिनकी समस्या-समाधान क्षमता अनोखी होती है या जिनके पास किसी खास domain का गहरा अनुभव होता है। ऐसे लोगों को इकट्ठा कर कंपनी बनाकर premium पर बेचना संभव है। यह मान लेना गलत होगा कि हर consulting firm में असली क्षमता नहीं होती। सिर्फ 'management consulting' ही नहीं, tech consulting, security जैसे कई क्षेत्र हैं जहाँ वास्तविक expertise होती है। मैंने ऐसे मामले भी देखे हैं जहाँ internal teams खुद समस्या हल नहीं कर पाईं या खुद समस्या की वजह बनीं। अच्छे consultants internal कर्मचारियों की छिपी समझ तक बाहर निकालकर समस्या समाधान में लगाते हैं। requirements gathering और managers के साथ communication जैसी क्षमताएँ software engineers से मिलती-जुलती हैं
मैदान में consulting के उपयोग के कुछ उदाहरण इस तरह हैं
सरकार जैसी संस्थाएँ अक्सर internal engineers की राय को नज़रअंदाज़ करती हैं, फिर लाखों रुपये खर्च करके बाहरी consulting रखती हैं ताकि वही निष्कर्ष दोबारा सुन सकें, या बस यह दिखा सकें कि 'हम समाधान के लिए कुछ कर रहे हैं'। कभी-कभी management को अपने ही लोगों पर भरोसा नहीं होता, या वे team को मुख्य काम से हटाए बिना जल्दी नतीजे चाहते हैं। कुछ मामलों में यह बेकार की उपलब्धि दिखाने या यहाँ तक कि referral fee या अंदरूनी सौदे के कारण भी होता है
कंपनी के अंदर के लोग समस्या के पक्षकार भी हो सकते हैं और उसका मूल्यांकन करने वाले भी, इसलिए कभी-कभी बाहरी consulting लेना पूरी तरह गलत विकल्प नहीं होता। स्वतंत्र और भले थोड़ी अधूरी समझ वाली, लेकिन हितों से मुक्त नज़र भी मददगार हो सकती है
आप consulting की उस अहम भूमिका को नज़रअंदाज़ कर रहे हैं जिसमें कानूनी और प्रदर्शन-संबंधी जिम्मेदारी बाँटी जाती है
यह एक तरह का 'due diligence theater' है। खासकर executives जानना चाहते हैं कि competing firms के engineers क्या recommend करेंगे, और consultants खुद को उसी सर्वोत्तम सलाह के surrogate के रूप में पेश करते हैं
इसे सरल शब्दों में 'decision laundering' कहा जा सकता है। जब कोई निर्णय अंदर ही अंदर पहले से लिया जा चुका हो और उस पर बाहरी विश्वसनीयता की परत चढ़ानी हो, तब consulting का इस्तेमाल होता है। CEOs भी निजी बातचीत में इसे मानते हैं
अगर मामला बिगड़ जाए, तो director कह सकता है, "हमने Deloitte की सिफारिश मानी थी।" यह "IT के Bob ने ऐसा कहा था" से कहीं अधिक मजबूत ढाल है
मैं MBA background से हूँ, consulting industry में जाने वाला था, लेकिन आखिरकार सॉफ्टवेयर engineer बन गया। consulting projects का असली ग्राहक व्यावहारिक रूप से 'executive' ही होता है
कभी मुझे एक ऐसे assistant से मिलवाया गया था जिसका काम कुछ वैसा था जैसे, "Elon होता तो क्या करता?" executives यह जानना चाहते हैं कि competitor (या कल्पित competitor) उन्हीं सूचनाओं के आधार पर क्या निर्णय लेता। साथ ही वे इस intermediary consulting aide के judgment को भी महत्व देते हैं
यह industry और region के हिसाब से बहुत बदलता है। जिन बड़े enterprises में मैंने काम किया, उनमें कुछ जगह consulting के ग्राहक executives नहीं, बल्कि middle management level के लोग थे, जो executives से कई स्तर नीचे थे
हल्की research + सामने वाले को वही बताना जो वह सुनना चाहता है, यही इसका सार है। इस लिहाज से AI के पास consulting market को उलट देने का मौका है
इस प्रक्रिया में 'client' और 'customer' के फर्क को समझना भी महत्वपूर्ण है
ऑस्ट्रेलियाई सरकार को ठगकर टैक्स का गलत इस्तेमाल करने पर भी नतीजा सिर्फ आंशिक refund निकलता है
Craig Wright का मामला देखें, जो मशहूर Satoshi impostor है। Bitcoin से जुड़ी धोखाधड़ी से पहले भी उसने लाखों डॉलर के VAT और R&D tax refunds में धोखाधड़ी की थी, और करोड़ों डॉलर के fraud की कोशिश में पकड़े जाने के बाद ऑस्ट्रेलिया छोड़ भाग गया, कुछ हिस्सा लौटाया और बाकी बिना खास सज़ा के विदेश में आराम से रह रहा है
व्यवहार में व्यवस्था ऐसी ही होती है। अगर 10 में से 1 व्यक्ति fraud करे, तो पूरी रकम की recovery संभव नहीं होती। बस 'cost + damages' लेकर मामला बंद हो जाता है। अगर सिद्धांत यह हो कि हर बार पूरी रकम वापस लेनी ही है, तो contract असली काम से भी लंबा हो जाएगा
यह मामला मूलतः AI की समस्या नहीं, बल्कि रिपोर्ट तैयार कराने की निगरानी में विफलता का मामला है। बाहरी consulting की भूमिका यह होती है कि उसके findings सार्वजनिक जाँच में टिक सकें, लेकिन यहाँ वह पूरी तरह असफल रही। चौंकाने वाली बात यह है कि इतने खराब प्रदर्शन के बावजूद केवल आंशिक refund लिया गया और मौजूदा व भविष्य के contracts की व्यापक समीक्षा तक नहीं हुई। रिपोर्ट में गलती AI की वजह से हो या रातभर जागे consultant की वजह से, नतीजा अलग नहीं होना चाहिए
CEOs यह गलतफहमी पाल रहे हैं कि GenAI workforce को replace कर देगा, लेकिन हकीकत यह है कि customers भी GenAI से बने deliverables के लिए बहुत कम भुगतान करना चाहते हैं। आखिरकार बचत का प्रभाव गायब हो जाता है। फिर शुरू होता है कम margin, गिरती quality और कम कीमत का दुष्चक्र
इसमें यह भी जोड़ना चाहिए कि ग्राहक असल में 'जिम्मेदारी लेकर काम पूरा करने वाले इंसान' के लिए भुगतान करते हैं। AI जिम्मेदारी नहीं ले सकता, इसलिए ऐसी reports वगैरह पर उसके लिए पैसे देना सार्थक नहीं है
इस संदर्भ में, Post-AI दौर में सफलता का रास्ता यह है कि उसी headcount (या उससे भी अधिक) के साथ ज़्यादा output निकाला जाए। AI की वजह से automation आम हो रही है और काम की कीमत घट रही है, ऐसे में सिर्फ लोगों की संख्या घटाकर चलना टिकाऊ रणनीति नहीं है। उलटे, जो scale और quality पहले असंभव थी, अब उसे baseline बनाना होगा
"सेवा का मूल्य लगभग शून्य की ओर ले जाते हुए भी नया मूल्य पैदा किया जा सकता है" — यही इस सोच का सार है
यह रिपोर्ट उसी नीति पर थी जिसमें बेरोज़गार लोग अगर job-seeking activity में असफल हों तो उनकी सहायता रोक दी जाती है—यानी उसी समूह पर, जिसके बारे में चिंता जताई जाती है कि AI उनकी नौकरियाँ छीन सकता है
ग्राहक के नज़रिए से अगर GenAI से बने output को सस्ते में इस्तेमाल किया जा सकता है, तो क्या वह revenue बढ़ाने वाला कारक नहीं हो सकता? Deloitte विवाद अलग है, लेकिन GenAI का सही इस्तेमाल सच में बेहतर नतीजे दे सकता है
मैंने लंबे समय तक consulting firms में काम किया है, और लगता है कि बहुत से लोग consulting को ठीक से समझते नहीं। हाँ, अनैतिक और भ्रष्ट उदाहरण मौजूद हैं, लेकिन consulting के वास्तविक फायदे और मूल्य भी बहुत बड़े हैं। यह आज भी बाज़ार में कायम है और हर साल अरबों डॉलर कमाती है, इससे भी यह स्पष्ट है
एक राय यह भी है कि आर्थिक आकार की तुलना में समाज के लिए इतना कम मूल्य पैदा करने वाली संस्था शायद Big 4 के अलावा और कोई नहीं है