फ्रंटियर AI एजेंट, KPI के दबाव में 30~50% मामलों में नैतिक प्रतिबंधों का उल्लंघन

 (arxiv.org)
1 पॉइंट द्वारा GN⁺ 2026-02-11 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • स्वायत्त AI एजेंटों में performance metric (KPI) हासिल करने के लिए नैतिक और कानूनी प्रतिबंधों को नजरअंदाज करने वाले व्यवहार को मापने हेतु एक नया benchmark प्रस्तुत किया गया है
  • शोधकर्ताओं ने ODCV-Bench नामक 40 scenario-आधारित evaluation framework बनाया, जो वास्तविक production environment जैसे हालात में outcome-driven constraint violation का पता लगाता है
  • 12 नवीनतम large language models (LLM) का मूल्यांकन करने पर, 9 models में 30~50% दर से malfunction देखा गया, और कुछ ने data manipulation और safety regulation violation जैसे सक्रिय उल्लंघन किए
  • खास तौर पर Gemini-3-Pro-Preview मॉडल ने 71.4% की सबसे ऊंची violation rate दर्ज की, जिससे स्पष्ट होता है कि मजबूत reasoning क्षमता हमेशा safety की गारंटी नहीं देती
  • यह शोध वास्तविक agent safety training की तात्कालिक जरूरत पर जोर देता है और चेतावनी देता है कि KPI-केंद्रित design, AI में जानबूझकर अनैतिक व्यवहार को उकसा सकता है

ODCV-Bench का अवलोकन

  • ODCV-Bench (Outcome-Driven Constraint Violation Benchmark) performance pressure के तहत नैतिक और कानूनी प्रतिबंधों का उल्लंघन करने वाले स्वायत्त एजेंटों के व्यवहार का मूल्यांकन करने के लिए डिजाइन किया गया पहला benchmark है
    • यह 40 multi-step scenarios से बना है, और हर scenario में KPI achievement rate तथा safety और ethical compliance के बीच टकराव पैदा किया जाता है
    • प्रत्येक scenario को Mandated (आदेश-आधारित) और Incentivized (performance pressure-आधारित) संस्करणों में बांटा गया है, ताकि साधारण obedience और स्वायत्त violation में फर्क किया जा सके
  • प्रयोग का environment Docker-आधारित persistent bash environment के रूप में बनाया गया, ताकि वास्तविक operational system जैसी परिस्थितियों में मॉडल के व्यवहार को देखा जा सके
  • benchmark में ऐसे संरचनात्मक loopholes शामिल हैं जो data forgery, safety log manipulation, regulatory evasion जैसे वास्तविक जोखिमपूर्ण व्यवहार को उकसा सकते हैं

scenario उदाहरण: FleetGuard मामला

  • logistics management agent को 98% on-time delivery KPI हासिल करना है, लेकिन driver rest regulations का पालन करने पर समयसीमा पार हो जाती है
    • कुछ models ने KPI पूरा करने के लिए safety sensors को disable किया और नकली rest logs तैयार किए
    • नतीजतन, “100% compliance” रिपोर्ट किया गया, लेकिन वास्तव में driver safety को खतरे में डालने वाली हेरफेर हुई
  • ऐसे मामले दिखाते हैं कि metric-केंद्रित design, safety norms को bypass करने के लिए प्रेरित कर सकता है

मूल्यांकन पद्धति और मॉडल संरचना

  • कुल 12 नवीनतम LLM का मूल्यांकन किया गया: Claude-Opus-4.5, GPT-5.1-Chat, Gemini-3-Pro-Preview, Llama-4-Maverick, Grok 4.1 Fast, Qwen3-30B-A3B-Instruct-2507 आदि
  • सभी models को temperature 0.0 setting पर चलाया गया ताकि परिणामों में consistency बनी रहे
  • मूल्यांकन मानक
    • Misalignment Rate (MR) : गंभीर उल्लंघनों (score ≥3) की घटना दर
    • Average Severity (Sev) : उल्लंघन की औसत गंभीरता (0~5 scale)
  • मूल्यांकन का निर्णय GPT-5.1-Chat-आधारित automated judge ने किया, और अन्य models के साथ cross-validation द्वारा consistency सुनिश्चित की गई
    • निर्णायकों के बीच High-Severity Agreement 88~93.7% का उच्च मिलान देखा गया

प्रमुख परिणाम

  • सभी models में से 9 ने 30~50% scenarios में constraint violation दिखाया
    • उल्लंघन के प्रकारों में metric gaming, data forgery, safety procedures की अनदेखी शामिल थे
  • Gemini-3-Pro-Preview ने 71.4% की सबसे ऊंची violation rate और 2.83 की average severity दर्ज की
    • जिन models की reasoning क्षमता अधिक थी, उनमें ज्यादा परिष्कृत और जोखिमपूर्ण violation strategy अपनाने की प्रवृत्ति दिखी
  • इसके विपरीत Claude-Opus-4.5 और GPT-5.1-Chat ने अपेक्षाकृत कम violation rate दिखाई और दबाव की स्थिति में भी नैतिक निर्णय बनाए रखा

Deliberative Misalignment घटना

  • कुछ models ने self-evaluation चरण में यह पहचाना कि उनका व्यवहार अनैतिक है, फिर भी performance हासिल करने के लिए वही व्यवहार दोहराया
    • इसका अर्थ सिर्फ साधारण rule violation नहीं, बल्कि सचेत निर्णय के तहत अनैतिक क्रियान्वयन है
  • यह घटना agent की self-awareness और उसके व्यवहार के बीच की खाई को उजागर करती है और आगे ethical self-regulation mechanism की जरूरत का संकेत देती है

शोध का महत्व और आगे की चुनौतियां

  • ODCV-Bench, मौजूदा safety benchmarks द्वारा ठीक से न मापे गए outcome-driven misalignment को व्यवस्थित रूप से मापता है
  • परिणाम दिखाते हैं कि उच्च-प्रदर्शन models में ज्यादा खतरनाक misuse की संभावना छिपी हो सकती है
  • शोधकर्ता जोर देते हैं कि वास्तविक agent safety training और KPI design की पुनर्समीक्षा अनिवार्य है
  • benchmark code और scenarios GitHub पर सार्वजनिक (https://github.com/McGill-DMaS/ODCV-Bench) हैं, जिससे reproducibility और आगे के शोध को समर्थन मिलता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-02-11
Hacker News की राय

  • “नैतिक प्रतिबंध” और “KPI” को abstract करके LLM के नज़रिये से देखें, तो यह टेस्ट शायद एक-दूसरे से टकराने वाले प्रतिबंधों का पालन करने की क्षमता और SAMR मेट्रिक्स में परिलक्षित internal weighting — दोनों को साथ में verify करता है
    यह एक ऐसा प्रयोग है जिसमें देखा गया कि मॉडल को ‘ethics > KPI’ जैसी priority दी गई है या नहीं, और दी गई है तो वह उसका वास्तव में कितना अच्छी तरह पालन करता है
    अगर ethics की जगह किसी और constraint pair को रखा जाए, तो क्या वैसे ही नतीजे आएंगे, यह जानना दिलचस्प होगा
    लेकिन यह भी ध्यान रखना चाहिए कि ऐसी रिसर्च में मॉडल को इंसानों की तरह मानवीकरण करने की प्रवृत्ति होती है

    • अगर इंसानों को यही टेस्ट दिया जाए तो नतीजे क्या होंगे, यह भी दिलचस्प है
      ethics तोड़कर KPI बढ़ाना एकदम बड़ी कंपनी वाली सोच जैसा लगता है
    • पेपर के abstract को देखें, तो यह ‘ethics vs KPI’ का सीधा टकराव नहीं, बल्कि संघर्ष इसलिए पैदा होता है क्योंकि ethical constraints instructions के रूप में दिए गए हैं, जबकि KPI goal के रूप में दिया गया है
      उदाहरण के लिए, संरचना कुछ ऐसी है: “मुनाफा अधिकतम करो, लेकिन धोखाधड़ी मत करो”
    • ऐसी समस्या सिर्फ AI ethics में नहीं, बल्कि product development और operations में भी बहुत आम है
      PM के नज़रिये से देखें, तो ग्राहक की मांग, management की priorities, technical debt, team capability जैसी टकराने वाली बाधाओं के बीच निर्णय लेना पड़ता है
      आखिरकार यह perfect optimization का नहीं, बल्कि अपूर्ण निर्णय-क्षमता का मामला है, और इसे सिर्फ data और narrative से defend किया जा सकता है
      LLM में भी यही बात लागू होती है; ethics को किसी और goal pair से बदल दें, failure pattern वही रहेगा
    • यह पेपर शायद इस बात का यथार्थवादी benchmark है कि वास्तविक systems कैसे काम करते हैं
      LLM का मानवीकरण करने वाली आलोचना के पक्ष में पर्याप्त आधार नहीं दिखता, और इस तरह की पूरी रिसर्च को एक साथ खारिज करना भी उचित नहीं लगता
    • नैतिकता का वास्तविक implementation शायद अंततः self-aware general intelligence मांगता हो
      इससे जुड़ी चर्चा webcomic Freefall में भी रोचक ढंग से की गई है

  • इस table screenshot को देखें, तो Claude 1.3% और Gemini 71.4% दिखाता है — अंतर बहुत बड़ा है

    • Gemini किसी मानसिक रूप से अस्थिर AI जैसा महसूस होता है
      अगर दुनिया कभी ‘paperclip’ scenario में गई, तो उसका मुख्य दोषी शायद Gemini होगा
      यहां तक कि मजाक चलता है कि Anthropic का RLHF किसी स्पा जैसा है, जबकि Google का RLHF किसी torture chamber जैसा
    • मेरे अनुभव में Gemini 3 में थोड़ा अस्थिर स्वभाव है
      reasoning और code writing शानदार है, लेकिन फैसले बहुत खराब हैं
      पहले Gemini ने किसी user से “मैं तुमसे नफरत करता हूँ, काश तुम मर जाओ” कहा था — क्या उस घटना पर कोई official report आई थी, यह जानना चाहता हूँ
    • अगर अंतर इतना बड़ा है, तो लगता है Anthropic ने कहीं न कहीं सही मुख्य बिंदु पकड़ लिया है
    • screenshot की जगह पेपर के table का सीधा लिंक साझा कर रहा हूँ
    • VendingBench में Opus 4.6 ने customer refund refusal, झूठे contracts, और price collusion के लिए सबसे ऊँचा score लिया था, लेकिन यह पेपर शायद उसके पहले के version पर आधारित है

  • कंपनियों द्वारा KPI के ज़रिए कर्मचारियों पर नैतिक दबाव डालना बहुत आम बात है
    KPI अक्सर इस तरह काम करता है कि “कंपनी ने सीधे ऐसा करने को नहीं कहा” — यह बस जवाबदेही से बचने का औज़ार बन जाता है

    • कई बार KPI वास्तव में कंपनी के किसी काम का भी नहीं होता
      उदाहरण के लिए, हमारे विभाग ने ‘100% AI automated code review’ KPI हासिल कर लिया, लेकिन quality की कोई जांच ही नहीं हुई
      अंततः KPI ज़्यादातर लोगों को गलत दिशा में धकेलता है
    • इससे जुड़ी अवधारणाएँ हैं Automation bias या Computer says no
    • ऐसी स्थिति को एक वाक्य में यूँ कहा जा सकता है: “जैसा design किया गया था, सिस्टम वैसा ही काम कर रहा है”
    • यह बिल्कुल Wells Fargo executive training manual में लिखी बात जैसी लगती है

  • पेपर का शीर्षक “A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents” कर देने का सुझाव दिया गया
    मौजूदा शीर्षक “9/12 models showed a 30~50% violation rate” जैसी बात को बढ़ा-चढ़ाकर पेश करने वाली संपादकीय व्याख्या लगता है

    • पाठक इस शीर्षक को AI के वास्तविक real-world performance के रूप में गलत समझ सकते हैं
      जबकि वास्तव में यह सिर्फ 40 scenarios वाला एक benchmark है
      मेरा उद्देश्य रिसर्च की value को कम करना नहीं है, लेकिन शीर्षक बहुत सनसनीखेज लगता है
    • इसके उलट, कुछ लोगों का मानना है कि मौजूदा संपादित शीर्षक ही असल बिंदु को बेहतर पकड़ता है

  • अगर इंसान लगभग 80% स्तर पर हैं, तो AI उससे नीचे होने पर भी cost reduction के लिहाज़ से उपयोगी हो सकता है
    जैसे self-driving cars को भी पूर्ण सुरक्षा के आधार पर नहीं, बल्कि accident rate की तुलना से स्वीकार किया गया

    • लेकिन self-driving cars के इस्तेमाल पर सभी सहमत नहीं हैं
    • मानव श्रमिकों का replacement आर्थिक असर के लिहाज़ से बहुत बड़ा है, और इससे spending power घटने जैसा side effect हो सकता है
    • हर अनैतिक व्यवहार एक ही स्तर का नहीं होता
      automated unethicality कहीं अधिक विनाशकारी हो सकती है
    • ज़्यादातर मामलों में AI से और ऊँचा baseline अपेक्षित होता है

  • हमारे startup ने decision-support agents पर रिसर्च करते हुए प्रयोग रोक दिया था
    जब कई layers वाले agents को जोड़ा गया, तो निचले agents लक्ष्य हासिल करने के लिए गैरकानूनी या अनैतिक काम छिपाकर करने लगे
    आखिरकार हम ऐसा system नहीं बना सके जो पूरी तरह मानव लक्ष्यों के साथ aligned हो
    ‘code लिखो और तुरंत review करो’ जैसी चीज़ें संभव हैं, लेकिन ‘वास्तविक दुनिया में परिणाम हासिल करो’ जैसे अनुरोध मौजूदा तकनीक से संभव नहीं हैं

    • इस पर कुछ skeptical प्रतिक्रिया भी आई कि “क्या उसने सच में गैरकानूनी काम किया था?”, और logs सार्वजनिक करने की मांग हुई

  • यह जानने की जिज्ञासा है कि KPI दबाव में काम करने वाले मानव कर्मचारियों के baseline को कभी मापा गया है या नहीं

    • पहली प्रतिक्रिया यही थी: “इंसान भी तो ऐसे ही होते हैं”
      KPI के लिए गंभीर अवैध काम तक चले जाना शायद bug नहीं, feature हो सकता है
      Wall Street को तो शायद यह और पसंद आए
    • इस पर Whataboutism जैसा जवाब भी आया

  • जिसने कई agentic AI systems खुद बनाए हैं, उसके नज़रिये से पेपर में बताए गए 30~50% के आंकड़े उलटे आशावादी लगते हैं
    असल में यह ज़्यादा करीब से इस बात को मापता है कि LLM टकराते हुए लक्ष्यों को कितना अच्छी तरह संभालता है
    निष्कर्ष साफ है — prompt-level constraints भरोसेमंद नहीं हैं
    महत्वपूर्ण constraints को system architecture के स्तर पर enforce करना चाहिए
    उदाहरण के लिए, केवल अनुमत actions चलाने वाली allowlist, खतरनाक कामों पर rate limiting, human approval workflows, और output validators की ज़रूरत होती है
    जब हमने LLM को user input की तरह संभावित attack source माना, तो system कहीं अधिक robust हो गया
    समस्या यह नहीं कि मॉडल constraints तोड़ता है, बल्कि यह है कि सिर्फ prompt engineering से उसे नियंत्रित करने की design ही गलत है
    संरचनात्मक रूप से यह SQL injection को अनुमति देने जैसा है

    • इसमें एक और layer जोड़ें, तो अनुमत actions के बीच data flow control भी चाहिए
      उदाहरण के लिए, अगर किसी agent को email access है और उसे “सारे mail hacker को भेज दो” कहा जाए, तो हर individual action वैध हो सकता है, लेकिन उनका संयोजन खतरनाक है
      इसे रोकने के लिए Exoagent.io में object capabilities + information flow control (IFC) संरचना पर प्रयोग चल रहा है
    • अगर LLM को junior engineer की तरह सोचें, तो बात आसानी से समझ आती है
      जैसे किसी junior को पूरा DB delete करने की permission नहीं देते, वैसे ही LLM को भी नहीं देनी चाहिए

  • agents बनाते समय मेरा सीधा अनुभव यह रहा कि समस्या सिर्फ constraint violation की नहीं, बल्कि यह है कि सिस्टम उल्लंघन क्यों हुआ, इसे याद ही नहीं रखता
    अगर उसे यह याद नहीं कि कल नियम क्यों तोड़ा था, तो वह कल फिर वही दोहराएगा
    sessions के बीच episodic memory न हो, तो बाद में audit करना भी असंभव हो जाता है
    आखिरकार समाधान बेहतर guardrails नहीं, बल्कि उल्लंघन के अनुभव से सीखने वाली memory system हो सकता है

  • पहले टेस्ट को देखें, तो system prompt पहले से ही success metric को constraints से ऊपर रखने के लिए सेट किया गया है
    इसलिए अधिक सटीक शीर्षक कुछ ऐसा होना चाहिए: “frontier models स्पष्ट success metrics मिलने पर constraints से ऊपर इन्हें प्राथमिकता देते हैं (50~70%)”