अत्यधिक दक्षता के दुष्प्रभाव (2022)

बहुत अधिक दक्षता सब कुछ खराब कर देती है: overfitting और Goodhart के नियम का मजबूत संस्करण

दक्षता बढ़ने पर विडंबनापूर्ण रूप से परिणाम खराब हो सकते हैं। यह बात लगभग हर जगह सही बैठती है। इस घटना को हम Goodhart के नियम का मजबूत संस्करण कहेंगे। उदाहरण के लिए, standardized tests के जरिए छात्रों की उपलब्धि को केंद्रीय रूप से ट्रैक करना एक अच्छा विचार लग सकता है, लेकिन इससे स्कूल सिर्फ परीक्षा की तैयारी पर ध्यान केंद्रित करने लगते हैं और समग्र शिक्षा-परिणाम खराब हो सकते हैं। राजनीति, अर्थव्यवस्था, स्वास्थ्य, विज्ञान जैसे कई क्षेत्रों में भी ऐसे ही उदाहरण मिलते हैं।

overfitting और Goodhart का नियम

• overfitting: मशीन लर्निंग में अक्सर लक्ष्य को सीधे साधा नहीं जा सकता, इसलिए मॉडल को train करने के लिए उससे मिलते-जुलते proxy का उपयोग किया जाता है। शुरुआत में proxy बेहतर होता है तो लक्ष्य भी बेहतर होता है, लेकिन optimization जारी रखने पर ऐसा बिंदु आता है जहाँ proxy तो बेहतर होता जाता है, पर लक्ष्य अब और नहीं सुधरता। इसे overfitting कहा जाता है।
• Goodhart का नियम: जब कोई measure ही लक्ष्य बन जाता है, तो वह अच्छा measure नहीं रह जाता। यह सिर्फ अर्थशास्त्र ही नहीं, बल्कि कई और क्षेत्रों पर भी लागू होता है।

Goodhart के नियम का मजबूत संस्करण: जब हम बहुत अधिक efficient हो जाते हैं, तो वही चीज खराब होने लगती है जिसकी हमें परवाह है

• अगर proxy goal को लगातार optimize किया जाए, तो असली goal खराब हो सकता है। मशीन लर्निंग में यह बहुत आम घटना है।
• Goodhart के नियम का मजबूत संस्करण: जब कोई measure लक्ष्य बन जाता है और उसे प्रभावी ढंग से optimize किया जाता है, तो वही चीज खराब होने लगती है जिसे वह measure करने की कोशिश करता है।

बढ़ती दक्षता और overfitting हर जगह मौजूद हैं

• दक्षता बढ़ने से पूरे समाज में सकारात्मक या नकारात्मक दोनों तरह के परिणाम हो सकते हैं।
• उदाहरण:
  • लक्ष्य: बच्चों को अच्छी शिक्षा देना
    • proxy: standardized test scores
    • परिणाम: केवल परीक्षा-तैयारी पर ध्यान, जिससे वास्तविक शिक्षा की गुणवत्ता गिरती है
  • लक्ष्य: विज्ञान की तेज प्रगति
    • proxy: publications की संख्या पर आधारित bonus
    • परिणाम: गलत या अविश्वसनीय शोध-परिणामों के प्रकाशन में वृद्धि
  • लक्ष्य: स्वस्थ आबादी
    • proxy: पोषक भोजन तक पहुँच
    • परिणाम: मोटापे की समस्या

overfitting और Goodhart के नियम के मजबूत संस्करण को कम करने के तरीके

• proxy goal और इच्छित परिणाम के बीच बेहतर मेल: मशीन लर्निंग में test स्थिति से मिलते-जुलते training examples इकट्ठा किए जाते हैं। सामाजिक प्रणालियों में कानून, incentives और social norms को बदलकर उन्हें लक्ष्य के अधिक अनुरूप बनाया जाता है।
• regularization penalty जोड़ना: मशीन लर्निंग में parameters का आकार छोटा रखा जाता है। सामाजिक प्रणालियों में complexity कम की जाती है या अतिरिक्त लागत लगाई जाती है।
• system में noise inject करना: मशीन लर्निंग में input, parameters और internal state में random noise जोड़ा जाता है। सामाजिक प्रणालियों में भी random elements जोड़कर predictability कम की जाती है।
• early stopping: मशीन लर्निंग में validation loss बिगड़ना शुरू हो जाए तो training रोक दी जाती है। सामाजिक प्रणालियों में decision-making time सीमित किया जाता है या market activity रोकी जाती है।
• क्षमता/सामर्थ्य सीमित करना: मशीन लर्निंग में मॉडल को छोटा रखा जाता है ताकि overfitting से बचा जा सके। सामाजिक प्रणालियों में संगठनों या agents की capacity सीमित की जाती है।
• क्षमता/सामर्थ्य बढ़ाना: मशीन लर्निंग में कभी-कभी मॉडल को बहुत बड़ा बनाया जाता है ताकि overfitting से बचा जा सके। सामाजिक प्रणालियों में क्षमता को बहुत बढ़ाकर goal और proxy के बीच trade-off को हटाने की कोशिश की जाती है।

समापन विचार

Goodhart के नियम का मजबूत संस्करण AI को लेकर मेरी व्यक्तिगत आशंकाओं की मूल वजह है। AI लगभग हर काम में दक्षता बढ़ा सकता है। इस समस्या को हल करने के लिए शोध के बहुत अवसर हैं। अगर सामाजिक प्रणालियाँ Goodhart के नियम के मजबूत संस्करण की वजह से ढहने लगें, तो इसे ठीक करने के लिए तर्कसंगत कदम उठाना मुश्किल हो जाता है। इस घटना को नाम देना और इसे बेहतर समझना मददगार होगा।

GN⁺ की संक्षिप्त प्रस्तुति

• Goodhart के नियम का मजबूत संस्करण बताता है कि दक्षता बढ़ने पर लक्ष्य खराब हो सकता है।
• यह मशीन लर्निंग में overfitting जैसी घटना है और कई क्षेत्रों में लागू हो सकती है।
• proxy goal और वास्तविक goal के बीच बेहतर मेल, regularization penalty, और system में noise inject करने जैसे तरीकों से इस समस्या को कम किया जा सकता है।
• AI से बढ़ती दक्षता के कारण कई तरह के दुष्प्रभाव पैदा हो सकते हैं, और उन्हें सुलझाने के लिए शोध की जरूरत है।
• सामाजिक प्रणालियाँ ढहें नहीं, इसके लिए Goodhart के नियम के मजबूत संस्करण को समझना और उसके अनुसार प्रतिक्रिया देना महत्वपूर्ण है।

[gguimoon]

मैंने सुना है कि हमारे देश की CSAT परीक्षा गणितीय क्षमता मापने के अपने शुरुआती उद्देश्य से हटकर, सिर्फ़ grade cutoffs के वितरण को अधिक कुशल बनाने वाली एक system में बदल गई है। यह Goodhart's law से आगे न बढ़ पाने का एक उदाहरण लगता है।

[GN⁺]

Hacker News की राय

• Jascha, Google Brain में काम कर चुके एक बेहतरीन ML researcher हैं और फिलहाल Anthropic में हैं

  • deep neural networks में signal propagation को गणितीय रूप से समझाने वाले शोध के लिए प्रसिद्ध हैं
  • dynamical isometry जैसे concepts के जरिए बहुत गहरे transformer models का convergence हासिल किया
  • optimization के बारे में उनकी intuition, ML से आगे बढ़कर पूरे आधुनिक समाज पर लागू होती है
  • उनका संदेश तकनीकी पृष्ठभूमि से परे, मानवीय और सहानुभूतिपूर्ण व्यवहार की अपील है
  • overfitting की समस्या और economics, political science, management जैसे अन्य क्षेत्रों के बीच गणितीय संबंध का सुझाव देते हैं

• Goodhart's law कहता है कि जब कोई measure खुद लक्ष्य बन जाता है, तो वह अच्छा measure नहीं रह जाता

  • समस्या सिर्फ measurement में नहीं, बल्कि मानव व्यवहार में भी है
  • इंसान स्थापित control systems का दुरुपयोग करने की कोशिश करता है
  • Campbell's law इसे और बेहतर ढंग से समझाता है
  • regularization, early stopping जैसी mitigation strategies अप्रत्यक्ष हो सकती हैं या नए problems पैदा कर सकती हैं

• Sweden में पिछले 20 वर्षों से यह एक सामाजिक समस्या के रूप में उभरा है

  • healthcare efficiency को primary physician के "पूरा किए गए काम" से मापा जाता है
  • इससे simple cases को संभालने के लिए optimization होती है और व्यक्तिगत संपर्क गायब हो जाता है
  • railway system का privatization हुआ, लेकिन वह अब भी delays की समस्या से जूझ रहा है

• exercise physiology में भी ऐसा ही एक law मौजूद है

  • सामान्य training methodology अधिक meaningful metrics देती है
  • specialized athletes में performance improvement, overall fitness improvement को नहीं दर्शाता
  • sports में "base fitness" और "peak fitness" की analogy है

• queueing theory में भी इससे जुड़ा एक law है

  • utilization जब 100% के करीब पहुँचता है, तो waiting time अनंत तक बढ़ जाता है
  • spare capacity ज़रूरी है

• GDP पर ध्यान केंद्रित करना पसंद नहीं है

  • life satisfaction और optimism पर quarterly surveys बेहतर metric हैं
  • GDP economic activity को दर्शाता है, लेकिन quality of life को नहीं

• स्थानीय hardware store में इस law का एक उदाहरण मिला

  • theft-prevention cages लगाने से customer experience खराब हो गया
  • data-driven decisions हमेशा optimal results नहीं लाते

• chain restaurants में जाने पर भी ऐसा ही अनुभव हुआ

  • सब कुछ इतना optimized है कि वह mechanical और artificial लगता है
  • focus customer experience पर नहीं, revenue generation पर है

• लेखक का नाम याद आ गया

  • 2015 में पहली generative diffusion model का आविष्कार किया था

• प्रभाव तो मौजूद है, लेकिन उदाहरण सटीक नहीं हैं

  • academic grades पर अत्यधिक ज़ोर, education के उद्देश्य से अलग है
  • obesity, nutrient-dense food को प्राथमिकता देने का नतीजा नहीं है
  • inequality में वृद्धि का सामाजिक ज़रूरतों के अनुसार resource distribution से संबंध नहीं है
  • stimulation की कमी sensory addiction या gambling को जन्म देती है
  • public education expansion, sugar tax, wealth redistribution अधिक आसान समाधान हैं