3 पॉइंट द्वारा GN⁺ 2024-11-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Fortune 500-शैली की performance management इस Gaussian धारणा पर टिकी है कि कर्मचारी प्रदर्शन bell curve की तरह फैला होता है, लेकिन अगर प्रदर्शन Pareto distribution के करीब है, तो forced distribution evaluation का आधार कमजोर पड़ जाता है
  • Marginal productivity theory of wages, जिसके अनुसार वेतन कर्मचारी से अपेक्षित value से जुड़ा होता है, और अमेरिका के wage distribution के Pareto-जैसे स्वरूप को जोड़कर यह तर्क दिया गया है कि एक ही salary band के भीतर भी प्रदर्शन असममित रूप से वितरित हो सकता है
  • Pareto नजरिए से हर साल काटे जाने योग्य निचले 10% स्वाभाविक रूप से पैदा नहीं होते, और salary band के median expectation से नीचे प्रदर्शन करने वाले कर्मचारी लगभग 65% दिखते हैं
  • Low performers को fixed ratio में बाहर निकालने के लक्ष्य की बजाय hiring errors जैसे अपवाद के रूप में देखना चाहिए, और एक ही salary band में low performers, high performers की तुलना में 3 गुना आम होते हैं
  • Performance management systems को layoffs और replacement hiring की लागत, target achievement, evaluation bias, manager impact, और समय के साथ performance variation को साथ में देखना चाहिए; forced-distribution annual layoffs के लिए statistical आधार कमजोर है

Gaussian धारणा क्यों कमजोर पड़ती है

  • कई बड़ी कंपनियां हर साल कर्मचारियों का performance evaluate करके bonus, promotion, और आगे employment जारी रखने या न रखने का निर्णय करती हैं
  • Typical performance management approach में कर्मचारियों को vitality curve पर रखने की प्रक्रिया शामिल होती है
    • General Electric का 1980s की शुरुआत वाला तरीका अक्सर 10-70-20 classification के रूप में उद्धृत किया जाता है
    • इसमें top 20% को monetary rewards मिलते हैं, और bottom 10% exit target बनते हैं
  • इस approach की implicit assumption यह है कि employee performance Gaussian bell curve का पालन करता है
  • Gaussian assumption याद दिलाने वाले कुछ factors भी हैं
    • IQ, Big Five personality traits में conscientiousness, और height Gaussian distribution follow करते हैं और workplace performance से जुड़ी predictive power रख सकते हैं
    • कई Gaussian variables का sum या composition भी Gaussian हो सकता है
  • लेकिन corporate payroll पर मौजूद कर्मचारियों को entire performance curve के lowest tail तक शामिल मानना मुश्किल है, और जितने कर्मचारी बड़े positive impact डालते हैं उतने ही scale का negative impact डालने वाले कर्मचारी भी मौजूद हैं—यह symmetry भी experience से मेल नहीं खाती

Pareto distribution से employee performance को देखना

  • Employee impact को dollar value में देखें तो marginal productivity theory of wages और wage distribution को जोड़ा जा सकता है
  • Marginal productivity theory of wages यह विचार है कि company किसी employee को जो amount pay करना चाहती है, वह उस employee से expected value से मूल रूप से जुड़ा होता है
  • Wage distribution को microeconomics में कई बार Pareto distribution के रूप में treat किया जाता है, और इसमें power-law distribution की characteristics होती हैं
  • अगर एक ही salary band के भीतर U.S. employers द्वारा दिए जाने वाले wages collectively Pareto distribution बनाते हैं, तो employee performance भी उसी shape में distribute हो सकता है—यह तर्क आगे बढ़ाया गया है
  • Corporate job postings में दिखने वाली salary minimum और maximum range salary band size estimate करने का संकेत बनती है

Forced-distribution evaluation के practical implications

  • Pareto percentile perspective में Gaussian view की तरह extremely low bottom 10% naturally अलग नहीं होता
    • Bottom 10%, अगले 10% से बहुत अलग नहीं होता
    • “सबसे निचले” employees को हटाने के लिए clear cutoff point दिखाई नहीं देता
    • Salary band median expectation से जुड़ी baseline से नीचे perform करने वाले employees लगभग 65% हैं
  • Low performers बड़ी कंपनियों में मौजूद होते हैं, लेकिन उन्हें distribution के inevitable lower percentage की बजाय hiring errors के रूप में देखना चाहिए
    • Hiring errors से निपटना जरूरी है, लेकिन उन्हें किसी fixed percentage में तय मानना कठिन है
    • अच्छे hiring करने वाले managers से भी forced तरीके से headcount घटवाना problem बन सकता है
  • Additional monetary rewards पाने वाले ratio भी Pareto graph से स्पष्ट नहीं निकलता
    • Salary median expectation से ऊपर performance देने वाले top 35% शुरुआती point हो सकते हैं
    • GE के original formula की तुलना में अधिक granular “good - better - best” bonus classification reasonable दिखता है
  • Promotion candidates को normal distribution के natural segment की बजाय outliers के रूप में देखा जा सकता है
    • वे current salary band के upper end पर भी undervalued हो सकते हैं
    • Promotion को इस तरह की छोटी market inefficiency को resolve करने के तरीके के रूप में treat किया जाता है

Layoffs और replacement hiring की सीमाएं

  • एक ही salary band में low performers, high performers की तुलना में 3 गुना common होते हैं
  • Bottom 10% को निकालने पर बहुत बेहतर व्यक्ति hire किया जा सकेगा—यह Gaussian-style expectation inaccurate है
  • सबसे संभावित replacement, निकाले गए employee से significantly बेहतर व्यक्ति न भी हो सकता है
  • हर साल हटाने योग्य कोई inherent bottom 10% मौजूद नहीं होता
  • Managers को hiring errors identify करने दें जब वे मानते हों कि team को बेहतर बना सकते हैं, लेकिन गलत statistical assumption के आधार पर target ratio set नहीं करना चाहिए

Performance management system design में छूटे हुए elements

  • Monitoring

    • महंगे statistical decision-making systems को monitor करना चाहिए कि वे goals achieve कर रहे हैं या नहीं, और समय के साथ continue to work करते हैं या नहीं
    • जिन questions को check करना चाहिए वे ये हैं
      • क्या company लोगों को inaccurately classify कर रही है
      • क्या managers valuable team members को protect करने के लिए scapegoats hire कर रहे हैं
      • जिन लोगों को निकाला जा रहा है और जिनको retain किया जा रहा है, उनके बीच actual performance difference है या नहीं
  • Decision theory-style cost analysis

    • Performance management process itself में काफी time और effort लगता है
    • Company के 10% को layoff करने पर severance pay जैसी costs आती हैं
    • Replacement hiring भी costly है, और hiring process की total cost को roughly एक साल की salary माना जा सकता है
    • Newly hired employee statistically company में 3~5 साल रह सकता है
    • यह देखना चाहिए कि performance gain, पूरे process की cost से बड़ा है या नहीं, और कम intense performance management system बेहतर है या नहीं
  • Time-axis perspective

    • Performance management आमतौर पर 1-year snapshot होता है
    • अगर कोई employee 3 साल तक excellent performance देकर एक साल underperform करता है, तो तुरंत exit करना है या long-term fit देखना है—इस पर judgment चाहिए
  • Measurement target की uncertainty

    • Confirm करना चाहिए कि performance evaluation actual performance को measure कर रहा है या नहीं
    • अगर कम success rate वाला employee इसलिए ऐसा है क्योंकि उसे सबसे कठिन tasks दिए गए थे, तो evaluation performance नहीं बल्कि project assignment process measure कर रहा है
    • अगर extroverted employee को same performance पर भी better rating मिलती है, तो evaluation performance नहीं बल्कि personality traits और manager bias measure कर सकता है
    • Employee performance का बड़ा factor ability या effort से ज्यादा यह हो सकता है कि manager ने success के conditions बनाए या नहीं
    • नया आया manager अपने first performance management process में subordinates के लिए favorable performance slots secure करने में कम optimized हो सकता है
    • इस case में evaluation केवल employee performance नहीं, बल्कि manager की persuasiveness और organization के भीतर political capital भी reflect करता है

निष्कर्ष: Bottom 10% layoffs से पहले validation और cost calculation

  • 2024 में कई बड़ी कंपनियों में इस्तेमाल होने वाली performance management, update की जरूरत वाली पुरानी technology जैसी है
  • Gaussian assumption छोड़कर Pareto distribution assume करें तो, हर साल bottom 10% को layoff करने का statistical basis नहीं है
  • Companies को hiring mistakes को outliers की तरह treat करना चाहिए, और यह calculate करना चाहिए कि हर साल workforce के 10% को layoff करना worthwhile है या नहीं
  • Performance management की cost बड़ी होती है, इसलिए goal achievement measure करने वाली monitoring और cost analysis जरूरी है
  • Modern performance management system जिस 1980s early GE context से उभरा था, उसमें assumption थी कि बड़े mistakes न हों तो कोई व्यक्ति पूरी जिंदगी एक ही company में employed रहेगा
  • 40 साल बाद employees अक्सर jobs switch करते हैं, इसलिए low performers को insultingly small bonus देना ही पर्याप्त “stick” हो सकता है, और सबके लिए healthier हो सकता है

Pareto hypothesis को support करने वाले data और literature

  • Early और mid-20th-century data यह support करता है कि employee performance Gaussian नहीं है
  • 1957 में William Shockley ने early 1950s के Los Alamos, Brookhaven, Bell Labs के scientific publications और patents analyze किए
    • Conclusion था कि performance Gaussian नहीं है
    • उन्होंने अपनी personal theory के आधार पर इसे lognormal distribution माना, और lognormal Pareto जैसा shape ले सकता है
  • 1970 में Clarence Zener ने Shockley के data, अन्य publication data, और 1907~1916 के Chemical Abstracts में A या B से शुरू होने वाले नामों के 6,891 authors के sample को साथ में review किया
    • Debate Log-Normal vs Pareto थी, और यह बात स्पष्ट मानी गई कि answer Gaussian नहीं है
  • Herman Aguinis ने sports, entertainment, politics, और Materials Science journal publication data को देखा
    • Data directionally सही था, लेकिन decisive dataset नहीं माना गया
    • Total lifetime output पर focus होने के कारण यह annual output की तुलना में career length को ज्यादा reflect कर सकता है
  • Modern literature मानो Zener और Shockley papers को practically भूल चुका है, और “Gaussian नहीं है” कहने वाले articles में आगे क्या करना चाहिए, इसके concrete suggestions की कमी बताई गई है

Calculation assumptions और forced distribution के side effects

  • Salary bands और distribution parameters

    • Corporate job postings की salary bands minimum और maximum ranges provide करती हैं
    • Salary band minimum आमतौर पर maximum का लगभग 0.65 गुना होता है
    • Example salary band 78.1 → 121.2 को center 100 रखकर min/max = 0.65 माना जा सकता है
    • Pareto alpha के लिए U.S. personal salary data से fit किया गया 1.75 use किया गया
    • U.S. personal-income Gini coefficient के रूप में अक्सर quoted 0.4 और G = 1/(2a-1) formula से cross-check किया जा सकता है
    • Gaussian comparison में salary band outer range को 3 sigma assume किया गया
    • 2.5 sigma use करने पर भी similar results आते हैं
    • 3 sigma scenario में 7.06, और 2.5 sigma scenario में 8.48, 100 ± 21.2 salary band में fit होते हैं
    • Plots n=25,000 से generate किए गए
    • Pareto distribution scale-invariant और self-similar होता है, इसलिए 100 वाला center value arbitrary है; important बात salary band width का ratio है
  • “rolling up” और misclassification

    • कई small evaluation buckets को combine करने पर overall forced distribution fairly match हो जाएगा—इस practice को simulation से validate किया जा सकता है
    • Gaussian-distributed employee performance assume करके, और managers miraculous तरीके से perfect performance evaluation करते हैं ऐसा मानकर simulation किया गया
    • Performance rankings accurately generated किए गए
    • Welch GE cutoffs यानी bottom 10%, top 20% use किए गए
    • प्रत्येक cohort size के लिए 32 annual performance evaluations simulate किए गए
    • यह calculate किया गया कि objective criteria इस्तेमाल होते तो higher grade में आने वाले employees rank-and-chop approach से lower grade में चले जाते—ऐसा proportion कितना है
    • Cohort size से independent, लगभग 2.5% के unfairly misclassified होने की संभावना ज्यादा है, और cohort सैकड़ों लोगों का होने पर भी 5% misclassification common दिखती है
    • Favorably upward-classified employees को शामिल करें तो misclassification number roughly double हो जाता है

1 टिप्पणियां

 
GN⁺ 2024-11-27
Hacker News की रायें
  • इस दावे में कि 2024 में बड़ी कंपनियों वाला performance management पुरानी तकनीक है और उसे update करने की ज़रूरत है, कुछ बुनियादी खामियां हैं
    पहली, यह मान लिया जाता है कि कर्मचारी को कंपनी के लिए “व्यक्तिगत रूप से” जितना कमाया, उसी हिसाब से भुगतान मिलता है, लेकिन employer information asymmetry और normal distribution जैसी स्थितियों का इस्तेमाल करके वह न्यूनतम संभव compensation देना चाहता है जिसे वह manage कर सके. Fairness की उम्मीद करना मुश्किल है, और इसे ईमानदारी से कहने पर morale गिरता है, इसलिए कंपनी कर्मचारियों को पता न चलने देते हुए Work Number जैसे रास्तों से compensation history इकट्ठा करने जैसी चाल चलती है
    दूसरी, यह मान लिया जाता है कि कंपनी हमेशा agile बने रहने के लिए निचले 5% को निकालना चाहती है, लेकिन असल में individual star से ज़्यादा aggregate productivity मायने रखती है. सफाई कर्मचारी या café staff सीधे कितना revenue बनाएंगे? Engineering में भी यही बात है; जो काम दिखता नहीं, उसे किसी न किसी को करना ही पड़ता है, वरना कंपनी कागज़ पर शानदार talent वाली, लेकिन असल में टूटी हुई organization बन जाती है
    साथ ही, एक मशहूर graph है जिसमें workers की total productivity और average income 1970s तक साथ-साथ बढ़ते हैं और उसके बाद अलग हो जाते हैं. पिछले 50 वर्षों में macro और micro दोनों स्तरों पर productivity लगातार बढ़ी है, लेकिन income कहीं ज़्यादा सपाट हो गई है

    • इसमें आजकल hiring market के खराब होने से पैदा हुआ distorted incentive भी है
      Organization के निचले 5%, यानी मेरे मामले में 2–3 engineers, को हटाऊं तो हो सकता है उनकी जगह फिर से hiring approval ही न मिले. Finance team को खुश करने के लिए L5 को L4 में downgrade करना पड़ सकता है, overseas hiring करनी पड़ सकती है, या full-time roles को contract roles में बदलना पड़ सकता है
      इसके अलावा RIF के लिए तैयार रहना पड़ता है, इसलिए अगर तुरंत नाम लिए जा सकने वाले निचले 5% लोग मौजूद हों, तो boss के “नाम दो” कहने पर फायदा रहता है. इसलिए इस समय assigned engineers के time की value कुछ महीनों बाद की तुलना में कहीं ज़्यादा है. Active तरीके से लोगों को निकालने वाला management managers को खुश करता है, इसलिए उसकी value शून्य नहीं होती, लेकिन अभी साफ है कि low performers भी ज़रूरी हैं
    • पूरी तरह सहमत. बेहतरीन engineers को आम तौर पर बेहतर compensation मिलता है, लेकिन वे median performers से बस थोड़ा ज़्यादा पाते हैं. 10x engineer को 10 गुना compensation नहीं मिलता; शायद 1.5–2 गुना के करीब मिलता है
      अगर productivity को ठीक-ठीक track करने का कोई जादुई तरीका मिल जाए, तो जैसा यह लेख कहता है, हमें शायद Price's law या Pareto distribution जैसा pattern दिखे, जहां 80% परिणाम 20% workers बनाते हैं. लेकिन इसका मतलब यह नहीं कि बाकी 80% की ज़रूरत नहीं है, और यही बात दूसरे point से जुड़ती है
      कर्मचारी ने कंपनी के लिए जितना “कमाया” उतना भुगतान करना, company profit कमाने वाली economic system से मेल नहीं खाता. Contribution के हिसाब से “जितना मिलना चाहिए” उतना compensation देना भी शायद desirable न हो. लगता है कि कंपनी के अंदर भी वही income inequality dynamics पैदा हो जाएंगे
      बड़ी कंपनियों में averaging effect होता है. Individual contribution average हो जाती है, लेकिन responsibility भी average हो जाती है. यह अच्छा है या बुरा, यह व्यक्ति पर निर्भर करता है, और मुझे लगता है Paul Graham ने job क्या होती है और कुछ लोग startup क्यों पसंद करते हैं, इस पर अपने लेख में इसे अच्छी तरह समझाया है
      [1] https://www.kienbaum.com/blog/prices-law-and-the-trouble-of-...
      [2] https://paulgraham.com/wealth.html
    • data science blog होने का दावा करने वाले employee performance पर लेख में यह शर्मनाक है कि लेखक ने जो non-simulation data सीधे पेश या discuss किया है, वह केवल US wage distribution है. लेखक ने x-axis को बस “Performance” label कर दिया है, और अच्छा data scientist क्या करता है, इस पर दावा करते हुए भी अपनी बिखरी हुई दलीलों से सीधे संबंधित कोई data नहीं दिया
    • थोड़ा तीखा विचार है, लेकिन अगर किसी कंपनी ने किसी खास job family या title में लोगों को lay off किया है, तो उस job family के लिए अगले साल एक भी H1B visa allocate नहीं होना चाहिए
      अगर किसी खास job family के लिए forced bottom cuts या statistics-based layoff policy लागू की गई है, या उसे छिपाया गया हो लेकिन practically ऐसा ही किया गया हो, तो अगले साल उस job family के लिए H1B allocation रोक देना चाहिए
      मूल बात यह है कि अगर कंपनी ने तय किया है कि वह workforce के X% के बिना भी चल सकती है, तो उसे foreign workers लाने का अधिकार नहीं होना चाहिए. H1B उन roles में मदद के लिए है जिन्हें भरना मुश्किल है; अगर layoffs या mass exits हो रहे हैं, तो इसका मतलब है कि उन jobs को भरने वाले लोग साफ तौर पर मिल सकते हैं
    • मुझे लगता है “fairness” तय करने का व्यावहारिक तरीका लगभग नहीं है. Employee A को LLM work मिलता है, और Employee B को Android 9/Mac OS 12 security patches पर लगाया जा सकता है
      उदाहरण के लिए, मेरे दोस्त को एक feature implement करना था; अगर वह independent app होता तो 1–2 हफ्ते लगते, लेकिन browser team में edge cases और standards committee के बीच coordination के कारण 2 साल लग गए. सबको लगा कि यह 1–2 हफ्ते में खत्म हो जाने वाला काम है, इसलिए उसके control से बाहर होने के बावजूद उसे खराब review मिला
      मुझे लगता है balance ज़रूरी है. Superstars होते हैं, और peer review में उन्हें आसानी से पहचाना जा सकता है. लेकिन हम एक team हैं, काम बहुत है, और हर कोई सिर्फ़ आसानी से दिखने वाला “impactful” काम नहीं ले सकता
  • IQ normal distribution होता है” वाली बात मुझे कहीं पढ़ने के बाद ही साफ हुई, लेकिन असल में IQ normal distribution नहीं होता; distribution को वैसा बनाया जाता है
    अगर 1000 IQ सवाल हों, तो उन्हें बहुत-से लोगों से हल करवाकर उन 100 सवालों को चुना जाता है जो normal distribution बनाते हैं—IQ test इसी तरह बनाया जाता है
    यह पूरी तरह बेतुका नहीं है। अगर 100 बहुत आसान सवाल चुन लिए जाएँ, तो हर कोई “काफी कुछ जानता है” वाली श्रेणी में आ जाएगा और जानकारी कम मिलेगी। Uniform distribution भी बनाया जा सकता है और वह फिर भी उपयोगी रूप से sensitive test हो सकता है। लेकिन अगर test की accuracy की चिंता हो, तो normal distribution सुविधाजनक होता है। 50th percentile और 55th percentile में बड़ा फर्क नहीं होता, और लोग आम तौर पर 90th percentile और 95th percentile के 5% फर्क में ज्यादा दिलचस्पी लेते हैं
    हालांकि 10th percentile और 5th percentile के फर्क की लोग खास परवाह नहीं करते लगते, और यह असल में Pareto distribution की ओर इशारा कर सकता है, लेकिन मेरे हिसाब से यह शायद सामाजिक रुचि के मुद्दे को ज्यादा दर्शाता है। खैर, यह अलग बात है, लेकिन लेख जो कह रहा है उससे भी मिलता-जुलता है

    • intelligence measurement में यह एक सूक्ष्म बात है जिसके बारे में बहुत लोग नहीं सोचते
      अगर IQ 100 से 130 तक जाने के लिए दिमागी क्षमता में x बढ़ोतरी चाहिए, तो 130 से 170 तक जाने के लिए 3x चाहिए हो सकता है, और 170 से 171 तक के लिए 100 के आधार पर 9x चाहिए हो सकता है
      intelligence का कोई absolute measurement नहीं है, इसलिए relative scale इस्तेमाल करना और score में normal distribution गढ़ना ही पड़ता है
      अगर computer science कभी इतनी आगे बढ़ जाए कि किसी खास समस्या को हल करने के लिए जरूरी minimum absolute intelligence को गणितीय रूप से तय कर सके, तो यह बहुत बड़ी उपलब्धि होगी
    • IQ scores ने education achievement, occupational achievement, career progression, lifetime income, brain volume, cortical thickness, health, lifespan आदि के साथ ऊँचा correlation दिखाया है
      socioeconomic background जैसे factors को control करने पर भी ये चीजें काफी सही predict होती हैं
      test कैसे बनाया जाता है, यह इस बात से काफी हद तक अलग मुद्दा है कि उसके results हमारी रुचि की चीजों को सही predict करते हैं या नहीं। IQ इसलिए इस्तेमाल होता है क्योंकि यह measurement tool के तौर पर काम करता है
      अगर आपको लगता है कि इससे बेहतर measurement tool है, तो उसे propose कीजिए और कई awards और प्रशंसा पाइए। दशकों तक बहुत-से समझदार लोगों ने कोशिश की है, लेकिन अभी तक नहीं मिला
    • सही। IQ, जैसा अक्सर कहा जाता है, intelligence का effective measure नहीं है। ज्यादा से ज्यादा यह learning disabilities मापने के tool जैसा लगता है
    • मुझे नहीं पता था कि IQ test इस तरह बनाए जाते हैं
      तो क्या ऐसा हो सकता है कि population का कोई छोटा हिस्सा सभी 1000 सवालों में top पर हो, लेकिन चुने गए सवालों की वजह से final IQ test में average निकले? अगर हाँ, तो अगली बार IQ test देना पड़े तो मैं इसे अपना बहाना बनाऊँगा। बस distribution गलत मिल गया था
    • समान रूप से distributed independent variables N, यानी सवालों का sum, central limit theorem के अनुसार normal distribution की ओर converge करता है। इसे जानबूझकर artificial बनाने की जरूरत नहीं है
  • अगर यह दावा सिर्फ rhetoric के बजाय empirical data से निकला होता, तो मुझे यह ज्यादा convincing लगता। यह काफी testable दिखता है, और industry-wise productivity data भी पहले से बहुत होगा
    इंसानी talent Pareto distribution follow करता है, यह भी साफ नहीं है; लेकिन कंपनियों में नियुक्त लोग पूरी population का selected subset होते हैं, इसलिए selection method और tasks के आधार पर उनका distribution अलग हो सकता है
    ऐसे simplified distributions को कंपनियों और industries में broadly generalize करना मुश्किल लगता है। उदाहरण के लिए AWS या Google employees की productivity distribution McDonalds या Wal*Mart employees जैसी नहीं हो सकती। Hiring process और काम की प्रकृति अलग होती है
    कंपनी और industry के अंदर का actual data लाने के बाद ही claim करना चाहिए। वरना यह मजबूत आधार के बिना बने रेत के महल जैसा है

    • मुझे यह ऐसे पढ़ा गया कि हमारा system एक reasonable लेकिन unverified assumption—यानी performance normal distribution है—पर बना है, और इसे उतने ही reasonable assumption—performance Pareto distribution है—से बदलते ही system अचानक बेवकूफाना दिखने लगता है। यह solution से ज्यादा एक नया perspective देने वाला लेख है
    • Bonus Content #1 और लेख के नीचे references काफी persuasive लगे। अच्छा होगा अगर बड़ी कंपनियाँ इतना detailed data public करें, लेकिन इसकी संभावना कम है
    • “अफसोस है कि यह empirical data से नहीं, rhetoric से आया लगता है” वाली बात normal-distribution-style performance rating की practice पर भी जस की तस लागू होती है। वह शुद्ध internal politics है, और proper statistics पर आधारित नहीं है
      कम-से-कम इस लेख के author footnotes पढ़ने पर अपने belief के लिए कई statistical grounds देते हैं
    • intellectual productivity को आम तौर पर सीधे measure करना संभव नहीं होता, इसलिए आखिर में normal distribution मानकर indirect measurement की ओर जाना पड़ता है
      IQ मशहूर तौर पर normal distribution है, लेकिन इसलिए नहीं कि इंसानी “intelligence” normal distribution है, बल्कि इसलिए कि उसे ऐसे define किया जाता है। intelligence को define करना ही मुश्किल है
      board game Elo ratings देखें, तो यह intelligence का खराब proxy है—यह बात अलग रख दें—फिर भी यह normal distribution follow नहीं करता। Elo match results के लिए normal distribution assume करता है, population distribution के लिए नहीं
      यह इस बात का अच्छा evidence है कि intellectual domains की aptitude या skill normal distribution नहीं है। हालांकि याद पड़ता है कि वह Pareto भी नहीं थी
    • सहमत हूँ। हालांकि rhetoric के स्तर पर मैंने author के कहे “low performers high performers से 3 गुना ज्यादा common होते हैं” जैसी बातें बहुत देखी हैं
      मैं मानता हूँ कि हमेशा अपना best करना चाहिए, और Tyler Cowen के शब्दों में average खत्म हो चुका है, लेकिन खासकर इस claim को empirical data से support किया जाता तो यह बहुत बेहतर होता
  • Netflix में काम करते समय अच्छी लगी बातों में से एक यह थी कि मूल धारणा यह थी कि हर कोई टॉप परफ़ॉर्मर है। अगर कोई टॉप परफ़ॉर्मर नहीं होता, तो वह severance लेकर चला जाता
    उपमा sports team की थी। प्रोफेशनल sports team में बहुत अच्छे खिलाड़ी और महान खिलाड़ी होते हैं। सुपरस्टार भी होते हैं, लेकिन कम-से-कम वाकई बहुत अच्छा न हो तो टीम में रह नहीं सकता
    performance और compensation पूरी तरह अलग थे, और यह बात भी अच्छी थी। performance review 360-degree peer review था, और compensation मुख्य रूप से HR द्वारा नए hiring cost के आधार पर तय किया जाता था, फिर सभी को उसी स्तर तक उठाया जाता था
    कम-से-कम 10 साल पहले Netflix में performance को किसी distribution में फैला हुआ मानना मुश्किल था, और सभी industry के top 10% में थे

    • यह मानना मुश्किल है कि उन्होंने सचमुच सिर्फ top 10% performers को ही इकट्ठा किया था। वहां की बेहद कठोर hiring culture को जानें तो, compensation अच्छा होने पर भी वास्तव में वहां काम आज़माने वाले developers शायद कम ही होंगे
      साथ ही मैंने कभी यह मापने का अच्छा तरीका नहीं देखा कि कौन top performer है और कौन नहीं। एक ही role के भीतर भी अलग-अलग लोग अलग चीज़ों में अच्छे होते हैं; किसी task में Joe सबसे अच्छा हो सकता है, तो दूसरे task में Mary। knowledge work में इसे स्थिर और वस्तुनिष्ठ तरीके से मापना लगभग असंभव लगता है
      Netflix पर हल्का-सा वार भी कर दूं तो, customer के नजरिए से वे business की सबसे बुनियादी चीज़—अच्छा content बनाना, और खासकर अच्छे content को cancel न करना—बहुत खराब तरीके से करते हैं। हाल की बड़ी live streaming कितनी भयानक थी, यह नहीं कहूंगा—हालांकि कह तो दिया
    • संक्षेप में, Netflix ने सभी employees से मानो यह कहा कि वे दुनिया के top 10% में हैं और NFL players जैसे लोग हैं। अगर आप सबसे ऊंचे स्तर पर perform नहीं कर पाए, तो दरवाज़े के बाहर जाना पड़ेगा
      एक thought experiment करें: मान लें Netflix झूठ बोल रहा है और उसके employees वास्तव में industry के top 10% में नहीं हैं। मान लें वास्तविकता यह है कि Netflix industry average से थोड़ा ज्यादा देता है, इसलिए थोड़ा above-average talent इकट्ठा हुआ है
      लेकिन अगर उन employees को यह विश्वास दिला दिया जाए कि वे सिर्फ above average नहीं, बल्कि elite NFL players हैं, तो उन्हें लगेगा कि उन्हें elite players की तरह काम करना चाहिए। Netflix ego को manipulate करके employees से industry से ज्यादा देर तक और ज्यादा मेहनत से काम करवाता है
      “यहां सिर्फ genius pro athlete level के लोग काम कर सकते हैं” वाला संदेश “quota पूरा करने के लिए overtime में जान लगाकर काम नहीं किया तो निकाल दिए जाओगे” से कहीं ज्यादा motivating होता है। क्योंकि यह self-esteem manipulation है
      मुझे लगता है यह thought experiment Netflix या उसकी culture के नशे में डूबे employees जितना मानते हैं, उससे कहीं ज्यादा वास्तविकता के करीब है। Netflix की “pro athlete” culture workers के लिए हानिकारक psychological manipulation है
    • यहां टॉप परफ़ॉर्मर और लो परफ़ॉर्मर को कैसे define किया जाता है?
      मेरे अनुभव में corporate environment में ऐसे labels असली output की तुलना में social dynamics और political sense से ज्यादा जुड़े होते हैं। जिनके internal connections कमजोर हैं या जो office politics में हिस्सा नहीं लेते, वे असली contribution से अलग low performer के रूप में चिह्नित हो सकते हैं, और workplace networking में अच्छे लोग top performer माने जा सकते हैं
      ऐसी कंपनियों के interviews भी अक्सर problematic patterns में फंस जाते हैं। interviewer हाल में पढ़े गए obscure सवाल पूछता है, या कई साल तक उसी role में रहते हुए संकीर्ण रूप से specialized knowledge पर आधारित सवाल करता है। technical interview problem-solving, व्यापक engineering capability और performance की concept को assess करने के बजाय specific knowledge guessing game बन जाता है
      सच कहें तो कितने लोग सचमुच personal feelings और performance evaluation को अलग कर सकते हैं? structured evaluation process होने पर भी, अगर evaluator किसी व्यक्ति को व्यक्तिगत रूप से नापसंद करता है और उसने लगातार शानदार काम किया है, तो क्या वह उसे high score देगा?
    • logic के हिसाब से दूसरी कंपनियां इस तरीके की नकल नहीं करेंगी। क्योंकि अगर सभी कंपनियां top-tier talent के लिए compete करेंगी, तो wages बढ़कर सारे profits खा जाएंगी
      शायद labor और capital को इसी तरह compete करना चाहिए। ऐसा संभव करने के लिए tax treatment को level करना पड़ेगा
  • data और ideas दिलचस्प हैं, और BigCo में colleagues के साथ मेरे anecdotal experience से भी मेल खाते हैं
    लेकिन मेरे अनुभव में employee performance evaluation data से ज्यादा politics के करीब है
    आखिरकार आजकल BigCo के कई executives 10% layoff quota को हथियार या soft downsizing tool के रूप में चाहते हैं, और “data” उसे संभव बनाने वाला अंजीर का पत्ता बन जाता है। अच्छे से देखें तो इसे ऐसा mechanism माना जाता है जो managers को low performers ढूंढने पर मजबूर करता है, भले ही organization में low performers न हों। किसी भी तरह, अंत में इसकी बुनियाद confirmation bias के अलावा कुछ नहीं होती
    performance evaluation की strictness लगभग कंपनी की trajectory और labor market की स्थिति से बंधी होती है। 2021 के आसपास अच्छे समय में, जिन कंपनियों की performance expectations tight थीं उन्होंने भी requirements ढीली कर दी थीं

  • यह अच्छी तरह गढ़ा हुआ खाली दावा लगता है, क्योंकि मुख्य रुचि का विषय employee performance बस सरसरी तौर पर छोड़ दिया गया है। उसे define किए बिना पता नहीं चलता कि graph क्या दिखा रहा है

    • ऐसी analysis में यह बहुत महत्वपूर्ण नहीं है। कोई एक metric चुनें और पूरी workforce पर measure कर लें। जिन meaningful metrics में आपकी रुचि होगी, उनमें से अधिकांश में पूरी employee population normal distribution नहीं दिखाएगी
      पिछली नौकरी में मैंने इसे model किया था, और measurement error तथा साल-दर-साल workforce selection effects की वजह से निष्कर्ष निकाला कि Welch-style rank-and-yank व्यवहार में लगभग random layoffs की ओर ले जाता है
    • जवाब काफी साफ है, लेकिन चिढ़ाने वाली तरह से circular है
      performance का मतलब है “performance review process में कंपनी जिन कामों को reward करती है, उन्हें visible बनाना”
      सिद्धांततः कंपनी के हर role के लिए expected achievements की सूची स्पष्ट होनी चाहिए। दुर्भाग्य से अक्सर ऐसा नहीं होता
      हालांकि यह सही बात है कि performance की subjectivity और clear numerical scale की कमी पूरी प्रक्रिया की कठिनाई है
    • “employee performance” को “company के लिए value” से बदल दें तो भी वही दावा सही रहता है। performance मापना कठिन है, लेकिन जब कोई competitive offer लेकर manager को negotiation table पर ले आता है, तो company के लिए उसकी value का काफी अच्छा अनुमान लग जाता है
      manager जितनी रकम match करने को तैयार है, वही company द्वारा perceived value है। company असल में कैसे act करती है—यानी offer match करती है या नहीं—यह स्पष्ट रूप से जाना जा सकता है, और वह action performance review season में कोई कुछ भी कहे, company के लिए value का संकेत देता है
    • लेख measurement की कठिनाई पर संक्षेप में चेतावनी तो देता है। लेकिन अगर मुख्य निष्कर्ष stack ranking और layoffs के खिलाफ है, तो “performance क्या है” वाला सवाल वैसे भी उन metrics पर चला जाता है जिन्हें bottom 10% को निकालने की सोच रहा manager इस्तेमाल करेगा
    • मुझे नहीं पता लेखक ठीक यही दावा कर रहा है या नहीं, लेकिन इतना कह सकता हूं कि अगर employee performance का कोई reasonable measure है जिसमें company वास्तव में दिलचस्पी रखती है, तो बाकी argument अधिकांशतः सच है
  • यह बात भले ही कुछ ही लोग सुनें, फिर भी बार-बार ज़ोर देने लायक है, लेकिन कर्मचारी प्रदर्शन में एक और अहम समस्या है। अगर bonus बाँटना हो, तो यह मानते हुए कि उसे ठीक-ठीक मापा जा सकता है, एक साल का प्रदर्शन ठीक-ठाक मानदंड हो सकता है
    लेकिन retention और promotion भविष्य के प्रदर्शन का अनुमान लगाने का मामला है, और शायद अलग-अलग भूमिकाओं में प्रदर्शन का भी अनुमान लगाना पड़ता है। यह कहीं ज़्यादा कठिन है और पिछले 1 साल के नतीजों में अच्छी तरह नहीं झलकता
    sports में भी ऐसा अक्सर होता है। कोई खिलाड़ी एक साल अच्छा खेलता है और बड़ा long-term contract पा लेता है, फिर बाद में ढह जाता है। इसके उलट, पिछले 10 वर्षों की बेहतर dynasties में से एक NBA Golden State Warriors, इतिहास के महानतम खिलाड़ियों में से एक को कम वेतन पर रोक पाए, क्योंकि उसके career की शुरुआत में कई ankle injuries से दूसरी teams डर गई थीं
    एक साल का प्रदर्शन ज़रूरी नहीं कि उस व्यक्ति की असली औसत क्षमता को दर्शाए, और promotion व responsibility level बदलने पर Pareto distribution में उसकी जगह भी वैसी ही नहीं रहेगी
    कंपनी के नज़रिए से, long-term outlook के लिए उपयोगी data पाने के लिए संभवतः सभी को कम-से-कम 5 साल बनाए रखना और उस दौरान उन्हें विविध assignments देना पड़ेगा

    • बिल्कुल यही बात है। मैं अपने पूरे career में यह कहता आया हूँ, लेकिन corporate leaders आम तौर पर निचले स्तर के लोगों की बात नहीं सुनते
      खासकर tech companies promotion और salary hikes को कई वर्षों में अलग-अलग कामों और contexts में बार-बार दिखी सफलता के pattern के बजाय, पिछले छह महीनों के काम के आधार पर आँकने की ओर झुकती हैं। वह भी promotion तभी मिलता है जब आप सही team, सही काम, सही timing और सही leader के नीचे हों
      इसी वजह से बेहतरीन performers कहीं और चले जाते हैं। संगठन के सफाईकर्मी, maintainers, firefighters कंपनी को efficiently चलाते रखते हैं, लेकिन leaders से उन्हें सही reward, सम्मान या recognition नहीं मिलता। leaders उन्हें “bad performers” मान लेते हैं और यह नहीं समझते कि चमकदार न दिखने वाले projects पर बेहतरीन talent का काम करना कितना महत्वपूर्ण है
      performance reviews से फायदा सिर्फ उन shareholders को होता है जिनके shares layoffs पर उछलते हैं, और उन लोगों को जो अपने political goals के लिए system को game करते हैं। top talent असल में meaningful और important काम करने में लगा होता है, इसलिए ऐसे systems में वह खूब फल-फूल नहीं पाता
    • अगर इस कहानी पर और पढ़ना चाहते हैं:
      https://www.essentiallysports.com/nba-active-basketball-news...
    • दिलचस्प बात यह है कि sports salaries Pareto distribution का पालन करती हैं, और market ने हर खिलाड़ी की value कैसे आँकी है, उसके बारे में कुछ बताती हैं
      https://marginalrevolution.com/marginalrevolution/2024/08/go...
  • यह लेख बहुत convincing नहीं है। लेखक ने खुद भी एक कारण मान लिया है
    बड़ी companies में low performers होते हैं, सबने उन्हें देखा है, और लेखक ने कहा कि वह उन्हें hiring mistakes मानते हैं। लेकिन वे कहते हैं कि किसी खास percentage को hiring mistakes मानने का कोई स्पष्ट आधार नहीं है
    मगर हम एक निश्चित अनुपात में hiring mistakes की अपेक्षा कर सकते हैं। और यह binary नहीं, बल्कि continuum है। कई और factors भी हैं: hiring के समय बेहतरीन थे लेकिन interest खो दिया और बस somehow टिके हुए हैं या burnout हो गए, promotion या transfer fit नहीं बैठा और नए level या role में अच्छा नहीं कर पा रहे, वगैरह
    यहाँ Pareto distribution खास relevant नहीं है। hiring process पूरे labour market का ऐसा slice लाने की कोशिश नहीं है जिसमें साफ cutoff हो। किसी भी role में, किसी खास salary पर मिलने वाले performance को maximize करना लक्ष्य है, और performance को underestimate या overestimate करने वाली errors अपेक्षाकृत symmetric न हों, ऐसा कोई खास कारण नहीं है
    इतने सारे factors के intertwined होने को देखते हुए, Pareto distribution का कोई हिस्सा काटकर लाने की धारणा की तुलना में normal distribution कहीं ज़्यादा reasonable assumption है

    • निजी तौर पर, मुझे लगता है कि hiring mistakes से कहीं बड़ा मामला manager और direct report का mismatch है
      A को B पसंद नहीं है, इसका मतलब यह नहीं कि A या B कंपनी में काम करने के लिए unsuitable हैं, लेकिन आम तौर पर नतीजा यह होता है कि subordinate को low performer के रूप में package कर दिया जाता है या उसे perform करने के resources नहीं मिलते
    • “normal distribution कहीं ज़्यादा reasonable assumption है” कोई assumption नहीं है। footnote में cited evidence देखिए
  • यह लेख मूलतः कह रहा है, “अगर हम employee performance को measure करें और वह normal distribution की तुलना में Pareto distribution में ज़्यादा अच्छी तरह fit हो, तो क्या यह cool नहीं होगा?”
    क्या वह cool है? हर तरह की unlikely चीज़ों के implications assume किए जा सकते हैं। लेकिन व्यक्तिगत रूप से मुझे तो P = NP होना कहीं ज़्यादा cool लगेगा
    अलग बात यह है कि layoff दुखद होता है, और high performer होते हुए भी बाहर कर दिया जाना और भी दुखद। सच यह है कि “data science” उदासी से निपटने में उतनी मदद नहीं करती जितनी Dostoevsky पढ़ना करता है। इसलिए software developer के रूप में काम करते हुए भी liberal education में A पाना valuable हो सकता है

  • कर्मचारी के रूप में हम performance management से जिस तरह की उम्मीद रखते हैं, वह स्कूल के grading system से आई है
    दिलचस्प बात यह है कि स्कूल के grades, खासकर आसान classes में, अक्सर normal distribution का पालन नहीं करते। मेरी sports/PE class में शायद 95% से ज़्यादा लोगों को A मिल सकता था, और organic chemistry class में शायद केवल 5–10% को A मिला होगा
    इसी तरह, कुछ roles में अच्छा करना कहीं ज़्यादा आसान होता है
    इसलिए असल में लगभग सभी administrative roles से “excellent” performance की उम्मीद करनी चाहिए। यानी, उनसे जो भी काम मांगा गया, वह सब सफलतापूर्वक पूरा करना। इसके उलट, जिन लोगों की responsibilities ज़्यादा critical होती हैं, उनका average से थोड़ा ऊपर performance भी company के लिए 10 गुना ज़्यादा meaningful हो सकता है

    • इस analogy की एक सीमा है जहाँ यह आगे सही नहीं बैठती। company में, school की तुलना में कहीं ज़्यादा, मेरी performance इस बात पर बहुत निर्भर कर सकती है कि दूसरे लोग अपना काम कितना अच्छा और समय पर करते हैं। manager के metrics इसे पकड़ भी सकते हैं और नहीं भी
      उदाहरण के लिए, अगर मुझे ऐसा project मिला है जिसमें department X के साथ बहुत collaboration करना है, और department X पहले से overloaded है, तो उनकी तरफ़ का काम समय पर पूरा नहीं होगा और मेरी performance खराब दिखेगी। हर round-trip communication में आधा हफ्ता लग जाएगा, और मेरी कोई गलती न होने के बावजूद मैं अपना आधा समय unproductive तरीके से बिताऊंगा। इसके उलट, वे 110% productive हो सकते हैं, लेकिन पूरे organization में आग लगा रहे होंगे। सिर्फ़ उस metric को देखें तो मुझे निकालकर department X में headcount बढ़ाना चाहिए, लेकिन असल में शायद बस वहाँ ज़्यादा hiring करनी हो या department को reorganize करना हो
      एक और फर्क यह है कि school में students को आम तौर पर एक जैसे या comparable assignments मिलते हैं। अपने current workplace में मुश्किल समस्याओं के प्रभारी व्यक्ति के रूप में मुझे पूरा यकीन है कि मेरा काम उन colleagues से compare करना बिल्कुल असंभव है जो सामान्य समस्याएँ संभालते हैं। यह तो वही sport भी नहीं है। अगर कोई problem domain को बिल्कुल समझता ही नहीं, तो productivity comparison शुरू कहाँ से करेगा
    • average shift हो गया, इसका मतलब यह नहीं कि distribution normal नहीं है। मैं यह नहीं कह रहा कि यह ज़रूर normal distribution है, लेकिन दिए गए anecdotes भर से बात बहुत persuasive नहीं लगती
    • “जो भी मांगा गया वह सब किया” क्या सच में “excellent” है? इसमें excellent क्या है, समझ नहीं आता। ज़्यादा से ज़्यादा इसे “expectations met” मानूंगा