बॉक्स प्लॉट का इस्तेमाल बंद करना (2021)
(nightingaledvs.com)- बॉक्स प्लॉट distribution को summarize करने वाला एक क्लासिक chart है, लेकिन इसे पढ़ना समझाने में कई मिनट लगते हैं, इसलिए learning cost के मुकाबले असर कम है
- हजारों workshop participants में से पहले से बॉक्स प्लॉट पढ़ना जानने वालों का अनुपात आमतौर पर 20% से कम था, और scatter plot या histogram की तुलना में भी इसे समझने का बोझ ज्यादा था
- पारंपरिक design में box और whisker, median line, और interval की लंबाई असल data के अर्थ से मेल नहीं खाते, जिससे visual misunderstanding पैदा होना आसान है
- quartile जैसे abstract concepts की जरूरत पड़ती है, फिर भी gaps, multimodal distribution, और group-wise values की संख्या छिप जाती है, और कई distributions को bell-shaped जैसा दिखाया जा सकता है
- strip plot, jitter strip plot, और distribution heatmap ज्यादा जल्दी समझ आते हैं और distribution shape को सीधे दिखाते हैं, इसलिए रोजमर्रा के decision-making में ज्यादा practical हो सकते हैं
बॉक्स प्लॉट अब शायद ही क्यों इस्तेमाल करता हूं
- बॉक्स प्लॉट पढ़ना समझाने में 4 मिनट से ज्यादा लग सकते हैं, और इतनी learning cost को justify करने के लिए simple charts से न मिल सकने वाली बड़ी insight चाहिए
- असल में, बॉक्स प्लॉट से दी जाने वाली ज्यादातर insights ज्यादा परिचित और सरल charts से भी दी जा सकती हैं
- distribution दिखाने के उद्देश्य के उलट, audience को data देखने से पहले interpretation rules के कई steps से गुजरना पड़ता है
workshops में दिखी समझ की बाधा
- हजारों workshop participants का graphicacy level आम तौर पर average से ऊपर था, लेकिन पहले से बॉक्स प्लॉट पढ़ना जानने वालों का अनुपात अक्सर 20% से कम था
- बॉक्स प्लॉट अन्य basic chart types की तुलना में समझना मुश्किल था, और scatter plot या histogram जैसे complex charts से भी ज्यादा बोझ डालता था
- audience बॉक्स प्लॉट से परिचित हो तब भी strip plot या distribution heatmap की तुलना में interpretation के लिए ज्यादा cognitive effort चाहिए और misunderstanding की संभावना भी ज्यादा है
जहां पारंपरिक design intuition से टकराता है
- पारंपरिक बॉक्स प्लॉट का रूप Mary Spear ने 1952 में पहली बार propose किया था और John Tukey ने 1969 में refine किया था
- visual design की मुख्य समस्याएं तीन हैं
- मोटा box, पतले whisker से ज्यादा values या ज्यादा importance दिखाता हुआ लगता है, लेकिन चारों intervals में values की संख्या समान होती है
- बीच वाला box median line से बंटा एक ही block जैसा दिखता है, जिससे पूरा chart तीन हिस्सों जैसा लगता है, जबकि वास्तव में यह चार quartile intervals हैं
- लोग लंबी आकृति को बड़ी quantity के रूप में देखते हैं, लेकिन बॉक्स प्लॉट में लंबा interval ज्यादा values का मतलब नहीं होता
- छोटा interval असल में values की ज्यादा density दिखाता है, लेकिन आंखों को वह कम मात्रा जैसा लगता है, जिससे visual form और data meaning में टकराव होता है
- वैकल्पिक design यह ज्यादा स्पष्ट कर सकता है कि छोटा interval values की ज्यादा concentration दिखाता है, बीच के दो intervals को अनावश्यक emphasis नहीं देता, और इसे चार shapes जैसा दिखाता है
- हालांकि ऐसे designs भी ज्यादातर situations में recommend करना मुश्किल है, और अधिक सरल distribution chart बेहतर choice हो सकता है
quartile से बनने वाली learning cost
- बॉक्स प्लॉट समझने के लिए sorted values के set को बराबर संख्या वाली ranges में बांटने वाले quantile, और खासकर quartile, concepts जानने पड़ते हैं
- कई audiences इन concepts से परिचित नहीं होतीं, और ठीक से समझने के लिए visual material और examples के साथ कुछ मिनट की explanation चाहिए
- chart को सही से interpret करने के लिए पहले इन abstract concepts को पर्याप्त रूप से समझने का बोझ आता है
- कई उपयोगी distribution insights quantile या quartile के बिना भी दूसरे charts से दी जा सकती हैं
परिचित होना अच्छे design की guarantee नहीं है
- जिन लोगों ने बॉक्स प्लॉट लंबे समय तक देखे हैं, वे design flaws को bypass करके interpret करना सीख चुके हो सकते हैं
- पहली बार देखने वाले लोग उन्हीं flaws के कारण आसानी से confuse हो जाते हैं
- organizations में analyst अगर important insights बॉक्स प्लॉट से बताना चाहे, लेकिन decision-maker इसे पढ़ना सीखना न चाहे, तो persuasion fail हो सकता है
- बाद में analyst अगर यह मान ले कि audience कोई भी distribution chart नहीं समझती, तो समस्या को बॉक्स प्लॉट की बजाय पूरे distribution visualization से जोड़कर गलत समझ सकता है
- ज्यादा intuitive distribution charts इस्तेमाल करने से distribution visualization की valuable insights बेहतर तरीके से पहुंचने की संभावना होती है
बॉक्स प्लॉट distribution को कैसे distort करता है
- same data को बॉक्स प्लॉट और jitter strip plot से compare करने पर, बॉक्स प्लॉट अलग-अलग groups की distributions को लगभग समान दिखा सकता है
- यह values को median के आसपास clustered और दोनों तरफ धीरे-धीरे घटती हुई bell-shaped distribution जैसा दिखाने की tendency रखता है
- actual values set bell-shaped न भी हो, फिर भी बॉक्स प्लॉट में ऐसा दिख सकता है
- reader सिर्फ बॉक्स प्लॉट देखकर यह जानना मुश्किल पाता है कि सभी distributions सच में bell-shaped हैं या नहीं; ज्यादा से ज्यादा उसे अनुमान लगाना पड़ता है
- distribution के gaps और हर group में values की संख्या भी छिप सकती है
- distribution को ज्यादा accurately दिखाने वाले बॉक्स प्लॉट variants या sophisticated charts भी हैं, लेकिन वे बॉक्स प्लॉट की core problem यानी सीखने में कठिनाई को हल नहीं करते, और और भी मुश्किल हो सकते हैं
ज्यादा intuitive alternative charts
- सबसे ज्यादा इस्तेमाल होने वाला alternative strip plot है
- इसे “हर dot research participant की age है” जैसे एक sentence में समझाया जा सकता है
- ज्यादातर audience इसे कुछ seconds में समझ सकती है
- यह दिखा सकता है कि distribution ऊंचा है या नीचा, concentrated है या spread out, regular है या skewed, और outliers हैं या नहीं
- यह distribution के gaps, multimodal distribution, और हर set में values की approximate count भी दिखाता है, जिन्हें बॉक्स प्लॉट नहीं दिखा पाता
- values दर्जनों से ज्यादा हों तो dots overlap होकर strip plot line जैसा दिख सकता है; ऐसे में jitter strip plot ज्यादा values संभाल सकता है
- values सैकड़ों या लाखों में हों तो jitter strip plot भी overlapping dots का blob बन सकता है; ऐसे में distribution heatmap कितनी भी values handle कर सकता है
- distribution heatmap bin या interval concept introduce करता है, जिससे complexity बढ़ती है, लेकिन bin quartile से कहीं ज्यादा समझना आसान है
- distribution heatmap group-wise value counts देखने की capability खो देता है और इसकी कुछ limitations हैं, लेकिन बॉक्स प्लॉट में भी वही limitations और अतिरिक्त limitations होती हैं
- frequency polygons, violin plots, cumulative distribution plots, bee swarm plots भी कुछ situations में useful हो सकते हैं
- histogram आम तौर पर single value set visualization के लिए useful होता है, जबकि बॉक्स प्लॉट और उसके alternatives कई value sets compare करने के इस्तेमाल के ज्यादा करीब हैं
बॉक्स प्लॉट के फायदे और सीमित use cases
- बॉक्स प्लॉट का शायद एकमात्र फायदा यह है कि यह interquartile range दिखाता है
- लेकिन data से जो बात कहनी है उसमें interquartile range अनिवार्य रूप से दिखाना जरूरी हो, ऐसी situations ज्यादा नहीं होतीं
- ज्यादातर मामलों में जरूरत distributions के बीच ऊंच-नीच, concentration और dispersion, और outliers की मौजूदगी की होती है; ये insights interquartile range के बिना भी ज्यादा सरल charts से दी जा सकती हैं
- median की जरूरत हो तब भी उसे ज्यादा simple chart में आसानी से जोड़ा जा सकता है
- ऐसा कोई scenario सोचना मुश्किल है जहां बॉक्स प्लॉट सच में best हो, सिवाय इसके कि audience familiarity के कारण बॉक्स प्लॉट की मांग करे
बॉक्स प्लॉट से आगे बढ़ने की वजह
- बॉक्स प्लॉट को ऐसा chart नहीं माना जाता जो पहले अच्छा था लेकिन technology के विकास से outdated हो गया; बल्कि मूल्यांकन यह है कि यह शुरू से ही अच्छी तरह designed chart नहीं था
- design flaws ने students, executives, और अन्य chart readers से unnecessary cumbersome understanding process की मांग की है
- आज बेहतर charts आसानी से बनाए जा सकते हैं, इसलिए बॉक्स प्लॉट से आगे बढ़ने पर future readers को unnecessary cognitive struggle से बचाया जा सकता है
- statistics से परिचित audience के लिए भी लगभग हर situation में कोई दूसरा chart बेहतर choice हो सकता है
- practitioners को खासकर तब alternatives पर विचार करना चाहिए जब audience बॉक्स प्लॉट से परिचित न हो, और परिचित audience के लिए भी ज्यादा intuitive charts evaluate कर सकते हैं
1 टिप्पणियां
Hacker News की राय
लगता है यहाँ लेखक और बाकी लोग थोड़ा भ्रमित हैं। box plot distribution को घंटी जैसा नहीं बनाता, न ही distribution बदलता है, लेकिन यह मानकर चलता है कि data bell-shaped/Gaussian distribution follow करता है
जहाँ Central Limit Theorem लागू किया जा सकता है, वहाँ यह ठीक है, लेकिन वरना यह assumption गलत है और box plot में दिखाए गए values भी खास काम के नहीं होते। box plot के वास्तविक उपयोग हैं, लेकिन उसे इस्तेमाल करने के लिए statistics की बुनियादी समझ चाहिए
इसलिए box plot के उपयोग की आलोचना की जा सकती है। क्योंकि alternatives bell-shaped distribution को भी अच्छी तरह दिखाते हैं और जब वह bell-shaped न हो, तब भी उसे उजागर कर सकते हैं
मैं पूरी तरह सहमत हूँ कि box plot सिर्फ bell-shaped/Gaussian distribution से काफी मिलते-जुलते unimodal distributions के लिए ही इस्तेमाल होना चाहिए। अगर distribution bimodal distribution की तरह bell-shaped नहीं है, तो यह गलतफहमी पैदा करता है, इसलिए नहीं इस्तेमाल करना चाहिए; और अगर bell-shaped है, तो कोई खास दिक्कत नहीं लगती
जब आप sample के distribution को population के proxy के रूप में देखना चाहते हैं, तो sample mean distribution का shape उतना दिलचस्प नहीं होता। sample mean का estimate ही एकमात्र useful metric नहीं है, और प्रकृति में लगभग कुछ भी normal distribution follow नहीं करता। normal distribution useful इसलिए है कि हम आमतौर पर Gaussian function के analytical form और उसे handle करने के तरीके अच्छी तरह जानते हैं, न कि इसलिए कि वह estimate जितना दिखता है उतना useful है। उदाहरण के लिए Poisson distribution कहीं ज्यादा common है
example में दो peaks वाला bimodal distribution है, लेकिन उन्होंने एक peak वाले form का chart यानी box plot चुन लिया। सच कहूँ तो यह थोड़ा समझना मुश्किल है
box plot का इकलौता फायदा यह था कि इसे हाथ से बनाया जा सकता था। अब computers हर जगह हैं, तो वह value खत्म हो गई
violin plot और beeswarm plot बेहतर हैं, और jitter applied strip plot भी saturation areas का ध्यान रखा जाए तो ठीक है। saturated जगहों पर और points डालने से वे और dark नहीं होते, इसलिए गायब जैसे दिख सकते हैं
चाहें तो उसके ऊपर jitter applied points overlay करके भी दिखा सकते हैं
Angela Collier का एक अच्छा rant video है कि क्यों नहीं: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
box plot पढ़ने में आसान होता है, इसलिए काफी useful है, लेकिन सिर्फ तब जब भरोसा हो कि लेखक ने सच में histogram check किया है; आमतौर पर वह भरोसा नहीं होता
लोगों के goals आपस में टकराते हैं। एक तरफ वे बहुत सारे numbers को एक या कुछ summary statistics में compress करना चाहते हैं, लेकिन जैसे ही वह summary थोड़ा भी mislead करे, वे तुरंत data compression पर पछताते हैं
असल में यह ऐसी simplicity, खासकर definitive conclusions चाहने से पैदा होता है जो शायद exist ही न करती हो, और यह human condition की एक आम समस्या जैसी है
box plot जिस distribution को दिखाता है, वह भी अक्सर बस “एक sample” का distribution होता है। इस तरह देखें तो distribution में अपनी uncertainty होती है, और उदाहरण के लिए violin plot उस uncertainty को express नहीं करता। हर “काम के हिसाब से सही tool” वाली बहस की तरह, लोगों का judgement उनके tool experience और दूसरों को चीजें simplify करके समझाने के तरीके पर निर्भर करता है
https://github.com/c-blake/bu/blob/main/doc/edplot.md
यहाँ box plot का बचाव करने वाले लोग उम्मीद से कहीं ज्यादा हैं
लेकिन “box plot किसी specific use case में सबसे अच्छा chart है, इसलिए useful है” जैसी explanation ज्यादा नहीं दिखती। कोई ऐसी situation तुरंत याद नहीं आती जहाँ मैं strip plot या violin plot की बजाय box plot देखना चाहूँ। कब और क्यों कोई data को इतना मोटे तौर पर summarize करके कम intuitive तरीके से visualize करना चाहेगा?
वे median, lower/higher percentiles, max/min या outliers देखना चाहते हैं, लेकिन बीच में बिखरे सारे data points नहीं देखना चाहते। वह overwhelming noise information बन जाती है। असल में उन्हें उन numbers वाली table पसंद होती है, लेकिन वे अलग-अलग markets की historical price time series के 10 items को एक PowerPoint slide में compare करना चाहते हैं। box plot median और key percentiles का quick visual comparison करने देता है। अगर non-standard values इस्तेमाल करें तो percentile labels लगा दें। jitter या violin plot इस्तेमाल करने पर वे अजीब random shapes पर अटक जाते हैं और meeting भटक जाती है
महत्वपूर्ण premise यह है कि इन values को generate करने वाली processes physical sense में सब समान हैं, इसलिए comparable हैं। distribution भी roughly lognormal जैसी unimodal distribution है। इस case में visualization का उद्देश्य distribution की अपनी properties समझना नहीं, बल्कि business-wise meaningful important percentiles दिखाना है
अगर distribution ज्यादा complex है और detail चाहिए तो histogram या ridge plot इस्तेमाल करना बेहतर है। violin plot curve होने की वजह से थोड़ा ज्यादा सुंदर दिखता है, लेकिन information communicate करने के लिए best option नहीं है
इसमें हर population के median को ही नहीं, shaded region को भी साथ में compare किया जाता है
अगर आप कई groups compare कर रहे हैं और सिर्फ बड़े differences में interest है, तो यह शानदार tool है। जब आपको लगता है कि data normal distribution है और histogram misleading हो सकता है, तब भी अच्छा है; और normal distribution न भी हो, फिर भी अगर quartiles में interest है तो अच्छा है
अगर minimum, maximum, median, 25/75 percentiles वाली पाँच-number table पर्याप्त है, तो box plot graphical comparison के लिए अच्छा tool है
दशकों से स्कूल, कॉलेज और काम की जगहों पर box plot इस्तेमाल करता आया हूं, इसलिए लेख से पूरी तरह आश्वस्त नहीं हुआ था
लेकिन इन comments को पढ़ने के बाद लेखक की मुख्य बात ज़ोर से समझ में आती है: अगर कमरे में समझदार और विषय जानने वाले लोग भी भरे हों, तब भी box plot को समझने और interpret करने को लेकर सब बंट सकते हैं
थोड़ा हैरान करने वाला है, लेकिन सिर्फ इस thread के सबूत ही मेरे लिए लगभग निष्कर्ष तक पहुंचने को काफी हैं
box plot का इस्तेमाल बंद करने की ज़रूरत नहीं है। उसे सही जगह पर, यानी position और spread दिखाने के लिए इस्तेमाल करना चाहिए। यह distribution के shape को दिखाने के लिए नहीं है
quartiles और limits से आगे modality या distribution की कोई जानकारी नहीं होती। यह मुख्यतः अलग-अलग groups का analysis करने के बजाय कई groups की तुलना में उपयोगी है
लेखक ऐसे बोल रहा है जैसे उसे उस चीज़ की जानकारी हो जिसके बारे में उसे ठीक से पता नहीं। अगर उसने Tukey की सामग्री भी पढ़ी होती तो यह पता होता; सिर्फ नाम जोड़ देना काफी नहीं है
लेकिन लेखक इसे लोगों की समस्या के रूप में देख रहा है। plot मशीनों के लिए नहीं, लोगों के पढ़ने के लिए होता है, और लेखक चाहता है कि जितने ज़्यादा लोग हो सकें, उसे आसानी से पढ़ और interpret कर सकें। maths education में कमी हो तो भी हमें reality से शुरू करना होगा, और मुझे यह लक्ष्य reasonable लगता है। मैं सहमत हूं कि distribution कितना फैला है यह देखने के लिए quartile क्या होता है, यह जानना ज़रूरी नहीं होना चाहिए
लगता है कुछ लोगों ने ज्यादातर स्थितियों वाला हिस्सा छोड़ दिया। वह कह रहा है कि उसके audience के लिए यह काम नहीं करता था, इसलिए किसी भी कारण से उसने box plot का इस्तेमाल बंद कर दिया। शीर्षक की तरह हमें भी box plot के इस्तेमाल पर दोबारा सोचना चाहिए और देखना चाहिए कि कोई बेहतर विकल्प है या नहीं
साथ ही, उसके बताए readers को याद रखना चाहिए। वे box plot समझने वाले लोग नहीं, बल्कि box plot न जानने या न समझने वाले लोग हैं। उसके अपने शब्दों में, वही लोग थे जिन्हें उसे हजारों की संख्या में समझाना पड़ा था
box plot हाथ से काम करने के लिए data compression technique है। अब automated techniques हैं जो data quality और visual quality को बेहतर तरीके से preserve करती हैं
लेखक कुछ plots के लिए generalization और “specific situations” को स्वीकार करता है, लेकिन दूसरे plots की specific situations को बेकार मानता है
मेरी conclusion ज्यादा से ज्यादा इतनी है कि अगर distribution unimodal नहीं है और mislead होने की संभावना ज्यादा है, तो box plot मत इस्तेमाल कीजिए। मेरे पसंदीदा physics rant YouTuber का violin plot की आलोचना वाला video भी है, तो शायद उसे भी इस्तेमाल नहीं करना चाहिए
https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A
box plot उस दौर का अवशेष है जब शानदार charts print नहीं किए जा सकते थे
distribution को scrolling oscilloscope या contour map की तरह एक line के अंदर भी दिखाया जा सकता है, या समय के साथ density plot बनाकर उस पर important periods को shading से overlay किया जा सकता है। Gaussian process वाली दिशा देखिए
box plot distribution को जरूरत से ज्यादा सरल बनाकर inference आसान बना देता है। इसी तरह mean भी बहुत misleading हो सकता है, लेकिन mean के इस्तेमाल पर रोक नहीं लगाई जाएगी
अच्छा conclusion हमेशा यह हो सकता है कि underlying distribution को fair तरीके से दिखाने वाला plot इस्तेमाल करें
Nature family के journals अब जिस तरीके की मांग करते हैं, वैसा कर सकते हैं। box plot के ऊपर raw data points overlay करके दिखाने का तरीका, जिससे दोनों के फायदे मिल जाते हैं