Guinness ब्रुअरी में जन्मा t-test
(scientificamerican.com)- विज्ञान में statistical significance तय करने के लिए व्यापक रूप से इस्तेमाल होने वाला t-test, बीयर निर्माण में quality control की समस्या से शुरू हुआ
- 20वीं सदी की शुरुआत में दुनिया की सबसे बड़ी ब्रुअरी Guinness, आंखों के अंदाज़ और गंध पर निर्भर quality control को consistency और औद्योगिक कठोरता-केंद्रित तरीके में बदलना चाहती थी
- William Sealy Gosset ने ऐसी स्थितियों में, जहां hops में resin content जैसे मामलों में केवल छोटे sample ही मापे जा सकते थे, वास्तविक अंतर और संयोगजन्य variation को अलग करने का तरीका बनाया
- t-test, sample averages के अंतर और data के फैलाव दोनों को देखने वाले signal-to-noise ratio का उपयोग करता है, और छोटे samples में normal distribution की तुलना में मोटी tails वाले t-distribution की जरूरत होती है
- Guinness नहीं चाहता था कि उसके competitors को research के बारे में पता चले, इसलिए Gosset ने “Student” pen name से इसे प्रकाशित किया, और यह तरीका आज भी science का एक मुख्य statistical tool बना हुआ है
Guinness quality control से निकली statistical technique
- Guinness ब्रुअरी, founder Arthur Guinness द्वारा Dublin में सालाना £45 पर 9,000 साल की lease लेने के बाद से innovative तरीकों के लिए जानी जाती रही है
- बीयर से जुड़े innovations में mathematician से brewer बने Michael Edward Ash द्वारा 4 साल की कोशिशों के बाद बनाई गई chemical technique भी शामिल है
- यह technique Guinness stout की मुलायम foam layer बनाने में इस्तेमाल होती है
- इसमें nitrogen gas को keg और can के अंदर मौजूद छोटी ball में डालने का तरीका शामिल है
- बाद में यह beer और coffee की “nitro brew” style तक पहुंचा
- ब्रुअरी से निकला सबसे प्रभावशाली innovation खुद beer नहीं, बल्कि t-test था
दुनिया की सबसे बड़ी ब्रुअरी की small sample समस्या
- 20वीं सदी की शुरुआत में Guinness लगभग 150 साल से चल रही दुनिया की सबसे बड़ी ब्रुअरी थी
- उस समय product quality control ज्यादातर आंखों के अंदाज़ और smell testing पर निर्भर था
- global expansion की जरूरत बढ़ने के साथ management ज्यादा consistent और औद्योगिक रूप से rigorous quality control की ओर जाना चाहता था
- कंपनी ने research team hire की और उन्हें perfect beer बनाने से जुड़े सवालों की पड़ताल करने की स्वतंत्रता दी
- सबसे अच्छी barley किस्में कहां उगती हैं
- malt extract की ideal sugar content कितनी होनी चाहिए
- latest advertising campaign ने sales कितनी बढ़ाई
- research team बार-बार जिस कठिनाई से टकराती थी, वह छोटे sample size में data की व्याख्या करना था
hops के उदाहरण से statistical significance को समझना
- hop flowers Guinness के bitter taste और natural preservative role के लिए महत्वपूर्ण ingredient थे, और brewers hops की quality को assess करने के लिए soft resin content मापते थे
- उदाहरण में अच्छे typical value को 8% मानते हुए, 9 samples मापने पर values 4–10% range में हैं और average 6% है—ऐसी स्थिति मानी गई है
- सभी flowers की जांच करना आर्थिक रूप से संभव नहीं था, इसलिए random samples की जांच करनी पड़ती थी
- sample average 6% आने पर दो संभावित interpretations हैं
- पूरी crop का soft resin content वास्तव में असामान्य रूप से कम है
- पूरी crop normal है, लेकिन संयोग से केवल कम values वाले samples चुने गए
- निर्णय का मूल सवाल यह अलग करना है कि sample की कम resin content 8% से significantly different है या सिर्फ natural variation है
पूरे विज्ञान में बार-बार आने वाला निर्णय
- यह समस्या सिर्फ brewing तक सीमित नहीं है, बल्कि scientific research में हर जगह दिखती है
- medical trial में treatment group और placebo group दोनों बेहतर हुए, लेकिन treatment group थोड़ा ज्यादा बेहतर है—तो यह तय करना होगा कि उस दवा की recommendation के लिए पर्याप्त evidence है या नहीं
- अगर दो groups को अलग-अलग placebo मिले और एक side का result बेहतर हो, तो यह अलग करना होगा कि उस placebo में medicinal effect है या यह natural improvement है
- ऐसे निर्णय आखिरकार statistical significance की समस्या बन जाते हैं
Gosset के t-test ने क्या हल किया
- छोटे sample size में ऐसी समस्याओं से निपटने की theory, Guinness के William Sealy Gosset द्वारा t-test बनाने से पहले विकसित नहीं हुई थी
- statistical significance का concept खुद Gosset से पहले भी मौजूद था, लेकिन पहले के statisticians मुख्यतः बड़े samples से deal करते थे
- hops के उदाहरण में पूछा गया सवाल यह है कि ऐसी दुनिया में, जहां पूरी crop का average 8% है, average 6% जैसा extreme value observe करने की probability कितनी है
- इस probability को P-value कहा जाता है, और traditionally अगर यह 5% या 0.05 से कम हो तो अक्सर उसे statistically significant माना जाता है
- हालांकि, field के अनुसार threshold value बदल सकती है
signal, noise, और t-distribution
- P-value पर आम तौर पर दो factors असर डालते हैं
- sample, population से expected value से कितना दूर है
- बड़े deviations कितने common हैं
- sample average 6% और expected value 8% का अंतर signal है
- अंतर जितना बड़ा होगा, crop की soft resin content वास्तव में कम होने की संभावना उतनी ज्यादा होगी
- flowers के बीच standard deviation noise है
- standard deviation बड़ा हो तो 6% average बहुत चिंता की बात नहीं हो सकता
- standard deviation छोटा हो तो 6%, expected value 8% से वास्तविक deviation का signal हो सकता है
- ideal स्थिति में signal-to-noise ratio calculate किया जाता है और देखा जाता है कि यह ratio 5% threshold तक पहुंचने जितना बड़ा है या नहीं
- Gosset के समय के statisticians जानते थे कि अगर experiment कई बार repeat करके signal-to-noise ratio plot किया जाए, तो वह standard normal distribution, यानी bell-shaped curve जैसा हो जाता है
- Gosset ने पहचाना कि यह approach केवल बड़े samples में अच्छे से काम करता है, और छोटे hops samples में normal distribution की गारंटी नहीं देता
- उन्होंने छोटे sample sizes के लिए एक नया distribution सावधानी से table के रूप में बनाया, जिसे आज t-distribution कहा जाता है
- t-distribution, normal distribution की तरह bell-shaped होता है, लेकिन इसकी tails ज्यादा धीरे-धीरे गिरती हैं
- इसलिए छोटे samples में significance judge करने के लिए बड़े signal-to-noise ratio की जरूरत होती है
यह ब्रुअरी से ही क्यों निकला
- John D. Cook ने 2008 में blog post में लिखा था कि t-test का winery की बजाय brewery से निकलना शायद आश्चर्यजनक नहीं है
- beer brewer अपने product में consistency चाहता है, जबकि wine producer variety का आनंद लेता है—यह फर्क है
- wine में “good year” होते हैं और हर bottle की अपनी story होती है, लेकिन Guinness को हर बार वही distinctive taste देना होता है
- uniformity की यही मांग statistical innovation में बदल गई
“Student’s t-test” नाम
- Gosset ने इस नई technique से brewery की कई समस्याएं हल कीं
- self-taught statistician Gosset ने, क्योंकि Guinness नहीं चाहता था कि competitors को research के बारे में पता चले, “Student” pen name से t-test प्रकाशित किया
- Gosset ने industrial quality control की शुरुआत में अहम भूमिका निभाई और quantitative research में कई ideas दिए, लेकिन कई textbooks उनकी मुख्य उपलब्धि को आज भी Student’s t-test कहते हैं
- उनका नाम history में कम उभरा, लेकिन t-test आज तक science में सबसे व्यापक रूप से इस्तेमाल होने वाले statistical tools में से एक है
1 टिप्पणियां
Hacker News की राय
बायोकेमिस्ट्री के इतिहास में भी एक दिलचस्प हिस्सा है: Chaim Weizmann एक बायोकेमिस्ट और कट्टर Zionist थे। प्रथम विश्व युद्ध के दौरान उन्होंने नौसेना की तोपों के propellant cordite के उत्पादन के लिए ज़रूरी acetone बनाने में सक्षम Clostridium acetobutylicum को culture किया, जिससे Winston Churchill का ध्यान उनकी ओर गया।
युद्ध में योगदान के बदले George Lloyd ने पूछा कि ब्रिटेन उनके लिए क्या कर सकता है, तो Weizmann ने जवाब दिया, “मेरे लिए नहीं, मेरे लोगों के लिए,” और यही आगे चलकर Balfour Declaration तक पहुँचा, जिसमें यहूदी लोगों के लिए एक राष्ट्रीय घर देने का वादा किया गया था।
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
Balfour Declaration में यह शर्त भी थी कि फिलिस्तीनी लोगों को बेदखल नहीं किया जाना चाहिए, लेकिन यह लगभग भुला दी गई। Weizmann के ब्रिटेन आने के बाद George Lloyd से मिलने तक Albert Einstein को promote करने के लिए विश्व-भ्रमण जैसी काफी राजनीतिक चालें भी चली गईं।
हाल ही में पढ़ी David Fromkin की A Peace to End All Peace Weizmann की भूमिका और Balfour Declaration के बनने की पृष्ठभूमि को गहराई से देखती है। किताब के निष्कर्षों में से यह बात लंबे समय तक याद रह गई कि रोमन साम्राज्य के बाद साम्राज्यवादी व्यवस्था के टूटने के पश्चात यूरोप को राष्ट्र-राज्यों और राजनीतिक पहचानों को व्यवस्थित करने में लगभग 1,500 साल लगे।
मध्य पूर्व का मौजूदा संकट गहराई या अवधि में अलग हो सकता है, लेकिन यह व्याख्या प्रभावशाली है कि वह भी पुराने साम्राज्यवादी ढाँचे के ढहने के बाद अलग-अलग समुदाय किस नई राजनीतिक पहचान में पुनर्गठित होंगे, इसी प्रश्न से जूझ रहा है।
मित्र राष्ट्रों ने युद्ध के बाद यहूदी शरणार्थियों को फिर से बसाने की कोई योजना भी नहीं बनाई थी; उल्टा, उस समय यहूदियों को British Mandate of Palestine में प्रवेश करने तक से रोका गया था।
Israelis ने, जैसे अमेरिका ने ब्रिटेन से स्वतंत्रता की घोषणा की थी, वैसे ही ब्रिटेन की इच्छा के विरुद्ध खुद अपना राज्य घोषित किया।
साथ ही, उस क्षेत्र को लेकर किसी भी “योजना” में गृहयुद्ध तय नहीं था, लेकिन गृहयुद्ध वास्तव में हुआ। बाद में घटनाओं को उन कई योजनाओं से मेल न खाने के आधार पर फिट करना जो कभी लागू ही नहीं हुईं, revisionist व्याख्या के करीब है।
यह कहना मुश्किल है कि West Bank के अरबों के साथ Israelis ने जो व्यवहार किया, वह उससे भी बुरा था जो वे Israelis के साथ करना चाहते थे। बस इतना है कि अरब पक्ष सैन्य संघर्ष में हारने के बाद अपने पुराने यहूदी समुदायों को भी निकाल बाहर कर बैठा।
पिछली गर्मियों में जब मैं Poland गया था, तो पता चला कि दोनों विश्व युद्धों के बीच Poland के कई यहूदी नेताओं ने यहूदी राष्ट्र-राज्य का समर्थन किया था, लेकिन वे सरकार को इसे सार्वजनिक रूप से घोषित करने के लिए राज़ी नहीं कर पाए।
उस समय यहूदी Poland की आबादी के 25% तक थे, यह सोचकर बात और भी चौंकाने वाली लगती है।
उनके declaration को पारित कराने की प्रेरणाओं में कम-से-कम आंशिक रूप से यह विचार था कि अगर ब्रिटेन यहूदियों को अपना देश दे दे, तो उसे विश्व यहूदी साज़िश के भीतर एक शक्तिशाली सहयोगी मिल जाएगा, और साथ ही यहूदी ब्रिटेन छोड़ देंगे और राजनीति, संस्कृति तथा अर्थव्यवस्था को नियंत्रित नहीं करेंगे।
Wikipedia में उद्धृत Balfour के 1919 के लेख में भी उन्होंने लिखा कि Zionism उस पुराने कष्ट को कम करेगा जो पश्चिमी सभ्यता द्वारा “अपने भीतर यहूदी नामक समूह” को विदेशी और शत्रुतापूर्ण मानने, लेकिन उसे न निकाल पाने और न ही आत्मसात कर पाने से पैदा हुआ था।
वे इस बात का सबसे अच्छा उदाहरण हैं कि Zionism का समर्थन और anti-Semitism एक-दूसरे के विरोधी नहीं हैं और वास्तव में साथ-साथ चल सकते हैं।
Hitler के सत्ता में आने के बाद भी जर्मन सरकार के समर्थन में German Jews को Palestine ले जाने में मदद करने वाला एक Zionist project था, और स्वाभाविक रूप से, हर migration की तरह वह भी द्वितीय विश्व युद्ध शुरू होते ही खत्म हो गया।
इसका मतलब यह नहीं कि Nazis को वह project पसंद था, लेकिन उन्होंने उसका सक्रिय विरोध भी नहीं किया। इसके बजाय उन्होंने प्रवास करने वाले यहूदियों से अपनी संपत्ति liquidate करवाई, विदेश ले जाई जा सकने वाली संपत्ति पर कड़ी सीमा लगाई, और बाद में Holocaust के दौरान यहूदी कारोबारियों की संपत्ति जब्त करके फिर से privatize कर दी।
दिलचस्प लेख है। मुझे नहीं लगता कि statistics की क्लास में ऐसी बात कभी सुनी थी
Gosset ने इस नई तकनीक से brewery की कई समस्याएँ हल कीं, और Guinness नहीं चाहता था कि competitor कंपनियों को research की जानकारी मिले, इसलिए उसने Student के pen name से t-test प्रकाशित किया
Gosset industrial quality control के अग्रदूत थे और quantitative research में भी उनका बड़ा योगदान था, लेकिन ज़्यादातर textbooks आज भी उनके काम को “Student’s t-test” ही कहती हैं
Gosset के पास सही distribution को theoretically derive करने के लिए पर्याप्त mathematical background नहीं था, इसलिए उन्होंने sample size के हिसाब से sampling को हज़ारों बार simulate किया और curves fit करके distribution खोजी
उस समय simulation का मतलब था हज़ारों cards पर numbers लिखना, उन्हें shuffle करना, फिर sample निकालकर mean और standard deviation calculate करना, और यह काम हज़ारों बार दोहराना
उन्होंने अपने results कुछ इस अंदाज़ में publish किए जैसे सही proof न दे पाने के लिए माफ़ी मांग रहे हों
statistics textbooks इतनी dry होती हैं कि ऐसी कहानियाँ सुनाने की गुंजाइश बहुत कम होती है
सोचता हूँ कि industry में कितनी useful discoveries हुई होंगी जिन्हें management ने competitive information leak होने के डर से दबा दिया होगा
अगर हम मानें कि एक व्यक्ति नहीं तो अंततः कोई और उन्हें discover कर ही लेता, तो कहा जा सकता है कि ऐसी discoveries भी आखिरकार independently rediscover हो चुकी होंगी या हो जाएँगी
इसी से जुड़ा सवाल यह भी है कि जब कंपनियाँ बंद होती हैं या acquire होती हैं, तो कितना valuable research गायब हो जाता होगा
उदाहरण के लिए MCC से जुड़े 1990s के “agents” और “multi-agent systems” papers पढ़ते समय “MCC Technical Report TR86-32791” जैसे references अक्सर दिखते हैं, लेकिन कुछ reports online मिल जाती हैं, फिर भी काफी reports ढूँढना मुश्किल या असंभव लगता है
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
HN पर “sharding” term की origin पर चर्चा करते समय भी कुछ ऐसा ही था। बहुत सारे evidence CCA के internal paper की ओर इशारा करते थे और CCA को Xerox ने acquire कर लिया था, लेकिन original paper अब practically मिलना संभव नहीं है
Xerox में कहीं हो सकता है, लेकिन उसे हासिल करना बेहद मुश्किल होगा
https://news.ycombinator.com/item?id=36848605
वहाँ की commemorative plaque Gosset और statistics में उनके योगदान की याद दिलाती है
यह छोटा-सा background जानने के बाद मुझे personally काफी clarity मिली
AWS में मेरी joining के पहले साल मैं DUB1 site पर काम करता था, जो Digital Hub नाम के tech और incubator space का हिस्सा था
संयोग से Amazon का छोटा office William Sealy Gosset की पुरानी laboratory में था, और Guinness control workplace रहे St. Patrick's Tower के ठीक बगल में था
एक former statistics lecturer होने के नाते मैंने colleagues को बड़े उत्साह से बताया कि हम कितनी lucky जगह काम कर रहे हैं, लेकिन लगभग किसी ने प्रतिक्रिया नहीं दी
बहुत पहले मैंने William Sealy Gosset को Irish postage stamp पर commemorate करने के लिए propose किया था, लेकिन कुछ नहीं हुआ; उम्मीद है कि किसी दिन उन्हें और recognition मिलेगा
Guinness अपने समय से बहुत आगे था और कई मायनों में उस दौर का Google जैसा था। housing, ऊँची wages और बेहतरीन benefits तक देता था
मेरे grandfather वहाँ काम करते थे, इसलिए मेरे father के सभी भाई-बहनों ने Guinness swimming pool में तैरना सीखा
एक और मज़ेदार बात यह है कि can में अच्छी foam बनाने वाला widget invention of the year चुना गया था, और वही साल internet के invent होने का साल था
Guinness पर और interesting stories के लिए यह लेख अच्छा है: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
आज हम pub debates को Google से settle करते हैं, उस समय इसी purpose के लिए वह book publish की गई थी
मैं Guinness brewery के पास वाले school में पढ़ता था, और hops उबालने की गंध शायद पूरी जिंदगी नहीं भूलूँगा
लेकिन school कई मायनों में बहुत गरीब था, और 1980s के Ireland में mass unemployment और बड़े पैमाने पर emigration के दौर में भी Guinness ने school football team के equipment को sponsor नहीं किया
irony यह है कि एक alumnus ने कुछ Apple Mac और करीब दर्जन भर Apple IIe donate किए, जिससे उस school में अपने समय से आगे का computer room था
वहीं शायद मैंने BASIC programming खुद सीखते हुए पहली बार skills develop कीं
मुख्य बात पर लौटें तो Guinness हमेशा smart और समय से आगे रहा, और वहाँ नौकरी मिलना lottery जीतने जैसा था—लगभग जिंदगी भर की security
मुझे ऐसी कहानियाँ पसंद हैं
undergraduate statistics textbook में किस्मत से यह बात पता चली थी, और बाद में Dublin में Guinness brewery tour के दौरान भी Gosset पर एक छोटा exhibit था। हालांकि Gosset असल में British side की brewery में थे
organic chemistry में मिली एक और दिलचस्प बात यह थी कि Russian composer Alexander Borodin ने “In the Steppes of Central Asia” और “Prince Igor” लिखे थे, लेकिन composing उनका leisure activity था; उनका main profession organic chemist का था और वे aldol reaction के co-discoverer थे
https://en.wikipedia.org/wiki/Alexander_Borodin
2019 में प्रस्तुति देते समय इस किस्से का ज़िक्र किया था
इसे ठीक से निभाना हो तो मंच पर Guinness लाकर खुद खोलनी पड़ती
यह EuRuKo का वीडियो है, जिसे एक रिटायर्ड ocean liner को होटल और conference space में बदली गई जगह पर शूट किया गया था: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
हैरानी की बात नहीं है। लगभग हर manufacturing industry statistical methods को आज़माने के लिए एकदम सही माहौल लगती है
पैमाना इतना बड़ा होता है कि मामूली फर्क से भी बहुत पैसा बच सकता है, इसलिए फायदा काफी जल्दी दिखने लगता है
t-test ज्यादा advanced techniques की तुलना में सरल होते हुए भी चतुर है, इसलिए यह हमेशा प्रभावशाली लगा
1900 के शुरुआती दौर में खेती और agriculture को analysis of variance, blocking factors, confounding factors, factors·levels·ranges, full factorial design जैसी experimental design techniques से बहुत लाभ मिला
आज F statistic, critical F value जैसी चीज़ें स्वाभाविक मानी जाती हैं
मूल लेख अफसोस की बात है कि Gosset के काम और t-test के मूल बिंदु को कुल मिलाकर चूकता हुआ लगता है
यह वैसा ही तरीका है जो Gosset/Fisher/Pearson/Neyman को आधुनिक ढंग से मिलाकर पढ़ाई गई null hypothesis significance testing से प्रशिक्षित लोग अक्सर अपनाते हैं
अहम बात यह नहीं कि p-value निकाली जा सकती है, बल्कि यह है कि यह false positive rate और false negative rate के बीच trade-off कर आर्थिक रूप से समझदारी भरे निर्णय लेने का decision framework है: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
इस मामले में brewery records में खराब batches का अनुपात testing और tasting के जरिए अच्छी तरह दर्ज था, इसलिए वे तय कर सकते थे कि कुछ संख्या में test samples की cost बचाने के बदले कितने “खराब” batches स्वीकार करने हैं
उदाहरण के लिए, अगर तय किया जाए कि false negative के रूप में 100 खराब batches में से 1 को स्वीकार करेंगे और 20 अच्छे batches में से 1 को reject करेंगे, तो आवश्यक sample size n मिल जाता है
measurements का variance कम करने से वही समझौता हासिल करने के लिए आवश्यक sample size घटता है, और यह discarded material या testing cost में कमी के रूप में सीधे पैसे में बदलता है
sample size जितना छोटा हो उतना अच्छा था, इसलिए Student asymptotic methods या approximations का इस्तेमाल नहीं कर सकता था, और approximations कई digits तक गलत हो सकते थे। यहां तक कि n = 2 वाला test भी आज़माया गया
या वे शायद alcohol content को taxable threshold से ऊपर न जाने देते हुए, ग्राहकों को निराश कर देने जितना कम भी न होने देने के लिए बेहद tight optimization करना चाहते थे
Gosset ने गणना की कि “आवश्यक accuracy, यानी 0.5 accuracy पर 10-to-1 odds पाने के लिए कम-से-कम चार measurements का average इस्तेमाल करना चाहिए,” और Guinness board ने इसका स्वागत किया
अगर यह subjective Bayesian decision theory जैसा सुनाई देता है, तो सही है, लेकिन Student अधिकतर statisticians की तरह इसे अस्वीकार करते, और ज़ोर देते कि वे ज्ञात base rates वाली population से निपट रहे हैं, इसलिए Bayes की जरूरत नहीं है और यह बस frequentist decision theory है
कभी-कभी सोचता हूँ कि t-test असल में उन दो box plots की तुलना में, जिनमें points को jitter करके दिखाया गया हो, या data count के किसी और indication की तुलना में कितना उपयोगी है
अगर box plot में बात साफ नहीं दिखती, तो पर्याप्त points होने की assumption के साथ क्या सिर्फ t-test से सच में कोई convincing argument दिया जा सकता है, यह सोचने वाली बात है
t-test को स्वतंत्र रूप से calculate और verify किया जा सकता है