बायेज़ियन सांख्यिकी: तीन संस्कृतियाँ

व्यक्तिपरक बायेज़ (Subjective Bayes)

• पारंपरिक व्यक्तिपरक बायेज़ स्कूल data-generating distribution को मानता है (यानी, parameters के function के रूप में likelihood)
• इस मान्यता की शर्त पर, prior beliefs को parameters पर prior distribution के रूप में encode किया जाता है
• इसके बाद posterior inference किया जाता है और फिर पीछे मुड़कर नहीं देखा जाता
• आज यह स्पष्ट नहीं है कि कोई इस दर्शन का कितनी सख्ती से पालन करता है, या खुद को व्यक्तिपरक बायेज़ स्कूल का मानता है

वस्तुनिष्ठ बायेज़ (Objective Bayes)

• "वस्तुनिष्ठ बायेज़" दर्शन उस संयोजन से निकला है जो hypothesis testing (Bayes factor का उपयोग करके) करना चाहता है और Andrew के कहे "Bayes cringe" को तीव्रता से महसूस करता है
• एक प्रमुख समर्थक के पेपर से उद्धरण:

reference analysis वस्तुनिष्ठ बायेज़ inference उत्पन्न करता है, इस अर्थ में कि inferential statements केवल माने गए model और उपलब्ध data पर निर्भर करते हैं, और इस अर्थ में कि inference में उपयोग की गई prior distribution information-theoretic अर्थ में न्यूनतम सूचना रखती है

• conferences आयोजित करने और शीर्षक में "Objective Bayes" वाले books प्रकाशित करने से लगता है कि अब भी बहुत से लोग इस विशेषता वाले काम कर रहे हैं
• BUGS examples में व्यापक रूप से उपयोग होने वाले gamma(epsilon, epsilon) और normal(0, 10_000) priors की पृष्ठभूमि में यह कुछ हद तक मौजूद है

व्यावहारिक बायेज़ (Pragmatic Bayes)

• Andrew उस दर्शन का पालन करते हैं जिसे वे "व्यावहारिक बायेज़" कहते हैं
• यह Gelman, Carlin, Stern, Rubin की किताब "Bayesian Data Analysis" के पहले संस्करण में स्पष्ट रूप से प्रस्तुत है

1. सभी observable और unobservable quantities के लिए एक पूर्ण probability model स्थापित करें, जो joint probability distribution हो। model को आधारभूत scientific problem और data collection process के ज्ञान के अनुरूप होना चाहिए
2. observed data पर condition करते हुए, रुचि की unobservable quantities के लिए conditional probability distribution, यानी उपयुक्त posterior distribution, की गणना और व्याख्या करें
3. model की fit और परिणामी posterior distribution के निहितार्थों का आकलन करें: model data पर कितना अच्छा फिट बैठता है, substantive conclusions कितने युक्तिसंगत हैं, और परिणाम चरण 1 की model assumptions के प्रति कितने sensitive हैं। इसके अनुसार model को संशोधित या विस्तारित किया जा सकता है और तीनों चरण दोहराए जा सकते हैं

• यही वह प्रक्रिया है जिसे Andrew ने अंततः "workflow" नाम दिया

इंजीनियरिंग में मानक संचालन प्रक्रिया

• यह इंजीनियरिंग में "iterative design" कहलाने वाली मानक संचालन प्रक्रिया है
• लगभग पूरा machine learning इसी तरह किया जाता है
• CS और ML पृष्ठभूमि से आने के कारण मुझे यह जानकर झटका लगा कि statisticians इस तरह नहीं सोचते

BDA लिखते समय की रणनीति पर परिशिष्ट

• Andrew कहते हैं कि BDA के पहले संस्करण को लिखने की शुरुआत में उन्होंने दर्शन को छोड़कर सीधे विज्ञान "करने" का स्पष्ट निर्णय लिया था
• उन्होंने और Rubin ने अपनी iterative design प्रक्रिया को कोई नाम नहीं दिया था
• दूसरों की दार्शनिक मान्यताओं का सटीक वर्णन करना कठिन है, और चर्चा के माध्यम से उन्हें बदलना उससे भी कठिन, इसलिए यह एक समझदारी भरा निर्णय था
• यदि scientific method को science philosophy की अस्वीकरण-पंक्तियों की जरूरत पड़े, तो शायद वह बहुत अधिक प्रभावशाली विज्ञान नहीं है

likelihood vs prior distribution पर परिशिष्ट

• मैं Andrew के इस विचार से सहमत हूँ कि prior distribution का चयन likelihood के चयन से अधिक "व्यक्तिपरक" या कम "व्यक्तिपरक" नहीं है
• Andrew ने इसे "likelihood नाम के ऊँट को निगलते हुए prior distribution नाम के मच्छर पर जोर देना" वाले लेख में संक्षेप में कहा है

belief vs knowledge पर परिशिष्ट

• दार्शनिक दृष्टि से मैं prior distribution और likelihood को epistemology के स्तर पर "belief" की बजाय "knowledge" के संदर्भ में वर्णित करना पसंद करता हूँ
• यह वह framework है जिसे Laplace ने पहले प्रस्तुत किया, John Stuart Mill ने और अधिक गहराई से विकसित किया, और Gelman आदि ने BDA में अपनाया

इस पोस्ट की व्युत्पत्ति पर परिशिष्ट

• 1959 में C.P. Snow ने कला बनाम विज्ञान पर प्रसिद्ध निबंध "The Two Cultures" लिखा
• 2001 में L. Breiman ने स्पष्ट रूप से generating process को model करने और बहुत flexible models का उपयोग करने के बीच अंतर पर प्रभावशाली निबंध "Statistical Modeling: The Two Cultures" लिखा
• Breiman ने अपने काम में decision forests का समर्थन किया, और ऐसे Kaggle competitions में जहाँ state-of-the-art neural networks को train करने लायक data पर्याप्त नहीं होता, उनका दृष्टिकोण अब भी जीतता है
• मैं सोचता हूँ कि क्या Andrew decision forests और neural networks को उस चीज़ के उदाहरण के रूप में देखते हैं जिसे उन्होंने "unfolding flower" कहा था

GN+ की राय

• व्यक्तिपरक बायेज़ और वस्तुनिष्ठ बायेज़ जैसे दो पारंपरिक दृष्टिकोण बहुत अतिवादी हैं। व्यावहारिक बायेज़ दृष्टिकोण अधिक यथार्थवादी और उपयोगी मध्य मार्ग देता है
• मैं इस दृष्टिकोण से सहमत हूँ कि prior distribution का चयन likelihood के चयन जितना ही व्यक्तिपरक है। model के सभी components में व्यक्तिपरकता और assumptions शामिल होती हैं
• model का मूल्यांकन करने, predictive performance जाँचने, और जरूरत पड़ने पर दोहराने वाला "workflow" दृष्टिकोण विज्ञान में मानक बनना चाहिए
• पिछले data पर आधारित informative priors का उपयोग दुर्लभ नहीं है, और अधिक Bayesian analyses में इसका उपयोग होना चाहिए
• अंततः Bayesian inference के दर्शन से अधिक, वास्तव में विज्ञान करने पर ध्यान देना समझदारी भरी रणनीति है। हालांकि, कभी-कभी inference की बुनियाद पर चर्चा करना भी मूल्यवान होता है