एंट्रॉपी क्या है?

 (johncarlosbaez.wordpress.com)
2 पॉइंट द्वारा GN⁺ 2024-07-24 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • एंट्रॉपी को सिद्धांततः जानी जा सकने वाली लेकिन अभी अज्ञात जानकारी की मात्रा के रूप में परिमाणित करने की एक छोटी पुस्तक का मसौदा
  • कमरे के तापमान और मानक दाब पर हाइड्रोजन गैस में प्रति अणु लगभग 23 बिट अज्ञात जानकारी के बराबर एंट्रॉपी क्यों होती है, इसे केंद्रीय पहेली के रूप में रखा गया है
  • Shannon एंट्रॉपी और Gibbs एंट्रॉपी से शुरू होकर अधिकतम एंट्रॉपी सिद्धांत, Boltzmann वितरण, तापमान, partition function और free energy तक बात पहुँचती है
  • ऊष्मागतिकी का दूसरा नियम, जीवविज्ञान और ब्लैक होल भौतिकी को जानबूझकर गहराई से नहीं लिया गया है, और एंट्रॉपी को अव्यवस्था के रूप में नहीं समझाया गया है
  • शास्त्रीय सिस्टम की एंट्रॉपी की गणना करने की कोशिश में भी position-momentum space की आयतन इकाई के कारण Planck constant और थोड़ी-सी quantum mechanics की ज़रूरत पड़ती है

पुस्तक का रूप और शुरुआती बिंदु

  • What is Entropy? एंट्रॉपी पर एक छोटी पुस्तक का वर्तमान मसौदा है
  • मूल वैकल्पिक शीर्षक 92 Tweets on Entropy था, लेकिन यह सोचकर कि समय बीतने पर लोग शायद ‘tweets’ क्या होते हैं यह याद न रखें, इसे उपयुक्त नहीं माना गया
  • यह Twitter पर छोटे संदेशों के रूप में की गई एंट्रॉपी-व्याख्यान शृंखला का थोड़ा विस्तृत संस्करण है

एंट्रॉपी को जानकारी के रूप में देखने की परिभाषा

  • एंट्रॉपी का अर्थ है किसी स्थिति के बारे में वह जानकारी जिसे हम अभी तक नहीं जानते
    • वह जानकारी सिद्धांततः सीखी जा सकने वाली होनी चाहिए
    • पुस्तक का फोकस इस विचार को सटीक और परिमाणात्मक अवधारणा में बदलने पर है
  • केंद्रीय प्रश्न यह है कि कमरे के तापमान और मानक दाब पर हाइड्रोजन गैस में प्रति अणु लगभग 23 बिट अज्ञात जानकारी के बराबर एंट्रॉपी क्यों होती है

पहेली सुलझाने के लिए जोड़े गए विचार

  • जानकारी और एंट्रॉपी

    • जानकारी की अवधारणा से शुरू करके Shannon एंट्रॉपी और Gibbs एंट्रॉपी पर चर्चा की जाती है
    • अधिकतम एंट्रॉपी सिद्धांत और Boltzmann वितरण के माध्यम से प्रायिकतामूलक अवस्थाओं को संभालने का तरीका समझाया गया है

  • तापमान, ऊर्जा और partition function

    • तापमान और coolness के साथ एंट्रॉपी और अपेक्षित ऊर्जा के संबंध को जोड़ा गया है
    • equipartition theorem, partition function, अपेक्षित ऊर्जा और free energy एंट्रॉपी की गणना में कैसे जुड़े हैं, यह बताया गया है

  • शास्त्रीय सिस्टम के उदाहरण

    • शास्त्रीय harmonic oscillator की एंट्रॉपी
    • डिब्बे के भीतर शास्त्रीय कणों की एंट्रॉपी
    • शास्त्रीय ideal gas की एंट्रॉपी

वे विषय जिन्हें जानबूझकर शामिल नहीं किया गया

  • ऊष्मागतिकी के दूसरे नियम पर लगभग चर्चा नहीं की गई है
    • एंट्रॉपी हमेशा बढ़ती है, यह कहानी दिलचस्प तो है लेकिन समस्याओं से भरी है; इसे ठीक से समझाने के लिए अलग पुस्तक चाहिए, ऐसा माना गया है
  • जीवविज्ञान और ब्लैक होल भौतिकी में एंट्रॉपी की भूमिका भी बाहर रखी गई है
  • लोकप्रिय भौतिकी पुस्तकों में अक्सर आने वाले एंट्रॉपी के पहलू इस पुस्तक के दायरे से बाहर हैं
  • एंट्रॉपी को ‘अव्यवस्था’ नहीं कहा गया है

शास्त्रीय भौतिकी में भी Planck constant की आवश्यकता

  • भौतिकी की पूर्व-जानकारी की माँग कम रखने के लिए quantum mechanics की व्याख्या को यथासंभव सीमित रखा गया है
  • लेकिन तीन शास्त्रीय सिस्टमों की एंट्रॉपी के सूत्रों में Planck constant आता है
    • Planck constant position-momentum space में आयतन की इकाई देता है
    • इसी आयतन इकाई के बिना उन सिस्टमों की एंट्रॉपी परिभाषित नहीं की जा सकती
  • हाइड्रोजन गैस को जितना संभव हो उतना शास्त्रीय तरीके से लेने पर भी एंट्रॉपी का अच्छा सन्निकट सूत्र पाने के लिए बहुत थोड़ी quantum mechanics चाहिए

गणितीय प्रकृति और पढ़ने का तरीका

  • पुस्तक गणितीय भौतिकीविद् की शैली में अवधारणाओं को सटीक बनाती है और असामान्य प्रतिवादों तक की जाँच में काफी समय लगाती है
  • यह वास्तविक कामकाजी भौतिकीविदों की तुलना में तकनीकी विवरणों पर अधिक देर तक ठहर सकती है
  • यदि तकनीकी सामग्री बहुत धीमी या भारी लगे, तो अगली “tweet” पर बढ़ा जा सकता है
  • सचमुच महत्वपूर्ण बातें बॉक्स के भीतर दी गई हैं
  • अंत तक पढ़ने के बाद विवरणों को दोबारा सीखने का तरीका भी अपनाया जा सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-24
Hacker News की राय

  • Shannon से जुड़ा एक मशहूर किस्सा है: “सबसे ज़्यादा चिंता नाम को लेकर थी. सोचा था इसे ‘information’ कहूं, लेकिन यह शब्द बहुत ज़्यादा इस्तेमाल होता था, इसलिए इसे ‘uncertainty’ कहने का तय किया. John von Neumann से बात की तो उन्होंने बेहतर सुझाव दिया. Von Neumann ने कहा, ‘इसे entropy कहिए. पहला, आपका uncertainty function statistical mechanics में पहले से इसी नाम से इस्तेमाल होता है, इसलिए इसका नाम पहले से मौजूद है. दूसरा और ज़्यादा महत्वपूर्ण कारण यह है कि entropy सच में क्या है, यह कोई नहीं जानता, इसलिए बहस में आप हमेशा फ़ायदे में रहेंगे’”
    Shannon की entropy thermodynamics की entropy जैसी है या नहीं, इस पर चर्चा और संदर्भ इन MathOverflow SE जवाबों (https://mathoverflow.net/questions/403036/john-von-neumanns-...) में देखे जा सकते हैं

  • Shannon entropy को subjective quantity, यानी देखी जा रही चीज़ नहीं बल्कि observer की property के रूप में समझने के बाद ही लगा कि इसे सही से समझ पाया
    variable X की entropy वह information amount है जिसकी जरूरत observer के पास X की value को लेकर uncertainty को 0 करने के लिए होती है. इसलिए उसी variable X के लिए मेरी uncertainty और किसी दूसरे व्यक्ति की uncertainty अलग हो सकती है. यह स्वाभाविक है, क्योंकि हर किसी को X के बारे में अलग-अलग information मिली हो सकती है. H(X) असल में H_{observer}(X), और आगे बढ़कर H_{observer, time}(X) होना चाहिए. Shannon का काम दूसरे पहलुओं में स्पष्ट है, लेकिन इस हिस्से को कुछ हद तक सरसरी तौर पर छोड़ देता है

    • entropy subjective है या objective, इस पर चर्चा करते समय अक्सर जो बात छूट जाती है, वह यह है कि थोड़ा और गहराई में जाएं तो information theory objective और subjective को जोड़ने वाला शक्तिशाली tool देती है
      दो distributions की cross-entropy H[p, q] = -Σ p_i log q_i देखें. उदाहरण के लिए p dice को सच में roll करने पर outcomes की actual frequency distribution हो सकती है, और q मेरी मानी हुई distribution हो सकती है. p_i को objective probability और q_i को subjective probability माना जा सकता है. cross-entropy किसी outcome को observe करने पर औसतन हम कितने हैरान होते हैं, इसे मापने के काफ़ी करीब है
      दिलचस्प बात यह है कि H[p, p] <= H[p, q]. इसका मतलब है कि अगर belief की distribution गलत है, तो सही belief q=p होने की तुलना में cross-entropy बढ़ जाती है. यह log की concavity के कारण guaranteed होता है. इसलिए beliefs की तुलना की जा सकती है: जो q H[p,q] को सबसे कम करता है, वह q truth के अधिक करीब है
      cross-entropy को H[p, q] = H[p] + D[q||p] जैसे दो हिस्सों में भी बांटा जा सकता है. पहला term p की entropy है, यानी model किए जा रहे phenomenon की intrinsic randomness, जिसे aleatoric uncertainty कहा जाता है. दूसरा term KL divergence है, जो गलत belief के कारण अतिरिक्त रूप से पैदा हुई uncertainty, यानी epistemic uncertainty को दिखाता है
    • इससे entropy खुद observer-dependent नहीं बन जाती. Shannon entropy distribution की property है
      अलग-अलग observers के beliefs को मापते समय हम बस अलग-अलग distributions देख रहे होते हैं, और जैसे उन distributions के mean या variance अलग हो सकते हैं, वैसे ही उनकी entropy भी अलग हो सकती है
    • एक सरल उदाहरण के तौर पर, अगर आपको pseudorandom number generator का seed पता है, तो उस generator द्वारा बनाई गई sequence की entropy बहुत कम है
      लेकिन seed न पता हो तो entropy बहुत अधिक है
    • इसी समझ को संक्षेप में कहें तो, “entropy बस उन bits का नाम है जो मेरे पास नहीं हैं”
      entropy + information = पूर्ण description में लगने वाले total bits की संख्या
    • यह objective quantity ही है, लेकिन बहुत सटीक रूप से कहना होगा कि वह quantity किस चीज़ का description कर रही है
      बिना टूटा अंडा low entropy है. अंडे के बिना टूटे मौजूद होने का तरीका सिर्फ एक है, और अंडे की state को 1 bit में represent किया जा सकता है
      टूटा अंडा high entropy है. टूटे हुए टुकड़े कितने तरीकों से पड़े हो सकते हैं, इसकी संख्या मनमानी रूप से बहुत बड़ी है
      टूटे अंडे के हर टुकड़े की position और orientation को latitude, longitude, compass direction के क्रम में sort की गई list फिर से low entropy है. किसी खास टूटे हुए अंडे के एक case के लिए वह list सिर्फ एक ही तरीके से लिखी जा सकती है
      उस list को zip से compress करें तो फिर से high entropy है. .zip file के अंदर का data असल में random जैसा दिखता है और उसे और बड़ा compress नहीं किया जा सकता. ऐसा तब तक है जब तक उसे फिर से decompress न किया जाए
      इसी तरह अगर uncompressed list को bandwidth-limited channel से भेजना पड़े, तो receiver content के बारे में कोई assumption नहीं कर सकता; इसलिए उसमें structure होने पर भी वह random से अलग नहीं है, और entropy प्रभावी रूप से फिर से high हो जाती है

  • statistical mechanics के teacher जो approach इस्तेमाल करते थे, वह सच में बहुत अच्छा था. लगभग हर स्थिति में entropy अंततः system को arrange करने के तरीकों की संख्या का log (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula) बन जाती है
    निजी तौर पर दो dice के result pairs के रूप में सोचना सबसे आसान लगा

    • यह नज़रिया पसंद है, लेकिन “arrange करने के तरीके” के साथ यह समझाना जरूरी है कि यह macroscopic properties बदले बिना arrange करने के तरीकों की संख्या है
      अफ़सोस, Shannon के usage से इसका मेल बहुत सतही अर्थ से ज़्यादा नहीं बैठता, इसलिए यह interpretation मजबूती से physics के क्षेत्र में ही रहता है
    • “arrange किया जा सकता है” वाला हिस्सा tricky है. उदाहरण के लिए combinatorially मौजूद होने पर भी, context में हम जान सकते हैं कि कोई state impossible है, यानी probability distribution 0 है. तब मेरे लिए relevant entropy बदल जाती है
      इसलिए information और entropy अलग हैं. entropy है यह जानना कि मुझे नहीं पता. यह unknown के आकार के बारे में उस knowledge को quantify करना है
      लेख में जो बात मुझे गलत या पर्याप्त रूप से concise नहीं लगती, वह भी यहीं है. नीचे की अभिव्यक्ति मुझे entropy नहीं, बल्कि ‘यह भी न जानना कि मुझे नहीं पता’ तक शामिल करती लगती है:

      I claim it’s the amount of information we don’t know about a situation

    • मैं इस पेज के graph को बस लंबे समय तक देखता रहता हूं
      https://en.wikipedia.org/wiki/Thermodynamic_beta
    • इसे “system को describe करने के लिए जरूरी bits की संख्या” भी कहा जा सकता है. उदाहरण के लिए अगर 2^N equally probable states हों, तो हर state को describe करने के लिए N bits चाहिए

  • सूचना सिद्धांत में entropy को मैंने हमेशा ऐसे सोचा है: “अगर कोई सचमुच स्मार्ट compression algorithm हो, तो इस file को ठीक-ठीक व्यक्त करने के लिए कितने bits चाहिए होंगे?”
    यानी जिस input में बहुत repetition हो, उसमें प्रति bit entropy ज़्यादा नहीं होती, इसलिए वह अच्छी तरह compress हो जाता है। आधुनिक compression algorithms ज़्यादातर data पर काफी अच्छे हैं, इसलिए उन्हें असली entropy के उचित approximation के रूप में इस्तेमाल किया जा सकता है

  • discrete probability distribution की entropy के लिए मुझे यह व्यावहारिक व्याख्या पसंद है। John Baez का लेख मुझे पसंद है, लेकिन PDF सरसरी तौर पर देखने पर लगा कि वह इस नज़रिए को नहीं छूता, जो थोड़ा आश्चर्यजनक था
    distribution को कई bins के histogram की तरह सोचें। तब entropy यह मापती है कि अगर मैं बहुत सारी गेंदें randomly उन bins में फेंकूं, तो गेंदों का distribution उस histogram जैसा दिखने की संभावना कितनी है। आम तौर पर expected चीज़ bins पर uniform distribution होती है, इसलिए entropy यह मापती है कि दूसरे rare events—probability theory की भाषा में typical behavior से large deviations—कितने घटित होंगे
    और ठोस रूप से, अगर P = (P1, ..., Pk) कोई distribution है, तो N बहुत बड़ा होने पर N गेंदें फेंककर P जैसा दिखने वाला histogram मिलने की संभावना लगभग 2^(-N * [log(k) - H(P)]) होती है। यहां H(P) entropy है। अगर P uniform distribution है, तो H(P)=log(k), इसलिए exponent 0 हो जाता है और अनुमानित मान 1 होता है; इसका मतलब है कि overwhelmingly सबसे संभावित histogram uniform distribution है
    क्योंकि यह अधिकतम संभव entropy है, इसलिए दूसरे histograms किसी c > 0 के लिए 2^(-c*N) की probability से दिखाई देते हैं; यानी वे बहुत दुर्लभ हैं और जितनी ज़्यादा गेंदें फेंकेंगे, वे exponentially और दुर्लभ होते जाते हैं। entropy उसी मात्रा को मापती है। “कम uniform” distributions कम संभावित होते हैं, इसलिए entropy किसी अर्थ में uniformity को भी मापती है। large deviation theory में इस ठोस कथन को Sanov’s theorem कहा जाता है, और entropy जो भूमिका निभाती है वह “rate function” की होती है
    entropy की counting interpretation, जिसके बारे में लोग बात करते हैं, high level पर इससे जुड़ी है। Sanov’s theorem में probability “P जैसी दिखने वाली” outcomes की संख्या को total outcomes की संख्या से भाग देने से मिलती है, और numerator सचमुच उन configurations की गिनती करता है जिनमें कोई खास property हो—इस मामले में balls और bins की arrangement P जैसी दिखती हो
    बराबर-बराबर वैध definitions बहुत हैं और हर एक के अपने फायदे और generalizations हैं, लेकिन यह नज़रिया entropy के आसपास की रहस्यमयता हटाने में खास तौर पर मददगार है

    • यहां शायद relative entropy ~ rate function ~ KL divergence कहने का इरादा रहा होगा। यहां मौजूद machine learning वालों के लिए यह ज़्यादा परिचित हो सकता है, और Sanov या large deviations के बारे में curiosity जगाने के लिए अच्छा है

  • PBS Spacetime की entropy playlist: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...

  • information entropy सचमुच यह है कि जब इस information को generate करने वाला probability distribution मालूम हो, तो information को कितनी efficiency से transmit किया जा सकता है; यानी transmission bits की expected संख्या की एक कठोर lower bound
    bit strings या English की information entropy calculate करने के संदर्भ में भी, 0 और 1, characters, n-grams आदि की relative frequencies का इस्तेमाल करके data से empirical probability distribution बनाया जाता है और फिर उस distribution की entropy calculate की जाती है। Baez की definition मुझे बहुत पसंद नहीं है, लेकिन उनकी authority देखते हुए बेधड़क आपत्ति करना मुश्किल है

  • “thermodynamics का second law, यानी entropy हमेशा बढ़ती है, इस बात से मैंने ज़्यादातर बचा है। यह दिलचस्प है, लेकिन इतना कठिन है कि ठीक से समझाने के लिए एक और किताब चाहिए!”
    अगर रुचि हो, तो मैं Arieh Ben-Naim की Entropy Demystified पढ़ रहा हूं; वह लगभग इसी दिशा से इस पहलू को扱ती है

  • कभी-कभी सोचता हूं कि नई entropy/randomness आती कहां से है। अगर universe की सबसे शुरुआती अवस्था को फैलते हुए, अनंत रूप से dense point particle के रूप में देखें, तो कोई randomness या विविधता रही होगी जिसने उसे असमान रूप से expand कराया, और उसी ने matter को antimatter पर हावी किया होगा या galaxies और clusters वगैरह बनने दिए होंगे
    अगर कुछ खास static particles वाले isolated system के बारे में सोचें, तो क्या उन particles का कोई छोटा subset हिलना शुरू करके entropy introduce कर सकता है? क्या entropy कम-से-कम quantum level पर अपने-आप induce हो सकती है? अगर कोई इसे समझा सके, तो universe की origin को बेहतर समझने में मदद मिलेगी

    • इसके अधिकांश के आधार में symmetry breaking नाम की सामान्य घटना है
      classic उदाहरण यह है। कल्पना करें कि एक perfectly symmetric sombrero[1] है, और टोपी के बिल्कुल बीच ऊपर एक गेंद संतुलन में रखी है। गेंद के गिरने की कोई preferred direction नहीं है, लेकिन वह अवस्था unstable है। कोई भी perturbation गेंद को नीचे लुढ़का देगा, और गेंद टोपी के brim पर stable arrangement में रुक जाएगी। मूल arrangement की symmetry अब broken हो गई है, लेकिन वह stable है
      1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
    • इस video ने मेरे लिए बात समझाई। यह German में है, लेकिन auto captions मदद कर सकते हैं:
      https://www.youtube.com/watch?v=hrJViSH6Klo
      इसमें समझाया गया है कि जिस randomness को आप खोज रहे हैं वह quantum fluctuations से आती है, और अगर यह randomness न होती तो universe शायद “घटित” ही नहीं होता