एंट्रॉपी क्या है?

प्रस्तावना

• एक समय Twitter नाम का एक प्लेटफ़ॉर्म था, जहाँ लोग छोटे संदेशों का आदान-प्रदान करते थे। इसी प्लेटफ़ॉर्म के माध्यम से एंट्रॉपी पर एक संक्षिप्त व्याख्यान दिया गया था, जिसे आगे बढ़ाकर एक छोटी किताब का रूप दिया गया।
• एंट्रॉपी उस सूचना की मात्रा को दर्शाती है जिसे हम किसी स्थिति के बारे में नहीं जानते। इसे मात्रात्मक रूप से समझाने के लिए कई विषयों पर चर्चा की गई है:
  • सूचना
  • Shannon entropy और Gibbs entropy
  • अधिकतम एंट्रॉपी सिद्धांत
  • Boltzmann distribution
  • तापमान और शीतलन
  • एंट्रॉपी, अपेक्षित ऊर्जा और तापमान का संबंध
  • equipartition theorem
  • partition function
  • अपेक्षित ऊर्जा, मुक्त ऊर्जा और एंट्रॉपी का संबंध
  • classical harmonic oscillator की एंट्रॉपी
  • डिब्बे के भीतर classical particle की एंट्रॉपी
  • classical ideal gas की एंट्रॉपी
• ऊष्मागतिकी के दूसरे नियम (एंट्रॉपी हमेशा बढ़ती है) पर चर्चा नहीं की गई है। यह इतना जटिल है कि इसके लिए एक अलग किताब की ज़रूरत होगी।
• quantum mechanics का यथासंभव कम उल्लेख करने की कोशिश की गई, लेकिन classical system की एंट्रॉपी का सूत्र परिभाषित करने के लिए Planck constant आवश्यक है।
• एक mathematical physicist के रूप में, अवधारणाओं को सटीक बनाने और अजीब counterexample खोजने में बहुत समय लगाया गया है। महत्वपूर्ण बातें बॉक्स के भीतर दी गई हैं.

GN⁺ का सार

• यह किताब एंट्रॉपी की बुनियादी अवधारणाओं को आसान ढंग से समझाने का प्रयास है, जो information theory से शुरू होकर statistical mechanics और thermodynamics तक जाती है।
• एंट्रॉपी को 'अव्यवस्था' के रूप में परिभाषित नहीं किया गया, बल्कि उस सूचना की मात्रा के रूप में समझाया गया है जिसे हम नहीं जानते।
• classical system की एंट्रॉपी समझाने के लिए quantum mechanics की न्यूनतम अवधारणाओं का उपयोग किया गया है।
• यह उन लोगों के लिए उपयोगी है जो भौतिकी को गहराई से समझना चाहते हैं, खासकर statistical mechanics और information theory के संबंध को समझने में।
• समान प्रकृति के अन्य प्रोजेक्ट्स में "Theoretical Minimum" श्रृंखला शामिल है।

[GN⁺]

Hacker News की राय

• सूचना सिद्धांत में Shannon ने 'अनिश्चितता' को 'entropy' क्यों नाम दिया, इस बारे में एक दिलचस्प किस्सा है

  • John von Neumann ने 'entropy' शब्द सुझाया था
  • entropy का उपयोग statistical mechanics में पहले से होता था, और बहस में यह फ़ायदेमंद था

• यह समझना ज़रूरी है कि Shannon entropy प्रेक्षक के लिए एक व्यक्तिपरक मात्रा है

  • चर X की entropy वह सूचना की मात्रा है जो प्रेक्षक की अनिश्चितता को 0 करने के लिए चाहिए
  • अलग-अलग प्रेक्षकों के पास अलग जानकारी हो सकती है, इसलिए अनिश्चितता भी अलग हो सकती है

• statistical mechanics में entropy को इस रूप में समझाया जाता है कि किसी system को कितने तरीकों से व्यवस्थित किया जा सकता है, उसके logarithm के रूप में

  • इसे पासे फेंकने के जोड़ों के उदाहरण से सोचना आसान है

• सूचना सिद्धांत में entropy को उन bits की संख्या के रूप में समझाया जाता है जो किसी compression algorithm को किसी file को ठीक-ठीक दर्शाने के लिए चाहिए

  • दोहराव वाला input कम entropy रखता है, इसलिए अच्छी तरह compress हो जाता है

• PBS Spacetime की entropy playlist भी है

• मैं discrete probability distribution की entropy को histogram के ज़रिए समझाने वाले दृष्टिकोण को पसंद करता हूँ

  • जब बहुत सारी गेंदें यादृच्छिक रूप से फेंकी जाती हैं, तो histogram जैसी distribution बनने की probability मापी जाती है
  • जब P distribution से N गेंदें फेंकी जाती हैं, तो histogram के P के बराबर होने की probability 2^(-N * [log(k) - H(P)]) होती है
  • uniform distribution के मामले में entropy सबसे अधिक होती है

• 'Entropy Demystified' किताब entropy के दूसरे नियम को समझाती है

• John Baez का लेख undergraduate शिक्षा में बहुत आनंददायक लगा था

• system के बारे में सैद्धांतिक रूप से ज्ञात की जा सकने वाली सूचना की मात्रा के रूप में entropy को समझाने वाला दृष्टिकोण मुझे पसंद है

  • यह बात हैरान करती है कि Copenhagen interpretation के साथ इसकी अंतःक्रिया का ज़िक्र नहीं किया गया

• information entropy इस बात की एक कठोर lower bound है कि सूचना को कितनी दक्षता से भेजा जा सकता है

  • entropy की गणना probability distribution का उपयोग करके की जाती है