एंट्रॉपी क्या है? हमारी अज्ञानता को मापने का एक पैमाना

• एंट्रॉपी की शुरुआत 200 साल पहले steam engine की efficiency की सीमा समझने की समस्या से हुई थी, लेकिन आधुनिक physics में इसे दुनिया के किसी स्थिर गुण से अधिक उस जानकारी की मात्रा के रूप में फिर से समझा जा रहा है जिसे प्रेक्षक नहीं जानता
• Carnot, Clausius और Boltzmann के कामों से गुजरते हुए एंट्रॉपी ऐसा विचार बना जिसने समझाया कि heat किस हद तक काम में नहीं बदल पाती और बिखर जाती है, कितनी microstates संभव हैं, और समय एक ही दिशा में क्यों बहता है
• Shannon और Jaynes ने एंट्रॉपी को information और uncertainty की भाषा तक विस्तृत किया, और Gibbs mixing paradox ने दिखाया कि क्या अलग-अलग पहचाना जा सकता है, इससे निकाले जा सकने वाले काम और एंट्रॉपी दोनों बदल सकते हैं
• हाल के शोध प्रेक्षक की सीमित measurement, memory और computation क्षमता को गणित में शामिल करने की कोशिश कर रहे हैं, और observational entropy, information engines, partially observed Szilard engines, तथा quantum thermodynamics प्रयोग इसी दिशा की खोज कर रहे हैं
• इस नज़रिए में पूर्ण efficiency और पूर्ण prediction से अधिक महत्व uncertainty management का हो जाता है, और information को energy extraction, decision-making और छोटी मशीनों की सीमाएँ तय करने वाले एक भौतिक resource की तरह देखा जाता है

---

steam engine की efficiency से शुरू हुई एंट्रॉपी

• एंट्रॉपी की अवधारणा की शुरुआत औद्योगिक क्रांति के दौर की machine efficiency की समस्या से हुई
• 1824 में 28 वर्षीय फ़्रांसीसी सैन्य इंजीनियर Sadi Carnot ने steam engine की अंतिम efficiency की गणना करने की कोशिश की और Reflections on the Motive Power of Fire नाम की 118 पन्नों की किताब प्रकाशित की
• Carnot ने steam engine को ऐसी मशीन माना जो गर्म वस्तु से ठंडी वस्तु की ओर heat के बहने की प्रवृत्ति का उपयोग करती है
  • heat का कितना हिस्सा काम में बदला जा सकता है, इसकी एक सीमा होती है, और यह नतीजा Carnot theorem के नाम से जाना जाता है
  • friction, vibration और अवांछित motion की वजह से कुछ energy हमेशा बिखर जाती है, इसलिए पूर्ण efficiency असंभव है
• 1865 में जर्मन भौतिक विज्ञानी Rudolf Clausius ने उस energy के अनुपात को, जो बेकार रूप में बंध जाती है, “entropy” कहा
  • उन्होंने thermodynamics के second law को इस रूप में औपचारिक बनाया कि “ब्रह्मांड की entropy अपने अधिकतम मान की ओर बढ़ती है”

Boltzmann की प्रायिकतात्मक व्याख्या और समय का तीर

• उस समय के भौतिक विज्ञानी heat को ग़लती से “caloric” नामक द्रव मानते थे, लेकिन बाद में यह समझ स्थापित हुई कि heat molecules की motion से उत्पन्न होती है
• Ludwig Boltzmann ने entropy को probability के रूप में फिर से समझाया
  • हर molecule की स्थिति और वेग जैसी विस्तृत अवस्थाएँ microstates हैं
  • temperature और pressure जैसे समग्र गुण, या checker pieces की कुल व्यवस्था जैसी चीज़ें macrostates हैं
  • किसी एक macrostate को बनाने वाली microstates जितनी अधिक होंगी, entropy उतनी अधिक होगी
• व्यवस्थित आकृति बनाने के तरीके कम होते हैं, जबकि बेतरतीब बिखरी हुई आकृति बनाने के तरीके बहुत अधिक होते हैं
  • इसलिए second law को इस प्रायिकतात्मक वाक्य की तरह समझा जा सकता है कि “साफ-सुथरी अवस्था की तुलना में अव्यवस्थित अवस्था बनने के तरीके अधिक हैं”
• गर्म कणों और ठंडे कणों के अलग-अलग होने की तुलना में उनका मिश्रित होना अधिक संभाव्य है, इसलिए heat गर्म स्थान से ठंडे स्थान की ओर बहती है
• यही तर्क काँच टूटने, बर्फ पिघलने, द्रवों के मिलने और पत्तियों के विघटन जैसी घटनाओं पर भी लागू होता है
  • entropy की वृद्धि उन प्रक्रियाओं पर भी समय के तीर की छाप डालती है जो उल्टी दिशा में भी संभव लग सकती थीं

information theory तक विस्तृत हुई एंट्रॉपी

• द्वितीय विश्व युद्ध के दौरान Claude Shannon communication channels की encryption पर काम करते हुए message में मौजूद information की मात्रा मापना चाहते थे
• Shannon ने knowledge को uncertainty में कमी के रूप में देखा, और अगले character के क्या होने की uncertainty को probability और logarithm से परिभाषित किया
  • यदि सभी characters की probability समान हो, तो Shannon का सूत्र Boltzmann के entropy सूत्र जैसा ही रूप लेता है
  • कहा जाता है कि John von Neumann ने Shannon को इस मात्रा को “entropy” कहने की सलाह दी थी
• जैसे thermodynamic entropy engine की efficiency समझाती है, वैसे ही information entropy communication की efficiency को पकड़ती है
  • high-entropy messages में patterns कम होते हैं, इसलिए अगले character का अनुमान लगाना कठिन होता है और उनकी सामग्री जानने के लिए अधिक yes/no questions चाहिए होते हैं
  • जिन messages में patterns अधिक हों, उनमें information कम होती है और उनका अनुमान लगाना आसान होता है
• 1957 में E.T. Jaynes ने दो papers में thermodynamics को information theory के नज़रिए से फिर से देखा
  • thermodynamics अधूरे particle measurements से statistical inference करने वाले विज्ञान के अधिक निकट है
  • उन्होंने maximum entropy principle प्रस्तावित किया, जो ज्ञात constraints के अनुकूल सभी configurations को समान संभावना देता है
  • यह सिद्धांत statistical mechanics के अलावा machine learning और ecology में भी उपयोग होता है
• अलग-अलग संदर्भों से आए entropy के विचार अंततः uncertainty से जुड़े हुए हैं
  • यदि particles की position और momentum की जानकारी खो जाए तो Gibbs entropy बढ़ती है
  • यदि particles environment के साथ entangle होकर quantum state को धुंधला कर दें तो von Neumann entropy बढ़ती है
  • यदि matter black hole में गिर जाए और बाहरी दुनिया उसकी information खो दे तो Bekenstein-Hawking entropy बढ़ती है

एंट्रॉपी किसकी अज्ञानता है

• आधुनिक समझ में entropy particles की motion, code string के अगले number, या quantum system की सटीक अवस्था के बारे में अज्ञानता को मापती है
• यह नज़रिया जल्दी ही इस प्रश्न तक पहुँचता है: “किसकी अज्ञानता?”
• Carlo Rovelli ने तेल और पानी के हिलाने के बाद फिर से अलग हो जाने की घटना को देखते हुए second law की साधारण “disorder बढ़ती है” वाली व्याख्या में समस्या देखी
  • ऊपर से देखने पर order बढ़ता दिखता है, लेकिन एक ऐसा प्रेक्षक जिसकी thermal vision बहुत शक्तिशाली हो, वह देख सकता है कि अलग होने की प्रक्रिया में molecules में kinetic energy निकलती है और अवस्था thermal रूप से अधिक disorderly बन जाती है
  • macro-level order, micro-level disorder की क़ीमत पर बन सकता है
• Jaynes ने Gibbs mixing paradox के ज़रिए दिखाया कि प्रेक्षक की भेद करने की क्षमता entropy बदल सकती है
  • यदि अलग-अलग gases A और B एक partition से अलग हों और फिर मिलें, तो entropy बढ़ती है
  • यदि दोनों gases समान हों और pressure व temperature भी समान हों, तो partition हटाने पर entropy नहीं बदलती
  • यदि gases वास्तव में अलग हों लेकिन उन्हें अलग पहचानने का कोई तरीका न हो, तो प्रयोगकर्ता के लिए वे एक ही gas की तरह व्यवहार करती हैं
• Jaynes के उदाहरण में argon के दो प्रकार केवल “whifnium” नामक अभी-अनखोजे तत्व में उनकी solubility के हिसाब से अलग थे
  • whifnium की खोज से पहले दोनों को अलग नहीं पहचाना जा सकता था, इसलिए partition हटाने पर entropy में कोई प्रत्यक्ष बदलाव नहीं दिखता था
  • whifnium की खोज के बाद दोनों argon प्रकारों में भेद किया जा सकता था, और mixing से energy निकालने वाला piston डिज़ाइन किया जा सकता था
• entropy और निकाला जा सकने वाला काम केवल system के अंतर पर नहीं, बल्कि प्रेक्षक के ज्ञान और resources पर भी निर्भर करते हैं

प्रेक्षक-निर्भरता को गणित में शामिल करने की कोशिश

• यदि entropy को system का अंतर्निहित गुण न मानकर प्रेक्षक के अनुसार बदलने वाला गुण माना जाए, तो physics की objectivity पर दार्शनिक दबाव आता है
• Anthony Aguirre और उनके सहयोगियों ने observational entropy नाम का एक माप विकसित किया
  • इसमें यह तय किया जाता है कि किसी विशेष प्रेक्षक को कौन-से गुण उपलब्ध हैं, और वे गुण वास्तविकता को कितने मोटे तौर पर वर्गीकृत करते हैं
  • देखे गए गुणों के साथ संगत सभी microstates को Jaynes की तरह समान probability दी जाती है
  • यह सूत्र macroscopic features से संबंधित thermodynamic entropy और microscopic details से संबंधित information entropy के बीच पुल का काम करता है
• कई स्वतंत्र शोध समूह Aguirre के सूत्र का उपयोग second law के अधिक कठोर proofs खोजने के लिए कर रहे हैं
• Aguirre इस माप की मदद से यह और स्पष्ट करना चाहते हैं कि ब्रह्मांड low-entropy अवस्था से क्यों शुरू हुआ, समय आगे ही क्यों बढ़ता है, और black holes में entropy का क्या अर्थ है
• quantum information theory में information को ऐसा resource माना जाता है जिसका उपयोग प्रेक्षक system के साथ interaction में करता है
  • यदि कोई infinite क्षमता वाला supercomputer सभी particles की सटीक अवस्था को track कर सके, तो entropy हमेशा स्थिर रहेगी और information loss नहीं होगा
  • मनुष्यों जैसे सीमित computational resources वाले प्रेक्षक वास्तविकता को मोटे समूहों में बाँटकर देखते हैं और धीरे-धीरे microscopic details खो देते हैं
  • यही प्रवाह समय के बहने के रूप में दिखाई देता है

information engines और decision-making की physics

• 2023 की गर्मियों में Aguirre द्वारा सह-स्थापित FQxI ने इंग्लैंड के Yorkshire में उन physicists को इकट्ठा किया जो यह अध्ययन कर रहे हैं कि information को fuel की तरह कैसे इस्तेमाल किया जाए
• इन शोधकर्ताओं के लिए engine और computer के बीच का अंतर धीरे-धीरे धुंधला होता जा रहा है
  • information को एक वास्तविक, मापी जा सकने वाली physical resource की तरह देखा जा रहा है, जो बताती है कि किसी system से कितना काम निकाला जा सकता है
• Leo Szilard का thought experiment information engine की बुनियाद दिखाता है
  • एक box के भीतर एक single particle partition को धकेलता है, और एक demon रस्सी व pulley के ज़रिए बाहर के वजन को ऊपर उठाता है
  • बार-बार काम हासिल करने के लिए demon को यह जानना होगा कि particle box के किस तरफ है
  • Szilard engine information से संचालित होता है
• information engines भी heat engines की तरह पूर्ण नहीं होते
  • information को measure और store करने में औसतन कम-से-कम उतनी ही entropy पैदा होती है
  • knowledge काम को संभव बनाती है, लेकिन उस knowledge को प्राप्त करने और याद रखने में भी energy लगती है
• Susanne Still लंबे समय से प्रेक्षक को भौतिक सीमाओं वाले एक physical system की तरह देखती रही हैं
  • प्रेक्षक को तय करना होता है कि क्या measure करना है और सीमित memory में क्या store करना है
  • यदि ऐसी information इकट्ठी की जाए जो उपयोगी prediction में मदद न करे, तो energy efficiency घट जाती है
  • Still ने least self-impediment principle प्रस्तावित किया, जिसमें ऐसे information-processing strategies चुने जाते हैं जो physical limits के जितना संभव हो उतना करीब हों
• Still ने तिरछे partition वाले संशोधित Szilard engine से वास्तविक दुनिया की partial observability को model किया
  • उपयोगकर्ता केवल particle की horizontal position देख सकता है, जैसे उसकी shadow
  • यदि shadow partition के पूरी तरह बाएँ या दाएँ हो, तो particle किस तरफ है यह पता चल जाता है, लेकिन बीच के क्षेत्र में यह नहीं पता चलता कि वह ऊपर है या नीचे
  • इस model में optimal measurement और memory-encoding strategy की गणना करने पर machine learning में इस्तेमाल होने वाले information bottleneck algorithm की physical basis से व्युत्पत्ति मिली

प्रयोगशाला के छोटे information engines

• John Bechhoefer और Simon Fraser University के शोधकर्ताओं ने पानी में तैरते धूलकण से भी छोटे silica beads के साथ Szilard engine को दोहराया
  • उन्होंने laser से bead को trap किया और उसकी random thermal fluctuations की निगरानी की
  • bead के ऊपर की ओर डोलने पर laser trap को तेज़ी से ऊपर उठाकर उस motion का उपयोग किया
  • वे information की शक्ति से वजन उठाने में सफल रहे
• Bechhoefer और Still वास्तविक information engines में काम निकालने की सीमाओं का अध्ययन कर रहे हैं
  • उन्होंने पाया कि कुछ क्षेत्रों में information engines पारंपरिक engines से काफ़ी बेहतर प्रदर्शन कर सकते हैं
  • Still के सैद्धांतिक काम से प्रेरित होकर उन्होंने bead की अवस्था के बारे में partial information से पैदा होने वाली inefficiency को भी ट्रैक किया
• Oxford University की Natalia Ares information engines को quantum scale तक छोटा करने के प्रयोग कर रही हैं
  • coaster के आकार की silicon chip पर एक पतली carbon wire के भीतर single electron को trap किया जाता है
  • यह nanotube absolute zero से केवल हज़ारवें हिस्से की डिग्री के भीतर तक ठंडा किया जाता है और guitar string की तरह vibrate करता है
  • vibration frequency भीतर के electron की अवस्था से तय होती है, और शोधकर्ता इन सूक्ष्म vibrations के ज़रिए quantum phenomena के work output का आकलन करना चाहते हैं
• Ares की एक experimental plan Still के विचारों का अनुसरण करती है
  • इसमें यह समायोजित किया जाता है कि nanotube की vibration electron पर कितनी पूर्णता से निर्भर है, या अन्य अज्ञात कारकों पर कितनी निर्भर है
  • यह प्रेक्षक की अज्ञानता की मात्रा को नियंत्रित करने वाला knob बन जाता है
• quantum scale पर यह और जटिल हो जाता है कि कौन-सी entropy संबंधित सीमाएँ तय करती है और work output को कैसे परिभाषित किया जाए
  • Nicole Yunger Halpern के नेतृत्व वाले हालिया शोध से पता चलता है कि entropy production की वे परिभाषाएँ, जिन्हें सामान्यतः समान अर्थ में लिया जाता है, quantum क्षेत्र में एक-दूसरे से अलग हो सकती हैं
  • quantum scale पर कुछ गुणों को एक साथ नहीं जाना जा सकता, और measurement का क्रम परिणामों को प्रभावित कर सकता है
  • Yunger Halpern का मानना है कि quantum world के अतिरिक्त resources का उपयोग Carnot theorem के आसपास नए रास्ते खोजने में किया जा सकता है

uncertainty को संभालने वाले विज्ञान की ओर बदलाव

• सितंबर 2024 में फ़्रांस के Palaiseau में Carnot की किताब के 200 वर्ष पूरे होने पर सैकड़ों शोधकर्ता इकट्ठा हुए
  • प्रतिभागियों ने solar cells से लेकर black holes तक, अपने-अपने शोध क्षेत्रों में entropy की भूमिका पर चर्चा की
  • फ़्रांसीसी National Center for Scientific Research के एक अधिकारी ने Carnot के प्रभाव को कम करके आँकने के लिए फ़्रांस की ओर से माफ़ी जताई
• Carnot की अंतर्दृष्टि की शुरुआत यांत्रिक दुनिया को पूरी तरह नियंत्रित करने की कोशिश से हुई थी, लेकिन जैसे-जैसे entropy प्राकृतिक विज्ञानों में फैलती गई, उसका केंद्र बदलता गया
• entropy का परिष्कृत दृष्टिकोण पूर्ण efficiency और पूर्ण prediction के सपने को छोड़कर दुनिया की irreducible uncertainty को स्वीकार करता है
• order का विघटन हर machine की driving force बनता है, और नया दृष्टिकोण chaos के भीतर छिपे order के भंडार को उजागर कर सकता है
• entropy केवल अपरिहार्य disorder नहीं है, बल्कि ज्ञान की खोज की प्रेरक शक्ति भी है, जो हमें sensing, inference और बेहतर choices करने के लिए प्रेरित करती है

[GN⁺]

Hacker News की टिप्पणियाँ

• यहाँ इस लेख पर चर्चा होते देख अच्छा लगा
  इंटरैक्टिव हिस्सों के technical implementation की जिम्मेदारी मेरी थी, और source code यहाँ देखा जा सकता है: https://github.com/jnsprnw/mip-entropy
  इसे Svelte 5 और Tailwind से बनाया गया है

  • जानना चाहूँगा कि आपने किसी और चीज़ के बजाय Svelte 5 क्यों चुना
    आजकल one-off interactions Svelte में काफी बनते दिखते हैं, इसके क्या फायदे हैं?

• PhD के 27 साल बाद यह लेख पढ़ना दिलचस्प लग रहा है
  theoretical physics में PhD करते समय मैंने entropy को एक driving factor के रूप में देखते हुए अज्ञात चीज़ों की मौजूदगी और गैर-मौजूदगी की तुलना की थी
  मेरी dissertation इस बारे में थी कि किसी cavity के भीतर quantum mechanical system को कैसे handle किया जाए, जहाँ एक तरफ perfect mirror था और दूसरी तरफ 99.999999% perfect mirror था
  imperfect mirror के दूसरी तरफ एक और perfect mirror रखकर 1-dimensional universe पूरा किया गया था, और ASCII में यह [100%] —l— [100-epsilon] ——L——— [100%] था, जहाँ L >> l है
  पूरे universe का solution standard quantum mechanics techniques से सरल था, लेकिन loss वाले छोटे universe का solution ऐसा नहीं था, जबकि physically दोनों समान होने चाहिए थे
  इसलिए मैंने पूर्ण (l+L) universe के exact solution का उपयोग करके, loss को explain करने वाले nonlinear term वाले संभावित छोटे (l) universe models से तुलना की
  lossy system में entropy मौजूद होती है या driving force की तरह काम करती है, और lossless system में सब कुछ conserved रहता है; इन दोनों के बीच संबंध कोई नई insight नहीं है ;-0

  • पढ़ना दिलचस्प था, लेकिन समझ नहीं आया कि किस तरह के mirror की बात है और यह optical mirror है या नहीं, यह भी स्पष्ट नहीं है
    l और L का क्या मतलब है, यह भी नहीं पता, और आखिरी sentence में शायद how हटना चाहिए
  • दिलचस्प है। क्या आप paper का link share कर सकते हैं?

• Sean Carroll को entropy समझाते सुनने के बाद entropy मेरे लिए कहीं ज्यादा दिलचस्प हो गई
  उनका झुकाव foundational और philosophical है, और वे अक्सर बताते हैं कि अलग-अलग philosophical foundations पर आधारित entropy की definitions एक-दूसरे से compete करती हैं और उनमें से एक observer-dependent लगती है
  https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
  https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
  Leonard Susskind की quantum information और black hole entropy calculations पर कई बेहतरीन lectures और books हैं, और इससे काफी radical नई hypotheses निकली हैं
  Stephen Wolfram ने भी entropy concept के इतिहास पर एक लंबा lecture दिया था, जो काफी अच्छा था: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3

  • यह concept जरा भी रोमांचक क्यों है? अब तक मैंने जितने concepts सुने हैं, उनमें यह सबसे depressing है

• “पिछली एक सदी में physicists ने ऊपर से अलग-अलग दिखने वाले fields को unify करने की कोशिश करते हुए entropy को नई रोशनी में देखा, और microscope को देखने वाले व्यक्ति की तरफ वापस मोड़कर disorder की धारणा को ignorance की धारणा में बदल दिया। entropy को system में inherent property नहीं, बल्कि उस system से interact करने वाले observer के relative माना जाता है” — यह हिस्सा, भले ही दिग्गजों के कंधों पर खड़े होने की वजह से हो, मुझे काफी साधारण observation लगता है
  high-entropy state वह macrostate है जिसके corresponding microstates बहुत ज्यादा होते हैं
  कई microstates को एक ही macrostate में classify करना अपने-आप में साफ तौर पर observer-centric function नहीं है क्या?
  उदाहरण के लिए, अगर dice में 5 और 6 को essentially एक ही result माना जाए, तो वह result ज्यादा probable और ज्यादा entropy वाला result बन जाता है
  लेकिन यह मेरी classification की वजह से है, system की inherent property नहीं

  • यह साधारण भी नहीं है, और कम-से-कम physics और thermodynamics की entropy के मामले में सही भी नहीं है
    “high-entropy state वह macrostate है जिसके corresponding microstates बहुत ज्यादा होते हैं” — यह किसी दिए गए model में entropy derive करने का तरीका है
    लेकिन entropy experimental measurement से भी मिल सकती है, और उस समय experimental apparatus microstates या macrostates की परवाह नहीं करता; उसके पास enthalpy, heat capacity, temperature जैसी properties ही होती हैं
    बाद में आप model बना सकते हैं और कह सकते हैं कि किसी gas की entropy ideal gas model की prediction से match करती है, या किसी solid की entropy vibrational entropy के बारे में हमारी जानकारी से match करती है
    hydrogen atoms को indistinguishable कहने का मामला भी ऐसा ही है। वे इसलिए indistinguishable नहीं हो जाते कि हमने ऐसा तय किया है; बल्कि जब दोनों cases की entropy calculate करते हैं, तो reality distinguishable atoms वाले model से match नहीं करती
    केवल साफ-सुथरे models देखने पर macrostate classification observer-centric लग सकती है, लेकिन यह explain नहीं करती कि किसी material की entropy के experimental values experimenter द्वारा इस्तेमाल किए गए model से स्वतंत्र होकर consistent क्यों रहती हैं
    fundamentally, entropy observer पर नहीं बल्कि probability distribution पर निर्भर करती है
  • कौन-सी observation साधारण है, यह किससे तय होता है? अभी आपने जो कहा, वह मुझे insightful और बुद्धिमत्ता दिखाने वाला लगता है
    introductory physics textbooks पढ़ चुके असंख्य students के लिए यह बिल्कुल obvious नहीं है
    असल में entropy को अक्सर गलत तरीके से पढ़ाया गया है, और इसे सही से समझने वाले लोग बहुत कम थे, लेकिन अब लगता है कि यह धीरे-धीरे सुधर रहा है
    popular science magazines, documentaries और YouTube videos जनता को और confuse कर देते हैं, यह भी अतिरिक्त evidence है
  • physics में valid reference frame change की शर्त यह है कि physical laws उस transformation के अनुरूप transform होने चाहिए
    हर observer, experiments करते और scientific method का उपयोग करते समय, वही basic laws खोजे
    आपकी analogy के हिसाब से, 5 और 6 को समान कहना तभी संभव है जब game के rules उस तरह transform हो सकें और दोनों को अलग मानने वाला observer भी अपने reference frame में सही तरह transform किए गए rules तक पहुँचे
    neutron stars और black holes जैसे objects मौजूद हैं, जिनमें quantum physics और general relativity दोनों साथ लागू होते हैं; इसे देखते हुए यह proposition काफी fundamental लगता है, बल्कि इतना कि सोचता हूँ कहीं इसे बहुत strongly तो नहीं कहा गया

• लंबे समय तक मुझे intuition नहीं था कि entropy असल में क्या दर्शाती है
  इस Veritasium video ने आखिरकार इसे समझ में आने लायक तरीके से explain किया: https://www.youtube.com/watch?v=DxL2HoqLbyA

• Heisenberg uncertainty का उल्लेख न होना अफ़सोसजनक है, और मैं इसे इस approach की theoretical upper limit मानता हूँ
  साथ ही, ऐसे quantum engines से संभावित रूप से मिलने वाले useful work की तुलना में computation cost कितनी होगी, यह भी सोचना चाहिए
  अगर computation में लगने वाली energy cost संभावित useful work से ज़्यादा हो, तो यह फिर भी net loss या बेकार काम ही है
  अंत में hidden patterns और randomness के spectrum की समस्या है
  कुछ systems दूसरों की तुलना में ज़्यादा random होते हैं, और reasonable computational energy cost के भीतर useful work पाने की संभावना randomness spectrum में नीचे जाते-जाते घटती जाती है
  जिस system में Heisenberg uncertainty अधिकतम हो—यानी particles entangled न हों और दूसरे entangled particles की higher-order structure से correlate भी न हों—उसमें knowledge improvement की कोई गुंजाइश नहीं होती, इसलिए potential work भी 0 होता है
  यही local systems और macroscopic systems की ultimate entropy है, और शायद dark energy जैसी कुछ energy conservation principle violations का कारण भी यही होगा

• इस साल की शुरुआत में इससे जुड़ा एक thread था
  https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 comments)

• entropy को subjective दिखाने की कोशिश करने वाली interactive graphic मुझे बहुत convincing नहीं लगती
  जिस system पर विचार हो रहा है, उसके macrostate को ठीक से define नहीं किया गया, और फिर दो अलग-अलग macrostates के लिए अलग-अलग observed entropy दिखाई गई
  जैसे Alice के लिए color, Bob के लिए shape
  यह entropy के subjective होने को नहीं, बल्कि system को define करना subjective है यह दिखाता है
  वही दो macrostates हों, तो उनकी entropy अब भी वही होगी

  • इसी तरह की समस्याओं पर बहुत सवाल थे, और ज़्यादातर “subjective होने का मूल क्या है” से जुड़े थे
    लेख इस हिस्से को थोड़ा छूता है, लेकिन पर्याप्त नहीं; शायद literature की स्थिति भी ऐसी ही है
    Safranek आदि का observed entropy पर paper दिलचस्प था, क्योंकि वह दिखाता है कि macrostate के रूप में coarse graining का चुनाव अलग-अलग entropies तक ले जा सकता है, लेकिन मूल सवाल—पहली जगह किसी खास coarse graining या macrostate को क्यों चुना जाए—को नहीं उठाता
    information theory literature में किसी खास coarse graining या macrostate को चुनने की information cost होती है, Kolmogorov complexity वाले अर्थ में cost
    लेख के उदाहरण में, entropy define करने के लिए shape या color चुनने की cost
    इसलिए observed entropy चुनी गई coarse graining की information cost तक को शामिल करने वाली किसी बड़ी entropy या information cost का हिस्सा जैसी लगती है
    यह लेख के बाद के हिस्से में observation cost और information bottleneck की चर्चा से फिर जुड़ता है, लेकिन लेख और linked papers इस differential macrostate cost problem को स्पष्ट रूप से विस्तार से address करते नहीं दिखते
    thermodynamic cost होने की चर्चा तो है, लेकिन वह cost कैसे accumulate होती है, या एक macrostate को दूसरे के बजाय क्यों अपनाया जाता है, यह unclear है
    subjectivity example में Alice और Bob अलग-अलग physical constraints से defined हैं, और उन्हें अलग constraints वाले दो observation systems के रूप में देखा जा सकता है
    एक और नज़रिए से, मान लें कि बहुत सारे particles वाला box “purely random” है
    इस स्थिति में Alice और Bob जो भी देखें, अहम चीज़ particle count आदि है, और color की entropy particle positions पर नहीं बल्कि colors की संख्या पर depend करती है, क्योंकि वह पहले से maximum entropy state में है
    अगर किसी खास property के आधार पर particles को reorganize किया जाए, तो दोनों pure random state से entropy को कुछ मात्रा में कम कर रहे होंगे, और मुझे लगता है कि यह किसी न किसी तरह particles को फिर pure random state में लौटाने के लिए जरूरी information से related हो सकता है
    लेख में science और mathematics के दूसरे क्षेत्रों की ओर बहुत links हैं, और observation की information cost वाली सामग्री computational perspective से Wolpert (2008) और बाद में Rukavicka के ज़रिए mathematics और computer science literature से भी जुड़ती है
    neuroscience literature में भी entropy reduction efficiency जैसे ideas हैं, लेकिन उनसे जुड़े लोगों के नाम अभी याद नहीं आ रहे
    Quanta article वाकई अच्छा था, लेकिन कुछ specific areas में काफी धुंधलापन था, और यह अलग करना मुश्किल था कि वह writing का धुंधलापन है, literature का ही धुंधलापन है, या मेरी समझ की कमी
  • Alice और Bob को अलग-अलग alien species मानें तो शायद बात ज़्यादा समझ में आए
    Alice की species के पास Bob वाली entropy detect करने वाले measurement devices नहीं हैं, इसलिए Alice Bob के system से useful work extract नहीं कर सकती, और उल्टा भी यही है
    इसलिए objective entropy definition में observer की capabilities शामिल होनी चाहिए
    आखिरकार यह macrostate के बारे में आपकी कही बात ही है
  • आपने अच्छी तरह समझा दिया कि यह क्यों खटक रहा था
    मैं ठीक-ठीक पकड़ नहीं पा रहा था, लेकिन हाँ
    system define करने और system की entropy define करने को confuse करके फिर कहा जा रहा है कि entropy subjective है
    ऐसा बिल्कुल नहीं है। entropy बस एक measurement है

• टिप्पणियों में मुझे यह Sabine वीडियो दिखाई नहीं दिया। physics में entropy में दिलचस्पी रखने वालों के लिए यह रोचक हो सकता है
  "I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
  https://m.youtube.com/watch?v=89Mq6gmPo0s
  मैंने entropy को machine learning, information theory और probability के संदर्भ में जाना
  मेरे लिए यह काफी intuitive, दिलचस्प और उपयोगी है, लेकिन इसमें कोई रहस्यवादी बात नहीं है
  probability density function, या चमकदार शब्दों में कहें तो histogram, इस बारे में हमारा मौजूदा सबसे अच्छा ज्ञान है कि कौन-सा परिणाम कितनी बार आने की उम्मीद है
  अगर आप प्रयोग एक बार करें, तो परिणाम पता नहीं चल सकता; आप सिर्फ अलग-अलग परिणामों की संख्या गिन सकते हैं, और यह पक्का नहीं कह सकते कि ठीक कब कौन-सा परिणाम आएगा
  सपाट probability density function का मतलब है कि ज्ञान कमजोर है। सभी परिणाम लगभग समान रूप से संभव हैं, और मैं बहुत अनजान हूं। यानी entropy अधिक है
  नुकीला probability density function का मतलब है कि ज्ञान अच्छा है। कोई परिणाम कहीं ज्यादा संभावित है, और entropy कम है
  चरम स्थिति में, अगर probability density function Dirac delta हो, तो वह deterministic knowledge है
  थोड़ी दिलचस्प बात यह है कि कभी-कभी नया observation ज्ञान को घटा देता है
  उदाहरण के लिए, मान लें कि अभी मुझे काफी भरोसा है कि मुझे कैंसर नहीं है, और मेरी उम्र के लोगों में probability 90:10 है
  कल मैंने test कराया और वह positive आया। मेरी उम्र के लोगों में जिनका result positive आता है, उनमें वास्तव में कैंसर वाले लोग लगभग आधे हैं
  test के बाद मेरी probability 50:50 हो जाती है। अब मैं इस बारे में पूरी तरह अनजान हूं कि मुझे कैंसर है या नहीं
  test से पहले, positive result मिलने से पहले, मुझे बहुत भरोसा था कि कैंसर नहीं है; लेकिन नई जानकारी, यानी positive result, ने cancer probability को नुकीली marginal probability P_Y(y)={0.9,0.1} से पूरी तरह अनजान conditional probability P_Y(y|+ve test)={0.5,0.5} में बदल दिया
  यह उदाहरण DeWeese और Meister के "How to measure the information gained from one symbol" से लिया गया है: https://pubmed.ncbi.nlm.nih.gov/10695762/

• अच्छा लेख है
  entropy और information का subjective स्वभाव सीधे consciousness पर Integrated Information Theory (IIT) और उसके बुनियादी तौर पर व्यर्थ प्रयास की याद दिलाता है
  information पर viewpoint के बिना चर्चा नहीं की जा सकती। किसी को states define करने ही होंगे
  पासे के 6 states होते हैं—यह भी केवल हम मनुष्यों के लिए है। उस चींटी के लिए क्या, जिसके ऊपर पासा गिर सकता है?
  information की चर्चा में observer को फिर से शामिल करना दिलचस्प है। क्योंकि इसके तुरंत बाद सवाल आते हैं: “observer कैसे बना होता है?”, “खरबों cells से बने जीव में viewpoint, यानी ‘मैं’, कैसे पैदा होता है?”
  अगर इस मोड़ में आपकी दिलचस्पी है, तो यह लेख और इसमें उल्लेखित हमारी किताब पढ़ने लायक हैं
  https://saigaddam.medium.com/consciousness-is-a-consensus-me...

  • computer science major और physics में bachelor's degree रखने वाले मेरे लिए, यह बात हमेशा दिलचस्प रही है कि entropy अब भी इतना rough measure है