अनुकूलन के लिए Algorithms [PDF ईबुक, 621p]

 (algorithmsbook.com)
82 पॉइंट द्वारा GN⁺ 2025-12-02 | 4 टिप्पणियां | WhatsApp पर शेयर करें
  • गणितीय अनुकूलन के सिद्धांतों और algorithms के पूरे दायरे को व्यवस्थित रूप से कवर करने वाली पाठ्यपुस्तक, जो continuous और discrete दोनों समस्याओं को समेटती है
  • derivative-आधारित तकनीकों से लेकर stochastic और evolutionary methods तक, विभिन्न approaches को चरणबद्ध तरीके से समझाया गया है
  • constraints, duality, linear·quadratic programming जैसी व्यावहारिक अनुप्रयोगों के लिए आवश्यक गणितीय संरचनाएँ शामिल हैं
  • हर अध्याय में सारांश और अभ्यास प्रश्न दिए गए हैं ताकि सीखने और अभ्यास को साथ-साथ किया जा सके
  • MIT Press के open license (CC BY-NC-ND) के तहत वितरित

प्रस्तावना और अवलोकन

  • यह पुस्तक अनुकूलन समस्याओं के समाधान के लिए algorithms के सिद्धांत और implementation पर आधारित एक पाठ्यपुस्तक है, जिसका दूसरा संस्करण प्रकाशित हुआ है
    • लेखक Mykel J. Kochenderfer और Tim A. Wheeler हैं
    • MIT Press द्वारा प्रकाशित, Creative Commons non-commercial·no-derivatives license के तहत सार्वजनिक
  • प्रस्तावना और आभार के बाद, यह 13 अध्यायों में संगठित है
  • हर अध्याय मुख्य अवधारणाएँ, सारांश, अभ्यास प्रश्न के ढाँचे में बना है, जिससे अध्ययन-केंद्रित संरचना बनी रहती है

अध्याय 1. परिचय

  • अनुकूलन का इतिहास, प्रक्रिया, गणितीय formulation, अनुप्रयोग क्षेत्र परिचित कराता है
  • extrema (minima) और optimality conditions की व्याख्या करता है
  • पूरी पुस्तक का अवलोकन, सारांश और अभ्यास प्रश्न शामिल हैं

अध्याय 2. Derivatives और gradients

  • single-variable और multivariable derivatives की परिभाषा और गणना विधियाँ समझाता है
  • numerical differentiation और automatic differentiation तकनीकें शामिल हैं
  • regression gradients और stochastic approximation method (SPSA) पर चर्चा करता है

अध्याय 3. Bracketing

  • unimodality की अवधारणा और प्रारंभिक interval खोजने की प्रक्रिया समझाता है
  • Fibonacci search, golden-section search, quadratic fit search जैसे interval-आधारित algorithms शामिल हैं
  • Shubert-Piyavskii और bisection विधियाँ भी शामिल हैं

अध्याय 4. Local Descent

  • descent direction iteration और step factor की अवधारणाएँ समझाता है
  • line search और approximate line search तकनीकें शामिल हैं
  • trust region approach और termination conditions पर चर्चा करता है

अध्याय 5. First-Order Methods

  • gradient descent, conjugate gradient, momentum, Nesterov momentum जैसी प्रमुख तकनीकें शामिल हैं
  • AdaGrad, RMSProp, Adadelta, Adam, Hypergradient Descent जैसे आधुनिक optimization algorithms संकलित हैं
  • हर विधि की विशेषताएँ और तुलनात्मक सारांश दिए गए हैं

अध्याय 6. Second-Order Methods

  • Newton’s Method और Secant Method की व्याख्या करता है
  • Levenberg-Marquardt algorithm और Quasi-Newton methods शामिल हैं
  • सारांश और अभ्यास प्रश्न के साथ समाप्त होता है

अध्याय 7. Direct Methods

  • coordinate search, Powell, Hooke-Jeeves, pattern search, Nelder-Mead simplex method आदि का परिचय देता है
  • Divided Rectangles तकनीक शामिल है
  • non-derivative-based optimization approaches पर केंद्रित

अध्याय 8. Stochastic Methods

  • noisy descent, mesh adaptive search, derivative-free optimization जैसी stochastic approaches पर चर्चा करता है
  • simulated annealing, cross-entropy, natural evolution strategies, covariance matrix adaptation (CMA) शामिल हैं
  • probability-based search की efficiency पर ज़ोर देता है

अध्याय 9. Population Methods

  • genetic algorithms, differential evolution, particle swarm optimization (PSO) जैसी population search techniques समझाता है
  • Firefly, Cuckoo Search, hybrid methods शामिल हैं
  • population iteration संरचना के माध्यम से समस्या-समाधान करता है

अध्याय 10. Constraints

  • constrained optimization की मूल अवधारणाएँ और constraint types समझाता है
  • Lagrange multipliers, slack variables, penalty और interior point methods शामिल हैं
  • constraint-removal transformations और method of multipliers पर चर्चा करता है

अध्याय 11. Duality

  • dual problem और primal-dual methods की व्याख्या करता है
  • dual ascent और ADMM (Alternating Direction Method of Multipliers) शामिल हैं
  • distributed optimization methods के अनुप्रयोगों पर चर्चा करता है

अध्याय 12. Linear Programming

  • problem formulation, Simplex Algorithm, dual certificates की व्याख्या करता है
  • linear constraints के तहत optimization structure को व्यवस्थित रूप से प्रस्तुत करता है

अध्याय 13. Quadratic Programming

  • quadratic objective function और linear constraints वाले problem formulation को कवर करता है
  • least squares समस्याएँ और linear inequality constraints पर चर्चा करता है
  • least distance programming शामिल है

परिशिष्ट और अन्य जानकारी

  • हर अध्याय के अंत में सारांश और अभ्यास प्रश्न दिए गए हैं
  • MIT Press द्वारा 2025 संस्करण के रूप में प्रकाशित, non-commercial sharing allowed (CC BY-NC-ND)
  • LaTeX-आधारित typesetting, और संपर्क के लिए bugs@algorithmsbook.com दिया गया है

संबंधित पढ़ाई

4 टिप्पणियां

 
plorrr 2025-12-02

अभी इसे access नहीं किया जा सकता 😢
 
slimeyslime 2025-12-03

https://algorithmsbook.com/optimization/#download
लगता है कि अब लिंक थोड़ा बदल गया है, और यहाँ से PDF देखा या डाउनलोड किया जा सकता है।
 
plorrr 2025-12-03

धन्यवाद!!
 
GN⁺ 2025-12-02
Hacker News टिप्पणियाँ

  • HN मेन पर optimization विषय आया, यह देखकर अच्छा लगा
    मैं अपनी बनाई LP visualization site साझा करना चाहता हूँ। इसमें देखा जा सकता है कि Linear Programming algorithms constraints या objective function बदलने पर कैसे प्रतिक्रिया देते हैं
    demo page में जाने पर polygon अपने-आप बनता है, और vertices या constraint lines को drag करते हुए algorithm की iteration देखी जा सकती है
    अभी यह पूरी तरह polished नहीं है, लेकिन जिन्हें visual learning पसंद है, उनके लिए यह मज़ेदार हो सकता है। feedback का स्वागत है

    • मुझे यह सच में एक शानदार प्रोजेक्ट लगता है

  • मैं metaheuristics से जुड़ी कुछ सामग्री साझा करना चाहता हूँ

    • Essentials of Metaheuristics (Sean Luke)
    • Clever Algorithms (Jason Brownlee)
      जहाँ मैं काम करता हूँ, Timefold में हम इन किताबों में आने वाले Tabu Search, Simulated Annealing जैसे algorithms का उपयोग करके approximate optimal solutions जल्दी खोजते हैं
      Timefold documentation का local search algorithm diagram भी देखने लायक है
    • Timefold दिलचस्प लग रहा है। क्या आपने कभी InfoBax जैसे प्रोजेक्ट को भी देखा है?

  • यह 521 पन्नों की CC license optimization textbook है, और यह वाकई शानदार लगती है
    शुरुआती हिस्से में automatic differentiation आधारित आधुनिक gradient-based algorithms (जैसे Adam) हैं, और बाद के हिस्से (अध्याय 12) में linear optimization (simplex आदि) है
    इसमें अभ्यास प्रश्न भी बहुत हैं, और मैं लंबे समय से ऐसी ही किसी किताब का इंतज़ार कर रहा था
    मेरा मानना है कि optimization algorithms सिर्फ समस्याएँ हल करने के लिए नहीं हैं, बल्कि वे “general problem solver” की ओर एक प्रयास हैं। इसमें program सीधे answer नहीं ढूँढता, बल्कि पहले यह परिभाषित किया जाता है कि ‘answer का रूप कैसा होगा’, और फिर उस पर optimization लागू किया जाता है
    मौजूदा AI भी इसी approach पर आधारित है

    • इससे no free lunch theorem याद आती है, जिसके अनुसार एक पूर्ण general problem solver असंभव है

  • Kochenderfer की यह किताब और उनकी पिछली पुस्तक Decision Making Under Uncertainty(PDF) मेरी पसंदीदा तकनीकी किताबों में हैं
    इसकी व्याख्या स्पष्ट है, visualizations बेहतरीन हैं, और यह gradient descent के अलावा optimization को देखने के कई तरीके कवर करती है
    code Julia में है, लेकिन उसे दूसरी भाषाओं में ले जाना मुश्किल नहीं है। भाषा में अटकने के बजाय concepts पर ध्यान देना चाहिए
    optimization सिर्फ एक technique नहीं, बल्कि कठिन समस्याओं को हल करने का एक सोचने का तरीका है

    • व्यावहारिक समस्या-समाधान के लिए off-the-shelf solver का उपयोग करना भी अच्छा रहता है। उदाहरण के लिए, अगर किसी समस्या को MILP या SMT के रूप में दोबारा formulate किया जाए, तो जल्दी एक baseline performance मिल सकती है। इससे specification और computation को अलग-अलग सोचने की आदत बनती है
    • optimization सीखने के लिए क्या और कोई recommended resources हैं? मैं काम में multi-armed bandit का अक्सर उपयोग करता हूँ, लेकिन दूसरे algorithms भी explore करना चाहता हूँ
    • Kochenderfer की दूसरी textbooks की सूची official site पर देखी जा सकती है
    • Julia example code को LLM से automatically convert भी किया जा सकता है

  • यह किताब CMA-ES, surrogate model, Gaussian process आदि को एक ही जगह कवर करने वाली दुर्लभ सामग्री है
    अगर मेरे undergraduate research के समय ऐसी किताब होती, तो बहुत मदद मिलती। पहले ये बातें कई papers और किताबों में बिखरी हुई थीं

  • मैंने PhD के दौरान इस किताब को कई बार ध्यान से पढ़ा था। मैं neural networks और numerical analysis पर शोध कर रहा था, और इसमें depth और breadth का संतुलन बहुत अच्छा है
    आज भी मैं इसे reference book की तरह अक्सर इस्तेमाल करता हूँ

  • मुझे यह देखकर हैरानी हुई कि किताब में Firefly, Cuckoo Search जैसे metaheuristics भी शामिल हैं
    इन algorithms पर अकादमिक जगत में भरोसा नहीं किया जाता, और ITOR paper में भी इनकी आलोचना की गई है
    सिर्फ ऐसे तरीकों पर काम करने वाला एक छोटा समुदाय आपस में एक-दूसरे को cite करके bubble बना रहा है। conferences में भी इस पर कभी-कभी विवाद होता है

  • multiobjective optimization वाला chapter बहुत बढ़िया था
    क्या इस विषय पर केंद्रित कोई दूसरी किताब या सामग्री है?

  • क्या कोई इस किताब की तुलना Nocedal & Wright की Numerical Optimization से कर सकता है?

    • यह किताब कई methods को encyclopedic तरीके से व्यापक रूप में कवर करती है, लेकिन practical usage को गहराई से नहीं समझाती। दूसरी ओर, Nocedal & Wright graduate-level textbook है, जो कुछ core algorithms को गहराई से समझाती है। उदाहरण के लिए, Interior Point Method इस किताब में 2–3 पन्नों का सार है, जबकि Nocedal & Wright में उस पर पूरा एक chapter (लगभग 25 पन्ने) है
    • अगली बार अच्छा होगा अगर आप पहले किताब का शीर्षक (Numerical Optimization, Jorge Nocedal & Stephen J. Wright) बता दें