30 Papers - इलिया सुत्सकेवर द्वारा सुझाए गए AI के प्रमुख शोधपत्रों की सूची का सार

baeba · 2026-07-08T09:33:20+09:00

इलिया सुत्सकेवर ने John Carmack को सुझाई थी, ऐसा कहा जाने वाला AI के प्रमुख शोधपत्रों की सूची के आधार पर बनाया गया एक साइट, जिसमें मशीन लर्निंग के मुख्य शोधपत्र शुरुआती पाठकों के लिए आसानी से पढ़े जा सकें, इस तरह संकलित किए गए हैं यह सूची deep learning, computer vision, sequential modeling, attention, Transformer, graph neural networks, scaling laws, information theory, complexity theory आदि के जरिए आधुनिक AI के प्रमुख विकास प्रवाह का अनुसरण करती है इसमें केवल शोधपत्रों की सूची नहीं दी गई है, बल्कि lecture notes, व्याख्यात्मक लेख और code-आधारित explanations भी साथ जोड़े गए हैं, ताकि मूल शोधपत्र तक पहुंचने की बाधा कम हो जो पाठक आधुनिक large language models और deep learning systems को समझना चाहते हैं, वे architecture, learning techniques, complexity theory के शुरुआती बिंदुओं को एक ही जगह देख सकते हैं यह मूल रूप से 30 शोधपत्रों की सूची के रूप में जाना जाता था, लेकिन वर्तमान वेबसाइट पर अभी केवल 27 items व्यवस्थित किए गए हैं परिचय AI के विकास के मुख्य संसाधनों की व्यवस्थित सूची यह वेबसाइट AI research के प्रमुख turning points बनाने वाले शोधपत्रों और learning materials को एकत्र करने वाला एक प्रोजेक्ट है। यह सूची उस चर्चा पर आधारित है कि इलिया सुत्सकेवर ने इसे John Carmack को recommend किया था। वेबसाइट के लेखक के अनुसार, पूरे 30 शोधपत्रों में से अभी केवल 27 ही उपलब्ध कराए जा सके हैं। हर item में शोधपत्र का शीर्षक, मुख्य विचारों का सार, और प्रमुख योगदानकर्ताओं की जानकारी शामिल है। इन सामग्रियों का उद्देश्य उन विचारों को एक नज़र में समझने योग्य बनाना है, जिन्होंने आधुनिक AI तकनीक की नींव रखी। मुख्य भाग कंप्यूटर विज़न और convolutional neural networks का विकास CS231n: Convolutional Neural Networks for Visual Recognition यह convolutional neural networks को बुनियाद से समझाने वाला शैक्षिक संसाधन है। इसमें linear classifier से लेकर deep image recognition models तक को चरणबद्ध तरीके से समझाया गया है। यह computer vision में CNN सीखने के लिए एक शुरुआती संसाधन की तरह काम करता है। ImageNet Classification with Deep Convolutional Neural Networks यह AlexNet शोधपत्र है, जिसने ImageNet प्रतियोगिता में बड़े performance gap के साथ जीत हासिल की थी। इसने बड़े पैमाने की image classification में deep convolutional neural networks की प्रभावशीलता साबित की। इसे आधुनिक deep learning युग की शुरुआत कराने वाले प्रतिनिधि शोधपत्रों में गिना जाता है। Deep Residual Learning for Image Recognition यह ResNet शोधपत्र है, जिसमें residual connections का परिचय कराया गया। इसे इस तरह डिज़ाइन किया गया कि network पूरी transformation नहीं, बल्कि input के मुकाबले बदलाव की मात्रा सीखे। इसने सैकड़ों layers वाले deep neural networks की training को संभव बनाया। Identity Mappings in Deep Residual Networks यह ResNet पर आगे का शोध है, जिसमें बताया गया कि identity shortcut प्रभावी क्यों होता है। इसने pre-activation residual block का प्रस्ताव रखा और residual network संरचना को बेहतर बनाया। इसने deep networks की optimization stability और performance सुधार में योगदान दिया। Multi-Scale Context Aggregation by Dilated Convolutions इसने dilated convolution के जरिए resolution loss के बिना receptive field बढ़ाने का तरीका प्रस्तुत किया। इससे image segmentation जैसे dense prediction tasks में context information का अधिक व्यापक उपयोग संभव हुआ। इसने सूक्ष्म spatial information को बनाए रखते हुए बड़े दायरे के features को शामिल करने में योगदान दिया। sequential models और long-term dependency की समस्या का समाधान The Unreasonable Effectiveness of Recurrent Neural Networks यह character-level RNN के जरिए text generation का प्रयोग दिखाने वाली एक व्यावहारिक blog post है। यह उदाहरणों के माध्यम से दिखाती है कि RNN डेटा के भीतर की संरचना और patterns को काफी हद तक पकड़ सकते हैं। यह sequential data modeling की संभावनाओं को सहज रूप से समझाती है। Understanding LSTM Networks यह LSTM की gate structure और information flow को दृश्य रूप से समझाने वाली सामग्री है। इसका फोकस लंबे sequences में information को बनाए रखने के सिद्धांत को समझने पर है। यह LSTM सीखने वालों के लिए व्यापक रूप से इस्तेमाल होने वाली शुरुआती सामग्री है। Recurrent Neural Network Regularization यह LSTM पर dropout लागू करने का उचित तरीका प्रस्तुत करता है। यह समझाता है कि dropout को recurrent connection पर नहीं, बल्कि non-recurrent connection पर लागू किया जाना चाहिए। इसने बड़े recurrent neural networks में overfitting कम करने में योगदान दिया। Order Matters: Sequence to Sequence for Sets इसने sequence-to-sequence models में input और output order का performance पर असर विश्लेषित किया। यह उन समस्याओं को संबोधित करता है जो तब पैदा होती हैं जब मूल रूप से set-आधारित डेटा को sequential model से संभाला जाता है। यह order-रहित data structures की modeling के तरीकों पर चर्चा प्रस्तुत करता है। attention और Transformer तक पहुंचने वाला संरचनात्मक बदलाव Neural Machine Translation by Jointly Learning to Align and Translate यह machine translation में attention mechanism को पेश करने वाला एक प्रमुख शोधपत्र है। इसने मॉडल को एक fixed summary vector पर निर्भर रहने के बजाय, सीधे संबंधित source words को reference करने में सक्षम बनाया। इसके बाद यह natural language processing models की संरचनात्मक बदलावों की महत्वपूर्ण नींव बना। Pointer Networks यह एक sequence model है जिसे इस तरह डिज़ाइन किया गया है कि output input की किसी विशेष position को point करे। यह उन समस्याओं के लिए उपयुक्त है, जहां सही उत्तर input elements के selection या ordering के रूप में व्यक्त होता है। इसने combinatorial optimization और structural prediction problems के लिए उपयोगी model structure प्रस्तुत की। Attention Is All You Need यह Transformer architecture का प्रस्ताव रखने वाला शोधपत्र है। इसने recurrence को हटाकर केवल self-attention के माध्यम से sequential data को process किया। यह आधुनिक large language models की मुख्य संरचनात्मक नींव बना। The Annotated Transformer यह Transformer शोधपत्र को executable code के साथ line-by-line समझाने वाला संसाधन है। यह मूल शोधपत्र की संरचना को वास्तविक implementation के दृष्टिकोण से समझने में मदद करता है। यह research papers और practical implementation के बीच की दूरी कम करने वाले learning resource की तरह काम करता है। memory, relational reasoning, और graph structure learning Neural Turing Machines यह neural network के साथ read-write external memory को जोड़ने वाला मॉडल है। यह differentiable attention के जरिए memory को control करता है। इसने example data से सरल algorithms सीखने की संभावना दिखाई। A Simple Neural Network Module for Relational Reasoning यह relation network का प्रस्ताव रखने वाला शोधपत्र है। यह neural network में ऐसा module जोड़ता है जो object pairs के बीच संबंधों का inference कर सकता है। इसने visual reasoning और relation-based problem solving के लिए उपयोगी संरचना प्रस्तुत की। Relational Recurrent Neural Networks इसने recurrent network के साथ self-attention-आधारित memory को जोड़ा। इसे इस तरह डिज़ाइन किया गया कि stored memories एक-दूसरे के साथ interact कर सकें। इसका लक्ष्य समय के साथ relational reasoning की जरूरत वाले tasks में performance सुधारना है। Neural Message Passing for Quantum Chemistry इसने graph neural networks को message passing framework के रूप में एकीकृत करके समझाया। इसने molecular structure properties की prediction में graph-based learning को लागू किया। इसे graph neural network research की संरचनात्मक नींव को व्यवस्थित करने वाला शोधपत्र माना जा सकता है। बड़े models की training और scaling laws Scaling Laws for Neural Language Models इसने मापा कि language models का loss, model size, data और compute के अनुसार एक निश्चित power law रूप में घटता है। इसने बड़े पैमाने के models बनाने के लिए empirical आधार प्रदान किया। इसके बाद यह बड़े language models की development strategy के लिए एक महत्वपूर्ण मानदंड बना। GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism इसने giant neural networks को कई devices में बांटकर train करने की pipeline parallelism विधि प्रस्तुत की। इसने devices के बीच काम को कुशलतापूर्वक वितरित करके large-scale model training को व्यावहारिक बनाया। इसने model size scaling के लिए आवश्यक training infrastructure के स्तर पर समाधान दिया। Deep Speech 2: End-to-End Speech Recognition in English and Mandarin यह English और Chinese speech recognition को end-to-end तरीके से संभालने वाला सिस्टम है। इसने speech sequences सीखने के लिए connectionist temporal classification का उपयोग किया। इसने अलग-अलग भाषाई परिवेशों में भी scalable speech recognition model की संभावना दिखाई। information theory, compression, और complexity के नज़रिए से learning को समझना Keeping Neural Networks Simple by Minimizing the Description Length of the Weights यह neural networks की generalization को weights की description length से जोड़कर समझाने वाला शुरुआती शोध है। इसने यह दृष्टिकोण दिया कि अच्छा model वह है जिसके weights कम bits में समझाए जा सकें। यह compression और generalization के बीच संबंध को information theory के नजरिए से समझाता है। A Tutorial Introduction to the Minimum Description Length Principle यह minimum description length principle का परिचय देने वाला tutorial संसाधन है। यह learning को ऐसे process के रूप में समझाता है जिसमें डेटा को सबसे संक्षिप्त रूप से समझाने वाला model खोजा जाता है। यह model selection और compression-आधारित learning को समझने के लिए आवश्यक बुनियादी अवधारणाएं देता है। Kolmogorov Complexity यह उस सिद्धांत से संबंधित है जो किसी string को उत्पन्न करने वाले सबसे छोटे program की लंबाई से जुड़ा है। यह description length और algorithmic randomness की औपचारिक नींव प्रदान करता है। यह AI models में compression, generalization, और complexity की चर्चाओं से जुड़ता है। The First Law of Complexodynamics यह एक लेख है जो यह खोजता है कि बंद systems में complexity पहले क्यों बढ़ती है और फिर क्यों घटती है। यह complexity को सिर्फ entropy के बराबर नहीं मानता, बल्कि एक अलग dynamical property की तरह देखता है। यह complex systems के समय के साथ होने वाले बदलाव पर वैचारिक प्रश्न उठाता है। Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton यह coffee और cream के मिश्रण की प्रक्रिया को cellular automata से मॉडल करने वाला अध्ययन है। यह विश्लेषण करता है कि equilibrium की ओर बढ़ते समय system में complexity कैसे बढ़ती है और फिर घटती है। यह complexity के समयगत बदलाव को मात्रात्मक रूप से समझने के प्रयास को दिखाता है। generative models और universal intelligence की अवधारणा Variational Lossy Autoencoder यह variational autoencoder और autoregressive decoder को जोड़ने वाला मॉडल है। यह बताता है कि latent code कौन-सी information संरक्षित रखे, इसे कैसे नियंत्रित किया जा सकता है। यह generative models में representation learning और information preservation के संतुलन को संबोधित करता है। Machine Super Intelligence यह machine intelligence को सार्वभौमिक रूप से मापने की विधि प्रस्तावित करने वाला doctoral thesis है। यह अत्यंत शक्तिशाली agents के गुणों और परिणामों का सैद्धांतिक अन्वेषण करता है। इसे artificial general intelligence और superintelligence पर चर्चाओं की औपचारिक नींवों में से एक माना जा सकता है। निष्कर्ष आधुनिक AI के प्रमुख विकास-पथ का संक्षिप्त संदर्भ-संग्रह यह सूची आधुनिक AI के विकास को आगे बढ़ाने वाली प्रमुख अवधारणाओं को तकनीकी प्रवाह के अनुसार व्यवस्थित करती है। यह शुरुआती computer vision models से शुरू होकर RNN, LSTM, attention, Transformer, और scaling laws तक पहुंचने वाले संरचनात्मक बदलाव को दिखाती है। इसमें neural network optimization, large-scale learning, graph structure learning, information theory, और complexity theory तक का व्यापक दायरा शामिल है। यह किसी एक क्षेत्र के शोधपत्रों की सूची भर नहीं, बल्कि आधुनिक AI को समझने के लिए एक बहु-स्तरीय learning path के अधिक निकट है। AI researchers और developers के लिए यह तकनीक के ऐतिहासिक संदर्भ, मुख्य सिद्धांतों और research directions को साथ में समझने के लिए बुनियादी सामग्री के रूप में उपयोगी हो सकती है।

(30papers.com)

21 पॉइंट द्वारा baeba 4 시간 전 | 2 टिप्पणियां | WhatsApp पर शेयर करें

इलिया सुत्सकेवर ने John Carmack को सुझाई थी, ऐसा कहा जाने वाला AI के प्रमुख शोधपत्रों की सूची के आधार पर बनाया गया एक साइट, जिसमें मशीन लर्निंग के मुख्य शोधपत्र शुरुआती पाठकों के लिए आसानी से पढ़े जा सकें, इस तरह संकलित किए गए हैं
यह सूची deep learning, computer vision, sequential modeling, attention, Transformer, graph neural networks, scaling laws, information theory, complexity theory आदि के जरिए आधुनिक AI के प्रमुख विकास प्रवाह का अनुसरण करती है
इसमें केवल शोधपत्रों की सूची नहीं दी गई है, बल्कि lecture notes, व्याख्यात्मक लेख और code-आधारित explanations भी साथ जोड़े गए हैं, ताकि मूल शोधपत्र तक पहुंचने की बाधा कम हो
जो पाठक आधुनिक large language models और deep learning systems को समझना चाहते हैं, वे architecture, learning techniques, complexity theory के शुरुआती बिंदुओं को एक ही जगह देख सकते हैं
यह मूल रूप से 30 शोधपत्रों की सूची के रूप में जाना जाता था, लेकिन वर्तमान वेबसाइट पर अभी केवल 27 items व्यवस्थित किए गए हैं

परिचय

AI के विकास के मुख्य संसाधनों की व्यवस्थित सूची

यह वेबसाइट AI research के प्रमुख turning points बनाने वाले शोधपत्रों और learning materials को एकत्र करने वाला एक प्रोजेक्ट है।
यह सूची उस चर्चा पर आधारित है कि इलिया सुत्सकेवर ने इसे John Carmack को recommend किया था।
वेबसाइट के लेखक के अनुसार, पूरे 30 शोधपत्रों में से अभी केवल 27 ही उपलब्ध कराए जा सके हैं।
हर item में शोधपत्र का शीर्षक, मुख्य विचारों का सार, और प्रमुख योगदानकर्ताओं की जानकारी शामिल है।
इन सामग्रियों का उद्देश्य उन विचारों को एक नज़र में समझने योग्य बनाना है, जिन्होंने आधुनिक AI तकनीक की नींव रखी।

मुख्य भाग

कंप्यूटर विज़न और convolutional neural networks का विकास

CS231n: Convolutional Neural Networks for Visual Recognition
- यह convolutional neural networks को बुनियाद से समझाने वाला शैक्षिक संसाधन है।
- इसमें linear classifier से लेकर deep image recognition models तक को चरणबद्ध तरीके से समझाया गया है।
- यह computer vision में CNN सीखने के लिए एक शुरुआती संसाधन की तरह काम करता है।
ImageNet Classification with Deep Convolutional Neural Networks
- यह AlexNet शोधपत्र है, जिसने ImageNet प्रतियोगिता में बड़े performance gap के साथ जीत हासिल की थी।
- इसने बड़े पैमाने की image classification में deep convolutional neural networks की प्रभावशीलता साबित की।
- इसे आधुनिक deep learning युग की शुरुआत कराने वाले प्रतिनिधि शोधपत्रों में गिना जाता है।
Deep Residual Learning for Image Recognition
- यह ResNet शोधपत्र है, जिसमें residual connections का परिचय कराया गया।
- इसे इस तरह डिज़ाइन किया गया कि network पूरी transformation नहीं, बल्कि input के मुकाबले बदलाव की मात्रा सीखे।
- इसने सैकड़ों layers वाले deep neural networks की training को संभव बनाया।
Identity Mappings in Deep Residual Networks
- यह ResNet पर आगे का शोध है, जिसमें बताया गया कि identity shortcut प्रभावी क्यों होता है।
- इसने pre-activation residual block का प्रस्ताव रखा और residual network संरचना को बेहतर बनाया।
- इसने deep networks की optimization stability और performance सुधार में योगदान दिया।
Multi-Scale Context Aggregation by Dilated Convolutions
- इसने dilated convolution के जरिए resolution loss के बिना receptive field बढ़ाने का तरीका प्रस्तुत किया।
- इससे image segmentation जैसे dense prediction tasks में context information का अधिक व्यापक उपयोग संभव हुआ।
- इसने सूक्ष्म spatial information को बनाए रखते हुए बड़े दायरे के features को शामिल करने में योगदान दिया।

sequential models और long-term dependency की समस्या का समाधान

The Unreasonable Effectiveness of Recurrent Neural Networks
- यह character-level RNN के जरिए text generation का प्रयोग दिखाने वाली एक व्यावहारिक blog post है।
- यह उदाहरणों के माध्यम से दिखाती है कि RNN डेटा के भीतर की संरचना और patterns को काफी हद तक पकड़ सकते हैं।
- यह sequential data modeling की संभावनाओं को सहज रूप से समझाती है।
Understanding LSTM Networks
- यह LSTM की gate structure और information flow को दृश्य रूप से समझाने वाली सामग्री है।
- इसका फोकस लंबे sequences में information को बनाए रखने के सिद्धांत को समझने पर है।
- यह LSTM सीखने वालों के लिए व्यापक रूप से इस्तेमाल होने वाली शुरुआती सामग्री है।
Recurrent Neural Network Regularization
- यह LSTM पर dropout लागू करने का उचित तरीका प्रस्तुत करता है।
- यह समझाता है कि dropout को recurrent connection पर नहीं, बल्कि non-recurrent connection पर लागू किया जाना चाहिए।
- इसने बड़े recurrent neural networks में overfitting कम करने में योगदान दिया।
Order Matters: Sequence to Sequence for Sets
- इसने sequence-to-sequence models में input और output order का performance पर असर विश्लेषित किया।
- यह उन समस्याओं को संबोधित करता है जो तब पैदा होती हैं जब मूल रूप से set-आधारित डेटा को sequential model से संभाला जाता है।
- यह order-रहित data structures की modeling के तरीकों पर चर्चा प्रस्तुत करता है।

attention और Transformer तक पहुंचने वाला संरचनात्मक बदलाव

Neural Machine Translation by Jointly Learning to Align and Translate
- यह machine translation में attention mechanism को पेश करने वाला एक प्रमुख शोधपत्र है।
- इसने मॉडल को एक fixed summary vector पर निर्भर रहने के बजाय, सीधे संबंधित source words को reference करने में सक्षम बनाया।
- इसके बाद यह natural language processing models की संरचनात्मक बदलावों की महत्वपूर्ण नींव बना।
Pointer Networks
- यह एक sequence model है जिसे इस तरह डिज़ाइन किया गया है कि output input की किसी विशेष position को point करे।
- यह उन समस्याओं के लिए उपयुक्त है, जहां सही उत्तर input elements के selection या ordering के रूप में व्यक्त होता है।
- इसने combinatorial optimization और structural prediction problems के लिए उपयोगी model structure प्रस्तुत की।
Attention Is All You Need
- यह Transformer architecture का प्रस्ताव रखने वाला शोधपत्र है।
- इसने recurrence को हटाकर केवल self-attention के माध्यम से sequential data को process किया।
- यह आधुनिक large language models की मुख्य संरचनात्मक नींव बना।
The Annotated Transformer
- यह Transformer शोधपत्र को executable code के साथ line-by-line समझाने वाला संसाधन है।
- यह मूल शोधपत्र की संरचना को वास्तविक implementation के दृष्टिकोण से समझने में मदद करता है।
- यह research papers और practical implementation के बीच की दूरी कम करने वाले learning resource की तरह काम करता है।

memory, relational reasoning, और graph structure learning

Neural Turing Machines
- यह neural network के साथ read-write external memory को जोड़ने वाला मॉडल है।
- यह differentiable attention के जरिए memory को control करता है।
- इसने example data से सरल algorithms सीखने की संभावना दिखाई।
A Simple Neural Network Module for Relational Reasoning
- यह relation network का प्रस्ताव रखने वाला शोधपत्र है।
- यह neural network में ऐसा module जोड़ता है जो object pairs के बीच संबंधों का inference कर सकता है।
- इसने visual reasoning और relation-based problem solving के लिए उपयोगी संरचना प्रस्तुत की।
Relational Recurrent Neural Networks
- इसने recurrent network के साथ self-attention-आधारित memory को जोड़ा।
- इसे इस तरह डिज़ाइन किया गया कि stored memories एक-दूसरे के साथ interact कर सकें।
- इसका लक्ष्य समय के साथ relational reasoning की जरूरत वाले tasks में performance सुधारना है।
Neural Message Passing for Quantum Chemistry
- इसने graph neural networks को message passing framework के रूप में एकीकृत करके समझाया।
- इसने molecular structure properties की prediction में graph-based learning को लागू किया।
- इसे graph neural network research की संरचनात्मक नींव को व्यवस्थित करने वाला शोधपत्र माना जा सकता है।

बड़े models की training और scaling laws

Scaling Laws for Neural Language Models
- इसने मापा कि language models का loss, model size, data और compute के अनुसार एक निश्चित power law रूप में घटता है।
- इसने बड़े पैमाने के models बनाने के लिए empirical आधार प्रदान किया।
- इसके बाद यह बड़े language models की development strategy के लिए एक महत्वपूर्ण मानदंड बना।
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- इसने giant neural networks को कई devices में बांटकर train करने की pipeline parallelism विधि प्रस्तुत की।
- इसने devices के बीच काम को कुशलतापूर्वक वितरित करके large-scale model training को व्यावहारिक बनाया।
- इसने model size scaling के लिए आवश्यक training infrastructure के स्तर पर समाधान दिया।
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- यह English और Chinese speech recognition को end-to-end तरीके से संभालने वाला सिस्टम है।
- इसने speech sequences सीखने के लिए connectionist temporal classification का उपयोग किया।
- इसने अलग-अलग भाषाई परिवेशों में भी scalable speech recognition model की संभावना दिखाई।

information theory, compression, और complexity के नज़रिए से learning को समझना

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- यह neural networks की generalization को weights की description length से जोड़कर समझाने वाला शुरुआती शोध है।
- इसने यह दृष्टिकोण दिया कि अच्छा model वह है जिसके weights कम bits में समझाए जा सकें।
- यह compression और generalization के बीच संबंध को information theory के नजरिए से समझाता है।
A Tutorial Introduction to the Minimum Description Length Principle
- यह minimum description length principle का परिचय देने वाला tutorial संसाधन है।
- यह learning को ऐसे process के रूप में समझाता है जिसमें डेटा को सबसे संक्षिप्त रूप से समझाने वाला model खोजा जाता है।
- यह model selection और compression-आधारित learning को समझने के लिए आवश्यक बुनियादी अवधारणाएं देता है।
Kolmogorov Complexity
- यह उस सिद्धांत से संबंधित है जो किसी string को उत्पन्न करने वाले सबसे छोटे program की लंबाई से जुड़ा है।
- यह description length और algorithmic randomness की औपचारिक नींव प्रदान करता है।
- यह AI models में compression, generalization, और complexity की चर्चाओं से जुड़ता है।
The First Law of Complexodynamics
- यह एक लेख है जो यह खोजता है कि बंद systems में complexity पहले क्यों बढ़ती है और फिर क्यों घटती है।
- यह complexity को सिर्फ entropy के बराबर नहीं मानता, बल्कि एक अलग dynamical property की तरह देखता है।
- यह complex systems के समय के साथ होने वाले बदलाव पर वैचारिक प्रश्न उठाता है।
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- यह coffee और cream के मिश्रण की प्रक्रिया को cellular automata से मॉडल करने वाला अध्ययन है।
- यह विश्लेषण करता है कि equilibrium की ओर बढ़ते समय system में complexity कैसे बढ़ती है और फिर घटती है।
- यह complexity के समयगत बदलाव को मात्रात्मक रूप से समझने के प्रयास को दिखाता है।

generative models और universal intelligence की अवधारणा

Variational Lossy Autoencoder
- यह variational autoencoder और autoregressive decoder को जोड़ने वाला मॉडल है।
- यह बताता है कि latent code कौन-सी information संरक्षित रखे, इसे कैसे नियंत्रित किया जा सकता है।
- यह generative models में representation learning और information preservation के संतुलन को संबोधित करता है।
Machine Super Intelligence
- यह machine intelligence को सार्वभौमिक रूप से मापने की विधि प्रस्तावित करने वाला doctoral thesis है।
- यह अत्यंत शक्तिशाली agents के गुणों और परिणामों का सैद्धांतिक अन्वेषण करता है।
- इसे artificial general intelligence और superintelligence पर चर्चाओं की औपचारिक नींवों में से एक माना जा सकता है।

निष्कर्ष

आधुनिक AI के प्रमुख विकास-पथ का संक्षिप्त संदर्भ-संग्रह

यह सूची आधुनिक AI के विकास को आगे बढ़ाने वाली प्रमुख अवधारणाओं को तकनीकी प्रवाह के अनुसार व्यवस्थित करती है।
यह शुरुआती computer vision models से शुरू होकर RNN, LSTM, attention, Transformer, और scaling laws तक पहुंचने वाले संरचनात्मक बदलाव को दिखाती है।
इसमें neural network optimization, large-scale learning, graph structure learning, information theory, और complexity theory तक का व्यापक दायरा शामिल है।
यह किसी एक क्षेत्र के शोधपत्रों की सूची भर नहीं, बल्कि आधुनिक AI को समझने के लिए एक बहु-स्तरीय learning path के अधिक निकट है।
AI researchers और developers के लिए यह तकनीक के ऐतिहासिक संदर्भ, मुख्य सिद्धांतों और research directions को साथ में समझने के लिए बुनियादी सामग्री के रूप में उपयोगी हो सकती है।

2 टिप्पणियां

GN⁺ 2 시간 전

Hacker News की राय

मुझे उम्मीद नहीं थी कि इस पोस्ट को इतना ध्यान मिलेगा, और मूल रूप से मैंने इसे दोस्तों को research paper पढ़ना शुरू कराने में मदद करने वाले एक छोटे प्रोजेक्ट की तरह सोचा था
बैकग्राउंड और animation बहुत ज़्यादा तीखे हैं, ऐसा फीडबैक बहुत मिला, इसलिए लगता है कि usability से ज़्यादा इसे cool दिखाने पर ज़ोर चला गया था
इसलिए मैंने page movement और paper background को अलग-अलग बंद करने के लिए toggle जोड़ दिए हैं
कुछ लोगों ने कहा कि हर paper पर और ज़्यादा व्यक्तिगत राय चाहिए, और कुछ लोकप्रिय papers पर मैंने X के @notmcrowley पर पहले ही ऐसा लिखा हुआ है
अगर इससे मदद मिले तो मैं उसे साइट में जोड़ सकता हूँ, लेकिन मैंने ML या AI की औपचारिक पढ़ाई नहीं की है, इसलिए मेरी व्याख्याएँ पूरी तरह व्यक्तिगत हैं और गलत भी हो सकती हैं
अगर कोई ज़्यादा अनुभवी व्यक्ति योगदान देना चाहता हो तो मुझसे संपर्क कर सकता है
- जिन लोगों ने कभी Twitter इस्तेमाल नहीं किया और आगे भी अकाउंट बनाने का इरादा नहीं है, उनके लिए ऐसी व्यक्तिगत राय साइट पर जोड़ दी जाए तो अच्छा होगा
  मैं भी आपके दोस्तों की तरह research paper पढ़ना शुरू करने की कोशिश कर रहा हूँ, इसलिए यह संग्रह इस समय मेरे लिए बिल्कुल सही सामग्री है
किसी ने X पर यह पोस्ट किया कि “ये Ilya के 30 papers हैं”, लेकिन न कोई source दिया, न यह बताया कि यह कहाँ से आया, और न ही वह Ilya या Carmack से जुड़ा कोई व्यक्ति है
और फिर उसी के आधार पर किसी ने vibe coding से मुश्किल से काम चलाऊ वेबसाइट बना दी, और क्या सचमुच वही HN के पहले पेज पर पहुँचने लायक चीज़ है?
- एक computer science का first-year student किसी विषय में दिलचस्पी लेता है, paper collection site जैसा एक छोटा प्रोजेक्ट बनाता है, और उसे दूसरों के साथ साझा करने के लिए HN पर पोस्ट करता है
  और फिर कोई आकर उस पर खास अच्छे न लगने वाले कमेंट कर देता है, अभी असल में यही हो रहा है
- nerds के लिए resource collection तो बस चारे जैसा होता है
  bookmark और upvote कर दो, फिर कभी वापस आकर मत देखो :)
- साइट पर source कुछ हद तक लिखा हुआ है
  वहाँ लिखा है, “paper list rumored to have been given by Ilya Sutskever to John Carmack”
  Manning के पास Ilya's List नाम की एक किताब भी है
  https://www.manning.com/books/sutskevers-list
- लो, एक और विरोधी आ गया, जैसे पहले से कम थे
मैं ही author हूँ। Trinity College Dublin में computer science का first-year student हूँ, और मैंने यह इसलिए बनाया क्योंकि जब मैं research paper पढ़ना शुरू कर रहा था, तब वे सवाल पूछने में जो शायद दूसरे लोग पहले ही पूछ चुके होंगे, मैंने Claude usage बहुत खर्च कर दिया था
साइट बस एक side project है, और स्पष्ट रूप से अभी work in progress है
मैं सवालों के जवाब दे सकता हूँ या GitHub पर PRs ले सकता हूँ
- animation बंद करके paper links को simple list की तरह दिखाने का option हो तो उपयोगी होगा
- साइट का लक्ष्य क्या है, यह सुनना दिलचस्प होगा
  क्या यह सिर्फ सूची को फिर से host करना है, और papers को नए format में रखना है?
  मुझे कम से कम उम्मीद थी कि हर paper पर आपने जो सीखा, उसे annotation के रूप में जोड़ा होगा
अगर इन्हें recommended या logical reading order में व्यवस्थित किया जाए तो अच्छा होगा
उदाहरण के लिए, attention mechanism को पेश करने वाला paper “Attention Is All You Need” से पहले आना चाहिए
- सहमत। अगर papers logical reading order में हैं, तो यह बात सबसे ऊपर साफ़ लिखी होनी बहुत उपयोगी होगी
शायद यही वह मूल X पोस्ट है जिसने इस सूची को मशहूर किया। यह 2024 में पोस्ट हुई थी और इसके 876K views हैं
https://x.com/keshavchan/status/1787861946173186062
यह सच में Ilya द्वारा बनाई गई सूची है या नहीं, मुझे नहीं लगता कि इस पर बहस करना बहुत मायने रखता है
कई papers को शैक्षिक सामग्री के रूप में व्यापक मान्यता मिली हुई है, जैसे annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks
बाकी कुछ papers ऐसे representative papers हैं, जिन्हें इस क्षेत्र में रुचि रखने वाला कोई भी व्यक्ति पढ़कर कुछ न कुछ पाएगा: Krizhevsky et al. (2012) ने AlexNet पेश किया, Bahdanau et al. (2014) ने attention, He et al. (2015) ने ResNet, और Vaswani et al. (2017) ने Transformer पेश किया
बाकी papers अधिक specialized हैं, लेकिन उनमें OpenAI का Kaplan et al. (2020) शायद सबसे महत्वपूर्ण है
अगर आप beginner हैं और अभी paper पढ़ने के आदी नहीं हैं, तो मैं Welch Labs Illustrated Guide To AI की सिफारिश करूँगा
यह एक खूबसूरत किताब है और इसे पढ़ना आनंददायक था
उसके बाद इन papers को पढ़ने पर शायद और गहरी समझ बनेगी
शुरू में मुझे लगा यह “Ilya द्वारा लिखे गए top 30 papers” हैं, और इसलिए मैं एक पल के लिए उलझ गया कि “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” इस सूची में क्यों है
“वेबसाइट versions को शुरू से अंत तक नहीं पढ़ा” वाली पंक्ति से यह भी साफ़ नहीं है कि website versions से मतलब असल मुख्य पाठ है या “explanations”
दोनों ही हालत में यह बड़ा red flag लगता है
इस सूची को पहली बार देखने के बाद मैंने इन papers को सुनने के लिए PdfToMp3 बनाया था
अब वह ListenDock में विकसित हो चुका है
मज़ेदार बात यह है कि PdfToMp3, NotebookLM से पहले था, और उसमें पहले से “overview” भी था, हालांकि तब उसे teacher explanation कहा जाता था
“Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” paper के लिए “Teacher Explanation” का उदाहरण यहाँ है
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- मुझे समझ नहीं आता कि मैं जब भी यहाँ कुछ पोस्ट करता हूँ तो downvotes क्यों मिलते हैं
  क्या यह बहुत spam जैसा लगता है, या AI होने की वजह से, या फिर कोई downvote bot मेरे पीछे पड़ा है?
Kolmogorov complexity पर कुछ सैद्धांतिक papers नज़र आते हैं
जो लोग परिचित नहीं हैं, उनके लिए: Ilya का तर्क है कि neural networks के generalize करने, यानी आखिर वे काम क्यों करते हैं, इसका कारण यह है कि वे training data को सरल तरीके से समझाने का तरीका प्रभावी रूप से खोज लेते हैं और Kolmogorov complexity की सीमा की ओर अभिसरण करते हैं [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- यह बात सभी statistical models पर लागू होती है, neural networks की कोई जादुई, अलग खासियत नहीं है
सूची को प्रस्तुत करने का तरीका अच्छा है
इन papers को पढ़ने से पहले या पढ़ते समय अगर Ilya के कुछ talks या podcasts भी देख लें, तो पूरी रूपरेखा और अलग-अलग कामों के बीच का संबंध समझने में मदद मिल सकती है
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

आधुनिक LLM/AI में प्रवेश करने के लिए सीखी जा सकने वाली सामग्रियों की सूची देने के लिए धन्यवाद।

-> CNN हमें space को पढ़ना सिखाता है, RNN/LSTM हमें time को याद रखना सिखाता है, attention हमें ज़रूरी information को खोजकर देखना सिखाता है, Transformer उस प्रक्रिया को parallelize करना सिखाता है, GNN/Relation/Memory श्रेणी हमें objects के बीच relations की गणना करना सिखाती है, scaling/infrastructure पेपर हमें उसे बड़े पैमाने पर train करना सिखाते हैं, और MDL/Kolmogorov/complexity श्रेणी हमें यह सोचने का तरीका देती है कि learning आखिर compression और generalization की समस्या क्यों है।

यानी, 27 पेपरों की यह सूची कई कोणों से यह दृष्टिकोण दिखाने वाली सामग्री का एक संकलन है कि “जब intelligent systems अच्छे inductive bias, स्थिर information flow, selective memory, relation calculation, large-scale learning, और compressible structure की खोज के साथ जुड़ते हैं, तब वे शक्तिशाली बनते हैं।”