Ilya Sutskever: "अगर आप यह सब सीख लेते हैं, तो आप महत्वपूर्ण चीज़ों का 90% जान जाएंगे"

Ilya Sutskever ने machine learning/AI से संबंधित यह reading list सुझाई है

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• PAGE 434 onwards: Komogrov Complexity
• CS231n Convolutional Neural Networks for Visual Recognition

लिंक संग्रह: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

लगता है Neo bot crawling issue है।

[xguru]

लगता है Reddit इसे ब्लॉक कर रहा है। इसलिए मैंने इसे हाथ से डाल दिया है ;)

[GN⁺]

Hacker News राय

Hacker News टिप्पणियों का सारांश

• शीर्षक इस काम के दायरे को कम करके दिखाता है। अगर आप क्लिक करके देखें कि ये चीज़ें क्या हैं:

  • एक convolutional neural networks पर पूरा कोर्स है लिंक
  • एक 500 पन्नों की पाठ्यपुस्तक है लिंक
  • एक और 80 पन्नों की पाठ्यपुस्तक है लिंक
  • अगर कोई इसे full-time करके करीब 1 साल पढ़े तो शायद संभव हो। प्राथमिकताओं के हिसाब से यह मूल्यवान भी हो सकता है।

• कुछ समय पहले मैंने यह सूची लिंक पर भी कॉपी कर ली थी ताकि wget करना आसान हो जाए (जैसे सभी arxiv pdfs लेना)

  • wget कमांड का इस्तेमाल करके सभी arxiv pdfs डाउनलोड किए जा सकते हैं।
  • एक दोस्त के साथ pdfunite का इस्तेमाल कर इन्हें एक pdf में जोड़ा, और प्रिंट शॉप से spiral-bound किताब की तरह छपवाया। नतीजा बहुत अच्छा था।

• ध्यान रखें कि यह पुष्टि नहीं हुई है कि यही असली सूची है।

  • यह पुष्टि नहीं हुई है कि यह वास्तविक सूची है।
  • कहा जाता है कि यह वही सूची है जो 1 साल पहले Ilya ने John Carmack को दी थी।

• अगर आपका CS background नहीं है, तो इन्हें सीखने के लिए ज़रूरी prerequisites सीखने में कितना समय लगेगा?

  • सूची पढ़कर लगा कि लगभग आधे शीर्षक भी समझना मुश्किल है।
  • सोच रहा हूँ कि क्या इस सूची से शुरू करने पर समझ आ जाएगा, या कहीं और से शुरू करना चाहिए।

• लोग यह भूल जाते हैं कि अगर कोई सही, ठोस लक्ष्य न हो, तो चाहे आप कितने भी core या दिलचस्प papers पढ़ लें, फिर भी कुछ याद नहीं रहेगा।

  • अगर स्पष्ट और ठोस लक्ष्य नहीं है, तो चाहे कितने भी papers पढ़ें, वे याद नहीं रहते।

• अक्टूबर 2022 तक पीछे जाती हुई कुछ पुरानी चर्चाएँ हैं। सोचता हूँ यह सूची अब कितनी पुरानी हो चुकी है।

  • अक्टूबर 2022 से इस पर कुछ चर्चाएँ चली आ रही हैं।

• यह तो बस किसी की bookmarks folder जैसा लग रहा है। इसका क्या सबूत है कि यह Ilya ने recommend किया था?

  • इस बात का कोई सबूत नहीं है कि यह सूची Ilya ने सुझाई थी। यह सिर्फ किसी का bookmarks folder भी हो सकता है।

• यह तर्क कि ML में जो मायने रखता है उसका 90% यही है, थोड़ा साहसिक लगता है।

  • यह दावा कि यह सूची machine learning में महत्वपूर्ण चीज़ों के 90% को कवर करती है, काफी बड़ा दावा है। reinforcement learning या graph neural networks जैसे महत्वपूर्ण विषय इसमें नहीं हैं।

• इसमें llms के बारे में कुछ भी नहीं है, जबकि in-context learning, retrieval augmentation, tool using, और multimodality जैसे क्षेत्र अभी तेज़ी से आगे बढ़ रहे हैं।

  • इस सूची में बड़े language models (LLM) के बारे में कुछ नहीं है। in-context learning, retrieval augmentation, tool use, और multimodality जैसे महत्वपूर्ण विषय इसमें नहीं हैं।

• 30 studies पढ़ लेने का मतलब यह नहीं कि आपने "सीख लिया और समझ लिया"। खासकर अगर आप शून्य से शुरू कर रहे हों।

  • 30 papers पढ़ लेने का मतलब यह नहीं कि आपने "सीख लिया और समझ लिया"। खासकर जब शुरुआत बिल्कुल zero से हो।