जब भी Karpathy कंपनी छोड़ते हैं, ऐसा लगता है कि वे अपने खाली समय में शानदार शैक्षणिक सामग्री बनाते हैं और पूरा क्षेत्र एक स्तर ऊपर चला जाता है
कोई उदाहरण है? मैं इस क्षेत्र से इतना परिचित नहीं हूँ
सही बात, इस बार अगर open source से जुड़ा कंटेंट बहुत निकले तो अच्छा होगा
Karpathy वाकई बहुत शानदार शिक्षक हैं। मैंने उनकी computer vision class ली थी, और चाहता हूँ कि वे और ज़्यादा पढ़ाएँ और उसे गंभीरता से करें
AI में लोकप्रिय influencer होना यह नहीं दिखाता कि कोई अच्छा researcher भी है, और अच्छे business leader या founder होने से तो इसका शायद काफ़ी नकारात्मक संबंध दिखता है
काश वे वापस उसी खोई हुई कला की तरफ़ लौटें जिसकी आज बहुत ज़रूरत है—जटिल चीज़ों को सुरुचिपूर्ण ढंग से समझाना—और इसे आराम से करें, और Silicon Valley के ठगों के साथ समय बर्बाद करने की दिशा में बहुत ज़्यादा न मुड़ें
जितना सोचता हूँ, उतना लगता है कि अपनी tweet का सीधे Hacker News के पहले पेज पर पहुँच जाना किसी इंसान को काफ़ी प्रभावित कर सकता है। नाम और प्रभाव के कारण प्रस्ताव और मौके तो उमड़ते हैं, लेकिन ज़रूरी नहीं कि वही जगह उसके लिए सबसे उपयुक्त भी हो
काश ज्ञान को ठीक से इनाम मिलता। YouTube शायद इसके सबसे क़रीब लगता है, लेकिन YouTube educators भी यह दिखाते हैं कि विशेषज्ञता सिखाने के बजाय views खींचने में उन्हें कितना समय लगाना पड़ता है
नाम और प्रभाव के कारण प्रस्तावों का आना, जबकि वास्तविक उपयुक्तता कुछ और हो सकती है, दुख की बात है लेकिन जीवन का एक संक्षिप्त रूप जैसा लगता है। किसी ख़ास भूमिका के लिए सबसे उपयुक्त व्यक्ति का वह जगह पा लेना दुर्लभ है; लोग overqualified कहकर छाँट दिए जाते हैं, hiring चरण में बाहर हो जाते हैं, या office वापसी की मांग, counteroffer ठुकराना, या गैर-प्रकट अवैध कारणों जैसे धुंधले बहानों से रिजेक्ट हो जाते हैं
खेल ख़ास अच्छा नहीं है, इसलिए जो लोग अपने हाथ में आए पत्तों का उपयोग करते हैं उन्हें दोष देना मुश्किल है
कभी-कभी लगता है कि पूरे पेशे के रूप में पढ़ाने के काम को और ज़्यादा महत्व मिलना चाहिए। मैं research किए बिना पढ़ाकर अपनी जीविका चलाना चाहता हूँ
मेरा मानना है कि अच्छे शिक्षक बेहतरीन researcher बनते हैं। उन्हें अपने क्षेत्र की बहुत गहरी समझ चाहिए, ज़रूरी सवालों का अनुमान लगाना और उन्हें ख़ुद पूछना आना चाहिए, हमेशा नए नज़रिये से क्षेत्र को देखना चाहिए, सहयोग भी अच्छा होना चाहिए, और सबसे बढ़कर communication skill अच्छी होनी चाहिए
Karpathy जैसे बेहतरीन educators किसी चीज़ को बिलकुल बुनियाद से बनाते हैं और उसे इस तरह समझाते हैं कि मैं समझ सकूँ। सोचता हूँ कि यह instructor की क्षमता का सवाल है, या फिर मेरे जैसे छात्र की यह कमी कि मैं दूसरी सामग्री समझने लायक नहीं हूँ
एक छोटी-सी सुधार: “b-lined” नहीं, bee-lined है
आम तौर पर मैं ऐसी बात नहीं बताता, लेकिन “b-lined” का अर्थ उल्टा भी पढ़ा जा सकता है, जैसे “B-list celebrity” की तरह कम प्राथमिकता वाला
ईमानदारी से कहूँ तो OpenAI तेज़ी से अपनी चमक खोता हुआ लग रहा है
plugins असफल रहे, GPTs थोड़ा बेहतर हैं लेकिन अभी भी product-market fit नहीं दिखता। GPT-4 अब भी सिंहासन पर है, लेकिन पहले जितना दबदबा नहीं रहा, और क्योंकि वे papers प्रकाशित नहीं करते, यह भी साफ़ नहीं कि वे research अच्छा कर रहे हैं या नहीं
अब GPT-5 को बेहद शानदार होना पड़ेगा, लेकिन पता नहीं सच में होगा भी या नहीं
मुझे पता है यह क्षेत्र ख़ास तौर पर बहुत तेज़ी से बदलता है, लेकिन GPT-4 को आए अभी एक साल भी नहीं हुआ। अगर वे हर quarter कोई भूकंपीय नया model नहीं ला रहे तो यह कहना कि वे चमक खो रहे हैं, थोड़ा हास्यास्पद लगता है
लोकप्रियता के विस्फोट और ethics से जुड़े सवालों के ज़्यादा अहम हो जाने के साथ, शायद बिना सोचे-समझे पहले जारी करने के बजाय कुछ चीज़ों को ठीक से तराशने के लिए समय चाहिए
मैंने अभी Gemini Ultra इस्तेमाल किया, और यह GPT-4 से इतना ख़राब था कि काफ़ी झटका लगा। बस थोड़े से coding सवालों पर भी यह हर बार ऐसी नई syntax hallucinate करता रहा जो मौजूद ही नहीं है, और बार-बार पूछता रहा कि क्या मैं option A या B से आगे बढ़ना चाहता हूँ, जबकि वे न काम करते थे न वास्तव में अस्तित्व में थे—पूरा अनुभव अजीब और झुंझलाहट भरी समय-बर्बादी था
आख़िरकार, एक घंटा सिर्फ़ इस कोशिश में लगाने के बाद कि यह कम-से-कम मेरी माँगी हुई भाषा में output दे दे, मुझे समझ आया कि यह पूरी तरह बेकार है
यह हैरानी की बात है कि Google इतना पीछे है और उसने इतनी बेकार चीज़ जारी की। ऊपर से उसके पैसे भी लेना चाहता है—काफ़ी हिम्मत है
बेशक GPT-5 का इंतज़ार है, लेकिन थोड़ा-सा भी सुधार हुआ तो OpenAI अब भी काफ़ी आगे रहेगा
अगर आप Ollama के साथ 80GB Mistral model चलाएँ, तो वह ChatGPT 3.5 जितना या उससे बेहतर काम करता है। मेरी नज़र में यह दुनिया के लिए अच्छी बात है कि जादू अब सिर्फ़ OpenAI तक सीमित नहीं रहा
हैरानी इस बात की है कि प्रतियोगियों ने सिर्फ़ पिछले 3 महीनों में ही कितनी तेज़ी से बराबरी की है
अगर OpenAI सच में तेज़ी से अपनी चमक खो रहा है, तो अच्छा ही है
मुझे बिल्कुल नहीं पता उस कंपनी के अंदर वास्तव में क्या हो रहा है, लेकिन जब Altman को हटाया गया था तब कर्मचारियों ने Twitter पर जो बर्ताव दिखाया, वह सच में डरावना था और खतरे के संकेतों और बुरे माहौल से भरा हुआ था
यह शायद अलोकप्रिय राय हो, लेकिन मेरा मानना है कि Karpathy की प्रतिष्ठा और प्रभाव लगभग पूरी तरह इस बात से आता है कि वे एक बेहतरीन शिक्षक और communicator हैं
उस प्रतिष्ठा की तुलना में AI को आगे बढ़ाने में उनका वास्तविक योगदान कितना था, यह मुझे स्पष्ट नहीं है
उनकी शैक्षणिक सामग्री के लिए मैं गहराई से आभारी हूँ, और यह अच्छी बात है कि उसके कारण वे प्रभाव हासिल कर पाए और अपना करियर बनाए रख पाए। उम्मीद है कि वे उससे इतना अमीर हो चुके होंगे कि 100% शिक्षा पर ध्यान दे सकें
मैं सहमत नहीं हूँ। मुझे लगता है कि शानदार शैक्षणिक सामग्री की कीमत को अक्सर कम आँका जाता है। Karpathy ने AI जैसे क्षेत्र में नई ऊर्जा भरी, जो अक्सर अत्यधिक जटिल और बहुत घनी गणितीय व्याख्याओं से भरा रहता है
उदाहरण के लिए CS 231 Stanford की सबसे लोकप्रिय AI/ML कक्षाओं में से एक थी। अगर आप 2015~2017 के आसपास वह कोर्स लेने वाले और बाद में AI में आगे बढ़े छात्रों की संख्या देखें, तो यह कहना अतिशयोक्ति नहीं होगी कि उसका बड़ा श्रेय उस कोर्स को जाता है
जो शिक्षक कदम-दर-कदम मार्गदर्शन करते हुए दिखा सके कि चीज़ें कितनी सरल हो सकती हैं, वह बेहद मूल्यवान होता है। वह क्षेत्र में प्रवेश की बाधाएँ कम करने में केंद्रीय भूमिका निभाता है
लंबी अवधि में, Karpathy द्वारा बनाई गई सामग्री के जरिए AI में आए नए लोग ही बड़े breakthroughs लाएँगे। उनका “Hacker's Guide to Neural Networks” लगभग 10 साल पुराना होने के बावजूद, backpropagation को समझने में सबसे स्पष्ट ‘आहा’ क्षण देता है
शिक्षा और संचार महत्वपूर्ण हैं। वे नए लोगों को इस क्षेत्र में लाते हैं, और जो पहले से इसमें हैं उन्हें भी आगे बढ़ाते हैं, और दोनों ही दीर्घकालिक विकास और प्रगति के लिए आवश्यक हैं
केवल गैर-शैक्षणिक गतिविधियों को “वास्तविक योगदान” कहना, प्रगति की यात्रा में महान शिक्षकों की भूमिका को पूरी तरह कम करके आँकना है। अगर ऐसी शिक्षा न होती, तो हम आज कहाँ होते?
उन्होंने AI को आगे बढ़ाने में योगदान दिया है। उसके आगे “वास्तविक” जैसा qualifier जोड़ने की ज़रूरत नहीं है। एक महान शिक्षक को खोना उतना ही अफसोसजनक माना जाना चाहिए जितना एक महान engineer को खोना
Karpathy ने image captioning में अग्रणी शोध किया और vision-text semantic space को align किया। यही आधुनिक image generators की वैचारिक नींव है
उन्होंने recurrent neural networks का शानदार विश्लेषण भी किया, और language models के भीतर क्या हो रहा है, इस पर शुरुआती और बेहतरीन व्याख्याओं में से एक दी
Hacker News का comment section किसी के resume का सार्वजनिक मूल्यांकन करने के लिए कल्पना किए जा सकने वाले मंचों में सबसे कम वैधता वाला स्थानों में से एक है। शायद संसद को छोड़कर
उन्होंने कहा, “अभी की योजना कुछ personal projects पर काम करने और देखना है कि क्या होता है। जो लोग लंबे समय से मुझे फॉलो कर रहे हैं, उन्हें अंदाज़ा होगा कि वह कैसा दिख सकता है।” क्या यहाँ किसी को पता है?
लगता है वे उनकी YouTube series की बात कर रहे हैं। उत्सुकता है
उनकी पुरानी profile में लिखा था कि वे OpenAI में JARVIS बना रहे थे
वे अपनी video series में GPT-3 का एक छोटा और efficient version बना रहे थे
GitHub पर देखा जा सकता है: https://github.com/karpathy
उन्हें open source models में भी रुचि है और वे /r/localllama पर भी हैं
कहानी कहने की क्षमता और Rubik’s cube सुलझाने की कला भी है, तो बच्चों की पार्टी में भी वे काफ़ी अच्छा कर सकते हैं। साथ ही सिखा भी सकते हैं और बना भी सकते हैं। Everest अभी तक नहीं चढ़े क्या?
पूरी तरह सहमत। वह शानदार short story थी। कभी उसे और विस्तृत रूप में देखना चाहूँगा
क्या वे YouTube channel पर पूरा ध्यान देने वाले हैं? उत्साहित हूँ। उनका content सच में शानदार है
मैं भी उत्साहित हूँ। लगभग 8 साल पहले उन्होंने जो char-rnn जैसे recurrent neural networks के लिए Python miniatures जारी किए थे, वे सीखने में सच में बहुत मददगार थे
ऐसा करने पर लगता है वे कई million dollars छोड़ रहे होंगे। बेशक उनकी आर्थिक स्थिति अच्छी होगी और वे जल्दी retirement भी ले सकते हैं, लेकिन फिर भी कई million dollars बहुत बड़ी रकम है
उस लेख पर कड़ा paywall है, इसलिए मैं वहाँ के comments को यहाँ merge कर दूँगा। कृपया थोड़ी देर इंतज़ार करें
उनके pinned tweet “सबसे hot नई programming language अंग्रेज़ी है” को देखते हुए, पोस्ट के अंत में “जो लोग मुझे जानते हैं, वे जानते हैं कि मैं क्या कर रहा हूँ ;)” वाला संदेश किसी तरह के developer tools की ओर इशारा करता लगता है
कोई tech visionary ऐसा कर सकता है, और hackers शायद खुद को बेहतर बनाने वाले tools बनाए बिना रह नहीं पाते
क्या मेरी फुर्सतिया अटकल से बेहतर किसी के पास कोई जानकारी है?
वे full-time YouTuber बनने वाले हैं
उन्होंने कुछ बार LLM-based operating system के बारे में अटकल लगाई है। अगर वही है, तो वह सच में बहुत शानदार होगा
1 टिप्पणियां
Hacker News की राय
जब भी Karpathy कंपनी छोड़ते हैं, ऐसा लगता है कि वे अपने खाली समय में शानदार शैक्षणिक सामग्री बनाते हैं और पूरा क्षेत्र एक स्तर ऊपर चला जाता है
Karpathy वाकई बहुत शानदार शिक्षक हैं। मैंने उनकी computer vision class ली थी, और चाहता हूँ कि वे और ज़्यादा पढ़ाएँ और उसे गंभीरता से करें
AI में लोकप्रिय influencer होना यह नहीं दिखाता कि कोई अच्छा researcher भी है, और अच्छे business leader या founder होने से तो इसका शायद काफ़ी नकारात्मक संबंध दिखता है
काश वे वापस उसी खोई हुई कला की तरफ़ लौटें जिसकी आज बहुत ज़रूरत है—जटिल चीज़ों को सुरुचिपूर्ण ढंग से समझाना—और इसे आराम से करें, और Silicon Valley के ठगों के साथ समय बर्बाद करने की दिशा में बहुत ज़्यादा न मुड़ें
जितना सोचता हूँ, उतना लगता है कि अपनी tweet का सीधे Hacker News के पहले पेज पर पहुँच जाना किसी इंसान को काफ़ी प्रभावित कर सकता है। नाम और प्रभाव के कारण प्रस्ताव और मौके तो उमड़ते हैं, लेकिन ज़रूरी नहीं कि वही जगह उसके लिए सबसे उपयुक्त भी हो
नाम और प्रभाव के कारण प्रस्तावों का आना, जबकि वास्तविक उपयुक्तता कुछ और हो सकती है, दुख की बात है लेकिन जीवन का एक संक्षिप्त रूप जैसा लगता है। किसी ख़ास भूमिका के लिए सबसे उपयुक्त व्यक्ति का वह जगह पा लेना दुर्लभ है; लोग overqualified कहकर छाँट दिए जाते हैं, hiring चरण में बाहर हो जाते हैं, या office वापसी की मांग, counteroffer ठुकराना, या गैर-प्रकट अवैध कारणों जैसे धुंधले बहानों से रिजेक्ट हो जाते हैं
खेल ख़ास अच्छा नहीं है, इसलिए जो लोग अपने हाथ में आए पत्तों का उपयोग करते हैं उन्हें दोष देना मुश्किल है
आम तौर पर मैं ऐसी बात नहीं बताता, लेकिन “b-lined” का अर्थ उल्टा भी पढ़ा जा सकता है, जैसे “B-list celebrity” की तरह कम प्राथमिकता वाला
ईमानदारी से कहूँ तो OpenAI तेज़ी से अपनी चमक खोता हुआ लग रहा है
plugins असफल रहे, GPTs थोड़ा बेहतर हैं लेकिन अभी भी product-market fit नहीं दिखता। GPT-4 अब भी सिंहासन पर है, लेकिन पहले जितना दबदबा नहीं रहा, और क्योंकि वे papers प्रकाशित नहीं करते, यह भी साफ़ नहीं कि वे research अच्छा कर रहे हैं या नहीं
अब GPT-5 को बेहद शानदार होना पड़ेगा, लेकिन पता नहीं सच में होगा भी या नहीं
लोकप्रियता के विस्फोट और ethics से जुड़े सवालों के ज़्यादा अहम हो जाने के साथ, शायद बिना सोचे-समझे पहले जारी करने के बजाय कुछ चीज़ों को ठीक से तराशने के लिए समय चाहिए
आख़िरकार, एक घंटा सिर्फ़ इस कोशिश में लगाने के बाद कि यह कम-से-कम मेरी माँगी हुई भाषा में output दे दे, मुझे समझ आया कि यह पूरी तरह बेकार है
यह हैरानी की बात है कि Google इतना पीछे है और उसने इतनी बेकार चीज़ जारी की। ऊपर से उसके पैसे भी लेना चाहता है—काफ़ी हिम्मत है
बेशक GPT-5 का इंतज़ार है, लेकिन थोड़ा-सा भी सुधार हुआ तो OpenAI अब भी काफ़ी आगे रहेगा
मज़ेदार दृश्य यहाँ है: https://twitter.com/Suhail/status/1757573182138290284
हैरानी इस बात की है कि प्रतियोगियों ने सिर्फ़ पिछले 3 महीनों में ही कितनी तेज़ी से बराबरी की है
मुझे बिल्कुल नहीं पता उस कंपनी के अंदर वास्तव में क्या हो रहा है, लेकिन जब Altman को हटाया गया था तब कर्मचारियों ने Twitter पर जो बर्ताव दिखाया, वह सच में डरावना था और खतरे के संकेतों और बुरे माहौल से भरा हुआ था
यह शायद अलोकप्रिय राय हो, लेकिन मेरा मानना है कि Karpathy की प्रतिष्ठा और प्रभाव लगभग पूरी तरह इस बात से आता है कि वे एक बेहतरीन शिक्षक और communicator हैं
उस प्रतिष्ठा की तुलना में AI को आगे बढ़ाने में उनका वास्तविक योगदान कितना था, यह मुझे स्पष्ट नहीं है
उनकी शैक्षणिक सामग्री के लिए मैं गहराई से आभारी हूँ, और यह अच्छी बात है कि उसके कारण वे प्रभाव हासिल कर पाए और अपना करियर बनाए रख पाए। उम्मीद है कि वे उससे इतना अमीर हो चुके होंगे कि 100% शिक्षा पर ध्यान दे सकें
उस लेख ने OpenAI के Alec Radford को Unsupervised sentiment neuron शोध करने की प्रेरणा दी: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI ने यह देखने का फैसला किया कि Google द्वारा बनाई गई नई Transformer architecture का उपयोग करके उस मॉडल को बड़ा करने पर क्या होगा, और GPT नाम की चीज़ बनाई: https://cdn.openai.com/research-covers/language-unsupervised...
उदाहरण के लिए CS 231 Stanford की सबसे लोकप्रिय AI/ML कक्षाओं में से एक थी। अगर आप 2015~2017 के आसपास वह कोर्स लेने वाले और बाद में AI में आगे बढ़े छात्रों की संख्या देखें, तो यह कहना अतिशयोक्ति नहीं होगी कि उसका बड़ा श्रेय उस कोर्स को जाता है
जो शिक्षक कदम-दर-कदम मार्गदर्शन करते हुए दिखा सके कि चीज़ें कितनी सरल हो सकती हैं, वह बेहद मूल्यवान होता है। वह क्षेत्र में प्रवेश की बाधाएँ कम करने में केंद्रीय भूमिका निभाता है
लंबी अवधि में, Karpathy द्वारा बनाई गई सामग्री के जरिए AI में आए नए लोग ही बड़े breakthroughs लाएँगे। उनका “Hacker's Guide to Neural Networks” लगभग 10 साल पुराना होने के बावजूद, backpropagation को समझने में सबसे स्पष्ट ‘आहा’ क्षण देता है
केवल गैर-शैक्षणिक गतिविधियों को “वास्तविक योगदान” कहना, प्रगति की यात्रा में महान शिक्षकों की भूमिका को पूरी तरह कम करके आँकना है। अगर ऐसी शिक्षा न होती, तो हम आज कहाँ होते?
उन्होंने AI को आगे बढ़ाने में योगदान दिया है। उसके आगे “वास्तविक” जैसा qualifier जोड़ने की ज़रूरत नहीं है। एक महान शिक्षक को खोना उतना ही अफसोसजनक माना जाना चाहिए जितना एक महान engineer को खोना
उन्होंने recurrent neural networks का शानदार विश्लेषण भी किया, और language models के भीतर क्या हो रहा है, इस पर शुरुआती और बेहतरीन व्याख्याओं में से एक दी
उन्होंने कहा, “अभी की योजना कुछ personal projects पर काम करने और देखना है कि क्या होता है। जो लोग लंबे समय से मुझे फॉलो कर रहे हैं, उन्हें अंदाज़ा होगा कि वह कैसा दिख सकता है।” क्या यहाँ किसी को पता है?
GitHub पर देखा जा सकता है: https://github.com/karpathy
काश वे अपने खाली समय में और fiction लिखें। https://karpathy.github.io/2015/11/14/ai/ मुझे सच में बहुत पसंद आया था
क्या वे YouTube channel पर पूरा ध्यान देने वाले हैं? उत्साहित हूँ। उनका content सच में शानदार है
लगता है कि वे OpenAI में दोबारा लगभग ठीक एक साल पहले शामिल हुए थे: https://twitter.com/karpathy/status/1623476659369443328
संबंधित पोस्ट: “Andrej Karpathy Departs OpenAI”[0] (159 points, 2 घंटे पहले, 71 comments)
[0]: https://news.ycombinator.com/item?id=39365288
उनके pinned tweet “सबसे hot नई programming language अंग्रेज़ी है” को देखते हुए, पोस्ट के अंत में “जो लोग मुझे जानते हैं, वे जानते हैं कि मैं क्या कर रहा हूँ ;)” वाला संदेश किसी तरह के developer tools की ओर इशारा करता लगता है
कोई tech visionary ऐसा कर सकता है, और hackers शायद खुद को बेहतर बनाने वाले tools बनाए बिना रह नहीं पाते
क्या मेरी फुर्सतिया अटकल से बेहतर किसी के पास कोई जानकारी है?