Andrej Karpathy, Anthropic में शामिल

> मेरा मानना है कि LLM क्षेत्र की अग्रिम पंक्ति में बिताए जाने वाले आने वाले कुछ साल खास तौर पर महत्वपूर्ण अनुभव होंगे। टीम से जुड़कर फिर से R&D में भाग लेने को लेकर मैं खुश हूँ। शिक्षा के प्रति मेरा जुनून अब भी गहरा है, और यदि समय ने अनुमति दी तो मैं शिक्षा-संबंधित काम फिर से शुरू करने की योजना रखता हूँ.

• Anthropic के अनुसार, Karpathy इस सप्ताह से pre-training टीम में काम शुरू करेंगे
• यह टीम Claude को उसका मूल ज्ञान और क्षमताएँ देने वाली massive training runs की ज़िम्मेदारी संभालती है
• Claude का उपयोग करके pre-training research को ही तेज़ करने वाला यह क्षेत्र, AI कंपनियों के बीच AI development process के कुछ हिस्सों को automate करने की होड़ के चलते, लगातार अधिक महत्वपूर्ण होता जा रहा है

[GN⁺]

Hacker News टिप्पणियाँ

• समझ नहीं आता कि कोई FAGMAN में काम क्यों करना चाहेगा। यह उदास करने वाला है कि इतने सारे प्रतिभाशाली लोग पैसे को अंतरात्मा से ऊपर रखते हैं
  Bay Area में रहने की भी ज़रूरत नहीं है, और दुनिया के ज़्यादातर सभ्य इलाकों में उस सैलरी के दसवें हिस्से पर भी आराम से जिया जा सकता है, बिना आत्मा बेचे
  यकीन करना मुश्किल हो सकता है, लेकिन दूसरे क्षेत्रों और जगहों पर भी दिलचस्प R&D हो रहा है

• Anthropic के अनुसार, Karpathy ने इस हफ्ते से Claude के मुख्य ज्ञान और क्षमताएँ बनाने वाले बड़े पैमाने के training runs संभालने वाली pretraining team में काम शुरू कर दिया है
  स्रोत: https://www.axios.com/2026/05/19/anthropic-openai-karpathy-a...

  • खास तौर पर, ऐसा लगता है कि https://github.com/karpathy/autoresearch के आइडियाज़ को बड़े पैमाने की recursive learning improvement कोशिश में बढ़ाया जाएगा [1]
    “हम Andrej का Pretraining टीम में स्वागत करके बहुत खुश हैं! वह Claude का इस्तेमाल करके pretraining research को ही तेज़ करने वाली टीम बनाएंगे। इस काम के लिए उनसे बेहतर किसी का नाम दिमाग में नहीं आता — हम साथ मिलकर जो बनाएंगे, उसे लेकर उत्साहित हैं!”
    [1] https://x.com/nickevanjoseph/status/2056760504949842219
  • Anthropic के नज़रिए से यह अच्छी branding move है। Karpathy machine learning दुनिया में बहुत सम्मानित व्यक्ति हैं
  • अगर अगली पीढ़ी का Mythos पहले से है, तो फिर ऐसे लोगों की ज़रूरत क्यों है? उसे तो सब कुछ संभाल लेना चाहिए, है ना

• वह शानदार शिक्षक हैं, और कम से कम इंटरव्यू में एक सचमुच अच्छे इंसान लगते हैं। अच्छा होता अगर वह side gig के तौर पर पढ़ाना जारी रखते, लेकिन शायद बहुत सारे NDA की वजह से यह आसान नहीं होगा

  • वह सिर्फ machine learning ही नहीं, दूसरे क्षेत्रों में भी बेहतरीन शिक्षक हैं। badmefisto नाम से उन्होंने speedcubing भी सिखाई है

• मज़ेदार बात यह है कि उन्होंने हाल की एक इंटरव्यू में इसका संकेत पहले ही दे दिया था। उन्होंने कहा था कि शायद वह तेज़ी से बदलते approaches के साथ कदम मिलाना छोड़ दें, और अगर कोई भी frontier lab उन्हें ले ले तो उनकी रुचि होगी
  https://youtu.be/kwSVtQ7dziU?t=47m50s

  • सोचता हूँ पहले उन्हें कितने Leetcode या Codility सवाल हल करने पड़े होंगे
  • लगता है Anthropic में किसी ने यह देखा और तुरंत हरकत में आ गया
  • उनके लिए अच्छा हुआ। पिछले 1–2 सालों में उनका सार्वजनिक काम मेरे लिए, और शायद दूसरों के लिए भी, बहुत प्रभावशाली रहा है
    तेज़ बदलावों की रफ्तार के साथ चल न पाने को लेकर उनकी चिंता से मैं भी जुड़ाव महसूस करता हूँ, और मुझे भी लगता है कि frontier lab या वैसा कोई माहौल इसमें ज़रूर मदद करेगा
    मेरी background analytical philosophy, linguistics/NLP, propaganda research, और लंबे समय की institutional data science/strategy भूमिकाओं का एक अजीब मिश्रण है, इसलिए इंडस्ट्री बदलने की कोशिश करते समय ATS systems पार करना मेरे लिए खास तौर पर आसान नहीं होता
    इसलिए मैं जितना कर सकता हूँ उतना व्यस्त बना हुआ हूँ। हाल में मैं LLM systems की runtime observability, intent readability, और intervention से जुड़े tools बना रहा हूँ
    छोटे public outputs अब आखिरकार दिखने शुरू हो रहे हैं: https://huggingface.co/spaces/anotheruserishere/Cartogemma
    खैर, कोशिश करने लायक तो है

• Karpathy प्रतिभाशाली हैं, और मुझे हमेशा लगा कि वह Skynet जैसी चीज़ बनाने के खिलाफ होंगे। Anthropic भाग्यशाली है कि उसे वह मिल गए

  • सच कहूँ तो अगर Skynet संभव हुआ, तो मुझे लगता है Anthropic ही सबसे पहले उसे बनाएगा, और फिर यह दावा करेगा कि OpenAI के बुरे होने की वजह से उनके पास और विकल्प नहीं था
  • हाल के content को देखकर अफ़सोस के साथ लगता है कि शायद उन्हें LLM psychosis हो गया है

• क्या किसी और को Anthropic दिन-ब-दिन ज़्यादा डरावना नहीं लग रहा? इसलिए नहीं कि वह अच्छा कर रहे हैं, बल्कि इसलिए कि वह इंडस्ट्री के बवंडर की तरह लगते हैं, जो अपने रास्ते में आने वाली हर चीज़ को खींचकर तोड़ देता है

  • बस तीन चीज़ें बता दो जो उन्होंने नष्ट की हों
  • Karpathy के बिना भी AI क्षेत्र एक पल के लिए नहीं रुकता, लेकिन यह भी सच है कि वह किसी भी टीम के लिए शानदार addition हैं

• कृपया Twitter/X की moat तोड़ना आसान बना दो। अभी तक ऐसा app क्यों नहीं है जो Bluesky, Mastodon, Threads जैसी हर social service पर एक साथ पोस्ट कर सके

  • शायद https://github.com/alexandru/social-publish देखना चाहिए

• व्यक्तिगत रूप से मैं उम्मीद करता हूँ कि वह educational content पर अपना समय शून्य न कर दें। वही उनकी खास ताकत लगती है। इस खबर से लगता है कि Eureka Labs शायद products या courses नहीं लाएगा

• Karpathy की career trajectory मुझे Jim Keller जैसी लगती है। जैसे कोई तितली फूल-फूल पर मंडराकर अनुभव जुटाती है और जहाँ जाती है वहाँ जादू कर देती है

  • मुझे नहीं लगता कि Karpathy के पास उस स्तर का achievements portfolio है। मैं उन्हें ज़्यादा एक educator के रूप में देखता हूँ
  • “जहाँ जाते हैं वहाँ जादू कर देते हैं” — मतलब खास तौर पर उन्होंने किया क्या है?

• इस थ्रेड की बढ़ा-चढ़ाकर की गई marketer-style packaging बड़े संकेत को मिस कर रही है। Karpathy जैसे AI founder का Eureka Labs को सार्वजनिक रूप से रोककर Anthropic में शामिल होना, असल में यह स्वीकार करना है कि vertical-domain products आखिरकार frontier model upgrades में समा जाते हैं
  foundation models के ऊपर कुछ बनाने वालों के लिए यही असली खबर है

  • शुरू से ही Eureka Labs कितना गंभीर प्रोजेक्ट था? वह तो ज़्यादातर उनके अलग-अलग content experiments के बैनर जैसा लगता था
  • “यही असली खबर”, “बड़ा संकेत” जैसी अभिव्यक्तियों में AI-generated text की काफी पहचान दिखती है। बस ऊपर से सब कुछ lowercase में लिखने और अजीब spacing डालने जैसी खुली-खुली stylistic simplification चढ़ा दी गई हो, ऐसा लगता है