Meta और PyTorch को छोड़ते हुए

 (soumith.ch)
7 पॉइंट द्वारा GN⁺ 2025-11-08 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • करीब 8 वर्षों तक PyTorch का नेतृत्व करने वाले Soumith Chintala ने घोषणा की कि वे 11 साल तक जुड़े रहने के बाद Meta और PyTorch छोड़ रहे हैं
  • PyTorch अब exascale training को support करता है और foundation models चलाने, दुनिया भर के शिक्षा क्षेत्र में उपयोग जैसी व्यापक उपलब्धियाँ हासिल कर चुका है
  • उनका मानना है कि PyTorch अब इतना परिपक्व हो चुका है कि स्वतंत्र रूप से चल सके, और उन्हें अगले नेतृत्व की स्थिरता पर पूरा भरोसा है
  • FAIR के दिनों से साथ रहे साथियों के साथ सहयोग, open source संस्कृति, और user community की growth के लिए आभार और आत्मचिंतन
  • व्यक्तिगत रूप से वे नई चुनौती के लिए Meta के बाहर एक छोटा प्रोजेक्ट शुरू करने की योजना बना रहे हैं

Meta और PyTorch से विदाई

  • 11 वर्षों तक Meta में काम करते हुए, लगभग 8 साल PyTorch का नेतृत्व किया और AI उद्योग में 90% से अधिक adoption हासिल किया
    • PyTorch अब exascale training को support करता है और intelligence को फिर से परिभाषित करने वाले foundation models को चलाता है
    • MIT से लेकर भारत के ग्रामीण इलाकों तक शिक्षा में उपयोग हो रहा है, और accessibility बढ़ाने का लक्ष्य लगभग पूरा हो चुका है
  • उन्होंने कहा कि AI की प्रगति बहुत तेज है, इसलिए PyTorch को आगे भी विकसित होना होगा, लेकिन यह पहले ही बहुत कुछ हासिल कर चुका है
  • open source की ताकत और आनंदपूर्ण research culture पर भरोसा करने वाले सभी सहयोगियों को धन्यवाद दिया
  • वे Meta के भीतर किसी दूसरी भूमिका में जा सकते थे, लेकिन नई चुनौती और जिज्ञासा के लिए बाहर जाने का फैसला किया
  • लेख का समापन “AI को स्वादिष्ट और सुलभ बनाएं” संदेश के साथ किया, और आगे भी community में जुड़े रहने की इच्छा जताई

PyTorch की आगे की स्थिरता

  • वे PyTorch की जिम्मेदारी हमेशा के लिए नहीं लेना चाहते थे, और स्थिर स्थिति में इसे छोड़ना उनका लक्ष्य था
    • 2024 के अंत से उन्होंने departure की तैयारी शुरू की, और अगस्त 2025 तक उन्हें भरोसा हो गया कि टीम स्वतंत्र रूप से चल सकती है
  • Edward, Suo, Alban, Greg, John, Joe, Jana जैसे प्रमुख लोग product और organizational समस्याओं को स्वायत्त रूप से हल कर रहे हैं
  • PyTorch Conference की product story में निरंतरता और पुरानी समस्याओं में सुधार को आधार बनाकर organization की resilience पर ज़ोर दिया
  • Greg, Alban, Ed, Jason, Joe आदि PyTorch के values और culture को आगे बढ़ा रहे हैं, और ऐसे बहुत से लोग मौजूद हैं जिनकी values मेल खाती हैं
  • John, Suo, Jana की technical क्षमता और सहयोग अनुभव का खास उल्लेख करते हुए टीम की sustainability पर भरोसा जताया

Meta में बिताया समय

  • FAIR के शुरुआती दौर को “जादुई समय” बताते हुए, GAN research, Starcraft bot, FAIR cluster बनाना, object detection, PyTorch development जैसे कई प्रोजेक्ट्स में भागीदारी को याद किया
  • 2015~2016 को सबसे productive और आनंददायक समय बताया
  • शुरुआती दिनों में Andrew Tulloch की mentoring से बहुत मदद मिली, यह भी उल्लेख किया

PyTorch development की यात्रा

  • PyTorch के design, management, documentation, distribution सहित पूरी प्रक्रिया में सीधे शामिल रहे, और इसे सैकड़ों लोगों के पैमाने वाले product में बढ़ते देखा
  • Meta के अंदर और बाहर के engineers, researchers, open source contributors, documentation writers, hardware partners आदि को धन्यवाद दिया
  • Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison, Edward Yang जैसे कई प्रमुख लोगों का उल्लेख किया
  • 2017 NeurIPS में एक graduate student ने कहा था कि PyTorch की वजह से वह अपना research पूरा कर सका; इस प्रसंग को याद करते हुए users पर प्रभाव को गहराई से महसूस किया
  • PyTorch Conference 300 लोगों की परिवार जैसी gathering से बढ़कर 3,000 लोगों के industry event में बदल गया, और उन्होंने इसके विस्तारित प्रभाव पर गर्व जताया

आभार

  • उन्होंने कहा कि Mark Zuckerberg और Mike Schroepfer के open source strategy समर्थन की वजह से FAIR और PyTorch संभव हो सके
  • Yann LeCun, Rob Fergus को FAIR के शुरुआती निर्माण के लिए धन्यवाद दिया
  • Aparna Ramani के technical leadership और execution की बहुत सराहना की
  • Santosh, Kaushik, Delia, Oldham, Ben सहित infra team के स्वागत और सहयोग का उल्लेख किया
  • Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna, Damien जैसे managers को भी धन्यवाद दिया

समापन संदेश

  • “यह मेरी यात्रा नहीं, हमारी यात्रा थी” कहते हुए साझा उपलब्धियों पर ज़ोर दिया
  • आगे वे “छोटे, नए और असुविधाजनक काम” करने की बात कहते हैं
  • “AI को स्वादिष्ट और आसान बनाते रहिए” कहते हुए PyTorch community के लिए प्रोत्साहन का संदेश छोड़ा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-11-08
Hacker News की राय

  • लगता है बहुत-सी टिप्पणियाँ PyTorch का परिणाम देखकर मूल्यांकन कर रही हैं। लेकिन जब Soumith Chintala ने PyTorch को सह-विकसित किया था, तब तेज़ और interactive development environment लगभग थे ही नहीं। JAX भी मौजूद नहीं था।
    उस दौर में PyTorch को आज़माने वाले लगभग हर researcher तुरंत उस पर switch करना चाहते थे, क्योंकि वह कहीं बेहतर था। Andrej Karpathy ने भी 2017 के एक ट्वीट में कहा था, “मैंने PyTorch को कुछ महीनों तक इस्तेमाल किया और मेरी ज़िंदगी बदल गई” (ट्वीट लिंक).
    Soumith के कई वर्षों के समर्पित प्रयास के लिए आभार, और उनकी आगे की यात्रा के लिए शुभकामनाएँ

    • Chainer ने पहले ही define-by-run model पेश कर दिया था। यह जापान की एक छोटी कंपनी में विकसित framework था, और PyTorch के शुरुआती version ने Chainer से गहरा प्रभाव लिया था, यह बात स्पष्ट रूप से मानी गई थी
    • PyTorch को 2015 के आसपास की Python Autograd library से प्रेरणा मिली थी। वास्तव में PyTorch के automatic differentiation system का नाम भी ‘autograd’ था। JAX, Autograd का सीधा उत्तराधिकारी है, और उसके कुछ developer आज भी JAX टीम में काम कर रहे हैं। PyTorch के सह-लेखक Adam Paszke भी इस समय JAX और Dex project में शामिल हैं (Autograd history, PyTorch परिचय archive)

  • मैं उन लोगों में से एक हूँ जिन्हें Meta और PyTorch में Soumith ने सीधे hire करके साथ काम किया।
    Soumith ने हमेशा PyTorch को community-first project माना। उन्होंने सह-निर्माता Adam, Sam के साथ-साथ Caffe2 टीम के integration में भी सभी के योगदान का सम्मान किया।
    PyTorch को शुरू से research community के लिए एक open framework के रूप में डिज़ाइन किया गया था, और Soumith ने उसकी growth के दौरान लगातार नए लोगों और संगठनों को इसमें शामिल होने के लिए प्रेरित किया।
    वे सच में talent magnet थे, और उसी की वजह से बहुत-से शानदार लोगों ने पूरे जुनून से PyTorch को आगे बढ़ाया।
    अब उनके जाने के बाद भी PyTorch इतना परिपक्व हो चुका है कि वह अपने दम पर चल सके। यही open source की सफलता का असली रूप है

    • मैंने भी Soumith के साथ काम किया है, और वे सच में legendary शख्सियत हैं। वे बड़े बदलाव लाते हुए भी विनम्र, गैर-राजनीतिक और अपने आसपास के लोगों को बढ़ाने वाले leader थे। मैं दिल से उनके लिए शुभकामनाएँ देता हूँ

  • इस पूरे मामले में दिलचस्प बात यह लगती है कि शायद Meta के भीतर AI से जुड़ी कोई proprietary संपत्ति नहीं है, ऐसा एक संकेत मिल रहा है।
    यह कुछ वैसा ही है जैसे लोग मानते हैं कि military research वास्तविकता से कहीं आगे है।
    आखिरकार, ऐसा लगता है कि big tech की AI labs भी किसी खास गुप्त तकनीक के बिना वही काम दोहरा रही हैं जो बाकी लोग कर रहे हैं

    • यह शायद ज़रूरत से ज़्यादा व्याख्या है। Soumith ने Meta में 11 साल काम किया, इसलिए संभव है कि उन्हें stock compensation भी काफी मिली हो। हाल ही में उनके यहाँ बच्चा भी हुआ है, और Meta का work-life balance अच्छा नहीं माना जाता।
      इसके अलावा Meta हाल में LLM-केंद्रित दिशा में शिफ्ट कर रहा है, जिससे PyTorch की पुरानी भूमिका कम हुई है। इन बातों को देखें तो यह एक स्वाभाविक job change जैसा लगता है
    • military technology कई बार वास्तव में civilian दुनिया से पीछे रह जाती है। secrecy collaboration को रोकती है, और political factors inefficiency बढ़ा देते हैं
    • Soumith का Meta छोड़ना, Meta की AI मौलिकता से असंबंधित लगता है। यह बस किसी नए बदलाव की इच्छा का समय था।
      आजकल AI industry में ‘AGI बस आने ही वाला है’ जैसे दावों के बावजूद अंदर काम करने वाले developer उतने उत्साहित नहीं दिखते। Karpathy का education की ओर लौटना या Mira Murati का startup शुरू करना भी उसी संदर्भ में देखा जा सकता है
    • उन्होंने बस इतना कहा कि वे छोटी चीज़ों पर ध्यान देना चाहते हैं। यह भी नहीं पता कि उनका नया project AI से जुड़ा होगा या नहीं
    • जिसने भी military equipment को सीधे संभाला है, वह जानता होगा कि तथाकथित ‘advanced military technology’ अक्सर सस्ते parts से बनी, परखी हुई पुरानी तकनीक ही होती है। जैसे रूसी drones में Raspberry Pi का इस्तेमाल, असलियत हैरान करने वाली हद तक साधारण होती है

  • Soumith का जुनून संक्रामक था। मैंने DCGAN paper देखकर Lua Torch में experiment किया था, और वह छोटे Oxford flowers dataset पर भी अच्छी तरह काम कर गया।
    Soumith खुद उस नतीजे को देखकर इतने प्रभावित हुए कि उन्होंने उसे social media पर share किया।
    उस समय PyTorch और Lua Torch, TensorFlow से कहीं ज़्यादा आसान थे, और code की hack-friendly structure की वजह से researchers खुलकर experiment कर पाते थे

    • एक टिप्पणी में पूछा गया था कि Oxford flowers dataset क्या है और इसे कहाँ से पाया जा सकता है

  • Soumith की बातों में “कुछ छोटा और नया, कुछ ऐसा जिसे मैं अभी पूरी तरह समझता नहीं, कुछ असुविधाजनक” वाला हिस्सा बहुत प्रभावशाली था।
    Meta के भीतर भी वे दूसरी भूमिकाएँ ले सकते थे, लेकिन उन्होंने बाहर निकलने की जिज्ञासा का पीछा किया। यह कुछ ‘जंगल की ओर लौटते सिद्धार्थ’ जैसा लगता है

    • ‘सिद्धार्थ की छाया’ वाली अभिव्यक्ति से सहमति है, लेकिन साथ ही वे ऐसे व्यक्ति भी हैं जो बड़े social impact वाली megacorp में काम करने के बाद उससे थोड़ी दूरी बनाना चाहते हैं

  • मैं एक JAX user के रूप में PyTorch की सफलता का सम्मान करता हूँ। TensorFlow 1 की गलतियों के बाद PyTorch ने AI ecosystem पर प्रभुत्व जमा लिया।
    Matt Johnson ने जिस तरह Autograd को आगे बढ़ाकर JAX बनाया, उम्मीद है कि कभी उन्हें भी Soumith की तरह ऊँचा सम्मान मिलेगा

    • एक टिप्पणी में पूछा गया था कि TensorFlow को असफल क्यों माना जा रहा है
    • यह भी सवाल था कि क्या किसी ने JAX और PyTorch दोनों इस्तेमाल किए हैं, और अगर हाँ तो JAX को क्यों पसंद किया
    • JAX शानदार है, लेकिन Google projects की अस्थिरता चिंता पैदा करती है। कभी भी JAX 2.0 जैसा कोई incompatible version लाया जा सकता है

  • Torch की underlying library भी सच में इस्तेमाल करने में आनंद देने वाला tool है। Rust में tch और Burn जैसे bindings हैं, और वे libtorch के साथ अच्छी तरह काम करते हैं।
    PyTorch की बड़ी ताकत dynamic debugging थी। terminal में सीधे model को रोककर उसकी internal state देख पाने का अनुभव आज भी याद आता है

    • उसकी वजह से हमने पहले बहुत भयानक code भी लिखा, लेकिन वह दौर सच में शानदार था

  • उनकी यह बात असरदार लगी कि “हर बड़ी AI company और hardware vendor तक पहुँचना संभव था, लेकिन आखिर में जिज्ञासा जीत गई।”
    उम्मीद है कि वे फिर एक बार कोई नया powerful tool बनाएँगे

    • जब जिज्ञासा खत्म हो जाती है, तो सब कुछ बिखरने लगता है। मैं उस भावना को अच्छी तरह समझता हूँ।
      ज़िंदगी चलाने के लिए मुझे भी लंबे समय तक बेमतलब काम करना पड़ा था, इसलिए ऐसे फैसले लेने की उनकी क्षमता से थोड़ा ईर्ष्या भी होती है

  • उनकी यह बात भी प्रभावशाली थी कि “MIT से लेकर भारत के ग्रामीण classroom तक PyTorch पढ़ाया जा रहा है।”
    उल्टा यह भी संभव है कि भारत की कुछ classrooms, अमेरिका के elite engineering colleges की तुलना में शिक्षा की पहुँच और hands-on learning के मामले में बेहतर हों

    • अमेरिका के ‘elite engineering colleges’ को कई बार वास्तव में social status और research output के आधार पर आंका जाता है, teaching quality के आधार पर नहीं, इसलिए शिक्षा की गुणवत्ता कम भी हो सकती है
    • दूसरी ओर, भारत की पारंपरिक शिक्षा पर रटने और परीक्षा-केंद्रित होने की आलोचना भी होती है। अमेरिका के engineering colleges भी परफेक्ट नहीं हैं, लेकिन भारतीय शिक्षा पद्धति की समस्याएँ अब भी गंभीर हैं, ऐसा भी मत था

  • PyTorch का रोज़ इस्तेमाल करने वाले व्यक्ति के रूप में, मैं Soumith और टीम का दिल से आभारी हूँ।
    इस tool की वजह से मैं उन ideas पर सीधे experiment कर पाया, जिन्हें पहले सिर्फ कल्पना में ही सोच सकता था।
    PyTorch मेरी ज़िंदगी का बड़ा हिस्सा बन चुका है, और उनकी अगली यात्रा के लिए मैं दिल से शुभकामनाएँ देता हूँ