Noam Shazeer OpenAI में शामिल

 (twitter.com/NoamShazeer)
1 पॉइंट द्वारा GN⁺ 7 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Transformer आर्किटेक्चर बनाने वाले प्रमुख व्यक्तियों में से एक और Google Gemini के co-lead रहे Noam Shazeer ने OpenAI में शामिल होने की घोषणा की
  • वे 2000 में Google में शामिल हुए शुरुआती कर्मचारियों में थे, और search spelling correction में सुधार तथा AdSense के core algorithm बनाने में योगदान दिया
  • वे 2017 के "Attention Is All You Need" पेपर के co-author हैं, और उन्होंने लगभग सभी आधुनिक LLM की नींव बने Transformer आर्किटेक्चर को बनाया
  • साथ ही वे LaMDA और Meena के प्रमुख योगदानकर्ताओं में से रहे
    • Meena — 2020 में Google द्वारा पेश किया गया open-domain conversational chatbot, जो 2.6 अरब parameters वाले मॉडल के जरिए अधिक स्वाभाविक और context-aware बातचीत को लक्ष्य बनाने वाला एक research project था
    • LaMDA (Language Model for Dialogue Applications) — Meena के बाद 2021 में घोषित conversation-focused large language model, जिसका लक्ष्य स्वतंत्र विषयों पर स्वाभाविक multi-turn conversation generation था, और बाद में यह Google के chatbot और Bard की शुरुआती आधार तकनीक बना
  • 2021 में Character.AI की co-founding करते हुए उन्होंने Google छोड़ा, लेकिन 2024 में लगभग 4 ट्रिलियन वॉन ($2.7B) के सौदे में Google द्वारा अधिग्रहित होने पर वे वापस लौटे और VP Eng तथा Gemini के सह-नेता के रूप में कार्य किया

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 7 시간 전
Hacker News की राय

  • जिन लोगों की रुचि हो, उनके लिए Wired ने 2 साल पहले Attention Is All You Need पेपर की पृष्ठभूमि कहानी कवर की थी: https://www.wired.com/story/eight-google-employees-invented-...
    यह हर लेखक के योगदान को समझने के लिए संदर्भ देता है। लेख में Shazeer के बारे में कहा गया है कि उनका जुड़ना निर्णायक था, और self-attention जैसे सैद्धांतिक और सहज मैकेनिज़्म अक्सर तभी जीवंत साबित होते हैं जब कुछ अनुभवी “जादूगर” उन्हें बहुत सावधानी से लागू करें। Shazeer ने तुरंत अपने तरीके से Transformer टीम के कोड का एक नया वर्ज़न लिखा, और कहा कि उन्होंने “बेसिक आइडिया लिया और खुद बना दिया”; उन्होंने कभी-कभी Kaiser से सवाल पूछे, लेकिन ज़्यादातर कुछ समय तक बस काम करते रहे और फिर लौटकर कहा, “देखो, यह काम करता है।” बाद में टीम के सदस्यों ने जिस तरीके को “जादू”, “alchemy”, और “accessories” जैसे शब्दों से बयान किया, उसी तरह उन्होंने सिस्टम को एक स्तर ऊपर पहुँचा दिया

    • “जादू”, “alchemy”, “accessories” जैसे शब्द ऐसे लगते हैं जैसे किसी को गैर-तकनीकी आम जनता के लिए बिना ठोस बात के बढ़ा-चढ़ाकर पेश करने की अच्छी-खासी ट्रेनिंग मिली हो

  • Noam Shazeer उस ऐतिहासिक पेपर “Attention Is All You Need” के सह-लेखकों में से एक हैं, जिसने Transformer architecture पेश किया था

    • यह उनकी अहमियत को कम करके कहने जैसा है। लेखकों का क्रम भले ही यादृच्छिक था, लेकिन मेरा मानना है कि मुख्य आइडिया वास्तव में उन्हीं का था। यह GDM के बारे में क्या कहता है, यह भी सोचने वाली बात है

  • जो लोग पूरी कहानी के साथ नहीं चले, उनके लिए संदर्भ: Shazeer 2000 में Google से जुड़े एक पुराने Google शोधकर्ता थे और “Attention Is All You Need” के सह-लेखक थे
    उन्होंने 2021 में Google छोड़ा और Character.AI की सह-स्थापना की, और 2024 में Google ने Character.AI के साथ लाइसेंसिंग और टैलेंट डील के ज़रिए उन्हें और Character.AI के कुछ शोधकर्ताओं को वापस लाया। रिपोर्ट के मुताबिक इसका आकार लगभग 2.7 अरब डॉलर था, और बाद में वे Gemini के co-lead बने। अब उनका फिर Google छोड़कर OpenAI जाना दिलचस्प समय है

    • उन्होंने पहली बार Google इसलिए छोड़ा था क्योंकि Google उस तरह का chatbot product लॉन्च नहीं करना चाहता था जिसे वे संभव मानते थे। Google ने उन्हें वापस लाने पर बहुत पैसा खर्च किया और उन्हें Gemini के लीड्स में से एक बना दिया
    • मैंने पहली बार Noam को Dwarkesh पॉडकास्ट पर Jeff Dean के साथ देखा था; अगर आप यह समझना चाहते हैं कि Google के लोग इन चीज़ों को कैसे देखते हैं, तो यह सुझाऊँगा
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • इस स्तर पर आकर सोचता हूँ कि क्या compensation सच में आकर्षण का कारण है, या फिर ज़्यादा मायने यह रखता है कि आप क्या कर सकते हैं। Google भी शायद उतना ही दे सकता है जितना OpenAI दे, लेकिन शायद एक पुरानी कंपनी होने के कारण बहुत असामान्य शर्तें मिलाना मुश्किल होता हो
    • सोचता हूँ कि अधिग्रहित किया गया व्यक्ति 2 साल से भी कम में कैसे जा सकता है
    • अच्छा होगा अगर आख़िरकार निष्कर्ष “Hopfield Networks is All You Need” निकले

  • वाह, वापस आए ज़्यादा समय भी नहीं हुआ और आखिर ऐसा क्या हुआ कि उन्होंने फिर छोड़ दिया?
    उम्मीद है यह सही न हो, लेकिन डर है कि शायद है: https://x.com/signulll/status/2067446889956430273

    • जो लोग ऊपर की लिंक पर क्लिक नहीं करना चाहते, उनके लिए nitter लिंक: https://nitter.net/signulll/status/2067446889956430273
    • signull किसी जाने-माने इंडस्ट्री insider से ज़्यादा एक गुमनाम भड़ास अकाउंट जैसा है, लेकिन कम से कम बाहर से माहौल भाँपने वाले नज़रिए से देखें तो Sam Altman OpenAI में जिस तरह योगदान देता है, उसे यह काफ़ी अच्छी तरह पकड़ता है
    • अगर अंदाज़ा लगाना हो, तो पैसे की भी भूमिका रही होगी
    • यह Silicon Valley के किसी एपिसोड जैसा पढ़ने में लगता है। अगर आज उस ड्रामा का reboot बने, तो उसमें सचमुच बहुत मज़ेदार सामग्री होगी—अफ़सोस
    • मैं कहूँगा कि वजह “पैसा” और Altman की तरफ़ से बहुत सारी बकवास दोनों हैं

  • [संपादन: मेरी टिप्पणी मूल रूप से उस कमेंट के जवाब में थी जो Noam को एक और “Scam Altman” कह रहा था, लेकिन parent बदल गया। मूल सब-थ्रेड साफ़ हो गया, यह ठीक है, पर समझने के लिए यह संदर्भ ज़रूरी लग रहा था।]
    Noam सचमुच बेहद सक्षम हैं, और 2000s के पुराने Google engineering सर्किलों में वे लगभग दंतकथात्मक शख्सियत थे। एक कहानी है कि Paul Buchheit ने “आप spell checker कैसे बनाएँगे” वाले इंटरव्यू सवाल से उनका इंटरव्यू लिया, और उन्होंने उस समय की state of the art से बेहतर तरीका सोच निकाला, फिर लगभग अपने पहले 2 हफ़्ते के Noogler project के रूप में Google spell corrector बना दिया
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • अगर वह इतने होशियार व्यक्ति हैं, तो उन्हें ज़रूर पता रहा होगा कि वे क्या कर रहे थे; तब यह कैसे कहा जा सकता है कि यह सब बस दुर्घटनावश हुआ
      “Google and Character.AI agree to settle lawsuits over teen suicides” - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      सावधानी रखें। यह बहुत विचलित करने वाला है: https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • वाह, इसका मतलब है कि वे 2000 में ही AI से समस्याएँ सुलझा रहे थे। वह spell corrector वेब से train हुआ था और व्यापक रूप से इस्तेमाल होने वाला पहला AI tool बन गया था, यानी वे दशकों आगे थे

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    यहाँ कुछ insight दिखती है। संपादन: लगता है पोस्ट हटाई जा चुकी है, लेकिन कमेंट अब भी देखे जा सकते हैं। एक पंक्ति में कहें तो, सबसे अच्छा कहें तब भी वह व्यक्ति राजनीतिक रूप से खुलकर बोलने वाला था और उसके मजबूत विश्वास थे

  • Gemini के लिए यह बहुत बुरी खबर है। पिछले साल 2.5 Pro के साथ जो थोड़ी वापसी दिखी थी, वह Noam के नेतृत्व में हुई लग रही थी

    • ईमानदारी से कहूँ तो लंबे समय में इसका ज्यादा असर नहीं होगा। मॉडल्स के पास कोई moat नहीं है और वे धीरे-धीरे commodity बनते जा रहे हैं
      उससे अलग, Google काफी अच्छी स्थिति में है। वह Anthropic/OpenAI की तरह AI पर पैसा नहीं जला रहा, और उसके पास ऐसे product क्षेत्र हैं जिनमें AI को integrate किया जा सकता है। ऊपर से उसका ad model भी mature है, इसलिए बड़े language models से थोड़ा-बहुत वास्तविक revenue निकाल पाने की सबसे ज्यादा संभावना शायद उसी हिस्से में है

  • पहला सवाल: OpenAI ने इस पर कितना खर्च किया होगा?
    दूसरा सवाल: OpenAI यह पैसा खर्च करके Google से talent क्यों खींचना चाहेगा, जो talent hiring में निश्चित रूप से ज्यादा भुगतान कर सकता है, बजाय Anthropic के, जो बाजार को lead कर रहा है और वित्तीय रूप से भी कुछ हद तक constrained है

    • संबंधित रिपोर्टिंग देखें तो Anthropic के लोग कहीं ज्यादा loyal लगते हैं, और OpenAI व Meta की talent poaching की कोशिशें भी ज्यादातर सफल नहीं हुईं

  • वाह, Google ने Noam को वापस लाने के लिए अरबों डॉलर की पेशकश की थी। अगर रिपोर्ट सही है, तो OAI ने सच में प्रभावशाली काम किया है

  • AI hiring अब किसी खेल की free agency मार्केट जैसी लगने लगी है
    Karpathy Anthropic गया, और अब Noam OpenAI गया

    • मुझे लगा था Karpathy OpenAI जा रहा है