Transformer बनाने वाले Google कर्मचारी

 (wired.com)
2 पॉइंट द्वारा GN⁺ 2024-03-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Google के 8 कर्मचारियों ने आधुनिक AI का आविष्कार किया: अंदर की कहानी

  • 2017 की वसंत ऋतु में लिखे गए वैज्ञानिक पेपर "Attention Is All You Need" में 8 लेखक थे.
  • ये सभी Google के शोधकर्ता थे, और सबसे अनुभवी योगदानकर्ता Noam Shazeer अपने नाम को सबसे पहले सूचीबद्ध देखकर हैरान रह गए.
  • लेखकों ने योगदान के आधार पर रैंकिंग करने की परंपरा को 'तोड़ने' का फैसला किया, सभी नामों के पास तारांकन चिह्न लगाया, और "listing order is random" वाला एक फुटनोट जोड़ा.

बदलाव की शुरुआत

  • इस पेपर ने AI क्षेत्र में neural network नामक तकनीक को आगे बढ़ाकर उसे ऐसे शक्तिशाली digital systems में बदल दिया, जो मानो किसी बाहरी बुद्धि की देन लगते हों.
  • यह architecture ChatGPT, Dall-E, Midjourney जैसे artificial intelligence products का गुप्त ingredient बना.
  • प्रकाशित होने के लगभग 7 साल बाद यह पेपर दिग्गज दर्जा हासिल कर चुका है.

बदलाव की आर्किटेक्चर: Transformer

  • Transformer की कहानी Jakob Uszkoreit नाम के चौथे लेखक से शुरू होती है.
  • Uszkoreit ने अपने विचार self-attention के आधार पर एक नया approach तैयार किया.
  • यह network वाक्य के किन हिस्सों को संदर्भित करना है, यह देखकर शब्दों का अनुवाद कर सकता है, और इससे सिस्टम को बेहतर translation बनाने में मदद मिलती है.

सहयोग और नवाचार

  • Uszkoreit का मानना था कि self-attention model recurrent neural network की तुलना में अधिक तेज़ और प्रभावी हो सकता है.
  • यह विचार Illia Polosukhin, Ashish Vaswani और अन्य शोधकर्ताओं के सहयोग से विकसित हुआ.
  • उन्होंने "Transformers: Iterative Self-Attention and Processing for Various Tasks" नामक design document लिखा.

पेपर का प्रकाशन और प्रभाव

  • शोध टीम ने Transformer model का उपयोग करके language translation किया और उसकी performance को BLEU benchmark से मापा.
  • उनका नया model प्रतिस्पर्धियों से आगे निकल गया, और Big नाम के बड़े model ने पहले के रिकॉर्ड तोड़ने वाला BLEU score हासिल किया.
  • पेपर deadline से ठीक पहले submit किया गया, और Google ने इस काम के लिए जल्दी से provisional patent भी दाखिल कर दिया.

Google की प्रतिक्रिया और बदलाव

  • Google के भीतर इस काम को बस एक और दिलचस्प AI project की तरह देखा गया, और कंपनी ने 2018 से Transformer को अपने products में integrate करना शुरू किया.
  • लेकिन यह बदलाव OpenAI की उग्र छलांग और Microsoft द्वारा Transformer-आधारित systems को अपनी product line में साहसिक रूप से शामिल करने की तुलना में कुछ संकोची लगा.

Google छोड़ने वाले लेखक

  • सभी लेखक Google छोड़ चुके हैं और अब अपने बनाए सिस्टम के आधार पर अलग-अलग तरीकों से काम कर रहे हैं.
  • इनमें से कई लोग Google छोड़कर नए AI startups में चले गए.

GN⁺ की राय

  • यह लेख AI क्षेत्र में महत्वपूर्ण भूमिका निभाने वाले Transformer model के जन्म और विकास की प्रक्रिया को विस्तार से समझाकर AI तकनीक की प्रगति पर रोचक अंतर्दृष्टि देता है.
  • Transformer model आज artificial intelligence language processing की मुख्य तकनीक है और ChatGPT जैसे conversational AI की नींव रखने वाला एक महत्वपूर्ण आविष्कार है.
  • यह लेख दिखाता है कि Google के भीतर का नवाचारी research environment कैसे बड़े तकनीकी breakthrough को संभव बना सकता है.
  • हालांकि, इस तकनीक के commercial उपयोग में Google ने कुछ हद तक सतर्क रुख अपनाया, और यह बात कंपनियों की innovation speed और strategy पर एक महत्वपूर्ण सबक देती है.
  • इस तकनीक को अपनाने वाली कंपनियों या developers को Transformer model की जटिलता और resource requirements पर ध्यान देना चाहिए, हालांकि इससे मिलने वाले लाभ बहुत बड़े हैं.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-03-21
Hacker News राय

  • Attention मॉडल पर चर्चा:

    • Attention मेकैनिज़्म नया नहीं था, लेकिन एक शोध ने दिखाया कि यह खास संदर्भ में अगले शब्दों की sequence का अनुमान लगाने के लिए पर्याप्त है.
    • 2018 में इस framework का उपयोग करने पर अप्रत्याशित व्यवहार दिखा, लेकिन यह एक दिलचस्प अनुभव था.
    • दूसरे समूहों ने पाया कि सरल algorithm को बड़े पैमाने पर compute करने से बेहतर परिणाम मिलते हैं.
    • यह दावा करना परेशान करने वाला है कि सिर्फ एक समूह ने AI की खोज की और उसे बदल दिया.
    • शोधकर्ता प्रशंसा के योग्य हैं, लेकिन उन्होंने आधुनिक AI का आविष्कार नहीं किया; उन्होंने इसे दिलचस्प तरीकों से आगे बढ़ाया.
    • अब अधिक deterministic approaches की ओर लौटने की इच्छा है: world models, memory, graphs, energy minimization आदि.
    • generative models मज़ेदार रहे हैं और उन्होंने बहुत कुछ सिखाया है, लेकिन सिर्फ और chips जोड़कर AGI/SGI हल हो जाएगा, यह निश्चित नहीं है.

  • Google के स्वर्णिम दौर की याद:

    • 2014 में Google के चरम दौर में Uszkoreit और NLP टीम की भूमिका पर चर्चा के दौरान, जब उनसे पूछा गया कि असीमित budget हो तो वे क्या करेंगे, उन्होंने जवाब दिया, "मेरे पास ऐसा budget है."

  • AI इतिहास पर बातचीत:

    • Geoffrey Hinton और Fei-Fei Li के साथ हुई बातचीत में AI के इतिहास, Hinton की शोध दिशा, और Li के ImageNet पर किए गए प्रयासों पर चर्चा हुई.

  • Google और OpenAI की तुलना:

    • यह हैरानी की बात है कि Google, OpenAI नहीं बना, जबकि शुरुआती दौर में Google के पास DeepMind और बड़ी संख्या में PhD धारक थे.

  • Google कर्मचारियों के सहयोग का उल्लेख:

    • इस बात पर ज़ोर दिया गया कि सभी लेखक Google कर्मचारी थे और एक ही office में काम करते थे, जिससे यह संकेत मिलता है कि आमने-सामने का सहयोग innovation के लिए सबसे बेहतरीन तकनीक है.

  • Google की AI रणनीति की आलोचना:

    • लेखकों में से कोई भी अब Google में काम नहीं करता, और इस पर आश्चर्य जताया गया कि Google के CEO ने AI को कितनी गलत तरह से संभाला.

  • Google के भीतर AI इतिहास के दस्तावेज़:

    • Google कर्मचारी Google intranet में सुरक्षित AI इतिहास के महत्वपूर्ण क्षण देख सकते हैं, जैसे पहला transformer implementation और reviewer comments.

  • लेखकों की विविधता पर ध्यान:

    • 8 लेखकों में से 6 का जन्म अमेरिका के बाहर हुआ था, और बाकी दो में एक कैलिफ़ोर्निया में अस्थायी रूप से रह रहे एक जर्मन green card holder की संतान था, जबकि दूसरा उत्पीड़न से भागकर आए परिवार की पहली पीढ़ी का अमेरिकी था.

  • R&D विभागों के समर्थन में:

    • कर-मुक्त R&D विभागों का समर्थन करने के पक्ष में राय दी गई, इस उम्मीद के साथ कि शायद दशक में एक बार आने वाला कोई विचार पूरी अर्थव्यवस्था को आगे बढ़ा सके.
    • आधुनिक computing के चमत्कार ऐसे R&D विस्तार का परिणाम हैं जिनका कंपनी की bottom line पर तत्काल प्रभाव नहीं पड़ता था.