Intel Gaudi 3 AI एक्सेलरेटर लॉन्च

 (intel.com)
8 पॉइंट द्वारा GN⁺ 2024-04-10 | 1 टिप्पणियां | WhatsApp पर शेयर करें

  • Intel Gaudi 3 AI एक्सेलरेटर का परिचय

    • 9 अप्रैल 2024 को Arizona के Phoenix में आयोजित Intel Vision इवेंट में Intel Gaudi 3 AI एक्सेलरेटर की घोषणा की गई
    • यह BF16 के लिए 4 गुना AI कंप्यूट परफॉर्मेंस और पिछली पीढ़ी की तुलना में 1.5 गुना अधिक मेमोरी बैंडविड्थ प्रदान करता है
    • सामान्य-purpose community-based software और industry-standard Ethernet के जरिए ग्राहकों को विकल्प देता है और सिस्टम को अधिक लचीले ढंग से स्केल करने में मदद करता है

  • Gaudi 3 क्यों महत्वपूर्ण है

    • वित्त, मैन्युफैक्चरिंग, हेल्थकेयर जैसे प्रमुख क्षेत्रों की कंपनियां AI की पहुंच बढ़ा रही हैं और generative AI (GenAI) प्रोजेक्ट्स को प्रयोगात्मक चरण से बड़े पैमाने के इम्प्लीमेंटेशन चरण में तेजी से ले जा रही हैं
    • इस बदलाव को संभालने, innovation को बढ़ावा देने और revenue growth के लक्ष्यों को हासिल करने के लिए open, cost-effective और energy-efficient solutions और products की जरूरत है
    • Intel Gaudi 3 एक्सेलरेटर इन जरूरतों को पूरा करता है और open community-based software तथा open industry-standard Ethernet के जरिए विविधता प्रदान कर कंपनियों को AI सिस्टम और applications को लचीले ढंग से स्केल करने में मदद करेगा

  • कस्टम आर्किटेक्चर GenAI परफॉर्मेंस और efficiency कैसे देता है

    • Intel Gaudi 3 एक्सेलरेटर को कुशल large-scale AI कंप्यूट के लिए डिज़ाइन किया गया है, और यह 5nm process पर बना है, जो पिछली पीढ़ी की तुलना में बड़ा सुधार है
    • इसे इस तरह डिज़ाइन किया गया है कि सभी इंजनों को parallel में सक्रिय किया जा सके, जिससे तेज और कुशल deep learning कंप्यूट और स्केलिंग के लिए जरूरी acceleration संभव हो सके
    • प्रमुख फीचर्स:
      • AI-समर्पित compute engine: 64 AI-कस्टम programmable TPC और 8 MME से बना heterogeneous compute engine
      • LLM capacity आवश्यकताओं के लिए memory boost: 128GB HBMe2 मेमोरी, 3.7TB मेमोरी बैंडविड्थ, 96MB onboard SRAM
      • enterprise GenAI के लिए कुशल system scaling: 24 एकीकृत 200Gb Ethernet ports, जो flexible और open standard networking प्रदान करते हैं
      • developer productivity के लिए open industry software: PyTorch framework integration और optimized Hugging Face community-based models
    • Gaudi 3 PCIe ऐड-ऑन फीचर: fine-tuning, inference और retrieval-augmented generation (RAG) के लिए आदर्श नया form factor

  • बाजार अपनाने और उपलब्धता

    • Intel Gaudi 3 एक्सेलरेटर 2024 की दूसरी तिमाही में OEMs को Universal Baseboard और open accelerator module (OAM) की industry-standard configuration में उपलब्ध कराया जाएगा
    • Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro जैसे प्रमुख OEM इसे अपनाने वाले हैं
    • Intel Gaudi 3 एक्सेलरेटर की सामान्य उपलब्धता 2024 की तीसरी तिमाही में अपेक्षित है, और Intel Gaudi 3 PCIe add-in card 2024 की चौथी तिमाही में उपलब्ध होने की उम्मीद है
    • NAVER सहित कई cost-effective cloud LLM infrastructure में Intel Gaudi 3 एक्सेलरेटर के उपयोग की योजना है

  • आगे की योजना

    • Intel Gaudi 3 एक्सेलरेटर की यह momentum, AI और HPC के लिए Intel की अगली पीढ़ी की GPU Falcon Shores की नींव बनेगी
    • Falcon Shores, Intel Gaudi और Intel Xe IP को एकीकृत करेगा और Intel oneAPI specification पर आधारित एकल GPU programming interface प्रदान करेगा

GN⁺ की राय

  • Intel Gaudi 3, Nvidia H100 और H200 जैसे प्रमुख प्रतिस्पर्धी उत्पादों की तुलना में GenAI मॉडल training और inference परफॉर्मेंस में उल्लेखनीय सुधार दिखाता है। इससे यह AI बाजार में Nvidia की प्रभुत्वशाली स्थिति को चुनौती देने वाले विकल्प के रूप में उभर सकता है
  • open software और standards-based scalability का समर्थन कंपनियों की cost efficiency और vendor lock-in से बचाव में योगदान दे सकता है। खासकर बड़े पैमाने पर AI सिस्टम बनाने की कोशिश कर रही कंपनियों के लिए यह एक आकर्षक विकल्प हो सकता है
  • हालांकि, Intel ने हाल के वर्षों में CPU बाजार में प्रतिस्पर्धात्मक कमजोरी और product launch delays जैसी चुनौतियों का सामना किया है। इसलिए यह देखना जरूरी होगा कि क्या Gaudi 3 तय समय पर लॉन्च होता है और क्या इसे ग्राहक कंपनियों द्वारा व्यापक रूप से अपनाया जाता है
  • AI semiconductor बाजार में AMD Instinct MI300 जैसे प्रतिस्पर्धी उत्पाद भी लॉन्च के करीब हैं, इसलिए प्रतिस्पर्धा और तेज होने की संभावना है। तकनीकी बढ़त के साथ-साथ software ecosystem बनाना और ग्राहकों को जोड़ना भी अहम मुकाबले के क्षेत्र होंगे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-04-10
Hacker News की राय
  • OAM interface के उपयोग के कारण 8~10 साल बाद भी उत्साही लोग इस डिवाइस का उपयोग कर सकेंगे
  • Intel इस product line को लगातार लंबे समय तक support करेगा या नहीं, इस पर संदेह है
  • इसमें HBM2e memory का उपयोग किया गया है, जो 2020 में जारी Nvidia A100 में इस्तेमाल हुई थी; यह नवीनतम नहीं है, लेकिन 8 stacks का उपयोग करके H100 की bandwidth के बराबर पहुंचती है
  • यह जानने में रुचि है कि 'Gaudi 3 PCIe' की कीमत workstation में लगाने लायक उचित होगी या नहीं
  • इस घोषणा में 5Ws और H पद्धति का उपयोग किए जाने की सराहना है
  • लगता है कि Gaudi 3 का निर्माण TSMC या Samsung में 5nm process पर किया जा रहा है
  • MoE जैसी sparse architectures के उभरने से 128GB capacity महत्वपूर्ण लगती है, और ऐसा प्रतीत होता है कि यह Nvidia से प्रतिस्पर्धा करेगी
  • AMD MI300x के लिए भी MLPerf benchmark कार्य देखने की उम्मीद है
  • 200Gb Ethernet ports के 24 integrated होने की बात प्रभावशाली है, लेकिन cable cost आदि को देखते हुए निराशाजनक भी है
  • memory bandwidth की इकाई के रूप में "terabytes (TB)" का उपयोग किया जाना असामान्य है