Nvidia CEO Jensen Huang ने नया AI chip पेश किया: "और बड़े GPU की ज़रूरत है"

Nvidia CEO Jensen Huang ने नया AI chip पेश किया: 'और बड़े GPU की ज़रूरत है'

• Nvidia ने सोमवार को नई पीढ़ी के artificial intelligence (AI) chips और AI models चलाने के लिए software की घोषणा की.
• नए AI graphics processor का नाम 'Blackwell' है, और इसकी shipping इस साल के अंत में होने वाली है.
• यह घोषणा ऐसे अहम समय पर हुई है जब कंपनियां और software developers अब भी मौजूदा पीढ़ी के H100 जैसे chips हासिल करने की दौड़ में हैं.

Blackwell, Hopper का उत्तराधिकारी

• Nvidia हर दो साल में अपनी GPU architecture को update करता है, जिससे performance में बड़ी छलांग मिलती है.
• Blackwell-आधारित processor GB200, AI performance में H100 के 4 petaflops के मुकाबले 20 petaflops देता है, जिससे AI कंपनियां और बड़े व जटिल models को train कर सकती हैं.
• इस chip में transformer-आधारित AI चलाने के लिए खास तौर पर बनाया गया 'Transformer Engine' शामिल है, और यह TSMC में निर्मित दो dies को जोड़कर एक बड़ा chip बनाता है.

Nvidia inference microservice

• Nvidia ने अपने Nvidia Enterprise software subscription में 'NIM' (Nvidia Inference Microservice) नाम का नया product जोड़ा है.
• NIM, मौजूदा Nvidia GPUs का उपयोग करके AI software चलाने वाली inference process को आसान बनाता है, जिससे कंपनियां अपने पास पहले से मौजूद लाखों Nvidia GPUs का उपयोग जारी रख सकती हैं.
• इस strategy का उद्देश्य Nvidia-आधारित servers खरीदने वाले ग्राहकों को Nvidia Enterprise से जोड़ना है, जहां वे हर साल प्रति GPU $4,500 का license fee चुकाते हैं.

GN⁺ की राय

• Nvidia के नए AI chip 'Blackwell' और उससे जुड़े software 'NIM' की घोषणा AI क्षेत्र में तकनीकी प्रगति का प्रतीक है और AI model training व inference के लिए hardware तथा software platforms के महत्व को रेखांकित करती है.
• Blackwell chip की performance बढ़ोतरी AI researchers को और बड़े व जटिल models पर प्रयोग करने का अवसर देती है, जो AI के विकास में महत्वपूर्ण भूमिका निभा सकता है.
• हालांकि, high-performance AI chips की ऊंची कीमत कुछ कंपनियों या research institutions के लिए entry barrier बन सकती है, जिससे technology democratization पर बहस छिड़ सकती है.
• Nvidia से प्रतिस्पर्धा करने वाली अन्य कंपनियां भी समान क्षमताओं वाले products विकसित कर रही हैं; उदाहरण के लिए AMD के Radeon Instinct या Google के TPU जैसे products AI hardware market में विकल्प प्रदान करते हैं.
• AI technology अपनाते समय जिन बातों पर विचार करना चाहिए उनमें cost, performance, compatibility और technical support जैसे factors शामिल हैं, और Nvidia की नई तकनीक का चुनाव उन कंपनियों के लिए बड़ा फायदा दे सकता है जो इन आवश्यकताओं को पूरा करती हैं.

[corelyai]

• Nvidia डेवलपर कॉन्फ्रेंस: Blackwell चिप और भविष्य की तकनीकों का परिचय

• Nvidia ने Blackwell पेश किया, जो एक इनोवेटिव प्लेटफ़ॉर्म है जिसमें 28 अरब ट्रांजिस्टर वाले दो dies को पास-पास रखकर एक विशाल चिप बनाई गई है, जो प्रति सेकंड 10TB डेटा ट्रांसफर कर सकती है, और Hopper के साथ form-fit function compatibility प्रदान करती है।
• 50 अरब ट्रांजिस्टर से लैस Blackwell का MVY link switch GPUs के बीच सबसे तेज़ संचार संभव बनाता है, जिससे एक ही rack में exaflops AI system बनाया जा सकता है।
• Nvidia ने घोषणा की कि वह AWS, Google, Oracle और Microsoft के साथ साझेदारी कर विभिन्न AI services को तेज़ करेगा और Nvidia technology को उन platforms में integrate करेगा।
• Nvidia ने एक AI foundry भी पेश की, जो generative AI solutions और AI factory निर्माण के लिए SAP, ServiceNow, Cohesity, Snowflake और Dell जैसी कंपनियों के साथ काम करती है।
• Omniverse Cloud को Vision Pro पर stream करके विभिन्न design tools के बीच seamless integration और workflow को support किया जाता है, और Nvidia ने AI-आधारित robots के लिए Project Groot, Isaac Lab और Osmo का परिचय दिया।
• Jetson से संचालित Disney का bdx robot विशेष रूप से दिखाई दिया और Isaac Sim में अपनी learning capabilities का प्रदर्शन किया।

यह CNET वीडियो की सामग्री का corely.ai द्वारा तैयार किया गया सारांश है (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Hacker News राय

• कॉन्फ्रेंस में यह पुष्टि हुई कि Nvidia stack को ऊपर की दिशा में ले जा रहा है.

  • हार्डवेयर vendor के रूप में Nvidia उम्मीद के मुताबिक लगातार और बड़े सिस्टम बना रहा है.
  • ध्यान देने वाली बात यह है कि वह NIM बना रहा है, जो "docker for llms" जैसा है.
  • NIM एक container system है जिसे Nvidia hardware पर आसानी से deploy किया जा सकता है.
  • यह AI startup पर क्या असर डालेगा, यह देखना दिलचस्प होगा.

• यह महसूस किया गया कि Nvidia एक platform provider में बदल रहा है.

  • AI service platform के रूप में यह Nvidia के लिए अधिक लाभदायक दिखता है.
  • AWS और Microsoft के साथ partnerships के साथ संतुलन बनाना मुश्किल हो सकता है.
  • AI की CUDA पर ऊंची निर्भरता के कारण Nvidia फायदे में है.
  • आगे यह कैसे विकसित होगा, इसमें रुचि है.

• यह जिज्ञासा है कि FP4 क्या 4-bit floating point है.

  • Hopper से 30 गुना अधिक होने वाला comparison graph थोड़ा भ्रामक लग सकता है.

• Nvidia ने कुछ साल पहले Bright Cluster Manager का अधिग्रहण किया था.

  • अगला acquisition target कौन होगा, यह सोचने की बात है; इससे पूरे stack को देने की मंशा दिखती है.

• पूछा गया कि इस मामले में "platform company" का मतलब multi-chip है या नहीं.

  • एक single die में बहुत ज्यादा transistors भरना अव्यावहारिक है, इसलिए multi-chip की ओर जाना तार्किक है.

• 25 गुना power consumption reduction का दावा किया गया है, जिसे समझना कठिन है.

  • यह संख्या कहां से आई है, इसकी व्याख्या चाहिए.

• दो अंकों वाले petaflops के mass production का उल्लेख.

  • मानव मस्तिष्क की गतिविधि को दोहराने के लिए जरूरी computing power के बारे में अलग-अलग अनुमान हैं.
  • petaflop 10^15 होता है.
  • इस बात पर जोर दिया गया कि यह वाकई चौंकाने वाला दौर है.

• Nvidia का data center revenue 2023 की चौथी तिमाही में रिकॉर्ड $1.84 बिलियन तक पहुंचा.

  • यह पिछले quarter से 27% और साल-दर-साल 409% की वृद्धि है.
  • इससे संकेत मिलता है कि inference से होने वाली revenue काफी बढ़ रही है.

• Hopper की तुलना में FP8 का 2.5 गुना होना इतने लंबे समय बाद थोड़ा निराशाजनक है.

  • क्योंकि यह 2 fused chips हैं, इसलिए वास्तविक प्रभाव केवल 25% वृद्धि है.
  • अधिकांश प्रगति memory throughput और power usage में है.
  • यह जानना दिलचस्प है कि ये प्रगति consumer segment को कैसे प्रभावित करेगी.

• तकनीकी details पर अतिरिक्त जानकारी का link दिया गया है.