Nvidia का Project Digits, "पर्सनल AI सुपरकंप्यूटर"

 (techcrunch.com)
3 पॉइंट द्वारा GN⁺ 2025-01-08 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Nvidia ने CES 2025 में Grace Blackwell आधारित AI हार्डवेयर को डेस्क पर रखा जा सकने वाला एक छोटे डिवाइस के रूप में पेश किया
  • Project Digits Nvidia के AI software stack को लोकल में चलाने वाला पर्सनल AI सुपरकंप्यूटर है, जो cloud और workstation के बीच एक विकल्प को लक्ष्य करता है
  • Nvidia के अनुसार, एक सिंगल डिवाइस GB10 Grace Blackwell Superchip के साथ अधिकतम 1 petaflop performance और 200 अरब parameter वाले मॉडल चलाने का समर्थन करता है
  • GB10 को MediaTek के साथ साझेदारी में विकसित किया गया है, और इसमें Blackwell GPU, 20-core Grace CPU, 128GB memory, और अधिकतम 4TB flash storage शामिल है
  • इसे मई से प्रमुख partners के माध्यम से 3,000 डॉलर में बेचा जाएगा, इसलिए यह एक शक्तिशाली लोकल AI development environment है, लेकिन व्यक्तिगत खरीदारों की पहुंच सीमित हो सकती है

डेस्क पर आया Grace Blackwell

  • Nvidia ने Las Vegas में आयोजित CES 2025 में Project Digits पेश किया
  • Project Digits कंपनी के Grace Blackwell hardware platform को एक छोटे form factor में देने वाला “पर्सनल AI सुपरकंप्यूटर” है
  • इसके मुख्य लक्षित उपयोगकर्ता AI researcher, data scientist, और छात्र बताए गए हैं
  • CEO Jensen Huang ने बताया कि Project Digits Nvidia के पूरे AI stack को चलाता है, और इसे डेस्क पर रखा जाने वाला cloud computing platform या workstation की तरह इस्तेमाल किया जा सकता है

मॉडल चलाने का पैमाना और हार्डवेयर कॉन्फ़िगरेशन

  • GB10 Grace Blackwell Superchip

    • Project Digits में Nvidia का नया GB10 Grace Blackwell Superchip शामिल है
    • यह AI model prototyping, fine-tuning, और execution के लिए अधिकतम 1 petaflop computing performance देता है
    • Nvidia के अनुसार, एक सिंगल Project Digits डिवाइस अधिकतम 200 अरब parameter वाले मॉडल चला सकता है

  • चिप और मेमोरी कॉन्फ़िगरेशन

    • GB10 को MediaTek के साथ मिलकर विकसित किया गया है
    • इसमें Nvidia Blackwell GPU और 20-core Nvidia Grace CPU जुड़े हुए हैं
    • इसके अंदर 128GB memory pool और अधिकतम 4TB flash storage है

  • विस्तार और उपयोग का तरीका

    • दो Project Digits को जोड़ने पर, काम के अनुसार अधिकतम 405 अरब parameter वाले मॉडल चलाए जा सकते हैं
    • इसे standalone इस्तेमाल किया जा सकता है, और इसे बेसिक Windows या Mac PC से जोड़कर भी उपयोग किया जा सकता है
    • operating system Nvidia का Linux-आधारित DGX OS है

लॉन्च शेड्यूल और कीमत

  • Project Digits मई से “प्रमुख partners” के माध्यम से 3,000 डॉलर में बेचा जाएगा
  • Huang ने कहा कि Grace Blackwell Superchip को लाखों developers तक पहुंचाना, और data scientist, AI researcher, तथा छात्रों की डेस्क पर AI सुपरकंप्यूटर रखना, AI युग में भागीदारी को व्यापक बनाता है

संबंधित पढ़ाई

2 टिप्पणियां

 
berry 2025-01-16

दावा के मुताबिक यदि परफॉरमेंस भी अच्छी रहे और मेंटेनेंस भी अच्छी तरह से की जाए तो बढ़िया होगा।
 
GN⁺ 2025-01-08
Hacker News की रायें

  • कोने में पड़े Jetson Nano को देखता हूं तो लगता है, Nvidia ने उसे 4 साल बाद छोड़ दिया और अब रिटायरमेंट के बाद वह बस पेपरवेट का काम कर रहा है
    यह “AI” के लिए single-board computer के रूप में आया था, लेकिन पहले से ही पुराने custom Ubuntu 18.04 बेस पर था, और जब 18.04 का support खत्म हुआ तो Nvidia ने proprietary JetPack और driver updates पूरी तरह बंद कर दिए
    नतीजा यह हुआ कि CUDA, Pytorch जैसे machine-learning stacks भी बेकार हो गए, और जब तक software support Linux kernel upstream में नहीं आता, Nvidia का single-board computer फिर से खरीदने का कोई इरादा नहीं है

    • यह सचमुच अहम बात है
      Nvidia और Linux का रिश्ता कुल मिलाकर जटिल रहा है। वे drivers देते तो हैं, लेकिन Linux installation को ऐसी हालत में बिगाड़ देने के सबसे पक्के तरीकों में से एक उन drivers को install या upgrade करना था कि उसे ठीक करना मुश्किल हो जाए
      ऐसा लगता है कि Linux को first-class support target के रूप में प्राथमिकता देने के बजाय, बस इतना minimum करते हैं कि कह सकें “चलता है”
    • मेरे साथ भी कुछ ऐसा ही हुआ, और Xavier NX भी आखिरी update के बाद चलना बंद हो गया; अब बस धूल खा रहा है
      सच कहूं तो Nvidia single-board computers से फायदा कम और झंझट ज्यादा मिला
    • Orin series के बाद से वे UEFI इस्तेमाल करते हैं, और ऐसा लगता है कि GPU enable न होने वाला upstream kernel भी चला सकते हैं। इससे जुड़ा user guide page भी है
      काफी सुधार हुआ लगता है, लेकिन JetPack Linux fork में Tegra के लिए अलग nvgpu driver है और वह अभी उस tree से अलग नहीं हुआ है, इसलिए GPU के बिना kernel वाली सीमा बड़ी है
      अगर आप साफ तौर पर robotics और edge AI inference नहीं कर रहे हैं, तो बेहतर विकल्प मौजूद हैं
      इस device का नाम, DGX-style design और DGX OS जैसा software देखते हुए यह Tegra से ज्यादा Grace Hopper/datacenter design के करीब लगता है
      उस तरह के workstation/server side में UEFI होता है, और संभावना है कि आप अपनी पसंद की distribution में upstream Linux kernel और open-source Nvidia driver इस्तेमाल कर सकें
      अगर ऐसा है तो यह Jetson series की तुलना में कहीं ज्यादा परिचित, सामान्य Linux machine बन सकता है, लेकिन GH200/GB200 को भी custom patches की जरूरत पड़ेगी या नहीं, यह अभी पता नहीं
      समय बताएगा, लेकिन अगर अच्छा GPU और अच्छा ARM Cortex design मिलकर Jetson series से ज्यादा पारंपरिक Linux box जैसा व्यवहार करते हैं, तो यह शानदार local AI inference machine बन सकता है
    • यह DGX OS चलाता है, और Jensen ने खुद कहा है कि यह device Nvidia hardware stack का पूरा हिस्सा होगा
    • अलग से extended maintenance न हो तो Ubuntu 22.04 का support भी 2 साल बाद खत्म हो जाएगा
      अनुभव के हिसाब से vendors security patches को upstream जितना अच्छे से नहीं संभालते। Nvidia के बंद ecosystem को देखते हुए long-term support से बहुत उम्मीद नहीं है

  • यह 5x series GPU से भी ज्यादा मायने रखता दिखता है
    AI/LLM craze को देखते हुए, भले ही M4 Max/Ultra Mac mini आ जाए, यह Apple के कब्जे वाले hobbyist AI developers के एक हिस्से को छीन सकता है
    पिछले कुछ सालों से Nvidia सब कुछ सही करती दिख रही है, इसलिए लगता है काश इसके shares रखे होते

    • हर कंपनी के लिए जरूरी चीज है onboarding path
      Xeon Phi कई वजहों से fail हुआ, लेकिन optimized software की availability ऐसी चीज थी जिसमें fail होना जरूरी नहीं था
      आज Xeon, EPYC, और कई efficiency cores वाला MI300C है, लेकिन अगर पिछले 10 सालों से इस hardware के हिसाब से software इस्तेमाल किया गया होता, तो performance निकालने की समस्या पहले ही हल हो चुकी होती
      Itanium के लिए भी Intel को सबसे पहले अच्छा Linux support सुनिश्चित करना चाहिए था, और यह पहला silicon आने से पहले भी तैयार किया जा सकता था
      कुछ समय तक Itanium support अच्छा था, लेकिन अब वह बहुत पहले मर चुका platform बन गया है
      Sun भी SPARC के साथ कुछ ऐसा ही करने में विफल रहा। Workstations छोड़ने के बाद आसान onboarding path नहीं बचा था
      OpenSolaris के जरिए operating system की relevance बनाए रखना, और x86 Solaris को व्यावहारिक रूप से नजरअंदाज कर लोगों को सीखने और train होने देना, यह उन्होंने अच्छा किया
      अच्छा होता अगर Oracle Cloud कम से कम SPARC को cloud instances के रूप में देता
      IBM भी अभी उसी रास्ते पर चल रहा है। Workstation-grade x86 से performance में मुकाबला कर सके ऐसी कोई reasonable entry-level POWER machine नहीं है
      डेस्क के पास रखे case में फिट हो सकने वाली छोटी half-rack machine ही लगभग विकल्प है
      AIX, IBMi, Linux on POWER पर नए systems deploy करने वाली कंपनियां मैंने शायद ही देखी हैं, क्योंकि competing platforms पर build करना बहुत आसान है
      IBM Cloud में AIX, IBMi, IBM Z instances मिल सकते हैं, लेकिन आसान नहीं है, और “0 से SSH/5250/3270 तक” ले जाने वाला tutorial भी नहीं मिला
      Linux on Z संभव है, लेकिन IBM द्वारा Linux on POWER देने का कोई तरीका दिखता नहीं, और सिर्फ कुछ HPC labs अभी भी ऐसे resources देते हैं
    • यहां developer से मतलब सिर्फ hobby users नहीं है, बल्कि वे developers भी हैं जो अपने employers के लिए models develop करने को SuperMicro और Lambda PC खरीदते थे
      कई कंपनियां महंगे enterprise-grade chips को commercial use के लिए खाली रखने के उद्देश्य से local development के लिए ऐसे devices खरीदेंगी
      जीनियस move है। Mac mini जैसे आकार में इतनी performance डालना, form factor के लिहाज से और भी ज्यादा हैरान करता है
      6000 डॉलर में दो units खरीदकर 400B+ model local पर चला सकते हैं—यह लगभग अविश्वसनीय है
      Desktop पर ChatGPT जैसा कुछ चलाने की कल्पना 1 साल पहले तक सपने जैसी थी
    • Hobby users market का बहुत छोटा हिस्सा हैं, ऐसा मुझे लगता है
      फिर भी hobby users technology stack improvements को काफी आगे बढ़ाते हैं, इसलिए अगर वे इसे इस्तेमाल करना शुरू करते हैं तो NVIDIA ecosystem और गहराई से जमेगा
    • Jensen ने हाल की एक interview में कुछ इस आशय की बात कही कि “वे मेरी कंपनी को मारने की कोशिश कर रहे हैं”
      Unified memory वाले Macs उसके लिए ऐसा खतरा हैं जिस पर उसे तुरंत प्रतिक्रिया देनी होगी। देखने से लगता है Jensen wartime CEO हैं और मजाक नहीं कर रहे
      High-end space से AMD का गायब होना भी चौंकाने वाला नहीं है। Nvidia सीधे Apple से भिड़ रही है, और AMD ऐसी कंपनी नहीं है जो Apple से compete करने वाला business करती हो
    • आसपास के लोगों को देखकर लगता है कि hobby market पहले ही Nvidia 4090/3090 से saturated है
      क्योंकि लोग खाली समय में fine-tuning भी करना चाहते हैं और adult image generation भी
      घर पर diffusion models और LLM चलाने की बात पोस्ट करने वाले users का Venn diagram लगभग एक circle जैसा है

  • Nvidia का Wintel पक्ष की किसी भी चीज़ से बेहतर price-performance वाला Linux desktop supercomputer निकालना, और नया software stack Win32 पर port न होकर सिर्फ WSL2 में चलना — यह हैरान करने वाला है
    सच में Linux desktop का साल आ भी सकता है

    • अभी यह तय करना थोड़ा मुश्किल है कि price-performance वाकई बेहतर है
      Neoverse N2 20-core के Zen 5 16-core की तुलना में खास बेहतर करने की उम्मीद नहीं लगती
      GPU वाला हिस्सा promising दिखता है, लेकिन memory bandwidth, configuration, detailed specs और performance का ज़िक्र नहीं है
      “3000 डॉलर से शुरू”, अधिकतम 4TB NVMe, अधिकतम 128GB RAM जैसी अस्पष्ट जानकारी ही दिखी
      AMD Strix Halo, यानी AI Max+ 395 भी काफी competitive होने की उम्मीद है
    • यह desktop से ज़्यादा workstation जैसा दिखता है
      तो लगता है कि यह पिछले कई दशकों से चली आ रही “workstations पर Unix” वाली धारा का ही विस्तार है
    • Nvidia स्वाभाविक रूप से Windows license की लागत नहीं देना चाहेगी
      Nvidia Microsoft के साथ मिलकर cards develop करती है, और मुख्य features पहले DirectX में आते हैं, फिर Vulkan और OpenGL में Nvidia extensions के रूप में आते हैं, और बाद में जब दूसरे vendors मिलते-जुलते extensions अपनाते हैं तो वे standard बन जाते हैं
    • यह बात कहाँ लिखी है कि Win32 support नहीं है?
    • “पूरा नया software stack सिर्फ WSL2 पर चलता है और Win32 पर port नहीं किया जा रहा” का ठीक-ठीक मतलब क्या है, समझ नहीं आ रहा
      WSL2 मूल रूप से virtual machine ही नहीं है? तो इसका मतलब हुआ कि यह Linux पर चलता है, और Linux को WSL2 में भी चला सकते हैं — क्या बात इतनी ही नहीं है?
      अगर सचमुच यह सिर्फ WSL2 में ही काम करता है, तो बात अलग है
      इसे Linux workstation समझकर उत्साहित था, लेकिन अगर किसी भी तरह WSL2 बीच में आता है या ज़रूरी है, तो तुरंत दूर भागना चाहिए

  • कई comments में cost की तुलना सस्ते cloud solutions से की गई है, यह देखकर थोड़ा हैरान हुआ
    मुझे लगता है Nvidia का value proposition पूरी तरह अलग है
    उदाहरण के लिए EU में कोई startup अगर personal information या company secrets को LLM से analyze करना चाहती है, तो जब तक performance bottleneck न हो, data का basement से बाहर न जाना ही 3000 डॉलर से ज़्यादा कीमत का हो सकता है

    • अगर अच्छे model को local में request handling के लिए चला सकूँ, तो मैं इस device के लिए 3000 डॉलर देने को तैयार हूँ
      per-token fees देने की तुलना में अपने owned hardware पर LLM के साथ बेवकूफाना experiments मैं कहीं ज़्यादा करूँगा
      सच कहूँ तो अभी भी Claude की तुलना में छोटे local Llama models के साथ मेरा समय कहीं ज़्यादा जाता है
      sensitive काम न भी कर रहा होऊँ, तब भी अपना data इन companies को भेजना अभी भी मुझे अच्छा नहीं लगता
      यह cloud से compete नहीं कर रहा, बल्कि Mac mini और high-end GPU से compete करने वाला product है, और उस market में 3000 डॉलर बहुत आकर्षक price point है
    • कई small and medium businesses अपना data cloud black box में नहीं भेजना चाहेंगी
    • existing companies के लिए भी बढ़िया है
      कोई tech company ऐसे कुछ devices local में रख दे, तो users sensitive data के साथ company LLM से queries कर सकते हैं
    • “खुद PC assemble करना” जैसे दूसरे local alternatives से तुलना करें तो भी कीमत काफी competitive लगती है
      अभी मैं desktop upgrade के बाद बचे parts जोड़कर बने hardware पर models develop, train और use कर रहा हूँ; इनमें से एक तो पक्का खरीदूँगा, और अच्छी तरह चला तो दो भी खरीद सकता हूँ
    • यह बात समझ आती है कि data का basement से बाहर न जाना 3000 डॉलर से ज़्यादा मूल्य का हो सकता है
      लेकिन regulations या business interests data redundancy और protection भी मांग सकते हैं, इसलिए सब कुछ सिर्फ onsite रखने से वे requirements पूरी न भी हों

  • यहाँ एक market है जिस पर ज़्यादा बात नहीं हुई: bioinformatics
    इस market की मजबूत खिलाड़ी Illumina, हजारों genomes को तेज़ी से analyze करने के लिए DRAGEN नाम का server-grade custom hardware chip पहले से supply कर रही है
    human genome sequencing आम होती जा रही है, इसलिए इस product का मुख्य market personalized medicine है
    Oxford Nanopore जैसी companies sequencer से आने वाले raw electrical signals को A, T, G, C में बदलने वाली base calling के लिए onboard GPUs इस्तेमाल करती हैं, लेकिन size और power constraints की वजह से यह उम्मीद जितना अच्छा नहीं चल पाता
    यह device ONT जैसी जगहों के लिए बड़ा game changer हो सकता है, खासकर adaptive sequencing जैसे और भी शानदार कामों के लिए
    bioinformatics के दूसरे areas, जैसे routine analysis software का ज्यादातर हिस्सा, अभी भी CPU और RAM पर बहुत निर्भर है

    • फिलहाल यह अपेक्षाकृत छोटा market है
      Illumina ने इस chip को बनाने वाली company को 100 million dollars में acquire किया था
      cloud में general-purpose hardware पर एक genome analyze करने की cost आम तौर पर 10 dollars से कम होती है
      बेशक, ऐसे chips उन analyses को संभव बना सकते हैं जो अभी असंभव हैं या cost के कारण अटके हुए हैं
      लेकिन कम से कम अभी genomics में bottleneck analysis नहीं, sequencing cost है, जो फिलहाल प्रति genome 400–500 dollars के आसपास है
    • लगता नहीं Illumina security की बहुत परवाह करती है: https://arstechnica.com/security/2025/01/widely-used-dna-seq...
    • बड़े picture में OpenAI o3/o4 और specialized models genome tagging और discovery के दरवाज़े पूरी तरह खोल देंगे
      हालांकि ASI के सच में गति पकड़ने में अभी 1–3 साल बाकी लगते हैं
    • यह labs, hospitals या personal home use में से किसे target कर रहा है?
    • एक छोटा correction: Illumina sequencing market की मालिक है, पूरे bioinformatics market की नहीं

  • curiosity में खोजा तो पता चला कि यह device DGX OS चलाता है
    DGX OS 6 के मुख्य features हैं: Ubuntu 22.04 आधारित, latest long-term support Linux kernel 5.15, Python और GCC जैसे software packages के updates, बिना extra patches के GPU Direct Storage support करने वाला Nvidia-optimized Linux kernel, सभी Nvidia GPU driver branches और CUDA Toolkit versions तक access, default Ubuntu OFED और अतिरिक्त features के लिए NVIDIA OFED का optional install, Secure Boot support, और DGX H100/H200 support

    • Nvidia-optimized का मतलब क्या unpublished patches और ऐसा operating system है जिसे upgrade करना मुश्किल हो?
      binary blob Nvidia driver चढ़ा होने पर upgrade करने से क्या होता है, वही याद आता है
    • DGX OS में किस तरह का spyware होगा, यह सोचकर curiosity है
      ओह, sorry, telemetry कहना चाहिए था

  • Nvidia ने वह काम कर दिया जो Intel/AMD को CUDA ecosystem के लिए खतरा बनने के लिए करना चाहिए था
    उसने एक “सस्ता” 128GB local inference device/GPU पेश कर दिया
    अच्छा किया, और आगे Intel/AMD की AI कोशिशें धुंधली दिखती हैं

    • लगता है इसने असली मुद्दा पकड़ लिया है
      Nvidia की स्थिति का सिर्फ basic SWOT analysis भी करें, तो उन्हें यह संभावना जरूर सोचनी चाहिए थी कि कोई competitor ऐसा product ला सकता है
      चाहे Apple हो, जो पहले से इस क्षेत्र के आसपास थोड़ा-थोड़ा हिस्सा काट रहा है, या AMD/Intel, जो ऐसा कर सकते थे या जिन्हें करना चाहिए था
      जरूरी नहीं कि चीजें इसी तरह आगे बढ़ें, लेकिन ऐसा भविष्य काफी plausible है जहां हर desk और हर घर में LLM जैसे models हों

  • यह कंप्यूटर से जोड़कर special tasks चलाने वाला peripheral नहीं है, बल्कि Linux चलाने वाला पूरा कंप्यूटर है
    यह किसी बगीचे के संन्यासी जैसी चीज है। कभी ऐसा भविष्य कल्पना में आता है जहां हर किसी के पास इसके future version में से एक हो, और वह device साथ रहता हो, साथ सीखता हो, और cloud-based SaaS AI के उलट उसे तुरंत सिखाया जा सके, जिससे औसत से अलग फायदा मिल सके

    • एक लेना तो चाहूंगा, लेकिन बहुत खास niche से आगे जाना मुश्किल लगता है
      फायदे होने के बावजूद streaming subscription के बजाय अपना Plex server चलाने वाले लोग अब भी बहुत कम हैं
      local side में भी अगर hardware advances और छोटे models की यह खोज जारी रही कि वे कई तरह के tasks काफी अच्छी तरह संभाल सकते हैं, तो ऐसे high-performance local workstations ज्यादा से ज्यादा niche appeal तक ही रहेंगे
    • “बगीचे का संन्यासी” वाला expression दिलचस्प और vivid है
      जानना चाहूंगा कि यह कहां से आया

  • IBM Roadrunner 25 मई 2008 को 1 petaflop, यानी प्रति सेकंड 1 quadrillion floating-point operations तक पहुंचने वाला पहला supercomputer था
    वह 100 million dollars, 2.35MW, 6000ft² था
    दूसरी ओर Project Digits AI researchers, data scientists और students के लिए designed है, और Nvidia के नए GB10 Grace Blackwell Superchip के साथ prototyping, fine-tuning और AI models चलाने के लिए 1 petaflop तक की performance देता है
    यह 3000 dollars, 1kW, 0.5ft² है

    • Digits का petaflop FP4 है, और Roadrunner का petaflop FP32 था
      इसलिए कम से कम 8 गुना का फर्क है, और असल में शायद उससे कहीं ज्यादा होगा
      यह भी बहुत doubtful है कि Digits FP32 में 1/8 petaflop दे पाएगा
      बाकी फर्क 20 साल के समय को देखते हुए reasonable लगते हैं

  • यह Nvidia Jetson AGX Orin 64GB Developer Kit का successor जैसा दिखता है: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
    memory bandwidth और compute performance के detailed specs जानना चाहूंगा

    • उम्मीद है operating system support उतना खराब नहीं होगा जितना Jetson platform पर आम रहा है
      अगर अभी जैसा ही रहा, तो पूरे lifetime में kernel के सिर्फ 1–2 major updates मिलेंगे, और OS flash करने वाली utility चलाने के लिए x86 PC पर 6 साल पुराना Ubuntu install करने जैसी अजीब चीज करनी पड़ेगी
    • Jetson Orin Dev Kit बिल्कुल उन लोगों के लिए बने development kit के तौर पर fit बैठता है जो production environment में edge computing, जैसे robot vision वगैरह में Jetson modules इस्तेमाल करना चाहते हैं
      tech community में यह single-board computer syndrome की वजह से मशहूर है
      लोग इससे क्या-क्या कर पाएंगे, इस excitement में खरीद लेते हैं, लेकिन जो काम यह सच में अच्छा करता है वह खरीदने की वजह से अलग निकलता है, और एक साल बाद 95% devices दराज में पड़े होते हैं
      यह product article में कही गई बात की तरह HPC variant का descendant ज्यादा लगता है
      ऐसा लगता है कि इसे उन लोगों के लिए सच में useful entry-level device बनाने का इरादा है जो arbitrary PC की तुलना में general AI workloads को बेहतर perform या run करना चाहते हैं
    • AGX Orin LPDDR5 64GB के साथ 5000 dollars का था, इसलिए 128GB और शायद HBM होने की संभावना देखते हुए यह निश्चित रूप से सस्ता लगता है
      हालांकि Nvidia ऐसी company है जो price आसानी से कम नहीं करती, इसलिए कहीं न कहीं कोई catch जरूर होगा