Apple ने M3 Ultra लॉन्च किया

 (apple.com)
1 पॉइंट द्वारा GN⁺ 2025-03-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Apple ने Mac के लिए अपना सबसे उच्च-स्तरीय चिप M3 Ultra पेश किया, जिससे Mac Studio को बड़े AI, graphics और video workloads के लिए workstation के रूप में और आगे बढ़ाया गया
  • मुख्य specs में 32-core CPU, अधिकतम 80-core GPU, 32-core Neural Engine, Thunderbolt 5, और अधिकतम 512GB unified memory शामिल हैं
  • पिछली पीढ़ी के Mac Studio के आधार पर Apple का कहना है कि CPU, M2 Ultra की तुलना में अधिकतम 1.5x और GPU, M2 Ultra की तुलना में अधिकतम 2x तेज है
  • UltraFusion दो M3 Max dies को 10,000 से अधिक high-speed connections के साथ जोड़ता है, जिससे software को यह एक single chip की तरह दिखाई देता है
  • 800GB/s से अधिक memory bandwidth और अधिकतम 512GB memory की वजह से यह 3D rendering, visual effects, AI, और 600 billion से अधिक parameters वाले LLM को on-device चलाने जैसे कामों को लक्ष्य करता है

M3 Ultra की भूमिका और बुनियादी specs

  • Apple ने M3 Ultra को अब तक बनाया गया अपना सबसे शक्तिशाली chip बताया है
  • इसे Mac के लिए सबसे शक्तिशाली CPU और GPU, 32-core Neural Engine, और personal computer में सबसे अधिक unified memory देने वाले chip के रूप में पेश किया गया है
  • मुख्य configuration इस प्रकार है
    • अधिकतम 32-core CPU
    • अधिकतम 80-core GPU

    • 32-core Neural Engine

    • Thunderbolt 5

      • अधिकतम 512GB unified memory
      • M3 Ultra का उपयोग नए Mac Studio की performance बढ़ाने वाले chip के रूप में किया गया है

प्रदर्शन और AI workloads

  • CPU में 24 performance cores और 8 efficiency cores हैं, और यह M2 Ultra की तुलना में अधिकतम 1.5x तथा M1 Ultra की तुलना में अधिकतम 1.8x performance देता है
  • GPU, Apple chips में सबसे बड़ा configuration है, जिसमें अधिकतम 80 graphics cores हैं, और यह M2 Ultra की तुलना में अधिकतम 2x तथा M1 Ultra की तुलना में अधिकतम 2.6x तेज है
  • performance comparison का आधार पिछली पीढ़ी का Mac Studio system है
    • M1 Ultra: 20-core CPU, 64-core GPU, 128GB RAM
    • M2 Ultra: 24-core CPU, 76-core GPU, 192GB RAM
  • graphics architecture में dynamic caching, hardware-accelerated mesh shading, और ray tracing शामिल हैं
  • AI और machine learning workloads में CPU के ML accelerators, GPU, Neural Engine, और 800GB/s से अधिक memory bandwidth का संयुक्त उपयोग होता है
  • M3 Ultra से लैस Mac Studio 600 billion से अधिक parameters वाले large language models को सीधे device पर चला सकता है

unified memory और बड़े workloads

  • M3 Ultra की unified memory architecture को high bandwidth और low latency के लिए डिज़ाइन किया गया है
  • memory 96GB से शुरू होकर अधिकतम 512GB तक कॉन्फ़िगर की जा सकती है
  • Apple का कहना है कि यह क्षमता मौजूदा high-end workstation graphics cards में मिलने वाली memory से भी अधिक है
  • यह configuration 3D rendering, visual effects, और AI जैसे professional workloads में, जहाँ बड़ी graphics memory की ज़रूरत होती है, bottlenecks कम करने के लिए लक्षित है

Thunderbolt 5 और विस्तार क्षमता

  • M3 Ultra, Mac Studio में Thunderbolt 5 लाता है, जो अधिकतम 120Gb/s data transfer speed देता है
  • इसकी bandwidth, Thunderbolt 4 से दोगुने से भी अधिक है
  • प्रत्येक Thunderbolt 5 port को chip पर सीधे मौजूद Apple-designed controller का समर्थन मिलता है
  • per-port dedicated bandwidth बाहरी storage, docking, hubs, और अगली पीढ़ी के expansion chassis इस्तेमाल करने वाले professional users के लिए लक्षित है
  • Thunderbolt 5 के जरिए कई Mac Studio systems को आपस में जोड़ने वाली configurations भी संभव हैं

chip के अंदर की तकनीक

  • UltraFusion built-in silicon interposer का उपयोग करके दो M3 Max dies को 10,000 से अधिक signals के माध्यम से जोड़ता है
    • low-latency die-to-die bandwidth 2.5TB/s से अधिक है
    • software को M3 Ultra एक single chip की तरह दिखाई देता है
  • media engine में M3 Max की तुलना में 2x resources हैं और यह अधिक simultaneous video processing को support करता है
    • hardware-based H.264, HEVC, और चार ProRes encode/decode engines उपलब्ध हैं
    • अधिकतम 24 8K ProRes 422 streams playback किए जा सकते हैं
  • display engine अधिकतम 8 Pro Display XDR को support करता है और 160 million से अधिक pixels चलाता है
  • Secure Enclave, hardware-verified secure boot और runtime exploit protection technologies के साथ काम करता है

power efficiency और पर्यावरण लक्ष्य

  • M3 Ultra की power efficiency नए Mac Studio को Apple के energy efficiency standards पूरा करने में मदद करती है
  • यह product lifecycle के दौरान कुल energy consumption कम करने में भी योगदान देती है
  • Apple का कहना है कि उसकी वैश्विक corporate operations अभी carbon neutral हैं, और Apple 2030 लक्ष्य के तहत वह 2030 के अंत तक अपने पूरे carbon footprint में carbon neutrality हासिल करने की योजना रखता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-03-06
Hacker News की राय

  • 512GB unified memory सच में एक नया क्षेत्र खोलने जैसा है
    मैं सोच रहा था कि Apple memory constraints से कब आगे निकलेगा, और अब unified memory 0.5TB तक पहुंच गई है। बड़े AI मॉडल्स को locally चलाने के लिए यह बहुत practical है, और NVIDIA-स्टाइल solution की तुलना में इतनी बड़ी high-efficiency memory को एक single chip में integrate करने का approach दिलचस्प है। हालांकि M3 Max के दो चिप्स को “जोड़कर” बनाए गए design का heat और power consumption में कैसा प्रदर्शन होगा, यह जानने की उत्सुकता है

    • memory bandwidth नहीं बढ़ी है, और यह M2 Studio में भी संभव bandwidth के स्तर पर है। बेशक, 10,000 डॉलर देने पर 512GB unified memory मिल सकती है
      सवाल यह है कि उस scale पर बड़े language models usable performance के साथ चलते हैं या नहीं। पर्याप्त unified memory होने के बावजूद अगर memory bandwidth वही है, तो नए chip की AI processing performance बढ़ने पर भी diminishing returns आएंगे। आखिरकार processing performance की तुलना में memory bandwidth और memory pool size के बीच कोई optimal ratio होगा
    • मुझे ठीक से नहीं लगता कि unified memory यहां खास तौर पर relevant है। उदाहरण के लिए zen4/zen5 Epyc में arithmetic performance पर्याप्त होने की वजह से LLM inference पूरी तरह memory bandwidth bottleneck बन जाता है
      dual SP5 Epyc में इस Apple product से ज्यादा memory bandwidth भी लगता है, और Apple के price range में RAM भी लगभग दोगुनी डाली जा सकती है। शायद Apple का solution power efficiency में बेहतर होगा
    • सोच रहा हूं कि क्या यह on-chip memory है। 800GB/s हो तो यह DDR5 modules तक जाने वाली 512-bit bus, यानी 8-channel के ज्यादा करीब लगता है। quad-channel से भी लगभग संभव तो होगा, लेकिन उसे limit तक push करना होगा, और फिर भी यह ठीक-ठाक configuration है
      practicality के लिहाज से सोचता हूं कि इतनी memory और ठीक-ठाक लेकिन relatively mid-range compute performance के combination से फायदा उठाने वाले mainstream apps कौन से होंगे। full-option system की कीमत 14K डॉलर हो तो, शायद NVIDIA Project DIGITS के करीब दो units ज्यादा पसंद किए जा सकते हैं
    • सोच रहा हूं कि RAM को processing chip के साथ उसी chip पर रखना economical है या नहीं
      processing के लिए सबसे अच्छे process node को बचाकर रखना और RAM के लिए सस्ता process इस्तेमाल करना चाहेंगे, ऐसा लगा था

  • M4 नहीं बल्कि M3 है, यह हैरान करने वाला है। मूल रूप से सोच रहा हूं कि क्या यह binning yield का इस्तेमाल है, लेकिन कहीं पढ़ा था कि M1 chips में इसे संभव बनाने वाला interposer अब नहीं है
    फिर भी NPU द्वारा access की जा सकने वाली 512GB unified RAM पूरी तरह game changer है। लगता है Apple ने यह chip अपने internal AI work के लिए develop किया, और अब इसे दूसरों के इस्तेमाल के लिए खोलने के stage पर आ गया है। हालांकि इस hardware को सच में 2U rack form factor चाहिए। अभी operating system इस hardware को रोक रहा है

    • अगर Apple Linux को native रूप से, खासकर headless mode में support करे और M4 Pro को rack में लगाया जा सके, तो मैं इसे colocation center में तुरंत इस्तेमाल करूंगा
      CPU की speed और memory bandwidth के मामले में शायद ही कोई competitor है। यह अभी भी हैरानी की बात है कि कोई और company competitive Arm server chip नहीं बना पाई
    • सच में operating system ही अड़चन है। Apple पुराने XServe OS variant को revive न भी करे, तो कम से कम Linux या BSD developers के साथ मिलकर इस hardware stack के लिए उपयुक्त server operating system लाए तो अच्छा होगा
      consumer operating system निजी पसंद के हिसाब से Windows से बेहतर है, लेकिन इसमें धीरे-धीरे non-essential चीजें और पुराना cruft इतना बढ़ रहा है कि production server workloads के लिए इसे सहना मुश्किल होता जा रहा है। अगर कोई server OS हो जो नीचे के hardware को hypervisor की तरह treat करे और कई components को VMs और containers से attach या share कर सके, तो small datacenters या edge environments में इसकी जबरदस्त value होगी। इतनी RAM वाला on-premises NPU, LAN के कई users द्वारा share की जाने वाली local AI acceleration में बहुत मदद करेगा
    • “Apple rumors” लिखने वालों को मैं पसंद और respect करता हूं, लेकिन यह हमेशा “CPU design blogs के पांच लेख पढ़कर expert बन गया” वाली category के ज्यादा करीब था
      speculation का आधार यह था कि M3 Max die photo में interposer नहीं दिखता, लेकिन M3 Ultra configuration में support संभव था या नहीं, इस बारे में इसका लगभग कोई मतलब नहीं है। आज की announcement ही इसका evidence है
    • Apple 2U rack hardware बना सकता है और Linux support कर सकता है, या headless चलने वाला Darwin build दे सकता है। हालांकि latter case में usable software ज्यादा नहीं होगा
      फिर भी लोग अंततः porting शुरू करेंगे, और MacPorts व Homebrew पहले से हैं, इसलिए उन्हें उस platform पर भी चलने के लिए adapt किया जा सकता है। लेकिन Apple को उस market में interest नहीं लगता, इसलिए शायद यह साकार नहीं होगा
    • binning yield को लेकर curiosity में मैंने summarize किया कि Apple Max chips shipping configurations में कितने cut down रहे हैं
      M1 Max में 24~32 GPU cores, M2 Max में 30~38, M3 Max में 30~40, M4 Max में 32~40 थे। announcement dates देखें तो M1 Max 18 अक्टूबर 2021, M1 Ultra 8 मार्च 2022, M2 Max 17 जनवरी 2023, M2 Ultra 5 जून 2023, M3 Max 30 अक्टूबर 2023, M3 Ultra 12 मार्च 2025, और M4 Max 30 अक्टूबर 2024 हैं। M3 Max और Ultra announcements के बीच extra delay को देखते हुए, Apple ने internal AI work के लिए यह chip develop किया था, यह speculation भी काफी plausible लगता है

  • पिछले M2 Ultra मॉडल की अधिकतम मेमोरी 192GB थी, और Pro या कुछ M3 मॉडल में 128GB थी। मुझे लगता है कि वह भी 99.9% professional workloads के लिए काफी था
    लेकिन अब इसे बढ़ाकर 512GB कर दिया गया है, और 512GB Mac Studio की कीमत भी 9499 डॉलर जैसी पागलपन वाली है। यह लगभग निश्चित रूप से AI gold rush का असर है

    • दुनिया भर की सभी AI कंपनियां यह आकलन कर रही होंगी कि क्या इसकी compute performance इतनी है कि यह एक व्यावहारिक AI path बन सके। अगर जवाब हां है, तो 10,000 डॉलर बिल्कुल सस्ता है
    • LLM आसानी से बहुत ज्यादा RAM इस्तेमाल करते हैं, और ये systems समान RAM capacity वाले GPU configurations की तुलना में बहुत, बहुत सस्ते हैं। बेशक ये धीमे हैं
      उदाहरण के लिए Llama-3.1 405B का 4-bit quantized model इसमें अच्छी तरह फिट हो जाएगा
    • असली मुद्दा performance है। DeepSeek और Llama 405B ने शायद बड़ी memory की जरूरत दिखा दी है
      अभी भी लोग इतने या इससे ज्यादा RAM वाले Epyc systems काफी कम लागत में बनाकर DeepSeek को लगभग 6 tokens प्रति सेकंड पर चला सकते हैं। हालांकि हर किसी को assembly और tuning पसंद नहीं होती, इसलिए जो लोग झंझट से बचना चाहते हैं उनके लिए market है। “AI gold rush” को लोग जैसे खराब चीज की तरह कहते हैं, लेकिन जरूरी नहीं कि ऐसा हो
    • वह RAM साथ में VRAM भी है, इसलिए 0.5TB VRAM कतई सस्ता नहीं होता। तुलना करें तो Apple बल्कि काफी किफायती लग रहा है
    • बड़ा सवाल यह है कि 10,000 डॉलर की कीमत में पहले से ही Trump के China tariffs शामिल हैं या कीमत और बढ़ेगी

  • फिलहाल Docker Metal GPU को support नहीं करता
    Apple M3 या M4 chips पर Docker से LLM चलाने पर, Docker केवल Nvidia और Radeon GPU को support करता है, इसलिए chip grade चाहे जो हो, यह CPU mode में चलता है। अगर आप Docker में LLM develop करते हैं, तो Nvidia या Radeon GPU वाले Framework laptop पर विचार करना बेहतर है। स्रोत के तौर पर, मैं M3 Max पर Docker के अंदर LLM चलाने वाला AI agent framework develop कर रहा हूं: https://kdeps.com

  • अगर अभी Studio को M3 Ultra से update किया गया है, तो M4 Ultra WWDC में सीधे Mac Pro में जा सकता है। timing दिलचस्प है, और शायद Mac Pro form factor भी बदलें
    साथ ही यह बहुत low-volume product होगा, इसलिए N3B process होना शायद घातक नहीं होगा। वहीं ये chips बनाने में बहुत महंगे होंगे, इसलिए इन्हें महंगे RAM configurations के साथ bundle करना कुछ हद तक समझ में आता है

    • दिलचस्प बात यह है कि लगता है Apple ने अपनी French website पर confirm किया है कि M4 में “Ultra” बनाने के लिए interconnect नहीं है [0][1]। मेरी मूल सोच के उलट, शायद M4 Ultra आए ही नहीं
      इस report को सावधानी से देखना चाहिए, लेकिन कहा जा रहा है कि यह सीधे Apple से आया है। तब M2 Mac Pro को लेकर वे क्या करने वाले हैं, यह और भी बड़ा रहस्य बन जाता है
      [0] https://www.numerama.com/tech/1919213-m4-max-et-m3-ultra-let...
      [1] Macrumors से अतिरिक्त संदर्भ: https://www.macrumors.com/2025/03/05/apple-confirms-m4-max-l...
    • Apple ने कहा है कि हर generation में “Ultra” variant नहीं आएगा: https://arstechnica.com/apple/2025/03/apple-announces-m3-ult...
    • मेरी समझ में Apple Ultra chip को replace करने के लिए multi-SoC system बनाने का तरीका खोजना चाहता था
      मौजूदा तरीके में Max chip को interconnect को केंद्र में रखकर design करना पड़ता है। सिद्धांत रूप में multi-SoC configuration दो chips से आगे, ज्यादा व्यापक product lineup तक scale हो सकता है
    • सच कहूं तो इस साल M4 Ultra देखने को शायद बिल्कुल नहीं मिलेगा। Studio में M3 Ultra डालना बताता है कि M4 Ultra या तो बहुत महंगा है या production capacity कम है
      वैसे भी M2 Mac Pro ऐसा product लगा जैसे Apple customers से पूछ रहा हो, “क्या आप इन PCIe slots से कुछ दिलचस्प कर सकते हैं? हमें connectivity expansion के अलावा कुछ सूझ नहीं रहा।” जब तक Apple Silicon को upgradeable GPU support करने के लिए redesign नहीं किया जाता, Mac Pro खत्म जैसा लगता है
    • लगता है वे Mac Pro form factor बदलेंगे, या फिर इसे पूरी तरह खत्म कर देंगे। मौजूदा model बहुत अधूरा design है और Studio की तुलना में साफ तौर पर value for money खराब है
      यह ऐसा last-stage product लगता है जिसका मकसद PCIe users को तब तक रोके रखना है जब तक वे सब कुछ Thunderbolt पर न ले जाएं। कई बड़े GPUs को accommodate करने वाले design को reuse किया गया, लेकिन अब GPU support नहीं है, इसलिए cooling और power supply का ज्यादातर हिस्सा सिर्फ अवशेष जैसा रह गया है। ऊपर से PCIe expansion भी चुपचाप downgrade कर दिया गया है, और Apple Silicon में ज्यादा PCIe lanes नहीं हैं, इसलिए slots PCIe switch के जरिए काफी over-subscribed हैं

  • AI workloads में 512GB unified memory सचमुच जबरदस्त है। जितने NVIDIA GPU चाहिए होते, उनसे तुलना करें तो कीमत भी लगभग reasonable लगती है

    • server में 512GB high-bandwidth GPU-addressable RAM पाने के लिए शायद छह अंकों में डॉलर खर्च आएगा। अगर memory ही constraint है, तो यह निश्चित रूप से सही server है
      मेरा मतलब था कि NPU और GPU cores को उस RAM तक access होना चाहिए और performance भी reasonable होनी चाहिए
    • अगर वैसे भी किसी और API का इस्तेमाल करने के लिए पूरा AI workflow बदलना है, तो AMD Instinct accelerator card ज्यादा समझदारी वाला लगता है
      महंगा तो है, लेकिन बहुत तेज है, और code को macOS पर चलने लायक बनाने की मशक्कत नहीं करनी पड़ती
    • fully-loaded Mac Studio 14K डॉलर का है

  • AI मॉडल चलाने के लिए अगर अधिकतम 512GB मेमोरी चाहिए, और मॉडल weights रखने के लिए external drive लगाना आपके लिए ठीक है, तो इसे 10,000 डॉलर से थोड़ा कम में खरीदा जा सकता है। यह सपनों की मशीन है
    NVIDIA Project DIGITS 3,000 डॉलर में “जल्द” आने वाला बताया गया है, लेकिन उसी 128GB और 4TB स्पेसिफिकेशन वाला Mac लगभग 4,700 डॉलर में खरीदा जा सकता है, असल में एक हफ्ते के अंदर मिल सकता है, और उस पर macOS चलता है—यही फर्क है। Performance का फर्क नहीं पता। किसी को इस पर पूरा DeepSeek मॉडल टेस्ट करते हुए जल्द देखना चाहता हूं, और शायद यह पहला छोटा personal AI device हो सकता है जिसे आप पूरी तरह own करके मनमर्जी से इस्तेमाल कर सकें

    • इस price range में यह तर्क भी है कि replaceable PC parts चाहिए। लेकिन Apple आम तौर पर PCs के लिए कई सालों की durability देता है
      अगर यह Apple AI brick है, तो काफी लंबे समय तक चलेगा
    • पूरा DeepSeek R1 मॉडल 512GB से ज्यादा memory मांगता है। सिर्फ मॉडल ही 720GB का है
      इस device पर quantized version चलाया जा सकता है, लेकिन पूरा मॉडल नहीं
    • 819GB/s bandwidth के साथ पूरा DeepSeek model experience बहुत खराब होगा

  • Thunderbolt 5 काफी उपयोगी है। आप बहुत पतला और हल्का laptop इस्तेमाल कर सकते हैं, और जरूरत पड़ने पर TB 5 के जरिए external GPU या eGPU access कर सकते हैं [1]
    अब हल्के laptop का फायदा और powerful GPU का फायदा, दोनों साथ मिल सकते हैं
    [1] Asus ने दुनिया का पहला Thunderbolt 5 eGPU announce किया:
    https://www.theverge.com/24336135/asus-thunderbolt-5-externa...

    • दिक्कत यह है कि आप macOS में बंधे हैं, इसलिए NVIDIA, AMD, Intel GPU के लिए drivers नहीं हैं
    • Apple Silicon eGPU के साथ काम नहीं करता
    • macOS पर eGPU में बहुत ज्यादा समस्याएं थीं। मैंने इसे कई साल इस्तेमाल किया है, और Silicon पर शायद यह और भी खराब होगा
      इसके बजाय Sonoma में जोड़ा गया काफी नया high-performance screen sharing mode सचमुच शानदार है। MacBook से Mac Studio में connect करने पर आप वह mode चुन सकते हैं और display settings को dynamic resolution पर बदल सकते हैं। फिर “thin client” 16:10 MacBook screen को पूरा fullscreen इस्तेमाल करता है, असली games में भी 60fps low-latency performance मिलती है, audio भी transmit होता है जिससे meetings join की जा सकती हैं, और host Mac Studio की screen बंद रहती है। ये वे चीजें हैं जो VNC से संभव नहीं थीं, और RDP भी काफी बेहतर है, लेकिन यह नया high-performance screen sharing उससे भी ज्यादा powerful है। मैं हमेशा मानता आया हूं कि powerful machine में remote access करने वाला पतला और हल्का laptop ही बेहतर mobility है, बजाय इसके कि laptop पर सब कुछ local चलाकर जूझते रहें। Firewall settings थोड़ी सेट कर दें तो यह LTE पर भी काम करता है

  • शायद Apple को Xserve पर फिर से विचार करना चाहिए
    Apple के पास किसी न किसी रूप में server infrastructure team तो होगी, लेकिन अपने hardware और software से अपना server infrastructure बनाना explore करने लायक है। App ecosystem और Apple servers को जोड़कर cloud के तौर पर देना या direct खरीदने योग्य बनाना एक बहुत दिलचस्प services business हो सकता है। खासकर अब जब iPad में भी M chip आती है, hardware performance को देखते हुए App Store को बेहतर apps की जरूरत है। App ecosystem के लिए design की गई cloud-based hardware·software service काफी आकर्षक है
    Apple में hardware software से ज्यादा तेजी से आगे बढ़ा है। ज्यादातर tech companies में आम तौर पर hardware software का साथ नहीं दे पाता, लेकिन Apple में उल्टा है

  • सोचता हूं Apple Silicon जिस दिन Linux जैसे operating systems को native support देगा, वह कब आएगा
    लगता है Apple M-series SoC के detailed technical reference documents publish करने में अनिच्छुक है, और इसी वजह से Apple Silicon पर Linux को natively चलाना मुश्किल हो जाता है

    • शायद ऐसा कभी नहीं होगा। iPhone या iPad में भी official Linux support नहीं है, इसलिए Apple अपना रुख बदलेगा, इसकी उम्मीद करना मुश्किल है
    • https://asahilinux.org/
    • यही बात मुझे भी अजीब लगती है। macOS hardware के साथ आता है, इसलिए ऐसा नहीं है कि Apple macOS की sales खो देगा
      अगर कोई Linux चलाने के लिए Apple hardware खरीदता है, तो AAPL पर negative impact नहीं होना चाहिए, फिर भी ऐसा है
    • Darwin चलाना option नहीं है क्या? सोचता हूं Linux, Darwin की तुलना में और क्या देता है