Apple ने AI परफॉर्मेंस में बड़ी छलांग देने वाला M5 चिप पेश किया

• M5 चिप में GPU के हर कोर में Neural Accelerator बिल्ट-इन है, जो AI कंप्यूटेशन स्पीड को M4 के मुकाबले 4 गुना से अधिक बढ़ाता है
• 10-core GPU, 16-core Neural Engine, और 153GB/s unified memory bandwidth के संयोजन से on-device AI मॉडल और ग्राफिक्स प्रोसेसिंग, दोनों में परफॉर्मेंस में बड़ा सुधार हुआ है
• MacBook Pro 14, iPad Pro, और Apple Vision Pro में इसे शामिल किया गया है, जिससे AI-आधारित workflow, diffusion model, और language model चलाने की स्पीड काफी बेहतर होती है
• नए 3rd-generation ray tracing engine और 2nd-generation Dynamic Caching के जरिए गेम और 3D ऐप्स में अधिकतम 45% बेहतर graphics performance मिलती है
• Apple ने जोर देकर कहा कि M5 चिप AI युग का एक प्रमुख platform है, और ऊर्जा दक्षता व परफॉर्मेंस दोनों के लिहाज से Apple Silicon की अगली बड़ी छलांग का संकेत देता है

---

M5 चिप का अवलोकन

• M5 चिप 3rd-generation 3nm process पर बना अगली पीढ़ी का Apple Silicon SoC है, जिसे AI workloads के लिए पूरी तरह से फिर से डिज़ाइन किया गया है
• 10 GPU कोर में से हर एक में Neural Accelerator इंटीग्रेट कर AI कंप्यूटेशन परफॉर्मेंस को M4 के मुकाबले 4 गुना और M1 के मुकाबले 6 गुना तक बढ़ाया गया है
• 4 performance cores और 6 efficiency cores से बने 10-core CPU के साथ यह M4 की तुलना में 15% तेज multithreaded performance देता है
• 16-core Neural Engine, बेहतर media engine, और 153GB/s memory bandwidth के जरिए पूरे सिस्टम की efficiency को और मजबूत किया गया है

AI और ग्राफिक्स परफॉर्मेंस में नवाचार

• M5 की अगली पीढ़ी की GPU architecture में सभी compute blocks AI के लिए optimized हैं, और GPU के भीतर का Neural Accelerator सीधे AI कंप्यूटेशन संभालता है
  • Draw Things, LM Studio जैसे on-device AI ऐप्स की रनिंग स्पीड में बड़ा सुधार हुआ है
• 3rd-generation ray tracing engine और 2nd-generation Dynamic Caching के संयोजन से graphics processing performance, M4 के मुकाबले 30% और M1 के मुकाबले 2.5 गुना बेहतर हुई है
• Cyberpunk 2077 जैसे high-end गेम्स में 120Hz support और स्मूद frame transitions संभव होते हैं
• Apple के आधिकारिक frameworks (Core ML, Metal Performance Shaders, Metal 4) पर बने ऐप्स को तुरंत performance gain मिल सकता है
• डेवलपर्स Metal 4 Tensor API के जरिए GPU के भीतर के Neural Accelerator को सीधे नियंत्रित कर सकते हैं

Neural Engine और Apple Intelligence

• 16-core Neural Engine, CPU और GPU के Neural Accelerator के साथ मिलकर हाई-स्पीड AI कंप्यूटेशन संभालता है
• Apple Vision Pro में फोटो का 3D रूपांतरण और Persona generation जैसी जटिल AI क्षमताएं अब और तेज़ चलती हैं
• Apple Intelligence आधारित language models और Image Playground टूल की responsiveness बेहतर हुई है, जिससे on-device AI अनुभव और अच्छा होता है
• डेवलपर्स भी Apple Intelligence models का उपयोग करते समय M5 के बेहतर Neural Engine की वजह से performance improvement महसूस कर सकते हैं

मेमोरी आर्किटेक्चर

• 153GB/s unified memory bandwidth M4 की तुलना में 30% अधिक और M1 की तुलना में 2 गुना से ज्यादा है
• single memory pool structure के कारण CPU, GPU, और Neural Engine एक ही बड़े memory pool तक पहुंच सकते हैं
• 32GB memory configuration के साथ Photoshop, Final Cut Pro जैसे high-end creative apps और बड़े AI models को एक साथ स्मूद तरीके से चलाया जा सकता है
• यह बड़े AI models और real-time graphics rendering के परफॉर्मेंस को अधिकतम करता है

ऊर्जा दक्षता और पर्यावरण

• M5, उद्योग-स्तरीय power efficiency बनाए रखते हुए परफॉर्मेंस में बड़ा सुधार देता है
• Apple 2030 initiative के हिस्से के रूप में, उत्पादन, सामग्री, बिजली, और परिवहन के पूरे चक्र में carbon emissions कम करने पर जोर दिया जा रहा है
• M5 चिप वाले डिवाइस energy efficiency standards को पूरा करते हैं और पूरे product lifecycle में ऊर्जा खपत को न्यूनतम रखने के लिए डिज़ाइन किए गए हैं

समग्र महत्व

• M5 चिप इस बात का प्रतीक है कि Apple Silicon का विकास अब पूरी तरह AI-केंद्रित computing युग की ओर मुड़ चुका है
• GPU और Neural Engine के integrated design के जरिए on-device AI performance अब cloud पर निर्भरता कम करने और personal devices की compute autonomy बढ़ाने की दिशा में आगे बढ़ रही है
• Apple इसके जरिए MacBook Pro, iPad Pro, Vision Pro को अगली पीढ़ी के AI creative platform के रूप में फिर से परिभाषित कर रहा है

[tsboard]

यह AI में पीछे रह गए Apple की छटपटाहट जैसा लगता है, लेकिन फिर भी इससे उम्मीद तो बनती है, haha

[GN⁺]

Hacker News टिप्पणियाँ

• तालिका में संक्षेप

  Chip	Process	CPU Cores	GPU	Neural Engine	Memory Bandwidth	Unified Memory	Geekbench Single/Multi
  M1	5 nm G1	8: 4P+4E	7–8	16-core	68.25 GB/s	16 GB	2346 / 8346
  M2	5 nm G2	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2586 / 9672
  M3	3 nm G1	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2965 / 11565
  M4	3 nm G2	10: 4P+6E	8–10	16-core	120 GB/s	32 GB	3822 / 15031
  M5	3 nm G3	10: 4P+6E	10	16-core	153 GB/s	≤32 GB	4133 / 15437 (9 core)

• 32GB से 24GB तक unified memory कम होना दिलचस्प है। शायद Apple ने सोचा कि M4 chip ने standard model में बहुत ज़्यादा memory दे दी थी, इसलिए Pro/Max chip के साथ फ़र्क बढ़ाने की कोशिश की गई। लेकिन चूँकि नवीनतम Macbook Pro में 32GB option भी supported है, इसलिए तालिका में दिया गया 24GB M5 शायद typo भी हो सकता है
• मेरा M3 Max शायद जल्द ही पुराना लगने लगे, लेकिन M6 या M7 Max में upgrade करना वाकई शानदार होगा
• सोच रहा हूँ कि TSMC की 2nm process अगले साल तक टली है, या फिर असली plan शुरू से 2026 का ही था
• M5 का multicore Geekbench score 9-core version का है। 10-core का score अभी तक जारी नहीं हुआ है
• M5 MacBook Pro अभी भी Broadcom WiFi chip इस्तेमाल करता है, लेकिन M5 iPad Pro में N1 और C1X chip हैं, इसलिए उम्मीद बनती है।
  लगता है Apple hardware के मामले में अविश्वसनीय रूप से शानदार काम कर रहा है।
  software team को सच में अब संभलना चाहिए। M1 खुद इतना ताकतवर है कि ज़्यादातर users को upgrade की ज़रूरत ही नहीं है।
  लेकिन नया OS (Tahoe) उन कामों में भी M1 Air को अचानक धीमा बना देता है जो मैं सालों से वैसे ही करता आया हूँ।
  अगर यह जानबूझकर धीमा किया जा रहा है, तो यह सच में निराशाजनक है
  • Tahoe update के बाद, 32GB M2 Pro काम वाला laptop घर के slow PC जैसा सुस्त हो गया।
    mouse pointer भी जैसे teleport हो रहा हो। accessibility settings में transparency disable करने से भी समस्या हल नहीं हुई, बल्कि और खराब हो गई
  • software को लेकर हाल में Apple की कई बातें सच में पागल कर देती हैं।
    • मैं iPhone को Apple TV remote की तरह इस्तेमाल करता हूँ, लेकिन अचानक volume control काम नहीं करता—ऐसी inconsistent UI बड़ी समस्या है
    • Face ID को मजबूरन इस्तेमाल कराने वाला authentication परेशान करता है। ski resort में तो Face ID स्वाभाविक रूप से काम नहीं करता, लेकिन password सीधे डालने का विकल्प भी नहीं मिलता
    • Apple TV में parental control input के लिए भी बेकार में पहले PIN selection screen से गुजरना पड़ता है। सीधे PIN input window खोलना ज़्यादा सुविधाजनक होगा
    • iPhone को remote की तरह इस्तेमाल करते समय parental approval step में भी काश यह अपने-आप आगे बढ़ जाए
  • Apple hardware team चमत्कार जैसा काम करती है, लेकिन उसे चलाने वाला software उम्मीद पर खरा नहीं उतरता। ऐसा लगता है जैसे दो बिल्कुल अलग कंपनियाँ अलग-अलग काम कर रही हों
  • M5 MacBook Pro का WiFi chip और iPad Pro के N1, C1X सच में अच्छे हैं या नहीं, यह अभी कहना मुश्किल है। Apple के cellular modem के साथ भी अक्सर संतोषजनक अनुभव नहीं रहा।
    M1 के बहुत powerful होने की बात कुछ बढ़ा-चढ़ाकर लगती है। performance-per-watt शानदार है, लेकिन वास्तविक compute throughput में Ryzen 9 7945HX, M1 Max से 3 गुना और Intel Core Ultra 7 265k लगभग 3.5 गुना ज़्यादा काम कर सकता है
  • अगर Apple hardware और software organizations को पूरी तरह अलग कर दे, hardware को और standardized बनाए, और macOS/iOS को कई options में से सिर्फ एक option बनने दे, तो वह सच में रोमांचक होगा। व्यावहारिक रूप से यह शायद संभव नहीं, लेकिन सपना देख सकता हूँ
• Apple hardware specs के हिसाब से प्रभावशाली है, लेकिन मैं ऐसा Mac नहीं खरीदना चाहता जिस पर Linux सीधे न चल सके। Apple का नियंत्रित ecosystem मुझे पसंद नहीं।
  ARM बनाम x86 का सवाल भी है। compatible distro आ भी जाए, तब भी desktop पर तरह-तरह के software और games सब चलाने होते हैं, और ARM अभी भी वहाँ काफ़ी सीमित है। laptop में यह कुछ हद तक व्यावहारिक विकल्प बन गया है, लेकिन सच में आज़ाद और रोज़मर्रा के उपयोग लायक ARM desktop अभी दूर की बात है
  • असल में Mac पर Linux काफ़ी अच्छी तरह चलता है। क्या आपने Parallels या VMware Fusion इस्तेमाल किया है? खासकर Parallels में 2D/3D/video acceleration, suspend, host OS integration वगैरह अच्छी तरह supported हैं।
    अगर यह पसंद न हो, तो Tahoe की नई native container सुविधा से dockerhub आदि से सीधे container चला सकते हैं।
    और macOS ecosystem को 'walled garden' कहा जाता है, लेकिन app installation काफ़ी खुला है और homebrew के ज़रिए लगभग हर open/closed software इस्तेमाल किया जा सकता है
  • मैं अब भी ऐसे ARM laptop की तलाश में हूँ जिस पर Linux अच्छी तरह चले। Lenovo के products पर भी नज़र है, लेकिन Linux support अभी कमज़ोर है
  • Apple से आधिकारिक service लेने पर उल्टा ऐसा लगता है जैसे जानबूझकर upselling की जा रही हो। keyboard replacement के लिए $1500 तक ले लेते हैं। Apple recycling और पुराने models को phase-out करने में भी अब तक उत्साही नहीं है। और यह अब भी एक बंद घेरा है, जहाँ मैं अपने device पर क्या कर सकता हूँ, उसके options सीमित हैं
  • M1 और M2 Mac, Asahi Linux पर काफ़ी अच्छी तरह चलते हैं (हालाँकि M3, M4, M5 अभी supported नहीं हैं)
  • अब मुझे लगता है कि computing speed अपने-आप में बहुत मायने नहीं रखती। जब तक Wirth's law बहुत बुरी तरह लागू न हो, सब ठीक है
• इस बार भी Neural Engine में सुधार के बारे में ठोस जानकारी दिखाई नहीं देती।
  Apple Neural Engine (ANE) से जुड़ी लगभग सारी जानकारी Apple के official docs या reverse engineering से आती है (Github repo), और इस बार भी अनुमान है कि transformer performance के लिए कुछ सुधार किए गए होंगे।
  transformer research पर Apple के papers भी काफ़ी दिलचस्प हैं:
  • transformers on the Neural Engine
  • vision transformers
    software की तरफ़ से MLX ने बहुत प्रगति की है, लेकिन अभी भी और सुधार की गुंजाइश है। M5 Max में कितना आगे बढ़ता है, यह देखना होगा
    चाहे कितने भी सुधार हों, वे पिछली generation पर लागू नहीं होंगे, और सबसे निराशाजनक बात यह है कि Apple अब भी 8GB unified memory देना नहीं छोड़ रहा
  • सही कहा, हाल में (पिछले 1~2 साल से) सभी Mac base models 16GB से शुरू होते हैं। MacBook Air भी ऐसा ही है
  • कुछ मामलों में तेज़ compute performance की ज़रूरत होती है, खासकर बड़े context वाले vision language model में। मेरी समझ से पुराना ANE convolution work और compute efficiency के लिए optimized था, जबकि नया neural accelerator flexibility और performance की ओर बढ़ रहा है
  • मेरी जानकारी में MLX अभी Neural Engine का उपयोग नहीं करता। बेहतर होगा कि Neural Engine को छोड़कर GPU के metal/tensor units पर ध्यान दिया जाए
  • मेरा अनुमान है कि इस बार NVIDIA की तरह GPU cores के अंदर systolic array डाला गया है। M4 की तुलना में MLX speed को 4 गुना बढ़ाने का शायद यही एकमात्र तरीका दिखता है
  • unified memory हमेशा vram से कम पड़ती है। मेरा 16GB vram भी कम लगता है। ऊपर से Apple storage को इतना महँगा बनाता है कि अगर मैं सच में local AI से अपने calendar, mail, photos, notes आदि को खुलकर analyze करवाना चाहूँ, तब भी 256GB~1TB options की सीमाएँ आड़े आती हैं
• Apple Silicon में matrix multiplies कर सकने वाली hardware units कई हैं
  1. CPU SIMD/NEON
  2. CPU AMX coprocessor (M1~M3)
  3. CPU SME (M4)
  4. GPU (metal compute shader+simdgroup-matrix+mps matrix)
  5. Neural Engine (CoreML advisory)
     और M5 में लगता है हर core में एक 'Neural Accelerator' भी जोड़ा गया है
  • हर unit memory hierarchy के अलग-अलग point को संभालती है, इसलिए यह उल्टा काफ़ी तार्किक लगता है। programmer के नज़रिए से भी latency और throughput को बारीकी से control किया जा सकता है, जो अच्छी बात है
  • शुक्र है कि Pytorch जैसी libraries इस जटिलता को अच्छी तरह abstract कर देती हैं। अगर कोई इसे शुरू से खुद बना रहा हो, तो यह काफ़ी जटिल हो जाएगा
  • जिज्ञासा है कि क्या Apple का software (जैसे Final Cut) इन 'duplicate' matrix multiply units को एक साथ इस्तेमाल करके performance को अधिकतम करता है। multitasking की प्रकृति के कारण OS स्तर पर अलग-अलग software अलग resources बाँट लेते हैं, लेकिन इस तरह का चरम concurrent उपयोग आज़माना मज़ेदार होगा
  • मुझे नहीं लगता कि यह कोई बहुत अजीब design है। matmul जैसी operations अब इतनी आम और बार-बार इस्तेमाल होने वाली primitive बन चुकी हैं। 1994 के Mac Quadra में भी बहुत से floating-point units थे, जबकि 1984 के Mac में नहीं थे
  • सोचता हूँ क्या इन सभी matrix multiply units को एक साथ इस्तेमाल किया जा सकता है। व्यावहारिक न सही, मज़े के लिए ही सही? अगर CPU superscalar architecture वाला है, तो शायद कुछ operations parallel में चल सकती हैं
• iPad Pro chip को storage capacity के हिसाब से binning किया जा रहा है
  • 512GB या कम: 3 P-cores + 6 E-cores
  • 1TB या ज़्यादा: 4 P-cores + 6 E-cores
    स्रोत
  • storage tier के हिसाब से performance में फ़र्क रखना, जबकि Apple storage के लिए बहुत ऊँची कीमत लेता है, सच में घिनौनी marketing लगती है
• हाल के Apple को देखकर लगता है hardware team software team से कहीं बेहतर काम कर रही है
  • यह Apple के इतिहास में पहली बार नहीं है। 68k से PowerPC transition के समय भी hardware performance बहुत आगे बढ़ी थी, लेकिन software साथ नहीं दे पाया। core system लगभग OS 9 तक emulation में चलता रहा, और protected memory तथा preemptive multitasking भी लंबे समय तक कमज़ोर रहे। Taligent और Copland projects भी रद्द हो गए, फिर NeXT acquisition के बाद Mac OS X आया। उस समय तक software ही Mac का differentiation था, लेकिन Intel transition के बाद वह भी गिरावट में चला गया, और M1 Mac के आने के बाद फिर से hardware आगे निकलता महसूस हुआ
  • software का दायरा बढ़ते-बढ़ते अनावश्यक features जुड़ जाते हैं और कई apps उपेक्षित रह जाते हैं। दूसरी ओर hardware का scope manufacturing cost की वजह से सीमित रहता है। अब Apple को ऐसा कोई चाहिए जो software के अनावश्यक scope और products को बेझिझक काट सके
  • datacenter/cloud के अलावा ज़्यादातर software लगातार बदतर होता जा रहा है। जो लोग इसी हालात के आदी हो चुके हैं, वही decision-makers बन रहे हैं, इसलिए आगे यह और बिगड़ेगा ऐसा लगता है
  • सच कहें तो यह सिर्फ अभी की बात नहीं है; Apple software quality शुरू से ही कुछ खास नहीं थी। पुराने iTunes में भी tags edit करते समय हर file को बेहद धीमे लिखा जाता था। visual design और design guide अच्छे थे, लेकिन उसके अलावा यह हमेशा शानदार software लगा हो, ऐसा नहीं
  • Apple मूल रूप से एक hardware company है। वह consumer OS मुफ्त देता है, जबकि Microsoft ऐतिहासिक रूप से OS बेचने पर अधिक केंद्रित रहा है। अब SoC package तक खुद design करके Apple सच में अपनी hardware ताकत दिखा रहा है
• पहली बार देखा कि Apple ने marketing में सीधे "AI" शब्द का इस्तेमाल किया। पहले वह सिर्फ "machine learning" या "Apple Intelligence" कहता था
  • आख़िरकार Apple भी hype के आगे झुक गया लगता है। 'machine learning' शब्द पर टिके रहना Apple की आख़िरी self-respect जैसा था, इसलिए अफ़सोस है
  • हालाँकि अगर Apple diffusion model/LLM जैसी general-purpose AI लाता है, तो उसे AI कहना ठीक ही है। फिर भी PR में कम-से-कम Apple Intelligence का ज़िक्र भी होना चाहिए था
  • पूरी तरह उम्मीद खत्म नहीं हुई है। हो सकता है AI का मतलब Apple Intelligence ही हो—थोड़ी अलग तरह की कल्पना से देखें तो
  • मैं मानना चाहूँगा कि Apple जिस AI का प्रचार कर रहा है, उसका मतलब वास्तव में Apple Intelligence ही है
• M5 announcement में कहा गया कि AI के लिए GPU compute M4 की तुलना में 4 गुना तेज़ हो गया है, लेकिन शायद यह lab benchmark होगा। वास्तव में iPad और MacBook Pro दोनों के M5 के लिए "3.5 गुना तेज़ AI performance" का दावा किया गया है, लेकिन असल demos में M4 की तुलना में सिर्फ 1.2~2.3 गुना तेज़ उदाहरण दिखे। समझ नहीं आता कि 3.5 गुना किस test में निकाला गया
  • बताया जा रहा है कि M5 में FP4 operations का support जोड़ा गया है। इसलिए Q4 quantized models (BF16 से बहुत कम precision) में speed difference बड़ा हो सकता है
  • सिर्फ Apple ही नहीं, competitors भी अक्सर दो generations पुराने chips से तुलना करते हैं, इसलिए इस तरह की संख्या बढ़ाकर दिखाना कुछ हद तक समझ आता है
• जिज्ञासा है कि क्या इस M5 chip में भी "Memory Integrity Enforcement" (A19/A19 Pro में लाया गया security feature) शामिल है
  • वही CPU cores इस्तेमाल हुए हैं, इसलिए इसके supported होने की संभावना काफ़ी ज़्यादा है

[xguru]

प्रेस रिलीज़ में AI पर इतना ज़ोर देना, कहीं न कहीं Apple की बेचैनी भी महसूस कराता है।
GPU के साथ neural network accelerator तक सब कुछ इंटीग्रेट करके AI computation की speed बढ़ाना वाकई क्रांतिकारी है, इसलिए on-device performance काफ़ी बढ़ने वाली लगती है। अब यहाँ असली बात यह है कि इस पर कितने शानदार models चढ़ते हैं, हाहा