Apple Silicon एग्जीक्यूटिव ने Mac mini की AI मांग और on-device भविष्य पर बात की

 (macrumors.com)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI एजेंट्स को लंबे समय तक चलाने के लिए अलग डिवाइस की मांग बढ़ने से Mac mini और Mac Studio डेवलपर्स के डेस्कटॉप के रूप में ध्यान खींच रहे हैं
  • एजेंट-आधारित कामों के लिए ऐसा सिस्टम चाहिए जो मुख्य कार्य मशीन से अलग वातावरण में हो, जिसे उपयोगकर्ता सीधे नियंत्रित कर सके, और जो 24x7 चल सके
  • कई AI टूल्स Mac-first या Mac-only हैं, और frontier AI labs के डेवलपर्स के बीच भी Mac आम होता जा रहा है, जिससे Mac ecosystem की स्थिति और मजबूत हो रही है
  • Brooks एजेंट-आधारित AI को केवल GPU समस्या नहीं मानते, बल्कि LLM execution, tool calling और workflow processing को साथ संभालने वाली पूरे chip design की समस्या के रूप में देखते हैं
  • Apple on-device AI को privacy, security और inference cost से जोड़ता है, और मानता है कि डिवाइस और cloud के बीच भूमिकाएं बांटने वाला hybrid execution आगे का रास्ता होगा

Mac mini और Mac Studio पर बढ़ती AI एजेंट मांग

  • Apple Silicon के senior product manager Doug Brooks ने WWDC 2026 से ठीक पहले The Deep View को दिए इंटरव्यू में Apple की chip strategy और AI demand पर बात की
  • Apple को Mac mini और Mac Studio के लिए “incredible demand” दिख रही है
  • एजेंट-आधारित workloads में ये शर्तें अहम हैं
    • ऐसा सिस्टम जिसे उपयोगकर्ता सीधे नियंत्रित कर सके
    • मुख्य उपयोग मशीन से अलग वातावरण
    • ऐसा हार्डवेयर जो दिन के 24 घंटे, हफ्ते के 7 दिन चल सके
  • Brooks ने कहा कि इन शर्तों में Mac mini एक “amazing system” है
  • कई AI टूल्स Mac-first या Mac-only के रूप में उपलब्ध हैं, और frontier AI labs में भी Mac को आमतौर पर इस्तेमाल होने वाले माहौल के रूप में बताया गया

Apple Silicon का लक्ष्य on-device AI

  • Brooks एजेंट-आधारित AI को सिर्फ GPU-केंद्रित काम के रूप में नहीं देखते
    • केवल GPU से LLM चलाना पर्याप्त नहीं है
    • tool calling और workflow के आसपास के कामों में chip के कई हिस्से शामिल होते हैं
    • यह संरचना Apple Silicon की ताकत से मेल खाती है
  • Apple की AI से जुड़ी ताकत ChatGPT जैसे LLM आने से पहले किए गए chip design फैसलों से जुड़ी है
    • Neural Engine को power-efficient matrix operations के लिए design किया गया था
    • CPU के भीतर कम ज्ञात neural network accelerators आवाज जैसी time-sensitive tasks को संभालते हैं
    • हाल के वर्षों में GPU में भी neural network accelerators जोड़े गए हैं, ताकि iPhone-स्तर की chips से लेकर Mac के बड़े silicon तक AI performance को बढ़ाया जा सके
  • Apple किसी खास मशीन के हिसाब से chip बनाता है और hardware और software को साथ विकसित करने का तरीका बनाए रखता है
  • AI execution का कुछ हिस्सा cloud से local की ओर जा रहा है, और Brooks इसके पीछे privacy, security और एजेंट्स के token usage बढ़ने से बढ़ती inference cost को वजह बताते हैं
  • भविष्य का AI execution पूरी तरह local shift होने के बजाय, ऐसे hybrid approach के करीब होगा जिसमें agent तय करेगा कि कौन-से काम डिवाइस पर करने हैं और कौन-से cloud को भेजने हैं
  • iPhone और iPad में “transparent AI” पर जोर दिया जा रहा है
    • इसका मतलब ऐसे फीचर्स हैं जो operating system और third-party apps में AI होने को सामने लाए बिना चुपचाप काम करते हैं
    • iPhone, iPad और Mac पर चलने वाला image generator Draw Things इसका एक उदाहरण है
    • iPhone camera से tennis और pickleball मैचों का real-time analysis करने वाला SwingVision भी उदाहरणों में शामिल है
  • Brooks ने मौजूदा AI development की रफ्तार को “just crazy” बताया और कहा कि 1 साल बाद तो छोड़िए, 3 महीने या 1 महीने बाद का अनुमान लगाना भी मुश्किल है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • Apple ने अब तक लगभग कोई खास दिलचस्प AI अनुभव पेश नहीं किया है, फिर भी लगता है कि 5 साल बाद यह AI का प्रमुख प्रदाता बन सकता है
    अगर chip या model, या दोनों में, बस एक-दो और प्रगति हो जाए, तो mid-range Apple डिवाइसों पर भी काफी अच्छे local model मुफ़्त में चलाए जा सकेंगे. उस समय privacy·cost·latency का संयोजन ऐसा होगा जिसे OpenAI/Anthropic/Google के लिए हराना मुश्किल लगेगा
    5 साल बाद तारीफ़ मिले या मज़ाक उड़े, इसलिए लिखकर रख रहा हूँ

    • मुझे यह ज़्यादा पसंद है कि Apple अपने हर बिज़नेस को AI-केंद्रित नहीं बना रहा
      अब इससे थोड़ी थकान होने लगी है. काम में तो व्यावहारिक ज़रूरत की वजह से इस्तेमाल करता हूँ, लेकिन ऐसा करते-करते इसकी दिलचस्प और मज़ेदार बातें कम हो जाती हैं, और काम के बाहर भी उतना ही इस्तेमाल करूँ तो शायद वही हाल होगा
    • अभी के लिए local inference का cloud से मुकाबला करना मुश्किल होने के दो बड़े कारण हैं
      पहला, ज़्यादातर उपयोगी LLM काम parallel में प्रोसेस होते हैं. Mac Mini एक समय में LLM inference का एक thread चला सकता है, लेकिन cloud दर्जनों चला सकता है और पूरे hardware fleet में उन्हें कुशलता से batch कर सकता है
      दूसरा, Cerebras या Groq जैसे तेज़ inference hardware को local में नहीं चलाया जा सकता. प्रति thread token throughput 5 गुना या उससे ज़्यादा होने का फ़ायदा कम करके नहीं आंका जा सकता, और जब इसमें multi-thread का फ़ायदा भी जुड़ जाए तो यह local LLM के लिए निर्णायक साबित होता है
      local inference की भी अपनी भूमिका है. अगर आप बेहद sensitive काम कर रहे हैं, या बिना censorship वाले model से sexual conversation या NSFW images बनाना चाहते हैं, तो local ही एकमात्र विकल्प है. Apple और दूसरी कंपनियाँ भी sentence editing suggestions, speech recognition, speech synthesis, image manipulation जैसे उपयोगी कामों को local में काफी चलाती रहेंगी, और जैसे-जैसे local hardware बेहतर होगा, ये फीचर्स भी सुधरेंगे
      लेकिन ज़्यादातर LLM कामों में cloud बहुत लंबे समय तक, शायद हमेशा, आगे रहेगा
    • Photos app में किया गया सूक्ष्म machine learning integration ठीक है. plant identification, face recognition, background removal, OCR text search, यहाँ तक कि handwriting search भी अच्छी तरह शामिल है
    • पूरी तरह local या पूरी तरह online से पहले शायद hybrid आएगा
      जैसे computer control या delegation local model संभाले, और मज़बूत reasoning·planning·knowledge access वाले काम online model करें. अगर मैं ग़लत निकलूँ तो खुशी होगी, लेकिन मुझे लगता है कि model, hardware से तेज़ी से बड़े हो रहे हैं
    • अप्रैल 2023 में मैंने लिखा था, “हम सबको full-option Mac Studio खरीदना चाहिए, RAM 128GB, CPU core 20, और बहुत सारे GPU व Neural cores”
      हम देर से भी थे और जल्दी भी
      https://news.ycombinator.com/item?id=35527692

  • अगर Apple Private Cloud Compute को किसी व्यक्ति के लिए समर्पित execution environment की तरह डिज़ाइन करे, तो शायद यह 10,000 डॉलर से शुरू होने वाली मशीनें भी बेच सकता है
    आखिरकार 2,500 डॉलर तक आने का रास्ता चाहिए होगा, लेकिन ऐसा niche Apple के अलावा किसी consumer brand के लिए करना मुश्किल लगता है
    [1] https://security.apple.com/blog/private-cloud-compute/

    • out-of-stock M3 Ultra Mac Studio के 800GB/s से ज़्यादा memory bandwidth वाले मॉडल eBay पर 24,000 डॉलर में बिक रहे हैं, इसलिए यह काफ़ी संभव है
    • जब iCloud Drive डेवलप हो रहा था, तब कंपनी में internal iPad medical app दिखाने आए एक sales representative के ज़रिए मैंने Apple से कहा था कि यह चीज़ iCloud के लिए कर दे
      अगर rack-mounted Mac Pro होता जिसे “managed” devices target कर सकते, तो मैं 50,000 डॉलर भी आसानी से दे देता, लेकिन Apple उस ज़रूरत को बिल्कुल समझ ही नहीं पाया
    • पहले हर नए Mac के आने पर मैं सहकर्मियों के साथ उसकी सबसे महंगी configuration बनाया करता था
      एक समय यह आसानी से 6-अंकीय डॉलर तक पहुँच जाता था, लेकिन समय के साथ धीरे-धीरे नीचे आया
    • Apple professional users के प्रति काफ़ी hostile है, इसलिए मुझे नहीं लगता
    • वह consumer से ज़्यादा enterprise जैसा मामला है. personal computing में 10,000 डॉलर की मशीन को सही ठहराने वाला use case सोचना मुश्किल है

  • अगर आप Claude Code या openclaw जैसे software को सिर्फ LLM API या subscription के साथ इस्तेमाल करना चाहते हैं, local model नहीं चलाना चाहते, और बस local file system के साथ हमेशा चालू रहने वाला “second brain” workflow चाहते हैं, तो समझ नहीं आता कि Mac mini ज़रूरी क्यों है
    यह तो Raspberry Pi या पुराने laptop पर भी चल जाना चाहिए; किसी ने सच में ऐसा करके देखा है क्या, यह जानना चाहता हूँ

    • Mac mini को लेकर यह उत्साह थोड़ा समझ नहीं आता
      शायद दो में से एक बात है. 1) लोगों ने सुन लिया कि “Mac AI के लिए अच्छा है”, इसलिए खरीद लिया, लेकिन असल inference Claude से कर रहे हैं, और उन्हें यह नहीं पता कि internet connection हो तो hair dryer से भी Anthropic API call की जा सकती है. 2) वे चाहते हैं कि agent के पास iMessage का नीला bubble हो
      यह मानना मुश्किल है कि आम लोग on-device inference इतना ज़्यादा कर रहे हैं कि Mac Mini out of stock हो जाए, और अगर ऐसा हो भी रहा है, तब भी उस काम के लिए Mac mini कोई बहुत बेहतरीन platform नहीं है
    • सिर्फ उस use case के लिए Mac Mini ज़रूरी नहीं है, लेकिन इसकी क़ीमत काफ़ी कम थी और quality अच्छी है
      खरीदने वाले लोग शायद इसकी पूरी performance का इस्तेमाल न करें, लेकिन वे जितना हो सके उतना सस्ता सामान लेने से ज़्यादा convenience को महत्व देते हैं
      अगर मान लें कि यह लंबे समय तक चलेगा और दूसरे कामों में भी आएगा, तो कुछ हद तक इसे सही ठहराया जा सकता है
    • क्योंकि Mac mini से iMessage पर text भेजे जा सकते हैं. बस यही वजह है
    • सही है. browser चलाने जैसे कामों में थोड़ा extra performance मदद करता है, लेकिन अगर आप थोड़ा पैसा ही खर्च करना चाहते हैं, तो refurbished या Minisforum, GMKTec जैसे mini PC भी काफ़ी अच्छे हैं
      memory कम से कम 16GB, और हो सके तो 32GB होनी चाहिए
    • अगर सिर्फ openclaw और API इस्तेमाल करनी है, तो बड़ा PC नहीं चाहिए
      मैं RPI4 8GB पर हल्की चीज़ें चला रहा हूँ. बहुत से लोग local LLM चलाते हैं, और तब Mac काम आता है. सच कहूँ तो OpenRouter subscription और API calls की cost-effectiveness को हराना मुश्किल लगता है

  • अगर पूंजी हो, तो मैं घर के लिए एक inference appliance बनाना चाहूँगा
    Ethernet के अलावा कोई peripheral न हो, और उसमें सिर्फ CPU+GPU+memory integrated compute unit, auxiliary storage, mainboard और power हो। मतलब बिना किसी सजावट के, मॉडल को utility की तरह चलाने के लिए जरूरी न्यूनतम hardware ही रखा जाए
    अच्छा होगा अगर front panel पर पुराने Hi-Fi stereo की तरह status दिखाने वाला display हो
    जोड़कर कहूँ तो, मैं RISC-V CPU + Vortex GPGPU + memory वाले module series जैसी किसी चीज़ के बारे में सोच रहा हूँ

    • सर्दियों में इससे घर गरम किया जा सकेगा और गर्मियों में swimming pool
    • यह सुनने में Mac mini/Studio का बस थोड़ा बदला हुआ बाहरी रूप लगता है
    • क्या George Hotz tiny में यही नहीं कर रहा? https://tinycorp.myshopify.com/
    • अभी मौजूद चीज़ों में सबसे करीब शायद Taalas द्वारा डिज़ाइन किया गया LLM ASIC है
      https://taalas.com/products/
      अफ़सोस की बात है कि उस कंपनी का chatbot हैरान कर देने वाली गति से चलता है, लेकिन उसे चलाने वाली कंपनी के बारे में असल में कुछ भी पता नहीं चलता
      फिर भी, अगर यह स्थानीय रूप से diffusion language model चलाने वाला ASIC है, तो बुरा नहीं लगता। भले ही कभी यह पुराना पड़ जाए, फिर भी सब कुछ उन कंपनियों पर छोड़ देने से बेहतर है जो venture funding के सहारे चलती हैं और भविष्य में या तो गायब हो जाएँगी, या उससे भी बुरा, बाज़ार पर कब्ज़ा करके मनमानी कीमत वसूलेंगी
    • मैं इस उपयोग के लिए Tenstorrent पर नज़र रखे हुए हूँ
      कीमत शायद high-memory-density integrated memory platform और purpose-built GPU के बीच कहीं होगी
      घर में इस्तेमाल के लिहाज़ से यह व्यावहारिकता की सीमा पर है, लेकिन दिलचस्प है

  • Mac पर on-device model चलाना काफ़ी झंझट वाला है
    BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF वगैरह में से क्या चलेगा, यह समझना ही अच्छे से अच्छा कहें तो भी स्पष्ट नहीं है। Apple tool support लगभग देता ही नहीं। MLX है, लेकिन अगर आप मॉडल को खुद उस format में convert करने का इरादा नहीं रखते, तो आप काफ़ी पीछे रह जाते हैं
    LM Studio, Ollama, Draw Things जैसे apps चीज़ों को सरल तो बनाते हैं, लेकिन फिर भी झंझट बना रहता है

    • ठीक-ठीक क्या झंझट है, यह समझ नहीं आता। यह बस सीखने की प्रक्रिया है, और एक-दो दिन में आदत हो जाती है
      लगता है लोग भूल गए हैं कि पिछले 50 सालों से कंप्यूटर पर तरह-तरह के काम करना उबाऊ, जटिल और सिर्फ़ चीज़ों को चलाने लायक बनाने में ही बहुत समय लेने वाला रहा है। मेरा पहला कंप्यूटर 48KB RAM वाला था, और गेम खेलने के लिए cassette से 5 मिनट तक load करना पड़ता था। वह झंझट था
      उसके मुकाबले LM Studio का मॉडल डाउनलोड करना, load करना, और फिर बातचीत या agent जोड़ने देना बहुत आसान है और ज़्यादा मेहनत नहीं मांगता
    • मैं LM Studio काफ़ी नियमित रूप से इस्तेमाल करता हूँ, और MLX टीम व community आम तौर पर नए model release के एक-दो दिन के भीतर MLX version डाल देते हैं
    • आप किस तरह की समस्या झेल रहे हैं, यह जानने की जिज्ञासा है। मैं स्थानीय रूप से कई Qwen Coder next agents चला रहा हूँ और यह ठीक काम कर रहा है
    • मॉडल को MLX में convert करना सचमुच सिर्फ़ git clone करना और mlx_lm.convert चलाना है
      clone के बाद 5 मिनट का काम है
    • दूसरी तरफ़, मैं Redis के लिए मशहूर antirez के इस local LLM का संतोष के साथ इस्तेमाल कर रहा हूँ
      [1] https://github.com/antirez/ds4

  • मुद्दा AI inference नहीं, बल्कि tool calling, desktop GUI app का काम, और browser चलाना है
    कम दाम वाले Mac Mini पर अभी ऐसे on-device model नहीं हैं जो असली काम के लिए पर्याप्त हों। लेकिन अगर बात कुछ browser और GUI apps चलाने की हो, तो cloud में ज़्यादा महंगे और कमज़ोर containers के लिए पैसे देने से Mac Mini खरीदना कहीं बेहतर है
    browser को Linux container में चलाने के लिए डिज़ाइन नहीं किया गया था; वे bare-metal desktop OS पर सबसे अच्छा चलते हैं। M4 Mac Mini में प्रति dollar शुद्ध compute performance, यानी Geekbench score के हिसाब से, cloud में किराये पर मिलने वाले किसी भी VM से बेहतर single-core performance है

    • मूल कीमत के हिसाब से, 4 मशीनों का bundle tokens-per-second-per-dollar की ज़रूरत के लिए बहुत अच्छा समाधान था

  • submit link इस मूल editorial लेख का होना चाहिए था
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • “Apple silicon के senior product manager Doug Brooks के अनुसार Apple के Mac mini और Mac Studio, AI agents चलाने के लिए पसंदीदा मशीनें बन गए हैं” — यह ज़्यादातर अमेरिकी परिघटना है
    मेरे आसपास न Mac mini हैं, न Mac Studio; सिर्फ़ ThinkPad और MacBook laptops हैं जो hyperscalers से जुड़े हुए हैं

    • पता नहीं आप किस इलाके की बात कर रहे हैं। UK में बिजली के बिल बेहिसाब महंगे हैं, इसलिए local LLM के लिए low-power विकल्पों में यह काफ़ी लोकप्रिय है
      अगर आप local LLM वाले दायरे में नहीं हैं, तो जाहिर है यह आपको दिखाई नहीं देगा। यह ऐसा ही है जैसे आप tennis court पर जाएँ ही नहीं और कहें, “यहाँ tennis लोकप्रिय नहीं है”

  • जैसे लोगों ने petrol से बेहतर mileage के लिए diesel कार खरीदी थी, वैसे ही कई देशों में बिजली बहुत महंगी होने की वजह से लोग Nvidia configuration की तुलना में कम operating cost वाले Apple unified memory devices खरीद रहे हैं
    जैसे-जैसे Apple के अलावा unified memory के विकल्प बढ़ेंगे, बहुत से लोग वही चुनेंगे

  • यह लेख https://www.thedeepview.com/articles/how-apple-s-decade-long... का बदला हुआ रूप है