4 पॉइंट द्वारा GN⁺ 2026-04-05 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह ड्राइवर Nvidia नहीं बल्कि Tiny Corp ने विकसित किया है, और Apple के सिग्नेचर अनुमोदन के कारण System Integrity Protection(SIP) को निष्क्रिय किए बिना भी इसका उपयोग किया जा सकता है
  • ड्राइवर को Docker के जरिए सीधे compile करना पड़ता है, इसलिए यह सामान्य plug-and-play तरीका नहीं है
  • Tiny Corp के दस्तावेज़ों के अनुसार, यह ड्राइवर large language model(LLM) चलाने के उद्देश्य से डिज़ाइन किया गया है
  • Tiny Corp ने कहा, “Apple ने AMD और Nvidia दोनों के लिए ड्राइवरों को मंजूरी दी है
  • इसके साथ Arm Mac उपयोगकर्ताओं के लिए external GPU(eGPU) का उपयोग करने की संभावना खुल गई है
  • बाहरी डेवलपर के GPU ड्राइवर पर Apple द्वारा सिग्नेचर अनुमति देना बेहद दुर्लभ मामला माना जा रहा है
  • पहले SIP को निष्क्रिय किए बिना अनौपचारिक ड्राइवर इंस्टॉल करना संभव नहीं था
  • इस मंजूरी से Mac हार्डवेयर की विस्तार-क्षमता और AI·machine learning workloads के उपयोग को और मजबूती मिली है

1 टिप्पणियां

 
GN⁺ 2026-04-05
Hacker News की राय
  • तकनीकी रूप से यह एक अच्छा प्रोजेक्ट है, लेकिन व्यवहार में 90% मामलों में इसका खास उपयोग नहीं है
    अगर NVidia GPU पर LLM चलाना है, तो पुराना PC खरीदना बेहतर है, और अगर ज़्यादा VRAM वाला Mac चाहिए, तो बस Mac खरीद लें
    प्रस्तावित तरीका Thunderbolt पोर्ट की वजह से GPU को सीमित करता है, और NVidia के tools और libraries तक पहुँच भी कमज़ोर रहती है
    दूसरी ओर यह एक अधूरा सिस्टम बन जाता है, जो macOS अपडेट से टूट सकता है

    • एक और तरीका यह है कि उसी LAN में मौजूद किसी दूसरी मशीन के NVidia GPU को network mount किया जाए
      इससे Thunderbolt bandwidth की सीमा नहीं रहती, और CUDA calls वैसे के वैसे इस्तेमाल किए जा सकते हैं
      लेकिन यह उसी LAN में होना चाहिए और लगभग 4% overhead रहता है
      यात्रा के दौरान यह मुश्किल है और macOS की driver समस्या फिर भी हल नहीं होती
      मैं GPU Go में काम करता हूँ, इसलिए इस approach के पक्ष में मेरी bias हो सकती है
    • NVidia के tooling की कमी की बड़ी वजह यह रही है कि अब तक macOS पर हार्डवेयर इस्तेमाल ही नहीं किया जा सकता था
      अब यह संभव हुआ है, तो आगे चलकर स्थिति बदल सकती है
    • मैंने eGPU को virtual GPU समझ लिया था, लेकिन असल में इसका मतलब external GPU है
  • समझ नहीं आता कि लिंक मूल स्रोत की बजाय proxy लिंक पर क्यों जा रहा है
    मूल स्रोत तो X पर tinygrad अकाउंट है

    • शायद login wall की वजह से। X में अब “comments देखने के लिए sign up करें” जैसी कई पाबंदियाँ हैं, और site quality गिर गई है
    • आजकल X ही अक्सर मूल स्रोत होता है, ऐसा नहीं है क्या
  • मेरी समझ से यह केवल Tinygrad के लिए काम करता है
    PyTorch में CUDA या Vulkan इस्तेमाल करना संभव नहीं है
    संबंधित दस्तावेज़ TinyGPU docs में हैं

  • Apple ने 2018 के बाद NVidia eGPU driver signing ठुकरा दी, लेकिन समझ नहीं आता कि वह regulatory scrutiny से कैसे बच गया

    • यह जानना दिलचस्प होगा कि NVidia ने सच में कोशिश की थी या नहीं, इसका कोई सबूत है भी या नहीं
      macOS 10.13 के बाद third-party graphics drivers की अनुमति नहीं थी, लेकिन non-graphics drivers शायद संभव रहे हों
    • हो सकता है सरकारों ने ध्यान ही न दिया हो
      NVidia GPU लगाने लायक Mac बहुत कम थे, और अब तो स्लॉट ही नहीं हैं
    • Apple किसी भी बाज़ार में monopoly position में नहीं है
    • यह कुछ-कुछ वैसा ही है जैसा Google ने Windows Phone के लिए YouTube client को ब्लॉक किया था
    • क्या सिर्फ SIP disable करना ही काफी नहीं है?
  • गाइड और scripts पढ़कर लगता है कि GPU को Linux VM में pass through करने के बाद फिर Mac को लौटाया जाता है
    शायद TinyGrad टीम को इस तरीके की मंज़ूरी मिली है
    हो सकता है मैंने Docker की भूमिका गलत समझी हो

    • TinyGPU docs और GitHub code को देखें, तो
      NVidia GPU के लिए Docker के ज़रिए compile target मिलाया जाता है, जबकि AMD के लिए macOS पर खुद का LLVM build करके इस्तेमाल किया जाता है
  • Apple और NVidia दोनों अपनी बंद मानसिकता की वजह से अच्छे नतीजे खो रहे हैं
    अगर Mac हार्डवेयर पर NVidia को Linux में चलाया जा सकता, तो यह कहीं बेहतर होता
    हम उत्पाद खरीदने के बाद भी नियंत्रण खो देने वाले उपभोक्ता बन जाते हैं

    • इसलिए मैं बस Apple के उत्पाद खरीदता ही नहीं
      उस ecosystem के बाहर भी सब कुछ ठीक चलता है
  • ARM laptop इस्तेमाल करने वालों में remote GPU रखने वाले यूज़र्स बढ़ रहे हैं
    इसलिए ऐसा UX महत्वपूर्ण होता जा रहा है जिसमें GPU स्थानीय workflow के साथ चल सके
    हम GPUGo / TensorFusion में local-first development flow और remote GPU access को जोड़ने के तरीकों पर शोध कर रहे हैं
    जिज्ञासा है कि लोग सचमुच ऐसा अनुभव चाहते हैं जो eGPU जैसा लगे, या वे बस कम से कम friction के साथ remote compute चाहते हैं

    • लेकिन GPU से image output करते समय अगर network latency 100ms भी हो जाए, तो दिक्कत होगी
  • मैं यात्रा पर हूँ, लेकिन घर पर एक RTX 5090 है, इसलिए इससे टेस्ट करना चाहता हूँ
    TinyGPU docs देख रहा हूँ और उम्मीद है कि यह M4 Mac Mini पर चलेगा
    शायद power supply के लिए ATX PSU चाहिए होगा, लेकिन क्या tinygrad से LLM inference संभव है?

    • AliExpress पर लगभग 100 डॉलर का GPU enclosure मिल सकता है
      यह standard PSU इस्तेमाल करता है, लेकिन Mac Mini में occulink नहीं है, इसलिए USB-C bandwidth की सीमा रहेगी
      जब Intel Arc drivers स्थिर हो जाएँगे, तब लो-कॉस्ट GPU कॉम्बिनेशन भी दिलचस्प हो सकते हैं
      Intel Arc Pro B70 (32GB VRAM) की कीमत 1000 डॉलर है, और Mac Mini लगभग 500 डॉलर का है
    • यह सवाल है कि GPU की तेज़ VRAM, Mac की धीमी VRAM की कितनी भरपाई कर पाएगी
      अगर interconnect speed पर्याप्त नहीं हुई, तो layer switching bottleneck बन सकती है
    • मेरे पास भी एक 5090 डिब्बे में बिना खोले पड़ा था, इसलिए आखिरकार उसे वापस कर दिया
      पैसे हैं, लेकिन इस्तेमाल करने का समय नहीं — विडंबनापूर्ण स्थिति है
  • दिलचस्प है, लेकिन CUDA या nvidia-smi चलाया नहीं जा सकता

    • फिर भी यह चौंकाने वाली बात नहीं है, क्योंकि यह NVidia की नहीं बल्कि किसी दूसरी कंपनी की ML libraries पर आधारित है
      CUDA compatibility layer आ जाए तो अच्छा होगा, लेकिन अपनी libraries से inference और training चलना भी काफ़ी प्रभावशाली है
  • अगर Mac पर NVidia drivers का समर्थन होता, तो Mac Pro की बिक्री बढ़ी होती

    • Apple और NVidia के बीच आधिकारिक संबंधों की बहाली एक बड़ी बात है
      पिछले 10 से ज़्यादा वर्षों से Apple ने NVidia GPU drivers की अनुमति नहीं दी थी
      7 साल पुराने GPU (जैसे VEGA64, RTX1080Ti) भी ज़्यादातर Apple Silicon से token processing speed में तेज़ हैं
      Apple के MAX/Ultra processors बड़े मॉडलों के लिए उपयुक्त हैं, लेकिन RTX5090 जितने तेज़ नहीं हैं