- यह ड्राइवर Nvidia नहीं बल्कि Tiny Corp ने विकसित किया है, और Apple के सिग्नेचर अनुमोदन के कारण System Integrity Protection(SIP) को निष्क्रिय किए बिना भी इसका उपयोग किया जा सकता है
- ड्राइवर को Docker के जरिए सीधे compile करना पड़ता है, इसलिए यह सामान्य plug-and-play तरीका नहीं है
- Tiny Corp के दस्तावेज़ों के अनुसार, यह ड्राइवर large language model(LLM) चलाने के उद्देश्य से डिज़ाइन किया गया है
- Tiny Corp ने कहा, “Apple ने AMD और Nvidia दोनों के लिए ड्राइवरों को मंजूरी दी है”
- इसके साथ Arm Mac उपयोगकर्ताओं के लिए external GPU(eGPU) का उपयोग करने की संभावना खुल गई है
- बाहरी डेवलपर के GPU ड्राइवर पर Apple द्वारा सिग्नेचर अनुमति देना बेहद दुर्लभ मामला माना जा रहा है
- पहले SIP को निष्क्रिय किए बिना अनौपचारिक ड्राइवर इंस्टॉल करना संभव नहीं था
- इस मंजूरी से Mac हार्डवेयर की विस्तार-क्षमता और AI·machine learning workloads के उपयोग को और मजबूती मिली है
1 टिप्पणियां
Hacker News की राय
तकनीकी रूप से यह एक अच्छा प्रोजेक्ट है, लेकिन व्यवहार में 90% मामलों में इसका खास उपयोग नहीं है
अगर NVidia GPU पर LLM चलाना है, तो पुराना PC खरीदना बेहतर है, और अगर ज़्यादा VRAM वाला Mac चाहिए, तो बस Mac खरीद लें
प्रस्तावित तरीका Thunderbolt पोर्ट की वजह से GPU को सीमित करता है, और NVidia के tools और libraries तक पहुँच भी कमज़ोर रहती है
दूसरी ओर यह एक अधूरा सिस्टम बन जाता है, जो macOS अपडेट से टूट सकता है
इससे Thunderbolt bandwidth की सीमा नहीं रहती, और CUDA calls वैसे के वैसे इस्तेमाल किए जा सकते हैं
लेकिन यह उसी LAN में होना चाहिए और लगभग 4% overhead रहता है
यात्रा के दौरान यह मुश्किल है और macOS की driver समस्या फिर भी हल नहीं होती
मैं GPU Go में काम करता हूँ, इसलिए इस approach के पक्ष में मेरी bias हो सकती है
अब यह संभव हुआ है, तो आगे चलकर स्थिति बदल सकती है
समझ नहीं आता कि लिंक मूल स्रोत की बजाय proxy लिंक पर क्यों जा रहा है
मूल स्रोत तो X पर tinygrad अकाउंट है
मेरी समझ से यह केवल Tinygrad के लिए काम करता है
PyTorch में CUDA या Vulkan इस्तेमाल करना संभव नहीं है
संबंधित दस्तावेज़ TinyGPU docs में हैं
Apple ने 2018 के बाद NVidia eGPU driver signing ठुकरा दी, लेकिन समझ नहीं आता कि वह regulatory scrutiny से कैसे बच गया
macOS 10.13 के बाद third-party graphics drivers की अनुमति नहीं थी, लेकिन non-graphics drivers शायद संभव रहे हों
NVidia GPU लगाने लायक Mac बहुत कम थे, और अब तो स्लॉट ही नहीं हैं
गाइड और scripts पढ़कर लगता है कि GPU को Linux VM में pass through करने के बाद फिर Mac को लौटाया जाता है
शायद TinyGrad टीम को इस तरीके की मंज़ूरी मिली है
हो सकता है मैंने Docker की भूमिका गलत समझी हो
NVidia GPU के लिए Docker के ज़रिए compile target मिलाया जाता है, जबकि AMD के लिए macOS पर खुद का LLVM build करके इस्तेमाल किया जाता है
Apple और NVidia दोनों अपनी बंद मानसिकता की वजह से अच्छे नतीजे खो रहे हैं
अगर Mac हार्डवेयर पर NVidia को Linux में चलाया जा सकता, तो यह कहीं बेहतर होता
हम उत्पाद खरीदने के बाद भी नियंत्रण खो देने वाले उपभोक्ता बन जाते हैं
उस ecosystem के बाहर भी सब कुछ ठीक चलता है
ARM laptop इस्तेमाल करने वालों में remote GPU रखने वाले यूज़र्स बढ़ रहे हैं
इसलिए ऐसा UX महत्वपूर्ण होता जा रहा है जिसमें GPU स्थानीय workflow के साथ चल सके
हम GPUGo / TensorFusion में local-first development flow और remote GPU access को जोड़ने के तरीकों पर शोध कर रहे हैं
जिज्ञासा है कि लोग सचमुच ऐसा अनुभव चाहते हैं जो eGPU जैसा लगे, या वे बस कम से कम friction के साथ remote compute चाहते हैं
मैं यात्रा पर हूँ, लेकिन घर पर एक RTX 5090 है, इसलिए इससे टेस्ट करना चाहता हूँ
TinyGPU docs देख रहा हूँ और उम्मीद है कि यह M4 Mac Mini पर चलेगा
शायद power supply के लिए ATX PSU चाहिए होगा, लेकिन क्या tinygrad से LLM inference संभव है?
यह standard PSU इस्तेमाल करता है, लेकिन Mac Mini में occulink नहीं है, इसलिए USB-C bandwidth की सीमा रहेगी
जब Intel Arc drivers स्थिर हो जाएँगे, तब लो-कॉस्ट GPU कॉम्बिनेशन भी दिलचस्प हो सकते हैं
Intel Arc Pro B70 (32GB VRAM) की कीमत 1000 डॉलर है, और Mac Mini लगभग 500 डॉलर का है
अगर interconnect speed पर्याप्त नहीं हुई, तो layer switching bottleneck बन सकती है
पैसे हैं, लेकिन इस्तेमाल करने का समय नहीं — विडंबनापूर्ण स्थिति है
दिलचस्प है, लेकिन CUDA या
nvidia-smiचलाया नहीं जा सकताCUDA compatibility layer आ जाए तो अच्छा होगा, लेकिन अपनी libraries से inference और training चलना भी काफ़ी प्रभावशाली है
अगर Mac पर NVidia drivers का समर्थन होता, तो Mac Pro की बिक्री बढ़ी होती
पिछले 10 से ज़्यादा वर्षों से Apple ने NVidia GPU drivers की अनुमति नहीं दी थी
7 साल पुराने GPU (जैसे VEGA64, RTX1080Ti) भी ज़्यादातर Apple Silicon से token processing speed में तेज़ हैं
Apple के MAX/Ultra processors बड़े मॉडलों के लिए उपयुक्त हैं, लेकिन RTX5090 जितने तेज़ नहीं हैं