LibreCuda - स्वामित्व वाले runtime के बिना Nvidia GPU पर CUDA code चलाना

 (github.com/mikex86)
9 पॉइंट द्वारा GN⁺ 2024-08-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह एक प्रोजेक्ट है जिसका लक्ष्य CUDA driver API को replace करके, स्वामित्व वाले CUDA runtime पर निर्भर हुए बिना Nvidia GPU पर CUDA code चलाने में सक्षम बनाना है
  • यह ioctls (खासकर वह जिसे Nvidia के open GPU kernel module में rmapi कहा जाता है) और Nvidia की MMIO command queue structure QMD के ज़रिए हार्डवेयर से सीधे communicate करता है
  • CUDA ELF binary को GPU पर upload करके command queue के माध्यम से चलाया जा सकता है
  • वर्तमान सुविधाएँ
    • GPU memory allocate और free करना, और CPU access के लिए memory mapping
    • CUDA ELF binary को GPU पर upload किया जा सकता है
    • command queue के ज़रिए CUDA kernel execution
  • MIT लाइसेंस

GN⁺ की संक्षिप्त जानकारी

  • LibreCUDA एक ऐसा प्रोजेक्ट है जो स्वामित्व वाले CUDA runtime के बिना Nvidia GPU पर CUDA code चलाने देता है
  • अभी इसमें केवल बुनियादी सुविधाएँ लागू की गई हैं और यह वास्तविक उपयोग के लिए तैयार नहीं है
  • इसी तरह की क्षमता वाला एक प्रोजेक्ट ROCm है, जो AMD GPU पर CUDA जैसी सुविधाएँ देता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-08-09
Hacker News राय

  • ओपन CUDA का उद्देश्य इसे NVIDIA GPU के अलावा अन्य GPU पर भी चलाने योग्य बनाना है

    • अगर इसके लिए NVIDIA GPU खरीदना ही पड़े, तो इसका कोई मतलब नहीं है
    • अगर वास्तविक प्रतिस्पर्धा होती, तो ज़्यादा VRAM वाले डिवाइस आसानी से खरीदे जा सकते
    • किसी दिन लोकल में Llama 405b चलाना संभव हो सकता है

  • CUDA का अनुभव सीमित है, लेकिन जिज्ञासा है कि क्या यह विभिन्न ML लाइब्रेरीज़ (जैसे TensorFlow, ONNX) चलाते समय आने वाली CUDA/CUDNN dependency version समस्याओं को हल करने में मदद करेगा

  • बहुत बढ़िया

    • CUDA runtime से मुझे यही सब चाहिए
    • LLVM libc unit tests चलाए जा सकते हैं
    • यह AMD लाइब्रेरी के लिए भी उसी direct system call approach को उचित ठहरा सकता है

  • जो प्रोजेक्ट CUDA पर निर्भर हैं, उनके लिए platform freedom पाने के उद्देश्य से LibreCUDA से HiP पर जाना पहला कदम होना चाहिए

  • जिज्ञासा है कि CUDA ELF file वास्तव में क्या है

    • क्या यह binary SASS code है, और क्या इसके लिए किसी open source PTXAS alternative की ज़रूरत होगी

  • CUDA के शुरुआती उपयोगकर्ता के रूप में, जिज्ञासा है कि यह आखिर कौन-सी समस्या हल करता है

  • लगता है कि इसे CUDA Libre कहने का मौका चूक गया

  • जिज्ञासा है कि क्या अब भी proprietary NVIDIA graphics driver चलाना पड़ेगा, या यह उससे पूरी तरह असंबंधित है

  • लेखकों को trademark infringement notice के बारे में सोचना शुरू कर देना चाहिए

  • ZLUDA को AMD के अनुरोध पर बंद किए जाने के बाद, CUDA dependency तोड़ने के एक सामान्य तरीके के रूप में ZLUDA का विकल्प चाहिए

    • ऐसा कुछ चाहिए जो NVIDIA hardware से बंधा न हो