MLC LLM - एक open source solution जो LLM models को किसी भी device पर deploy करना संभव बनाता है

• लक्ष्य यह है कि कोई भी AI models को develop और optimize करके किसी भी device पर deploy कर सके
• MLC(Machine Learning Compilation) और Apache TVM Unity का उपयोग
• supported platforms
  • iPhone/iPad/Android
  • Metal GPU और Intel&ARM MacBook
  • AMD/Intel तथा NVidia GPU (Windows/Linux पर Vulkan)
  • NVidia GPU (Windows/Linux पर CUDA)
  • ब्राउज़र का WebGPU

[carnoxen]

क्रॉस-प्लेटफ़ॉर्म कई मायनों में काफ़ी लोकप्रिय है।