IPEX-LLM - Intel CPU/GPU पर LLM चलाने के लिए PyTorch लाइब्रेरी

 (github.com/intel-analytics)
8 पॉइंट द्वारा xguru 2024-04-04 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Intel Extension for PyTorch (IPEX) पर आधारित
  • 50 से अधिक मॉडलों के लिए optimized/verified (LLaMA2, Mistral, Gemma, LLaVa, Whisper आदि)
  • लोकल iGPU या Arc/Flex/Max जैसे distributed GPU पर low latency के साथ चलाया जा सकता है
  • llama.cpp, HuggingFace, LangChain, LlamaIndex आदि के साथ अच्छा integration

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.