- छोटा codebase जो PyTorch LLM को local में चलाने देता है (server, desktop, mobile)
- अपने (C/C++) application (desktop या server) और iOS तथा Android पर Python का उपयोग करके LLM चलाना
- Llama 3/2, Mistral आदि लोकप्रिय LLM के साथ command line interaction
- लोकप्रिय hardware और OS support: Linux(x86), Mac OS(M1/M2/M3), Android(XNNPACK समर्थित डिवाइस), iOS 17+ (iPhone 13 Pro+)
- विभिन्न data types: float32, float16, bfloat16
- विभिन्न quantization schemes का support
- multi execution modes: Python (Eager, compile) या native (AOT Inductor (AOTI), ExecuTorch)
अभी कोई टिप्पणी नहीं है.