- Google द्वारा बनाया गया production-grade on-device LLM inference engine, जो Android·iOS·web·desktop·IoT(Raspberry Pi) सहित पूरे edge environment में बड़े language models को चलाने में सक्षम बनाता है
- नवीनतम Gemma 4 model support भी जोड़ा गया है, और GPU·NPU hardware acceleration के जरिए edge devices पर भी optimal inference performance देता है
- Multimodal support के साथ vision(image)·audio input को process कर सकता है, और CLI में
--attachment option के जरिए image attachment inference भी समर्थित है
- agentic workflow के लिए Function Calling(Tool Use) built-in
- Gemma, Llama, Phi-4, Qwen आदि विभिन्न LLM models के साथ compatible, और एक-line CLI command से Hugging Face से model download करके तुरंत inference चलाया जा सकता है
uv tool install litert-lm → litert-lm run से तुरंत शुरुआत
- Chrome, Chromebook Plus, Pixel Watch जैसे Google products में वास्तव में integrated, जहाँ on-device GenAI चल रहा है
- Google AI Edge Gallery app के जरिए mobile पर model तुरंत चलाया जा सकता है (Google Play·App Store पर उपलब्ध)
- language APIs: Kotlin(Android/JVM), Python(prototyping), C++(high-performance native) के लिए stable support, Swift(iOS/macOS) development में
- release status: v0.10.2 latest, v0.10.1 में Gemma 4·CLI जोड़े गए, v0.8.0 में desktop GPU·multimodal, v0.7.0 में NPU acceleration जोड़ी गई
- Apache-2.0 license
अभी कोई टिप्पणी नहीं है.