Google LiteRT-LM - edge devices के लिए high-performance LLM inference framework

• Google द्वारा बनाया गया production-grade on-device LLM inference engine, जो Android·iOS·web·desktop·IoT(Raspberry Pi) सहित पूरे edge environment में बड़े language models को चलाने में सक्षम बनाता है
• नवीनतम Gemma 4 model support भी जोड़ा गया है, और GPU·NPU hardware acceleration के जरिए edge devices पर भी optimal inference performance देता है
• Multimodal support के साथ vision(image)·audio input को process कर सकता है, और CLI में --attachment option के जरिए image attachment inference भी समर्थित है
• agentic workflow के लिए Function Calling(Tool Use) built-in
• Gemma, Llama, Phi-4, Qwen आदि विभिन्न LLM models के साथ compatible, और एक-line CLI command से Hugging Face से model download करके तुरंत inference चलाया जा सकता है
  • uv tool install litert-lm → litert-lm run से तुरंत शुरुआत
• Chrome, Chromebook Plus, Pixel Watch जैसे Google products में वास्तव में integrated, जहाँ on-device GenAI चल रहा है
• Google AI Edge Gallery app के जरिए mobile पर model तुरंत चलाया जा सकता है (Google Play·App Store पर उपलब्ध)
• language APIs: Kotlin(Android/JVM), Python(prototyping), C++(high-performance native) के लिए stable support, Swift(iOS/macOS) development में
• release status: v0.10.2 latest, v0.10.1 में Gemma 4·CLI जोड़े गए, v0.8.0 में desktop GPU·multimodal, v0.7.0 में NPU acceleration जोड़ी गई
• Apache-2.0 license

[picopress]

चलाना तो चाहता हूँ, लेकिन memory ही नहीं है, हाय।

[hmmhmmhm]

क्या अब यह ठीक से चल रहा है? पहले Mac पर परफ़ॉर्मेंस कुछ अजीब तरह से अच्छी नहीं थी...