Google AI Edge Gallery - पूरी तरह ऑफलाइन LLM गैलरी ऐप ओपन सोर्स

• On-device generative AI चलाने के लिए विशेष रूप से बना iOS/Android ऐप, जो इंटरनेट कनेक्शन के बिना पूरी तरह ऑफलाइन·प्राइवेट वातावरण में LLM चलाता है
• Gemma 4 family के लिए आधिकारिक सपोर्ट जोड़ा गया - सर्वर पर भेजे बिना उन्नत reasoning, logic और creative फीचर्स को टेस्ट किया जा सकता है
• Agent Skills: LLM के साथ बातचीत से आगे बढ़कर उसे एक सक्रिय assistant में बदलना
  • Wikipedia fact search, interactive maps, visual summary cards जैसे टूल्स से LLM की क्षमताओं का विस्तार
  • URL से modular skills लोड करने और GitHub Discussions कम्युनिटी skills खोजने का सपोर्ट
• Thinking Mode: AI चैट के दौरान मॉडल की step-by-step reasoning प्रक्रिया को विज़ुअली देखा जा सकता है (फ़िलहाल केवल Gemma 4 family जैसे supported models तक सीमित)
• Ask Image: कैमरा·फोटो गैलरी का उपयोग कर multimodal object recognition, visual puzzles और detailed descriptions बनाना
• Audio Scribe: on-device मॉडल से real-time speech transcription और translation
• Prompt Lab: temperature, top-k जैसे parameters को बारीकी से समायोजित करते हुए prompts टेस्ट करने के लिए समर्पित workspace
• Mobile Actions : FunctionGemma 270m fine-tuned मॉडल पर आधारित ऑफलाइन डिवाइस कंट्रोल automation
• Tiny Garden : natural language मिनीगेम
• Model Management & Benchmark: open source models डाउनलोड करने, custom models लोड करने और hardware के अनुसार benchmark tests चलाने का सपोर्ट
• LiteRT lightweight runtime + Hugging Face इंटीग्रेशन के साथ मॉडल खोज और optimization
• Android 12+, iOS 17+ सपोर्ट / Google Play , App Store से इंस्टॉल किया जा सकता है / Google Play उपलब्ध न होने वाले वातावरण में GitHub रिलीज़ से APK सीधे इंस्टॉल भी संभव
• लाइसेंस: Apache-2.0 / डेवलपमेंट भाषा: Kotlin

[lastorder]

https://github.com/google-ai-edge/gallery/issues/437

लगता है Exynos compatibility अच्छी नहीं है। Galaxy Quantum 5 (A55) पर जवाब में चीनी अक्षरों को अनंत बार दोहराने की समस्या दिख रही है।

[GN⁺]

Hacker News टिप्पणियाँ

• यह वाकई प्रभावशाली मॉडल है। मैं इसे अभी Mac पर चला रहा हूँ, और अब यह iPhone पर भी लोकली चल सकता है, तो इसे टेस्ट करना पड़ेगा
  मैंने इस मॉडल को heretic स्क्रिप्ट से dealignment(सेंसरशिप हटाना) करके देखा, और यह सच में बहुत अच्छा चला। मैंने खुद gemma4-heretical repo भी बनाकर व्यवस्थित किया है
  इसे MLX version में भी बनाया जा सकता है, जो Mac पर थोड़ा तेज़ है, लेकिन Ollama में नहीं चलता (LM Studio में शायद चल जाए)
  यह M4 Macbook Pro 128GB पर बहुत अच्छे से चलता है, और 64GB पर भी ठीक चलेगा। मेमोरी कम हो तो quantization level घटाना होगा
  मुझे ऐसे लोकल unaligned मॉडल पसंद हैं। बाहरी प्लेटफ़ॉर्म पर सेंसर होने के बजाय, मैं अपने डिवाइस के अंदर आज़ादी से प्रयोग कर सकता हूँ। इससे “संवेदनशील लेकिन उत्पादक” बातचीत संभव होती है
  मैंने इसे OpenClaw से जोड़ने की कोशिश की, लेकिन दिक्कत आई। बेशक इस तरह के एप्रोच का दुरुपयोग हो सकता है, लेकिन मेरा मानना है कि अच्छे इरादे वाले उपयोगकर्ता कहीं ज़्यादा हैं

  • मैं Mac पर omlx से MLX मॉडल चला रहा हूँ, और यह बहुत बढ़िया काम करता है
  • मैंने abliterate स्क्रिप्ट देखी, लेकिन यह ठीक-ठीक क्या करती है समझ नहीं आया। जानना चाहूँगा कि इससे किस तरह की बातचीत संभव हो जाती है
  • मैंने इसे Mac पर coding के लिए इस्तेमाल किया, लेकिन यह Qwen जितना प्रभावशाली नहीं लगा। कुछ खास क्षेत्रों में यह बेहतर हो सकता है, पर अभी कहना मुश्किल है
  • मैंने अभी तक agent skills प्लेटफ़ॉर्म पर कुछ बनाया नहीं है, लेकिन यह काफ़ी दिलचस्प है। Android पर sandbox WebView में index.html लोड करता है और standardized string I/O से interact करता है। यह भविष्य के edge computing agent sandbox के शुरुआती रूप जैसा लगता है
  • मैं जानना चाहूँगा कि आप लोकल LLM के साथ किस तरह की “संवेदनशील बातचीत” आज़माने की योजना बना रहे हैं, कोई उदाहरण दे सकते हैं?

• यह ऐप शानदार है, लेकिन E2B मॉडल की पूरी क्षमता नहीं दिखाता
  मैंने M3 Pro पर Gemma E2B के साथ real-time audio·video AI बनाया है, और इसे Parlor नाम से /r/LocalLLaMA पर पोस्ट किया था। उसे काफ़ी अच्छा रिस्पॉन्स मिला
  मैं इसे Macbook पर चला रहा हूँ, लेकिन इस benchmark के मुताबिक iPhone 17 Pro पर भी यह पूरी तरह संभव है

  • Parlor सच में शानदार है। और आपने इसे मुफ़्त में जारी किया, यह और भी बढ़िया है। मुझे लगता है कि यह लोकल LLM के उपयोग का एक बेहतरीन उदाहरण है

• मैंने iPhone पर मॉडल चलाकर देखा और काफ़ी अच्छे नतीजे मिले। क्लाउड वाले Gemini जितना अच्छा नहीं है, लेकिन काफ़ी उपयोगी है
  “मोबाइल एक्शन” फीचर से टॉर्च ऑन करना, मैप खोलना जैसी डिवाइस कंट्रोल की चीज़ें संभव हैं, जो दिलचस्प है। अगर यह Siri Shortcuts के साथ integrate हो जाए तो वाकई बहुत अच्छा होगा
  एक teacher app बनाने वाले के तौर पर, लोकल मॉडल के आम होने से मैं बहुत खुश हूँ। privacy कानूनों की वजह से client-side execution महत्वपूर्ण है। iOS या Chrome में on-device model API मौजूद हैं, लेकिन उनकी quality अभी कम है

  • मेरे लिए इस मॉडल की hallucination देखकर पुराने दिनों की याद आ गई। फिर भी, यह प्रभावशाली है कि लोकल पर इस स्तर का मॉडल चल रहा है। उम्मीद है कि आने वाले वर्षों में कुछ साल पुराने स्तर के मॉडल भी लोकल पर चलते रहेंगे

• मुझे लगता है कि AI का व्यावहारिक भविष्य सिर्फ दो ही रूपों में है — लोकल on-device मुफ़्त execution, या क्लाउड पर महंगी सेवाएँ
  दूसरा विकल्प सिर्फ उन कामों के लिए इस्तेमाल होगा जहाँ इंसान उससे भी महंगा या धीमा पड़ता है। Gemma 4 मॉडल iPhone और macOS में इंटीग्रेटेड भविष्य के Siri, यानी फ़िल्म “Her” जैसे assistant की संभावना दिखाते हैं

  • मैं जानना चाहूँगा कि आपको क्यों लगता है कि क्लाउड ज़्यादा महंगा होगा। बड़ी कंपनियाँ inference चरण में पहले से मुनाफ़ा कमा रही हैं। cloud-only hardware ज़्यादा efficient है, और फोन पर चलाने से सिर्फ बैटरी ही खत्म होगी
  • अगर consumer devices पर मुफ़्त मॉडल चल सकते हैं, तो क्लाउड providers भी बेहतर quality और extra value के साथ अपनी सेवाएँ bundle करके दे सकते हैं, है न?
  • vendor द्वारा नियंत्रित फोन पर लोकल मॉडल चलाना भी असली अर्थों में लोकल autonomy नहीं है
  • यह उस भविष्य की पहली सीढ़ी नहीं है जिसका आप सपना देख रहे हैं
  • मैं सच में पूछना चाहता हूँ, क्या आपने “Her” देखकर वास्तव में ऐसा भविष्य चाहा था?

• मैं ऐप के English version के लिंक साझा कर रहा हूँ
  iOS app Google AI Edge Gallery
  Android version
  यह Google के Edge project का demo app है

• ज़्यादातर मॉडल अभी भी डाउनलोड नहीं किए जा सकते। उम्मीद है जल्द जारी होंगे

• किसी ने सवाल उठाया कि App Store वेबपेज नकली जैसा दिखता है। header text pixelated है, background flicker कर रहा है, और icon quality भी कम है

  • वही अमेरिकी version page भी design quality में कमजोर लगता है। अब Apple का design शायद उसकी मुख्य ताकत नहीं रहा
  • URL में /nl/ दिख रहा है, तो यह Netherlands version है। default App Store main थोड़ा बेहतर है, लेकिन फिर भी अजीब लगता है
  • शायद यह localization quality issue है। मेरे iPhone पर App Store app में खोलने पर यह ठीक दिखता है
  • Firefox में यह समस्या नहीं दिखती
  • GrapheneOS के Firefox में यह बिल्कुल सही render होता है

• मैंने iPhone 16 Pro पर Gemma-4-E2B-it मॉडल टेस्ट किया, और यह लगभग 30 tokens प्रति सेकंड दे रहा था। फोन काफ़ी गर्म हो गया, लेकिन performance प्रभावशाली थी। मैं इसे अपने ऐप में भी लागू करने वाला हूँ

• मेरे बेटे ने Android पर 2B मॉडल इस्तेमाल करना शुरू कर दिया है। यह सस्ते Motorola फोन पर भी अच्छी तरह चलता है, और वह इसका इस्तेमाल विदेशी भाषाएँ पढ़ने-लिखने के अभ्यास में कर रहा है। मॉडल का हल्का होना सच में चौंकाने वाला है

• नए मॉडल बहुत प्रभावशाली हैं। AI Edge Gallery GPU पर चलता है, लेकिन नए चिप्स का NPU कहीं ज़्यादा तेज़ है
  उदाहरण के लिए, A16 चिप में 35 TOPS का Neural Engine है, जबकि GPU लगभग 7 TFLOPS के स्तर का है। Qualcomm में भी स्थिति मिलती-जुलती है

  • इतनी कम power वाले chip में इतना performance देखना हैरान करता है। M series version का इंतज़ार है। लगता है desktop और phone पर ultra-fast TPU युग जल्द आने वाला है