मैं अभी Expo + React Native से ऐप डेवलप कर रहा/रही हूँ, और Gemma-4-E2B-it मॉडल को सीधे फोन पर इंस्टॉल करके on-device चलाना चाहता/चाहती हूँ.
देखने पर लगा कि नीचे जैसे कुछ विकल्प हैं, लेकिन व्यवहार में लोग वास्तव में कौन-सा तरीका ज़्यादा इस्तेमाल करते हैं, इसका ठीक अंदाज़ा नहीं लग पा रहा है.
- llama.rn
- llama.cpp
- GGUF
- LiteRT / AI Edge
- MLC LLM
मैं जो करना चाहता/चाहती हूँ, वह कुछ इस तरह है:
- ऐप में मॉडल download/install
- local inference (अगर संभव हो तो पूरी तरह offline)
- Expo/RN ऐप के अंदर उपयोग
अभी सबसे ज़्यादा इस्तेमाल होने वाला runtime/library कौन-सा है?
अगर किसी ने इसे implement किया हो, तो अपनी architecture, example repo, या experience share करें तो बहुत आभारी रहूँगा/रहूँगी.
2 टिप्पणियां
मैंने इसी तरह का PoC Flutter में किया था। फिलहाल मैंने LiteRT-lm के साथ काम किया था, और https://github.com/google-ai-edge/gallery इस repository को काफी संदर्भ के तौर पर इस्तेमाल किया था।
अच्छा, समझ गया। मैंने भी Google Edge Gallery इंस्टॉल करके यह-वह आज़माया था, इसे रेफ़र करूँगा, धन्यवाद!