ब्राउज़र में generative AI को लोकल रूप से चलाने वाला Chrome extension
(github.com/tantara)प्रोजेक्ट विवरण
यह JavaScript में generative AI मॉडल चलाने के लिए Transformers.js का Chrome extension प्रोजेक्ट है.
Ollama, llama.cpp आदि के जरिए लोकल में generative AI मॉडल चलाने के कई तरीके हैं, लेकिन सेटअप प्रक्रिया झंझटभरी होती है और हर बार स्क्रीन बदलनी पड़ती है. इसे हल करने के लिए Transformers.js का उपयोग करके इसे इस तरह बनाया गया है कि Chrome extension के side panel में सीधे चलाया जा सके.
लोकल रनिंग का एक बड़ा फायदा यह है कि इसे इंटरनेट कटे हुए माहौल में भी इस्तेमाल किया जा सकता है. कमजोर इंटरनेट वाले वातावरण (जैसे विमान, कैंपिंग साइट आदि) में साधारण काम निपटाने के दौरान यह उपयोगी रहा.
समर्थित मॉडल
Transformers.js का उपयोग होने के कारण Hugging Face के लगभग सभी मॉडल चलाए जा सकते हैं, लेकिन फिलहाल केवल नीचे दिए गए मॉडल ही समर्थित हैं.
- LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
- Reasoning : DeepSeek R1 (M1 MacBook के आधार पर DeepSeek R1 (1.5B) 30 token/second जनरेट करता है)
- Multimodal LLM : Janus
- Speech to Text : Whisper
अतिरिक्त फीचर
Summarize और Rewrite फीचर भी जोड़े गए हैं. ब्राउज़र में दिख रहे टेक्स्ट को drag करके चुनी हुई स्थिति में right-click करके extension चलाने पर वह उस टेक्स्ट का सारांश बनाता है (Summarize) या उसे LLM आउटपुट में बदल देता है (Rewrite). नीचे दिया गया डेमो वीडियो देखने से समझने में मदद मिलेगी (1 मिनट 10 सेकंड - 1 मिनट 25 सेकंड भाग).
डेमो वीडियो: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
extension चलाना
आप GitHub प्रोजेक्ट को सीधे build कर सकते हैं या Chrome Web Store से डाउनलोड कर सकते हैं.
Chrome Web Store: https://chromewebstore.google.com/detail/private-ai-assistant-runn/…
2 टिप्पणियां
अच्छा लगा।
मेरा मानना है कि यह स्पष्ट रूप से दिखाया जाना चाहिए कि यह Deepseek R1 नहीं, बल्कि Distil किया गया मॉडल है। क्योंकि तकनीकी रूप से ये दोनों पूरी तरह अलग मॉडल हैं।
राय के लिए धन्यवाद। जिस 1.5B मॉडल का मैंने परीक्षण किया था, वह Distillation किया हुआ मॉडल था, इसलिए लगता है कि Distilled कहना थोड़ा अधिक सटीक होगा। शायद पोस्ट को संपादित करना संभव नहीं है, इसलिए इसे अगले अपडेट में शामिल करूँगा।