Gemma Gem - ब्राउज़र में Google Gemma 4 मॉडल को पूरी तरह on-device चलाने वाला Chrome एक्सटेंशन

 (github.com/kessler)
17 पॉइंट द्वारा xguru 14 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Google के Gemma 4 मॉडल को WebGPU आधारित पूरी तरह on-device चलाकर ब्राउज़र के अंदर रहने वाले पर्सनल AI असिस्टेंट की तरह उपयोग
  • कोई API key नहीं, कोई cloud नहीं, कोई external data transfer नहीं - सारा inference लोकल में प्रोसेस होता है और डेटा डिवाइस से बाहर नहीं जाता
  • देखे जा रहे पेज को पढ़ना, बटन क्लिक करना, फ़ॉर्म इनपुट करना, JavaScript चलाना, और साइट के बारे में प्रश्नोत्तर करना जैसे agent-आधारित व्यवहार का समर्थन
  • Gemma 4 E2B(~500MB) / E4B(~1.5GB) दो मॉडलों में से चयन संभव, और पहली बार चलाने के बाद cache होकर दोबारा उपयोग
  • q4f16 quantization, 128K context समर्थन (onnx-community/gemma-4-E2B-it-ONNX, onnx-community/gemma-4-E4B-it-ONNX)
  • 6 बिल्ट-इन टूल उपलब्ध
    • read_page_content: पेज टेक्स्ट/HTML या CSS selector के आधार पर पढ़ना
    • take_screenshot: दिखाई दे रहे पेज को PNG में कैप्चर करना
    • click_element / type_text / scroll_page: CSS selector आधारित DOM manipulation
    • run_javascript: पेज context में पूरे DOM तक पहुँच वाली JS execution
  • Offscreen Document + Service Worker + Content Script की 3-लेयर संरचना
    • Offscreen document @huggingface/transformers + WebGPU से मॉडल होस्टिंग और agent loop चलाता है
    • Service worker message routing और screenshot·JS execution संभालता है
    • Content script gem आइकन और shadow DOM chat overlay inject करता है
  • Settings में model switching, Thinking toggle, tool call loop limit, conversation history reset, site-wise disable का समर्थन
  • agent/ डायरेक्टरी zero dependency है, और ModelBackend·ToolExecutor interface के आधार पर इसे स्वतंत्र लाइब्रेरी बनाया जा सकता है
  • WebGPU सपोर्ट वाला Chrome आवश्यक / Apache-2.0 लाइसेंस / TypeScript आधारित implementation

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.