Google Chrome ने ब्राउज़र के अंदर Gemini Nano AI मॉडल `window.ai` जोड़ा

• Chrome 127 वर्ज़न से window.ai के ज़रिए ब्राउज़र में Gemini Nano AI मॉडल का उपयोग उपलब्ध कराया गया है
• चैटबॉट डेमो साइट Next.js + Vercel AI SDK का उपयोग करके बनाई गई है
• उपयोग उदाहरण

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
जानकारी के लिए, मॉडल फ़ाइल कुछ समय पहले निकाली गई थी.

[edunga1]

https://developer.chrome.com/docs/ai/built-in
इसे इस्तेमाल करने के लिए अलग से आवेदन करना पड़ता है।

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Hacker News की राय

• Apple की AI strategy को web users तक भी लागू करने वाली यह सुविधा browser में default रूप से शामिल होना सकारात्मक है

  • local model का उपयोग करके privacy और security को बेहतर किया जा सकता है
  • अगर Google इसे अच्छी तरह implement करता है, तो यह काफी दिलचस्प होगा

• Vercel ने window.ai की घोषणा करते समय Chrome API के बजाय अपना abstraction दिखाया

  • window.ai API बहुत सरल है, इसलिए wrapper की ज़रूरत नहीं है
  • example code:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Google के API में model specify न कर पाना एक बड़ी कमी है

  • अगर model लगातार upgrade होते रहे, तो testing और maintenance मुश्किल हो जाएगी
  • सुझाया गया code:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• websites द्वारा user CPU को distributed LLM processing में इस्तेमाल करना समस्याजनक है

• window.ai API के लिए public documentation की कमी है

  • यह स्पष्ट नहीं है कि Gemini Nano model का कौन-सा version है

• मौजूदा तकनीक के साथ instruct model, base model की तुलना में कम उपयोगी है

  • LoRAs चलाने, temperature control, prompt template configuration जैसी सुविधाएँ चाहिए
  • तकनीक बहुत तेज़ी से बदल रही है, इसलिए इसे browser में integrate करना अभी जल्दबाज़ी हो सकती है
  • model को interface से अलग रखना चाहिए ताकि दूसरे local models भी इस्तेमाल किए जा सकें

• standardization की कमी है

  • Microsoft के WebNN जैसे approach की ज़रूरत है
  • Apple के Metal को WebGPU के रूप में expose करने की कोशिश की तरह, दूसरे vendors को भी इसे संभव बनाना चाहिए

• Chrome का "Create theme with AI" फीचर random theme selection से अलग नहीं लगता

  • pixabay से random image लौटाने वाला एक API बनाने की योजना है

• general-purpose models आम तौर पर जितने बड़े होते हैं, उतने अधिक उपयोगी होते हैं

  • किसी खास काम के लिए fine-tuned on-device models अधिक सटीक होते हैं

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))