Transformers.js v3 रिलीज़

 (huggingface.co)
14 पॉइंट द्वारा xguru 2024-10-26 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • WebGPU सपोर्ट (WASM से 100 गुना तक तेज़)
  • नए quantization formats dtypes
  • 120 architectures का सपोर्ट
  • 25 नए example projects और templates
  • 1200 से अधिक pre-converted models
  • Node.js (ESM + CJS), Deno और Bun compatibility

WebGPU सपोर्ट

  • WebGPU accelerated graphics और computing के लिए एक नया web standard है
  • यह developers को browser में सीधे system के GPU का उपयोग करके high-performance computation करने देता है
  • WebGL के successor के रूप में यह modern GPU के साथ अधिक direct interaction संभव बनाता है, जिससे performance में बड़ा सुधार होता है
  • साथ ही यह general-purpose GPU computation को सपोर्ट करता है, इसलिए machine learning के लिए उपयुक्त है
  • अक्टूबर 2024 तक, दुनिया भर में WebGPU support rate लगभग 70% है
  • browser के अनुसार WebGPU को सक्षम करने के लिए feature flags का उपयोग करना पड़ सकता है
  • Transformers.js v3 में WebGPU का उपयोग
    • ONNX Runtime Web के साथ सहयोग की बदौलत, model load करते समय सिर्फ device: 'webgpu' सेट करके WebGPU acceleration सक्षम की जा सकती है
    • text embedding computation, speech recognition, image classification आदि में WebGPU का उपयोग किया जा सकता है

नए quantization formats (dtypes)

  • Transformers.js v3 से पहले, quantized option के ज़रिए quantized (q8) या full-precision (fp32) model variants चुने जा सकते थे
  • अब dtype parameter के साथ कहीं अधिक बड़े विकल्पों की सूची में से चुना जा सकता है
  • उपलब्ध quantization सूची model के अनुसार अलग होती है, लेकिन आम तौर पर full-precision ("fp32"), half-precision ("fp16"), 8-bit ("q8", "int8", "uint8"), 4-bit ("q4", "bnb4", "q4f16") आदि शामिल हैं
  • module-specific dtypes
    • Whisper या Florence-2 जैसे कुछ encoder-decoder models, खासकर encoder की quantization settings के प्रति बहुत sensitive होते हैं
    • इसी वजह से module name से dtype तक mapping देकर module-specific dtypes चुनने की सुविधा जोड़ी गई है

120 supported architectures

  • इस release में supported architectures की कुल संख्या बढ़कर 120 हो गई है, जो विभिन्न input formats और tasks को कवर करती है
  • उल्लेखनीय नए architectures में Phi-3, Gemma & Gemma 2, LLaVa, Moondream, Florence-2, MusicGen, Sapiens, Depth Pro, PyAnnote, RT-DETR आदि शामिल हैं

25 example projects और templates

  • इस release के हिस्से के रूप में WebGPU support को प्रमुखता से दिखाने वाले 25 नए example projects और templates जारी किए गए हैं
  • इसमें Phi-3.5 WebGPU, Whisper WebGPU आदि के demos शामिल हैं

1200 से अधिक pre-converted models

  • release के समय तक, community ने 1200 से अधिक models को Transformers.js के साथ compatible बनाने के लिए convert किया है
  • अपने model या fine-tuning को convert करने के लिए दिए गए conversion scripts का उपयोग किया जा सकता है
  • बने हुए files को Hugging Face Hub पर upload करने के बाद transformers.js tag जोड़ दें, ताकि दूसरे लोग उन्हें आसानी से खोज और उपयोग कर सकें

Node.js (ESM + CJS), Deno और Bun compatibility

  • Transformers.js v3 अब तीन सबसे लोकप्रिय server-side JavaScript runtimes के साथ compatible है
  • Node.js: Chrome के V8 पर बना व्यापक रूप से उपयोग किया जाने वाला JavaScript runtime, जिसमें libraries और frameworks का व्यापक support है
  • Deno: JavaScript और TypeScript के लिए एक modern runtime, जो by default बेहतर security देता है, ES modules का उपयोग करता है, और experimental WebGPU support भी प्रदान करता है
  • Bun: performance के लिए optimized तेज़ JavaScript runtime, जिसमें built-in bundler, transpiler और package manager शामिल हैं

NPM और GitHub पर नया home

  • Transformers.js अब NPM पर आधिकारिक Hugging Face organization में @huggingface/transformers के रूप में publish किया जाएगा (@xenova/transformers की जगह, जो v1 और v2 में उपयोग हुआ था)
  • repository को GitHub की आधिकारिक Hugging Face organization (https://github.com/huggingface/transformers.js) में स्थानांतरित कर दिया गया है, और यही इसका नया home होगा

संबंधित पढ़ाई