- 1.5B पैरामीटर वाला Sweep Next-Edit मॉडल उपयोगकर्ता के अगले code modification का अनुमान लगाकर autocomplete सुविधा देता है
- लोकल environment में 500ms से कम गति पर चलता है, और 4 गुना से बड़े मॉडल्स से भी बेहतर performance दिखाता है
- Q8_0 GGUF quantization format में उपलब्ध है, जिससे हल्का होने के बावजूद लंबी 8192 token context length को सपोर्ट करता है
- Qwen2.5-Coder पर आधारित है और JetBrains plugin के साथ integrate किया जा सकता है
- Apache 2.0 license के तहत जारी किया गया है, इसलिए open source AI developers के लिए experimentation और integration में उपयोगी मॉडल है
मॉडल overview
- Sweep Next-Edit 1.5B code autocomplete के लिए एक next-edit prediction model है
- उपयोगकर्ता के code बदलने से पहले अगला edit predict करके सुझाव देता है
- लोकल laptop environment में भी 500ms से कम latency पर चल सकता है
- Speculative decoding का उपयोग करके तेज response speed देता है
- next-edit benchmark में 4 गुना से बड़े मॉडल्स से बेहतर performance दर्ज की
मॉडल details
- पैरामीटर संख्या: 1.5B
- फॉर्मैट: GGUF (Q8_0 quantization)
- context length: 8192 tokens
- base model: Qwen2.5-Coder
- license: Apache 2.0
उपयोग का तरीका
run_model.py और मॉडल फ़ाइल डाउनलोड करने के बाद चलाएँ
- लोकल execution-केंद्रित संरचना होने के कारण, अलग से कोई cloud inference provider नहीं है
अभी कोई टिप्पणी नहीं है.