Sweep, open-weight आधारित 1.5B मॉडल के साथ कोड ‘अगला edit’ autocomplete सपोर्ट

• 1.5B पैरामीटर वाला Sweep Next-Edit मॉडल उपयोगकर्ता के अगले code modification का अनुमान लगाकर autocomplete सुविधा देता है
• लोकल environment में 500ms से कम गति पर चलता है, और 4 गुना से बड़े मॉडल्स से भी बेहतर performance दिखाता है
• Q8_0 GGUF quantization format में उपलब्ध है, जिससे हल्का होने के बावजूद लंबी 8192 token context length को सपोर्ट करता है
• Qwen2.5-Coder पर आधारित है और JetBrains plugin के साथ integrate किया जा सकता है
• Apache 2.0 license के तहत जारी किया गया है, इसलिए open source AI developers के लिए experimentation और integration में उपयोगी मॉडल है

---

मॉडल overview

• Sweep Next-Edit 1.5B code autocomplete के लिए एक next-edit prediction model है
  • उपयोगकर्ता के code बदलने से पहले अगला edit predict करके सुझाव देता है
  • लोकल laptop environment में भी 500ms से कम latency पर चल सकता है
• Speculative decoding का उपयोग करके तेज response speed देता है
• next-edit benchmark में 4 गुना से बड़े मॉडल्स से बेहतर performance दर्ज की

मॉडल details

• पैरामीटर संख्या: 1.5B
• फॉर्मैट: GGUF (Q8_0 quantization)
• context length: 8192 tokens
• base model: Qwen2.5-Coder
• license: Apache 2.0

उपयोग का तरीका

• run_model.py और मॉडल फ़ाइल डाउनलोड करने के बाद चलाएँ
  • इंस्टॉल कमांड:

    uv pip install llama-cpp-python huggingface_hub  
    python run_model.py  
    

• लोकल execution-केंद्रित संरचना होने के कारण, अलग से कोई cloud inference provider नहीं है

[minsuchae]

हाल में Big Tech कंपनियां parameter count बढ़ाकर आगे बढ़ रही थीं, लेकिन क्या अब दिशा बदलने वाली है?
व्यक्तिगत रूप से मुझे लगता था कि सिर्फ parameter बढ़ाते हुए आगे बढ़ना वास्तव में कोई ठोस जवाब नहीं है।
जैसे अभी के भविष्य को छोड़कर सिर्फ growth करने जैसा एहसास होता था। खासकर जब MoE का दौर सबसे ज़्यादा था, तब यह और भी स्पष्ट लगा।
Google का Gemma 3 27b काफ़ी बड़ा माना जाता था, लेकिन अब LLM में उस स्तर का parameter count भी छोटा लगने लगा था।
तकनीकी प्रगति महत्वपूर्ण है, लेकिन उसे वास्तव में serve करने वाले चरण को ध्यान में रखकर भी कुछ आना चाहिए, और यह इस दिशा में एक अच्छा प्रयास लगता है।
(parameter बढ़ने को लेकर मैं संशय में इसलिए था क्योंकि performance अच्छी होती है, यह तो पता है, लेकिन उसे serve करने में और ज़्यादा लागत लगती है।)

[GN⁺]

Hacker News की राय

• मैंने मॉडल को खुद इस्तेमाल करके देखा, और performance और quality सच में काफ़ी प्रभावशाली थे
  इसे open source में जारी करने के लिए धन्यवाद
  मैं Neovim के लिए edit completion plugin बनाने वाला व्यक्ति हूँ, और मैं इसे Sweep Edit मॉडल के साथ integrate करने में सफल रहा
  दिलचस्पी रखने वाले लोग cursortab.nvim देख सकते हैं

  • क्या इसका Emacs port या gptel integration version भी है?
  • यह दिलचस्प लग रहा है, मैं अभी nvim plugin आज़माने वाला हूँ
  • बढ़िया। मैं भी इसे खुद ट्राय करने की सोच रहा हूँ

• मैंने पहले Continue.dev में Qwen 2.5 Coder को autocomplete के लिए इस्तेमाल किया था, लेकिन JetBrains IDE और VS Code दोनों में वह बुरी तरह विफल रहा
  ऐसी कोशिशों को साझा किया जाना सच में अच्छा लगता है। ज़्यादातर IDE plugins (Cline, RooCode, KiloCode आदि) autocomplete model settings को ठीक से support नहीं करते
  मैं Copilot subscription लगभग सिर्फ autocomplete की वजह से बनाए हुए था, इसलिए अब कोई विकल्प दिख रहा है तो खुशी हो रही है

  • मैंने llama.cpp का VS Code extension भी इस्तेमाल किया था, लेकिन उसका settings UX सच में बहुत खराब था

• जब भी मैं ऐसे plugins इस्तेमाल करता हूँ, मुझे फिर से एहसास होता है कि autocomplete AI के बिना coding करना कितना inefficient है
  जितना ज़्यादा boilerplate code होता है, यह Claude Code से उतना ज़्यादा उपयोगी लगता है
  मैं JetBrains का लंबे समय से उपयोगकर्ता रहा हूँ, इसलिए VSCode पर जाना मुश्किल था, लेकिन JetBrains के AI features बहुत पीछे थे
  अब जाकर कोई ठीक-ठाक autocomplete tool आया है, इसलिए मैं Copilot subscription को इसकी ओर बदलने की सोच रहा हूँ
  साथ ही open weights जारी करना और privacy mode देना भी मुझे पसंद आया

  • मैं पहले से autocomplete की उपयोगिता पर ज़ोर देता आया हूँ, लेकिन अब जाकर समझ में आया कि developer culture के दो प्रकार होते हैं
    जो developers मुख्य रूप से नया code लिखते हैं, वे autocomplete से productivity improvement बहुत ज़्यादा महसूस करते हैं, जबकि maintenance-केंद्रित developers को Claude Code जैसे tools से ज़्यादा मदद मिलती है
  • मैं भी सहमत हूँ। मैं Emacs में local model और gemini 3 flash को integrate करके इस्तेमाल कर रहा हूँ
    लेकिन सामान्यतः मैं LLM को बंद रखता हूँ और ज़रूरत पड़ने पर ही चालू करता हूँ
    मुझे लगता है कि छोटे specialized models की संभावनाओं को कम आँका जा रहा है
    इसी बारे में मैं ‘Winning Big With Small AI’ नाम की किताब लिख रहा हूँ
  • थोड़ा विषय से हटकर है, लेकिन मुझे जिज्ञासा है कि इतना boilerplate code क्यों होता है
    मेरा मानना है कि इसका ज़्यादातर हिस्सा utilities या libraries में refactor किया जा सकता है
    शायद इसलिए मुझे अलग लगता है क्योंकि मैं ज़्यादातर research pipeline code लिखता हूँ
    वैसे yasnippet, ultisnips, VSCode snippets जैसे tools से भी बुनियादी autocomplete लागू किया जा सकता है
  • Junie तो खास नहीं है, लेकिन अगर शिकायत autocomplete को लेकर है, तो IntelliJ में भी local/cloud autocomplete feature है
  • यह थोड़ा खलता है कि boilerplate समस्या का समाधान आखिरकार automatic generation पर जाकर टिकता है

• मैं सच में बहुत समय से ऐसी चीज़ का इंतज़ार कर रहा था
  Cursor सिर्फ autocomplete इस्तेमाल करने पर भी 20 डॉलर महीना मांग रहा था, जिससे मैं असंतुष्ट था
  मैंने खुद इसे बनाने पर भी विचार किया, लेकिन भरोसा नहीं था कि local में चलने लायक इतना छोटा model उपयोगी साबित होगा
  इसलिए मैंने जल्दी-जल्दी एक VSCode extension बना लिया, और model काफ़ी अच्छा निकला
  पहले local models inline completion में बहुत खराब थे, लेकिन इस बार काफ़ी बेहतर हैं
  competition बढ़े, यही उम्मीद है

  • अगर कोई सवाल हो तो बताइए
    उन्होंने कहा कि token healing जैसी features से quality बेहतर की गई है — संबंधित लेख

• मैंने सुना है कि 1.5B model इतना छोटा है कि local में चल सके, इसलिए मैं जानना चाहता हूँ कि क्या Sweep AI JetBrains plugin में भी यह वास्तव में local पर चलता है
  install करने पर क्या model अपने-आप download हो जाता है, और क्या फिर कोई external communication नहीं होता?

  • अभी नहीं, JetBrains plugin hosted large model का इस्तेमाल करता है
  • JetBrains plugin में local endpoint configure करने का कोई तरीका दिखता नहीं है

• JetBrains का AI implementation level इतना कम है कि मुझे हैरानी हुई
  कई साल बीत जाने के बाद भी अगर हालात ऐसे ही हैं, तो लगता है कि नई कंपनियाँ भी इससे बेहतर कर सकती हैं
  technical लेख भी दिलचस्प था

  • धन्यवाद। अगर feedback या सवाल हों तो वे हमेशा स्वागत योग्य हैं

• GLM-4.7-Flash और इस घोषणा को देखते हुए, छोटे models की सीमाओं को तोड़ना सच में बहुत रोमांचक है
  अब ऐसे models लगातार बेहतर हो रहे हैं जो मेरे hardware पर भी आराम से चल सकते हैं, इसलिए उत्साह बढ़ रहा है

• सच में शानदार
  खासकर यह जानने की जिज्ञासा है कि repository से next edit training data कैसे बनाया गया
  इस पर कुछ insights सुनना अच्छा लगेगा

  • विस्तृत जानकारी official blog post में है

• बहुत बढ़िया। संबंधित blog post भी काफ़ी दिलचस्प थी
  उम्मीद है कि Neovim के लिए plugin भी जल्द आएगा
  संबंधित लेख

  • मैंने सुना है कि कोई पहले ही इस model से जुड़ा Neovim plugin बना चुका है
  • llama.vim भी है
    यह Qwen3 Coder के साथ अच्छी तरह चला, और अगर infill support हो तो शायद कोई समस्या नहीं होगी
    मैं आज इसे टेस्ट करने वाला हूँ
  • plugin के लेखक ने पहले ही इस thread में comment कर दिया है

• मुझे next-edit model और FIM model के बीच का अंतर ठीक से समझ नहीं आता
  अगर कोई बता सके कि किसे कब इस्तेमाल करना बेहतर है, तो अच्छा होगा
  हो सके तो Sublime के लिए भी plugin बनाना चाहूँगा ताकि खुद आज़मा सकूँ

  • मैं भी जिज्ञासु था, इसलिए मैंने Claude से plugin बनाने को कहा
    इसकी संरचना बुनियादी autocomplete functionality का उपयोग करती है
    इसे AItoComplete में देखा जा सकता है
  • मेरा अनुमान है कि FIM का मतलब Fill-In-the-Middle होगा
    पारंपरिक autocomplete सिर्फ अंत में जोड़ता है, लेकिन FIM code blocks के बीच भरने का तरीका है
    यानी यह insertion point के पहले और बाद, दोनों context को देखकर सबसे स्वाभाविक बीच की completion ढूँढने वाला model है