Kimi K3 को लोकल चलाने की गाइड

 (unsloth.ai)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Moonshot AI का Kimi K3 एक open-weight मॉडल है जिसमें कुल 2.8T और active 104B parameters, native vision और 10 लाख token context है, और Unsloth लोकल execution के लिए GGUF quantization उपलब्ध कराता है
  • full-precision inference के लिए 1.56TB चाहिए, लेकिन Dynamic 1-bit UD-IQ1_S 594GB पर लगभग 78.9% Top-1 accuracy देता है, जबकि 861.3GB का 2-bit UD-Q2_K_XL लगभग 90% दर्ज करता है
  • Kimi K3 एक thinking-only मॉडल है जो reasoning traces बनाए रखता है; यह Instant mode support नहीं करता, और reasoning_effort में "low", "high"", "max" चुना जा सकता है तथा यह अधिकतम 1,048,576 tokens process करता है
  • Unsloth Studio RAM offloading और multi-GPU detection को automate करता है, और vision features का उपयोग करने वाले llama.cpp execution के लिए Kimi K3 के लिए Unsloth fork चाहिए
  • recommended UD-IQ1_S execution के लिए कम से कम 610GB RAM चाहिए, और आम तौर पर RAM+VRAM quantization file size जितना रखना होगा; कम होने पर disk offloading के कारण यह काफी धीमा हो जाता है

मॉडल की विशेषताएँ और लोकल execution requirements

  • Moonshot AI का Kimi K3 coding, agents, long-context और chat के लिए लक्षित 2.8T-parameter open-weight मॉडल है और inference के दौरान 104B parameters activate करता है
  • यह native vision और 10 लाख token context window support करता है और MoE weights में MXFP4 का उपयोग करता है
  • full-precision inference के लिए 1.56TB storage space चाहिए
  • Kimi-K3-GGUF को Unsloth Studio या llama.cpp में चलाया जा सकता है
  • NVIDIA DGX Station या 128GB RAM device से जुड़े Mac Studio पर भी चलाना संभव है
  • hardware requirement RAM और VRAM या unified memory के योग से calculate की जाती है, और configuration range 610GB~1.6TB है

GGUF implementation approach

  • इसे llama.cpp PR के आधार पर implement किया गया है, और Unsloth fork vision support और bug fixes जोड़ता है
  • vision tower Kimi K2.5 जैसा है, लेकिन ये अंतर हैं
    • RMSNorm का उपयोग करता है और bias नहीं है
    • fused QKV non-square है और qkv width != n_embd है
    • projector के बाद normalization apply करता है
  • बड़े batch में n_tokens * 40 budget fail होने पर इसे n_tokens * 160 तक बढ़ाया गया
  • Kimi chat template को Jinja format में convert किया गया
  • default training setting preserved thinking को enable करती है, इसलिए thought trace को delete किए बिना रखा जाता है

quantization methods और quality

  • UD-Q8_K_XL MoE weights के MXFP4 और बाकी weights के BF16 configuration को ज्यों का त्यों follow करता है, इसलिए यह lossless quantization के बराबर है
  • UD-Q4_K_XL normalization tensors आदि को छोड़कर कुछ residual tensors को Q8_0 में store करता है, full precision के करीब है और size 1.51TB है
  • lossless UD-Q8_K_XL 1.56TB है, जो UD-Q4_K_XL से 50GB बड़ा है
  • प्रमुख quantization results इस प्रकार हैं
    • UD-IQ1_S: 594.0GB, perplexity 2.5789, Top-1 accuracy 78.875±0.107%
    • UD-IQ1_M: 648.9GB, perplexity 2.3639, Top-1 accuracy 81.219±0.103%
    • UD-IQ2_XXS: 711.1GB, perplexity 2.1266, Top-1 accuracy 84.127±0.096%
    • UD-Q2_K_XL: 861.3GB, perplexity 1.7359, Top-1 accuracy 90.390±0.077%
    • UD-Q4_K_XL: 1,510GB, perplexity 1.4579
    • UD-Q8_K_XL: 1,560GB, perplexity 1.4581
  • imatrix generation और quantization correction के लिए 1.56TB lossless UD-Q8_K_XL का उपयोग किया गया
  • Dynamic 1-bit lossless version से 62% छोटा है और लगभग 79% Top-1 accuracy हासिल करता है
  • 2-bit UD-Q2_K_XL 45% छोटा है और लगभग 90% accuracy दर्ज करता है
  • 1-bit size 553.2GiB है, और मॉडल को नुकसान पहुँचाए बिना इसे 512GiB से कम किया जा सकता है या नहीं, इसकी जांच जारी है

  • community quantization से तुलना

    • 618.9GB community IQ1_M, 594GB UD-IQ1_S से बड़ा है, लेकिन perplexity 54.56 तक बढ़कर 21 गुना खराब हो जाती है
    • community IQ2_XXS ने 725GB पर perplexity 96 दर्ज की, जबकि Unsloth version ने 711GB पर 2.12 दर्ज किया, यानी लगभग 45 गुना अंतर है
    • dynamic quantization और सही correction, file size और quality दोनों को प्रभावित करते हैं

inference settings और performance

  • Kimi K3 एक thinking-only मॉडल है, preserve_thinking हमेशा enabled रहता है और default thinking level max है
  • Instant mode support नहीं है, और reasoning_effort request field में "low", "high", "max" specify किया जा सकता है
  • context length अधिकतम 1,048,576 tokens है, और Unsloth में तीन thinking levels switch किए जा सकते हैं
  • inference settings में temperature=1.0, top_p=0.95 या top_p=1.0 शामिल हैं
  • मॉडल memory में fit हो जाए तो B200 पर लगभग 20 tokens/second generation, और 120 tokens/second से अधिक throughput मिल सकता है
  • size और quality के balance को देखते हुए 594GB UD-IQ1_S recommended है
  • RAM और VRAM का योग quantization file size के करीब होना चाहिए; कम होने पर भी चलाना संभव है, लेकिन disk offloading के कारण काफी धीमा हो जाएगा

Unsloth Studio में चलाना

  • Unsloth Studio local AI के लिए open-source web UI है, जो macOS, Windows, Linux support करता है
  • यह GGUF और safetensors models को search, download और run करता है और llama.cpp आधारित CPU+GPU inference देता है
  • RAM offloading और multi-GPU configuration को automatically detect करता है
  • install और run commands इस प्रकार हैं
# macOS, Linux, WSL
curl -fsSL https://unsloth.ai/install.sh | sh


# Windows PowerShell
irm https://unsloth.ai/install.ps1 | iex

unsloth studio
  • run करने के बाद browser में http://127.0.0.1:8888 या दिखाया गया address खोलें, और पहली बार run करते समय account protection के लिए password बनाएँ
  • free Cloudflare tunnel के जरिए HTTPS execution भी support है
unsloth studio --secure
  • Model hub में Kimi K3 search करके desired quantization download करें और चलाएँ
  • inference parameters automatically set होते हैं, लेकिन thinking level, context length, chat template आदि manually बदले जा सकते हैं
  • detailed settings Unsloth Studio inference guide में देखी जा सकती हैं

llama.cpp में चलाना

  • CPU सहित fast local inference के लिए llama.cpp का उपयोग करें
  • Kimi K3 vision enable करने के लिए generic version नहीं, बल्कि Unsloth-specific fork build करना होगा
git clone https://github.com/unslothai/llama.cpp
cd llama.cpp
git fetch origin pull/48/head:kimi-k3-fullsize-vision
git checkout kimi-k3-fullsize-vision
cd ..
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
    --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
  • अगर GPU नहीं है या केवल CPU inference इस्तेमाल करना है, तो -DGGML_CUDA=OFF में बदलें
  • Apple Mac और Metal devices भी -DGGML_CUDA=OFF इस्तेमाल करते हैं, और Metal support default रूप से enabled है
  • llama.cpp से model को सीधे download करके चलाया जा सकता है, लेकिन download बहुत धीमा हो सकता है
export LLAMA_CACHE="unsloth/Kimi-K3-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/Kimi-K3-GGUF:UD-IQ1_S \
    --temp 1.0 \
    --top-p 0.95
  • manual download के लिए huggingface_hub install करने के बाद hf download का उपयोग करें; समस्या आए तो Hugging Face Hub XET debugging देखें
hf download unsloth/Kimi-K3-GGUF \
    --local-dir unsloth/Kimi-K3-GGUF \
    --include "*mmproj-BF16*" \
    --include "*UD-IQ1_S*"
  • lossless version चाहिए तो download pattern को *UD-Q8_K_XL* में बदलें
  • local file और vision projector specify करके chat mode में चलाया जा सकता है
./llama.cpp/llama-cli \
    --model unsloth/Kimi-K3-GGUF/UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \
    --mmproj unsloth/Kimi-K3-GGUF/mmproj-BF16.gguf \
    --temp 1.0 \
    --top-p 0.95
  • text queries के साथ-साथ mmproj-BF16.gguf का उपयोग करके image input भी support है

benchmark scope

  • evaluation में reasoning·knowledge, coding, agents और vision areas शामिल हैं
  • इस्तेमाल किए गए benchmarks हैं GPQA Diamond, HLE-Full, DeepSWE, Terminal-Bench 2.1, BrowseComp, GDPval-AA v2, OSWorld 2.0, MMMU-Pro, MathVision
  • DeepSWE results में Kimi K3 ने efficient performance दिखाई

संबंधित पढ़ाई

1 टिप्पणियां

 
plumpmath 23 분 전

चलाकर देखा तो यह तो बहुत बढ़िया है~ अब बस टांगजजाम्योन और दाक्कांग ही चाहिए