Unsloth Studio - लोकल में AI मॉडल train और run करने के लिए open source no-code web UI

• टेक्स्ट, ऑडियो, embedding, vision आदि विभिन्न AI मॉडलों के लोकल रन और training को एक ही interface में सपोर्ट करने वाला open source टूल
• Mac/Windows/Linux पर GGUF/safetensor मॉडल लोकल में चलाए जा सकते हैं, और training के दौरान अधिकतम 2 गुना तेज़ गति तथा 70% कम VRAM उपयोग हासिल होता है
• llama.cpp + Hugging Face आधारित multi-GPU inference और अधिकांश मॉडलों के लिए समर्थन
• Unsloth kernel LoRA, FP8, FFT, PT को optimize करके 500 से अधिक टेक्स्ट, vision, TTS/audio, embedding मॉडलों को सपोर्ट करता है
• Qwen3.5, NVIDIA Nemotron 3 जैसे नवीनतम LLM का fine-tuning किया जा सकता है, और multi-GPU का स्वचालित समर्थन उपलब्ध है
  • full fine-tuning, 4bit/16bit/FP8 training, reinforcement learning (GRPO) जैसी व्यापक training विधियों का समर्थन
  • MoE LLM को 12 गुना तेज़ train करना, या 80GB GPU पर 500K से अधिक context length के साथ 20B मॉडल को train करना जैसी optimization तकनीकें लगातार जोड़ी जा रही हैं
• fine-tune किए गए मॉडल सहित सभी मॉडलों को safetensors/GGUF में export किया जा सकता है, ताकि llama.cpp, vLLM, Ollama, LM Studio आदि में इस्तेमाल किया जा सके
• PDF, CSV, JSON जैसी unstructured documents को अपने-आप dataset में बदलने वाली Data Recipes सुविधा, साथ ही self-healing tool calling और code execution फीचर बिल्ट-इन हैं
• training loss और GPU उपयोग को real time में track करने वाली observability सुविधा शामिल है
• Model Arena में base मॉडल और fine-tuned मॉडल सहित 2 मॉडलों के output को साथ-साथ compare किया जा सकता है
• 100% offline लोकल रन के ज़रिए privacy सुनिश्चित करता है, और Apple MLX·AMD·Intel समर्थन जल्द जोड़ा जाएगा
• workflow :
  Studio चलाएँ →
  लोकल फ़ाइल या supported integrations से मॉडल लोड करें →
  PDF, CSV, JSONL आदि से training data इंपोर्ट करें या शुरुआत से dataset बनाएँ →
  Data Recipes में dataset को refine/expand करें → recommended preset या custom settings से training शुरू करें →
  trained मॉडल और base मॉडल के output की तुलना करें →
  अपने मौजूदा stack के लिए लोकल में save करें या export करें
• लाइसेंस
  • मुख्य Unsloth package Apache 2.0 लाइसेंस के तहत है
  • Unsloth Studio UI जैसे कुछ वैकल्पिक components पर ही AGPL-3.0 open source लाइसेंस लागू होता है

[wedding]

मैंने भी इसे आते ही आज़माया था.. पेज टूट रहा था, और ट्यूटोरियल से आगे बढ़ ही नहीं पाया T_T

[wedding]

https://github.com/unslothai/unsloth/…

इसे तो उन्होंने तुरंत ही ठीक कर दिया था!

[GN⁺]

Hacker News की राय

• अभी तक MacBook पर unsloth studio को ठीक से सेटअप नहीं कर पाया हूँ
  इसकी वजह Python tooling से जुड़ी समस्याएँ हैं
  इसके बजाय मैं पहले से Docker container में llama.cpp server चला रहा हूँ, इसलिए तीन codebase का comparative experiment करके देखा
  पहला comparison code, दूसरा comparison code
  काफ़ी दिलचस्प नतीजे थे। अगर unsloth studio ठीक से काम करने लगे तो अगले हफ़्ते फिर कोशिश करूँगा

  • उम्मीद है आप फिर से कोशिश कर पाएँगे। मैंने अभी PyPI release नया publish किया है
    इसे नीचे दिए गए command से install किया जा सकता है

    curl -LsSf https://astral.sh/uv/install.sh | sh  
    uv venv unsloth_studio --python 3.13  
    source unsloth_studio/bin/activate  
    uv pip install unsloth==2026.3.7 --torch-backend=auto  
    unsloth studio setup  
    unsloth studio -H 0.0.0.0 -p 8888
    

• unsloth का business model जानने की उत्सुकता है। यह बहुत कुछ मुफ़्त में public कर रहा है, लेकिन revenue structure साफ़ नहीं दिखता

  • फ़िलहाल open source community को useful tooling देना ही मुख्य लक्ष्य है
    मेरा मानना है कि closed source के ज़्यादा लोकप्रिय होने की वजह tooling quality है। आगे और बहुत कुछ public करने वाले हैं
  • अगर team size लगभग 8 लोगों की है, तो शायद अभी तुरंत funding crisis से नहीं जूझ रहे होंगे

• training feature दिलचस्प लगी, लेकिन ‘on NVIDIA’ लिखा देखकर थोड़ी निराशा हुई
  जानना चाहता हूँ कि macOS के Metal stack पर SFT (supervised fine-tuning) करने के लिए कोई alternative या tutorial है क्या

  • docs के नीचे लिखा है कि non-Nvidia support तैयार किया जा रहा है
    मैं भी AMD environment पर हूँ, इसलिए उम्मीद लगाए बैठा हूँ। ROCm तकलीफ़देह है, लेकिन AMD खुद मुझे पसंद है
  • साफ़ लिखा है, “Mac: सिर्फ़ CPU-based chat संभव है, MLX training support जल्द आने वाला है”
  • उस Mac से Nvidia GPU rent करके इस्तेमाल करना एक practical alternative हो सकता है
  • हाहा

• Unsloth सच में काफ़ी अच्छा project है
  जो लोग अपना AI engine चलाते हैं, उनके लिए इसे ज़रूर आज़माना चाहिए

• Apache license होने की वजह से इसे company में भी आज़माने का सोच रहा हूँ
  LMStudio proprietary license पर है, इसलिए approval लेना मुश्किल था

  • सिर्फ़ कुछ components ही Apache हैं

• उम्मीद है AMD support ज़रूर आए
  अभी मैं AMD GPU के साथ complicated workaround setup इस्तेमाल कर रहा हूँ

  • उनका कहना है कि वे AMD support पर काम कर रहे हैं। मैं भी इंतज़ार कर रहा हूँ

• macOS पर source build करने की कोशिश की, लेकिन नीचे जैसा TypeScript error आया
  'status' is declared but its value is never read

  • fix हो गया है। नीचे दिए गए command से फिर कोशिश करने की सलाह है

    curl -LsSf https://astral.sh/uv/install.sh | sh  
    uv venv unsloth_studio --python 3.13  
    source unsloth_studio/bin/activate  
    uv pip install unsloth --torch-backend=auto  
    unsloth studio setup  
    unsloth studio -H 0.0.0.0 -p 8888
    

  • कहा गया है कि वे जल्दी जाँचकर fix करेंगे

• macOS पर pip से install करना system को बिगाड़ने का जोखिम रखता है, इसलिए इसकी सिफारिश नहीं है
  Homebrew package या manual install के लिए zip file चाहिए

  • सहमत हूँ। अभी “uv” या “mise” से install करना बेहतर लगता है
    uv tool install unsloth से install करें तो manage करना आसान है
  • feedback के लिए धन्यवाद, और install process को और बेहतर बनाया जा रहा है
    मैं ज़्यादातर Python ecosystem से आता हूँ, इसलिए packaging experience कम था। Homebrew support अगला लक्ष्य है
  • पहले uv install करें, फिर virtual environment के अंदर Python package को isolate करके install करने की सलाह है
  • uv sync इस्तेमाल करें तो चीज़ें काफ़ी साफ़-सुथरी हो जाती हैं
    pyproject.toml से dependency manage होती है, और एक ही command में reproducible environment बन जाता है
    पहले ROCm-आधारित unreleased version के साथ unsloth install किया था, और uv sync की एक line से काम हो गया
    संबंधित issue comment
  • शायद pipx से भी इसका समाधान हो सकता है
    pipx installation docs

• AMD support आने पर मैं फिर देखने वापस आऊँगा

• जानना चाहता हूँ कि क्या Mac पर GPU का इस्तेमाल होता है
  setup के समय CPU-only दिखाया गया था