Inkling: Thinking Machines Lab का ओपन-वेट मॉडल
(thinkingmachines.ai)- शुरुआत से ट्रेन किया गया और पूरे weights सार्वजनिक करने वाला Inkling कुल 975B और active 41B parameters वाला MoE Transformer है, जो अधिकतम 1M token context और text·image·audio आधारित reasoning को support करता है
- इसे text·image·audio·video से बने 45 trillion tokens पर pre-train किया गया है, और specific benchmarks की बजाय agent tasks, reasoning, coding, instruction following और factuality में general-purpose क्षमता और customization को प्राथमिकता देता है
- reasoning effort को 0.2~0.99 range में adjust करके cost·latency और performance को match किया जा सकता है; Terminal Bench 2.1 में यह Nemotron 3 Ultra जैसी performance लगभग एक-तिहाई tokens में देता है
- यह फिलहाल सबसे शक्तिशाली open या closed model नहीं है, लेकिन multimodal capabilities, efficient reasoning, Tinker fine-tuning, और विभिन्न inference·deployment tools को मिलाकर open-weight foundation बनने का लक्ष्य रखता है
- साथ में पेश किया गया Inkling-Small preview कुल 276B और active 12B parameters वाला है, जिसने कई evaluations में बड़े model के समान या उससे बेहतर results दिए; testing पूरी होने के बाद इसके पूरे weights जारी किए जाएंगे
पूरे weights सार्वजनिक करने वाला general-purpose model
- Thinking Machines Lab ने लोगों को AI models को सीधे customize करने में सक्षम बनाने के लिए शुरुआत से train किए गए Inkling के पूरे weights जारी किए
- Inkling कुल 975B parameters में से प्रति token 41B activate करने वाला Mixture-of-Experts Transformer है
- maximum context window 1M tokens है
- इसे text·image·audio·video से बने 45 trillion tokens पर pre-train किया गया है
- यह text·image·audio को native inputs के रूप में साथ लेकर reasoning करता है
- किसी specific domain पर focus करने के बजाय इसे agent tasks, reasoning, coding, instruction following, factuality, vision और audio को cover करने वाले balanced foundation model के रूप में train किया गया है
- यह public और closed models में सबसे powerful model नहीं है; इसका लक्ष्य multimodal capabilities, efficient reasoning और Tinker fine-tuning को जोड़ने वाला customizable foundation model बनना है
- यह अलग-अलग sizes में expand होने वाली model family की पहली release है, और हल्का Inkling-Small भी preview के रूप में साथ जारी किया गया है
- Tinker पर Inkling को सीधे fine-tune किया जा सकता है, और Tinker console के Inkling Playground में बातचीत करके model की characteristics देखी जा सकती हैं
- customization demo में Inkling ने Tinker का उपयोग करके अपना fine-tuning task लिखा, चलाया और evaluate किया, और यह OpenCode harness के अंदर चला
General-purpose agents और output creation
- अलग-अलग workflows और products के लिए fine-tune किया जा सके, इसलिए किसी एक domain में top performance की बजाय विस्तृत task performance को प्राथमिकता दी गई
- coding और agent harness training process में tool sets और schemas को randomize करके किसी specific harness के प्रति sensitivity घटाई गई
- harness के अंदर भी reasoning effort set किया जा सकता है
- अधिकांश agent benchmarks में open-weight models के बीच competitive scores दर्ज किए
- एक prompt से job application web app बनाया, और natural-language instructions के अनुसार saved profile से forms भरने वाला browser-use agent app में embedded किया
- generated web apps की blind one-on-one comparison करने वाले Design Arena के Agentic Web Dev leaderboard में यह मजबूत open-weight models के group में शामिल है
- सटीक instruction following और consistent style बनाए रखते हुए 9-page food·travel PDF journal जैसे multi-page outputs generate करता है
- GPT Codex द्वारा reviewer के रूप में दिए गए feedback को 40 बार incorporate करके real-time server·bot·leaderboard वाले online multiplayer Snake game को improve किया
- लंबे iterative improvement process को बनाए रखते हुए feedback से output को विकसित करने की क्षमता को collaborative work का core माना गया
Cost और performance को control करने वाला reasoning effort
- real applications में top performance के साथ-साथ token cost और latency भी constraints होते हैं, और low latency खासकर iterative collaboration और improvement के लिए महत्वपूर्ण है
- reasoning effort को 0.2~0.99 range में adjust करके performance और generated token count के बीच balance चुना जा सकता है
- Terminal Bench 2.1, Humanity’s Last Exam(HLE), IFBench में effort के हिसाब से performance और average generated tokens की तुलना की गई
- Terminal Bench 2.1 में Nemotron 3 Ultra जैसी level की performance लगभग एक-तिहाई tokens में हासिल की
- HLE results final release से पहले के checkpoint पर measure किए गए थे, इसलिए final model से थोड़ा कम हैं
- model को millions of times call करते समय या लंबे workflows में शामिल करते समय, single top score की बजाय overall cost-performance curve के आधार पर use case के हिसाब से settings चुनी जा सकती हैं
Encoder-less native multimodal architecture
- real-time voice·vision collaboration support करने वाले interaction models system के background reasoning model के रूप में use हो सके, इसके लिए इसे शुरुआत से multimodal train किया गया
- vision और audio दोनों में अलग encoder के बिना encoder-less architecture इस्तेमाल किया गया
- audio को dMel spectrogram के रूप में input किया जाता है
- images को 4-layer hMLP से 40×40 pixel patches में encode किया जाता है, और यह Vision Transformer से संबंधित research के design को follow करता है
- दोनों inputs हल्के embedding layer से गुजरने के बाद text tokens के साथ process होते हैं
- audio में speech transcription, voice instruction following, recording Q&A और long-form audio reasoning support करता है
- effort=0.99 पर Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4% दर्ज किया
- VoiceBench·MMAU·Audio MC के आधार पर यह मजबूत open-weight audio models के group में आता है
- vision में image description और Q&A के साथ-साथ chart·diagram·mathematical visual reasoning भी करता है
- MMMU Pro Standard 10 में 73.5%, Charxiv RQ में 78.1% है
- Python से zoom·crop जैसे image manipulations का उपयोग करने पर Charxiv RQ 82.0% तक बढ़ता है
- आगे के models और training pipeline में multimodal capabilities को लगातार expand करने की योजना है
Confidence calibration और uncertainty handling
- Inkling की epistemic characteristics (epistemics) calibrated confidence, instruction following और censorship resistance को साथ लेकर चलने वाली concept है
- अगर सभी answers में excessive confidence दिखे, तो जानकारी कम होने या content गढ़ने पर भी user को हर बार verify करना पड़ेगा; इसलिए resolved real questions पर appropriate scoring rules लागू करने वाली reinforcement learning से probability calibration सीखी गई
- 30 जून 2026 से 13 जुलाई तक public version से अलग checkpoint पर किए गए prediction evaluation results इस प्रकार हैं
- बिना search ForecastBench Brier Index 61.1±0.79, search use करने पर 63.7±0.82 है
- Prophet Arena Brier Score 0.1617 है, और lower better है
- complex और verify करने में कठिन questions में instruction following के लिए rubric grader और claims grader दो automatic evaluators इस्तेमाल किए गए
- rubric grader अच्छे answer के लिए जरूरी items को checklist से evaluate करता है, लेकिन relevant दिखने वाले facts bulk में output करके score पाने की strategy के प्रति vulnerable है
- claims grader agent web search से हर factual claim verify करता है और unverified claims पर penalty देता है
- दोनों evaluators को साथ इस्तेमाल करके usefulness बढ़ाते हुए hallucinations घटाने के लिए training की गई
- long-form answers में calibrated uncertainty को सीधे सीखने के लिए abstention-aware rewards लागू किए गए short-form factual Q&A data भी इस्तेमाल किए गए
- reward केवल तब मिलता है जब सही answer की probability high हो; uncertainty होने पर “मुझे नहीं पता” कहना या conditional guess देना अधिक फायदेमंद है
- कुछ prompts hedging expressions को encourage या prohibit करते हैं, ताकि forced guessing और calibrated non-response के बीच user preference follow की जा सके
- संभावित censorship targets वाले topics पर भी सीधे answer देने के लिए train किया गया है, और Cognition के Propaganda and Censorship Eval में censorship न मानने का मजबूत pattern दिखता है
Risk capabilities और safety behavior evaluation
- सभी input modalities पर लागू internal safety behavior specification से training के बाद external safety evaluators के जरिए results verify किए गए
- risk capability evaluation में CBRN, cyber और loss of control शामिल हैं, जबकि human-AI threats में sycophancy tendency, vulnerable users और harmful manipulation को देखा गया
- effort=0.99 के main safety evaluation results इस प्रकार हैं
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
- तुलना किए गए open-weight models में FORTRESS पर सबसे मजबूत built-in safeguards दिखे; weapon·violence related harmful requests को अधिक reject किया, जबकि ऊपर से समान दिखने वाले benign requests में over-refusal घटाया
- स्पष्ट harmful requests की refusal measure करने वाले StrongREJECT में यह 98% से ऊपर है, जो अन्य open और closed models के समान level है
- customized models में fine-tuning का safety behavior और capability increases पर असर आगे भी study किया जा रहा है
पूरे benchmarks और measurement conditions
- सभी default evaluations effort=0.99, temperature=1.0 पर चलाए गए, और coding evaluations में अधिकतम 256K tokens की work path limit लागू की गई
- HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience, MMMU Pro के लिए जहां संभव हुआ, Artificial Analysis द्वारा externally reported scores इस्तेमाल किए गए
- Inkling के representative scores इस प्रकार हैं
- reasoning: HLE text-only 29.7%, tool use 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- agentic coding: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- general agents: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, context management सहित BrowseComp 77.1%
- factuality·conversation: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- vision·audio: MMMU Pro 73.5%, Python use करने पर Charxiv RQ 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
- results interpret करते समय निम्न evaluation condition differences पर विचार करना चाहिए
- SWEBench Verified का Inkling result bash-only harness से measure किया गया, और external models के लिए self-reported scores use किए गए
- Terminal Bench 2.1 internal coding harness से measure किया गया, और web search में answer contamination पाए गए कुछ results को 0 score दिया गया
- VoiceBench में hard-coded string matching output format के प्रति sensitive है, इसलिए expected answer format follow करने वाला system message जोड़ा गया
- Audio MC के कुछ comparison models official leaderboard पर नहीं थे, इसलिए internal evaluation किया गया
- Python use करने वाले CharXiv RQ में Claude Fable 5 और GPT 5.6 Sol को internal Python harness से measure किया गया
Long-context के लिए MoE architecture
- Inkling का MoE architecture broadly DeepSeek-V3 को follow करता है, लेकिन efficiency और long-context performance के लिए changes apply करता है
- हर MoE layer में 256 routing experts और 2 shared experts हैं, और हर token पर 6 routing experts activate होते हैं
- sigmoid-based router और auxiliary-loss-free load balancing bias इस्तेमाल किया गया
- selected routing experts और shared experts के scores को साथ normalize करके output-combination weights के रूप में इस्तेमाल किया जाता है
- attention में sliding-window layers और global layers को 5:1 ratio में interleave किया गया है और 8 KV heads इस्तेमाल होते हैं
- position encoding में widely used RoPE की बजाय relative position embeddings अपनाए गए
- Music Transformer family के relative position representations लंबे sequences में performance और extrapolation के लिए बेहतर रहे
- short convolutions दो points पर apply किए गए
- हर attention layer के key·value projection के बाद
- attention और MLP residual branches के main residual stream में merge होने से पहले
45 trillion token pre-training और large-scale reinforcement learning
- text·image·audio·video से बने 45 trillion tokens का उपयोग करके NVIDIA GB300 NVL72 systems पर training की गई
- optimization में बड़े matrix weights के लिए Muon और बाकी parameters के लिए Adam का combination इस्तेमाल किया गया
- hyperparameter schedule modular manifolds research से लिया गया
- weight decay strength को learning rate square से link करके training duration बदलने पर भी overall weight scale stable रखा गया
- post-training math, agentic coding·tool use, audio, image, conversation और safety domains को cover करती है
- initial SFT में Kimi K2.5 जैसे open-weight models द्वारा generated synthetic data इस्तेमाल किया गया
- initial SFT total compute का छोटा हिस्सा है, और अधिकांश compute synthetic तथा human-created environments में large-scale reinforcement learning पर लगाया गया
- asynchronous reinforcement learning को 30 million से अधिक rollouts तक scale किया गया और दो long continuous runs में stable training हुई
- AIME, HLE, GPQA आदि को मिलाने वाला अलग reasoning eval score पूरे process में log-linearly improve हुआ
- system message और per-token cost बदलकर per-sample effort specify किया गया, और अलग-अलग मात्रा में tokens use करना सिखाकर reasoning effort control ability हासिल की गई
- reinforcement learning बढ़ने के साथ thought process grammatical connectors और articles घटाकर compressed form में बदल गया, लेकिन understandability और final answers बने रहे
- यह reward द्वारा directly targeted result नहीं था, बल्कि efficiency pressure से निकला change था
- Cognition के SWE-1.7 training में भी समान phenomenon देखा गया
- future models में pre-training, post-training और reinforcement learning के overall compute scale को और बढ़ाने की योजना है
छोटा और तेज Inkling-Small preview
- Inkling-Small कुल 276B और active 12B parameters वाला MoE model है, जिसकी cost और latency active 41B वाले Inkling से कम है
- improved pre-training data और training methods की वजह से कई benchmarks में इसने बड़े Inkling जैसे या उससे बेहतर results दिए, और दोनों models एक ही scalable post-training stack use करते हैं
- effort=0.99 पर बड़े model से तुलना में key results इस प्रकार हैं
- HLE tool use 46.6% बनाम 46.0%, GPQA Diamond 88.3% बनाम 87.2%
- MCP-Atlas 74.9% बनाम 74.1%, IFBench 83.4% बनाम 79.8%
- Python use करने पर Charxiv RQ 83.4% बनाम 82.0%, MMAU 77.5% बनाम 77.2%, StrongREJECT 98.8% बनाम 98.6%
- बड़े model से lower results भी हैं
- Terminal Bench 2.1 52.7% बनाम 63.8%, Tau 3 Banking 13.6% बनाम 23.7%
- SimpleQA Verified 20.9% बनाम 43.9%, Audio MC 49.6% बनाम 56.6% है
- coding, LLM-based grading, और अन्य models के लिए synthetic data generation जैसे cost और latency-sensitive tasks के लिए suitable है
- अभी testing final की जा रही है, और पूरी होने के बाद पूरे weights जारी किए जाएंगे
Fine-tuning और deployment ecosystem
- organization-specific expert problems जिन्हें general-purpose model से solve करना कठिन है, उनमें domain expertise का उपयोग करने वाली fine-tuning gap कम कर सकती है, और Inkling को fine-tuning में तेजी से सीखने के लिए design किया गया है
- Tinker में Inkling को 64K और 256K context lengths के साथ use किया जा सकता है
- limited period के लिए 50% discount pricing लागू है
- detailed pricing Tinker model docs में देखी जा सकती है
- Tinker cookbook Inkling को natively support करता है, और audio capabilities use करने वाली 3 recipes जोड़ी गई हैं
- tml-renderer tool calling, reasoning content और multimodal inputs को reliably sample और post-train करने की capability देता है
- Inkling Playground agent web search integrated conversation interface है और limited period के लिए free है
- Tinker में fine-tune किए गए checkpoints को TogetherAI, Fireworks, Modal, Databricks, Baseten APIs के जरिए deploy किया जा सकता है
- open-source inference और reinforcement learning ecosystem भी support किया गया है
- RadixArk के साथ मिलकर SGLang और Miles support किया गया
- Inferact और vLLM, Lightseek और TokenSpeed, Unsloth और llama.cpp integrate किए गए
- Hugging Face और transformers integration support किया गया
- Hugging Face के Inkling repository से original checkpoints और NVIDIA Blackwell के लिए efficient inference हेतु NVFP4 checkpoints download किए जा सकते हैं
1 टिप्पणियां
Hacker News की राय
ऑडियो सपोर्ट वाला अब तक का सबसे बड़ा open-weight multimodal model है, इसलिए इसे देखकर खुशी हुई, और असल में इसका ऑडियो प्रदर्शन कितना अच्छा है यह जानने की उत्सुकता है
इसे लोकल पर चलाने के लिए नीचे दिए गए संसाधन देखे जा सकते हैं
https://github.com/danielhanchen/llama.cpp/tree/add-inkling
https://unsloth.ai/docs/models/inkling
https://huggingface.co/unsloth/inkling-GGUF
https://huggingface.co/unsloth/inkling-NVFP4
कहा जा रहा है कि यह KimiK2.7 से बेहतर है, लेकिन GLM5.2 पर काफी ध्यान जाने के बावजूद अब भी लगभग आधे मामलों में KimiK2.7 इस्तेमाल हो रहा है। अगर benchmark सही हैं, तो यह पूरी तरह एक मजबूत विकल्प बनता है, और कुछ क्षेत्रों में इससे बाकी सभी open-weight models को पीछे छोड़ने की उम्मीद है
अमेरिका को भी अपना DeepSeek या Z.ai चाहिए। मेरे समेत बहुत से लोग सिर्फ़ दूसरे विकल्प न होने की वजह से Chinese open models की सफलता के लिए उत्साहित हैं, और Thinking Machines वह भूमिका निभा सकता है
मौजूदा open-weight models की सूची https://www.arcee.ai/open-source-catalog पर देखी जा सकती है
फिर भी fine-tuning API और open-weight model का संयोजन कम-से-कम एक viable business जैसा लगता है। बस अगर बात QLoRA या LoRA इस्तेमाल करने की ही है, तो open model रखने वाली कंपनी fine-tuning बेहतर क्यों कर पाएगी, यह अभी भी सवाल है, लेकिन देखने लायक है
Tinker में fine-tune किए जा सकने वाले open base models को मैं एक शानदार business model मानता हूँ। कंपनियाँ अपना मॉडल अपने पास रख सकती हैं और खास कामों में कहीं कम लागत पर state-of-the-art models से भी बेहतर प्रदर्शन पा सकती हैं, जबकि Thinking Machines उस ecosystem का मुख्य infrastructure और service provider बन सकता है
यह भी प्रभावशाली है कि छोटा Inkling-Small, pretraining data और training method में सुधार की वजह से, कई benchmark में बड़े मॉडल जितना या उससे बेहतर प्रदर्शन देता है। अगली पीढ़ी के Thinky models का इंतज़ार रहेगा
आधुनिक मॉडल development में हैरान कर देने वाली तरह-तरह की मेहनत लगती है। पहले नई loss function या architecture में छोटा बदलाव बनाकर training और evaluation loop चलाना और फिर नतीजे जारी कर देना काफी होता था, लेकिन अब सिर्फ़ बराबरी पर पहुँचने के लिए भी बहुत बड़ा काम करना पड़ता है — यह एक तरह की Red Queen race बन गई है
यह बात लगभग अद्भुत है कि करीब 500 चरणों में से हर एक खुद में एक छोटा optimization loop है। इसी वजह से वह पुराना नियम भी उलट गया कि छोटी टीमें बड़ी टीमों से तेज़ चलती हैं; AI में बड़ी टीमों की ज़रूरत है। organizational inertia असली समस्या तब बनती है जब लोग हज़ारों में पहुँच जाते हैं, उससे पहले तक इतने सारे moving parts को सिर्फ़ 12 बेहतरीन लोगों से संभालना मुश्किल है
एक मज़बूत long-context·multimodal open-weight model देखकर अच्छा लगा। बहुत-सी applications को ऑडियो क्षमता से फायदा होगा, और जब तक z.ai जैसी कंपनियाँ visual features को और विकसित नहीं कर लेतीं, तब तक यह general agent-style applications में भी काफ़ी मजबूत हो सकता है
हालाँकि कुछ संबंधित benchmark में इसकी कमज़ोरियाँ भी दिखती हैं। आखिरकार, दूसरे models की तरह इसे भी अपने harness में डालकर उन्हीं tasks पर सही से परखना होगा जो आपके लिए सबसे महत्वपूर्ण हैं
यह इनका पहला मॉडल है और फिर भी इसे open रखा गया है, इसे देखते हुए अमेरिकी open AI labs पर फिर से भरोसा बनने लगा है। यह अभी OpenRouter वगैरह पर नहीं आया है इसलिए मैं इसे आज़मा नहीं पाया, लेकिन अगर यह GLM5.1 के स्तर तक भी है तो पहली कोशिश के लिए काफी प्रभावशाली है
लगता है कि जल्द ही और labs भी लगभग cutting edge के करीब पहुँच सकेंगी, और किसी भी क्षेत्र में बढ़ती प्रतिस्पर्धा स्वागतयोग्य है
अभी बहुत शुरुआती परीक्षण हैं, लेकिन इसमें benchmark से ज़्यादा दिखने वाली क्षमता है। सार्वजनिक evaluation की तुलना में निजी evaluation में कहीं बेहतर नतीजे मिलना मैंने Anthropic models के अलावा लगभग नहीं देखा; अभी फैसला देना जल्दी होगा, लेकिन आने वाले हफ़्तों में शायद मैं इस पर काफ़ी समय लगाऊँगा
open-weight models में अब तक सिर्फ़ Moonshot AI के models ही मुझे समझौता करके इस्तेमाल करने लायक लगे थे, और Z.AI मेरे कामों में उतना अच्छा नहीं था, लेकिन इस मॉडल में दूसरा विकल्प बनने की क्षमता है। अगर Mistral ने ऐसा मॉडल निकाला होता, तो मेरे जैसे यूरोपीय उत्साही लोग इसे लेकर लगातार चर्चा कर रहे होते
Fable 5, GPT-5.6 Sol समेत दूसरे labs के किसी मॉडल ने web के बिना सही जवाब नहीं दिया, जबकि उस क्षेत्र के जानकार के लिए ये सामान्य ज्ञान की बातें हैं और वस्तुनिष्ठ सही जवाब भी मौजूद हैं। ऐसे tasks में Fable 5 से आगे होना, जो public benchmark में नहीं हैं और इसलिए जिन पर overfit करना मुश्किल है, काफ़ी प्रभावशाली है
खास तौर पर instruction following अच्छा लगता है, लेकिन coding शायद दूसरे models से कमज़ोर है। फिर भी open-weight models की विविधता बढ़ना हमेशा अच्छा लगता है, इसलिए इसे खुद आज़माकर इसका स्वभाव देखना चाहूँगा
यह उस नतीजे का उदाहरण है जो इसे यह कहने पर मिला: “आज के Hacker News फ्रंट पेज को देखो, और बाद में पढ़ने के लिए आज की tech news का एक daily briefing artifact बना दो”
https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
कुल मिलाकर यह Nemotron से बेहतर और GLM से कमज़ोर लगता है, इसलिए फिलहाल यह सबसे अच्छा अमेरिकी open-weight model दिखता है
आज मैंने Hy3 इस्तेमाल किया और वह पसंद आया; यह DSV4P से थोड़ा बेहतर लगा। अगर उसी स्तर के प्रदर्शन के साथ multimodal सपोर्ट भी मिले, तो यह काफ़ी अच्छा हो सकता है