Bonsai 27B - फ़ोन पर चलने वाला 27B-स्तर का मॉडल

 (prismml.com)
4 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • मौजूदा 27B मॉडल 4-बिट तक घटाने पर भी 18GB तक पहुँचते हैं, लेकिन PrismML ने Qwen3.6 27B पर आधारित Bonsai 27B को iPhone की मेमोरी सीमा के अनुरूप बनाया है, जो inference, tool calling, vision और computer use को सपोर्ट करता है
  • quality-केंद्रित Ternary मॉडल का आकार प्रति weight 1.71 बिट पर 5.9GB है, जबकि capacity-केंद्रित 1-bit मॉडल 1.125 बिट पर 3.9GB का है, और low-bit representation पूरे language network पर लागू किया गया है
  • thinking mode के 15 benchmark में Ternary मॉडल ने full-precision baseline performance का 95%, और 1-bit मॉडल ने 90% बनाए रखा; composite score क्रमशः 80.5 और 76.1 रहा
  • NVIDIA GeForce RTX 5090 पर अधिकतम 163 tok/s और M5 Max पर अधिकतम 87 tok/s दर्ज किए गए, साथ ही 262K token context, 4-bit vision tower और speculative decoding का समर्थन है
  • local execution दोहराए जाने वाले agent tasks में step-by-step API cost और data transfer को खत्म करता है, और sensitive काम device पर रखते हुए केवल कठिन चरणों को cloud पर भेजने वाली hybrid deployment को संभव बनाता है

27B-स्तर का मॉडल फ़ोन में कैसे फिट किया गया

  • मौजूदा 27B मॉडल 16-bit precision पर लगभग 54GB लेते हैं, और सामान्य 4-bit build में भी 18GB की ज़रूरत होती है, इसलिए उन्हें फ़ोन और अधिकांश laptops पर local deployment के लिए इस्तेमाल करना कठिन है
  • Qwen3.6 27B आधारित Bonsai 27B multi-step reasoning, structured tool calling, vision tasks और कई चरणों में consistency बनाए रखने वाले computer use agent loop को सपोर्ट करता है
  • दो low-bit configurations अलग-अलग deployment environments को ध्यान में रखकर बनाए गए हैं
    • Ternary Bonsai 27B {−1, 0, +1} weights और FP16 group-wise scaling का उपयोग करता है, जिससे effective 1.71 bits per weight और 5.9GB आकार हासिल होता है
    • इसका लक्ष्य laptop-स्तर की quality है, और यह पूर्ण inference, tool calling और agent functionality प्रदान करता है
    • 1-bit Bonsai 27B {−1, +1} weights और वही group-wise scaling उपयोग करता है, जिससे effective 1.125 bits per weight और 3.9GB आकार हासिल होता है
    • इसका फोकस iPhone 17 Pro की memory budget में फिट होने वाली फ़ोन-स्तर की capacity पर है

end-to-end low-bit और multimodal संरचना

  • low-bit representation पूरे language network पर लागू किया गया है, जिसमें embedding, attention, MLP और LM head शामिल हैं; कुछ हिस्सों को higher precision में bypass नहीं किया गया है
  • दोनों मॉडल multimodal हैं, और vision tower compressed 4-bit format में दिया गया है ताकि screenshots, documents और camera input को device पर प्रोसेस किया जा सके
  • अधिकतम 262K token context का समर्थन है
  • draft बनाकर बाद में validate करने वाली lossless acceleration technique speculative decoding का उपयोग किया जा सकता है
  • model weights Apache 2.0 License के तहत उपलब्ध हैं

15 benchmark में बरकरार प्रदर्शन

  • मॉडल की पूरी reasoning क्षमता का उपयोग करने वाले thinking mode में knowledge, reasoning, math, coding, instruction following, tool calling और vision को कवर करने वाले 15 benchmark का मूल्यांकन किया गया
  • full-precision Qwen3.6 27B का composite score 85.0 है, जबकि Ternary Bonsai 27B ने 80.5 और 1-bit Bonsai 27B ने 76.1 स्कोर किया
    • Ternary मॉडल ने full-precision baseline performance का 95% बनाए रखा
    • 1-bit मॉडल ने baseline performance का 90% बनाए रखा
  • domain-wise scores इस प्रकार हैं
    • Math — GSM8K, MATH-500, AIME25, AIME26: full precision 95.3, Ternary 93.4, 1-bit 91.7
    • Coding — HumanEval+, MBPP+, LiveCodeBench: full precision 88.7, Ternary 86.0, 1-bit 81.9
    • Agent·tool calling — BFCL v3, TauBench: full precision 80.0, Ternary 74.0, 1-bit 66.0
    • Instruction following — IFEval, IFBench: full precision 78.4, Ternary 71.8, 1-bit 65.8
    • Knowledge·STEM — MMLU-Redux, MuSR: full precision 83.1, Ternary 77.0, 1-bit 73.4
    • Vision — MMMU Pro, OCRBench: full precision 72.6, Ternary 65.2, 1-bit 59.6
  • math और coding में performance drop अपेक्षाकृत कम है, और Ternary मॉडल का tool-calling performance भी full precision के काफ़ी करीब बना रहता है
  • उसी base model पर लागू किया गया सबसे आक्रामक general low-bit build, 1-bit Bonsai 27B की तुलना में 2.5 गुना अधिक memory उपयोग करने के बावजूद उससे कम score दर्ज करता है

प्रति gigabyte intelligence density

  • 1-bit Bonsai 27B, full-precision 2B model से भी छोटे आकार में 27B-स्तर का प्रदर्शन देता है
  • PrismML द्वारा 1-bit Bonsai 8B में पेश किए गए intelligence density metric पर 1-bit Bonsai 27B ने प्रति GB 0.53 दर्ज किया
    • यह full-precision baseline की तुलना में 10 गुना से अधिक है
    • और उपलब्ध सर्वश्रेष्ठ low-bit विकल्पों से लगभग 2.7 गुना अधिक है
  • इस भेद में मॉडल की absolute capability यह तय करती है कि वह कौन-से काम कर सकता है, जबकि intelligence density यह तय करती है कि उन कामों को कौन-से devices और environments पर चलाया जा सकता है

persistent agent tasks को local पर लाना

  • AI workloads अब single response से आगे बढ़कर ऐसे persistent tasks की ओर जा रहे हैं, जैसे real tools इस्तेमाल करने वाले assistants, unattended workflows, या दर्जनों documents को synthesize करने वाला research
  • agents मॉडल को एक बार नहीं बल्कि सैकड़ों बार call करते हैं, हर step पर context पास करते हैं, structured output बनाते हैं, और उसे अगले step के input के रूप में इस्तेमाल करते हैं
  • cloud API अभी भी कई products के लिए उपयुक्त हैं, लेकिन agent tasks को केवल cloud में चलाने पर संरचनात्मक सीमाएँ बनती हैं
    • हर step remote request के रूप में प्रोसेस होता है
    • हर iteration के साथ token cost जुड़ती जाती है
    • plan, tool calls, intermediate results के साथ user की private files, screen और data भी network से होकर गुजरते हैं
  • यदि device पर पर्याप्त क्षमता वाला मॉडल चल सके, तो agent को product के भीतर रखा जा सकता है
    • 100-step loop में भी अतिरिक्त model call cost नहीं आती
    • user data device से बाहर नहीं जाता
    • persistent on-device agents, offline assistants, और local private data को सीधे संभालने वाले assistants बनाए जा सकते हैं
  • जिन कामों में frontier-स्तर का प्रदर्शन या अत्यधिक sensitivity नहीं चाहिए, उन्हें local model को भेजकर और केवल सबसे कठिन चरणों को cloud model को सौंपकर, hybrid architecture के माध्यम से agent systems की प्रति-task लागत घटाई जा सकती है

execution speed और फ़ोन की memory constraints

  • NVIDIA GeForce RTX 5090 पर मापी गई अधिकतम generation speed इस प्रकार है
    • 1-bit मॉडल: 163 tok/s
    • Ternary मॉडल: 134 tok/s
  • M5 Max पर मापी गई अधिकतम generation speed इस प्रकार है
    • 1-bit मॉडल: 87 tok/s
    • Ternary मॉडल: 58 tok/s
  • फ़ोन apps device की पूरी memory का उपयोग नहीं कर सकते, और 12GB iPhone में भी मॉडल के लिए उपलब्ध memory लगभग 6GB है
  • इस budget में model weights के साथ KV cache और activations भी शामिल होने चाहिए, इसलिए केवल storage file size कम करना पर्याप्त नहीं है
  • लगभग 4GB का 1-bit Bonsai 27B, task के लिए आवश्यक headroom छोड़ते हुए इस memory limit को पूरा करता है
  • iPhone 17 Pro Max की multimodal agent demo, cache और preloaded image context का उपयोग करने वाले demo mode में चलती है

supported platforms और deployment method

  • Apple devices पर यह MLX के जरिए Mac, iPhone और iPad पर native रूप से चलता है
  • NVIDIA GPU पर यह CUDA का उपयोग करता है
  • दोनों platforms, hybrid attention architecture के अनुरूप बनाए गए custom low-bit kernels का उपयोग करते हैं
  • सीमित अवधि के लिए developers को मॉडल आज़माने हेतु मुफ्त developer preview API उपलब्ध कराया गया है
  • compression, evaluation और benchmarking की पूरी technical details Bonsai 27B whitepaper में देखी जा सकती हैं

बड़े मॉडल और नई architectures

  • Bonsai 27B, reasoning, multimodal understanding, vision और tool use जैसी आधुनिक model capabilities को ऐसे आकार में लाता है जिसे आम users के devices पर चलाया जा सके
  • compression methodology किसी एक architecture पर निर्भर नहीं है, और PrismML बड़े मॉडलों और नई architectures पर काम कर रहा है
  • जैसे-जैसे intelligence density बढ़ती है, advanced AI चलाने में सक्षम devices, products और environments की range फ़ोन से लेकर single-GPU server तक फैलती जाती है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की रायें

  • जिसके साथ मैं सबसे ज़्यादा तुलना करना चाहूंगा, वह है Gemma 4 12B का 4-bit QAT version. यह 7GB से कम है, यानी इस model से बस थोड़ा बड़ा, और ज़्यादातर आधुनिक devices पर चल जाता है, फिर भी अपने size के हिसाब से हैरान करने वाला smart है
    इसकी tool-use क्षमता बहुत अच्छी है और vision performance भी size के मुकाबले शानदार है. precision को एक-एक step कम करने पर कितनी performance खत्म होती है, यह अभी समझने की कोशिश कर रहा हूं, लेकिन Google के QAT versions दिखाते लगते हैं कि 4-bit पर loss बहुत कम है

    • प्रकाशित आंकड़ों को Gemma results से cross-compare करें तो यह model math और coding में Gemma 4 12B से काफी आगे है, knowledge और tool calling में थोड़ा पीछे है, और vision tasks में काफी गिर जाता है
    • अच्छा होगा अगर Gemma 4 12B का 1-bit binary version भी बना दें ;)
    • कई model families में 4-bit एक सीमा-रेखा है, लेकिन यह इस पर निर्भर करता है कि weights, weights और activations, या KV cache में से किसे 4-bit में quantize किया जा रहा है. Model size और task पर भी असर पड़ता है, इसलिए quantization में अपेक्षा से कहीं ज़्यादा बारीकियां हैं
      2024 में आया एक अच्छा evaluation material https://arxiv.org/pdf/2402.18158 है. मैं original author नहीं हूं, लेकिन फिलहाल इसका updated version तैयार कर रहा हूं, और अभी बाकायदा literature survey नहीं किया है, इसलिए जानना चाहता हूं कि क्या किसी को ऐसे मिलते-जुलते survey materials के बारे में पता है

  • Investor के नजरिए से यह सचमुच paradigm shift है. Privacy को आगे रखकर बड़े hosted models को wrap करके देने वाले European startups बड़ी संख्या में गायब हो सकते हैं
    अगर सब कुछ laptop पर सीधे चलाया जा सकता है, तो ‘Privacy GPT™’ जैसी कंपनियों का इस्तेमाल करने की कोई वजह नहीं रह जाती. Banks या दूसरी regulated industries भी इस स्तर की intelligence को self-host कर सकती हैं, इसलिए उन्हें ऐसी कंपनियों पर निर्भर रहने की जरूरत नहीं होगी

  • समझने में मदद चाहिए. मेरी समझ में यहां core बात यह है कि quantization के जरिए 50GB को 4GB तक घटाते हुए Pareto-optimal range के भीतर intelligence का बड़ा हिस्सा बचा लिया गया है, और इसे दूसरे quantized models से size-vs-intelligence के हिसाब से compare किया गया है. हालांकि लगता है कि दूसरे small models में भी समस्या रहने वाली tool calling performance को सबसे ज्यादा नुकसान हुआ है
    हाल के दूसरे 4GB models की तुलना में यह model कैसा है? कैसे पता चले कि parent model की intelligence सच में बची है, या benchmark के हिसाब से fine-tune किया गया है?
    मैं इसे नीचा दिखाना नहीं चाहता; सच में चाहता हूं कि यह amazing result हो. लेकिन मेरी सीमित जानकारी से देखें तो fair comparison graph गायब लगता है और मौजूदा graph भी misleading हो सकता है. अगर मेरी समझ में कोई गलती है तो कृपया समझाएं

    • मेरी समझ में PrismML आम तौर पर होने वाले quantization की तरह FP16 में train किए गए model के bits काटकर VRAM घटाने का काम नहीं कर रहा, बल्कि शुरुआत से ही 1-bit weights के साथ train कर रहा है
      Article में और details हैं; जैसे 1-bit weights के हर 128 blocks पर एक FP16 weight रखने जैसी techniques से ज्यादा information store की जाती है

  • कहा जा रहा है कि Apple, PrismML के साथ बातचीत में है: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • यह बात PrismML CEO Babak Hassibi ने सीधे CNBC को कही है, इसलिए या तो यह झूठ है, या फिर negotiation की खबर leak करके उन्होंने खुद ही deal बनने की संभावना खत्म कर दी हो सकती है

  • शायद यह मामूली nitpick हो, लेकिन demo में model ने जो dish suggest की, वह खास tasty नहीं लगती और macronutrient calculation भी पूरी तरह गलत लगती है. ‘spaghetti, carrots, bell pepper, garlic, herbs’ में protein 25g?

    • अच्छे spaghetti में protein ratio 15%, यानी 100g में 15g होता है, और सबसे low-quality product में भी 100g में कम से कम 12g होता है
    • मुझे personally carrots बहुत पसंद नहीं हैं, लेकिन यह बेस्वाद नहीं लगता. Tomato sauce हो तो बहुत बेहतर होगा, पर दिए गए image में शायद वह option नहीं था
      Protein 25g शायद इस assumption पर हो कि यह chickpea जैसे high-protein pasta से बना है, लेकिन यह आंकड़ा निश्चित रूप से गलत लगता है
    • Spaghetti के 200g में सच में करीब 25g protein होता है
    • समझ नहीं आता कि इतने साधारण सवाल को phone के AI से क्यों handle करना चाहिए. इस काम के लिए AI तो दूर, local AI भी जरूरी नहीं है; पहले से basic Google search ही काफी था
      Phone-size AI को useful होना है तो उसे ऐसे tasks handle करने चाहिए जो केवल AI कर सकता हो. क्या यह phone camera से scan किए गए documents को ले सकता है? Real-time translation कर सकता है? Recipe advice तो पहले से दूसरे तरीकों से भरपूर हल हो चुकी है, इसलिए पूछने की कोई खास वजह नहीं है

  • मॉडल Hugging Face के https://huggingface.co/prism-ml/models पर अपलोड हो रहे हैं
    LM Studio में GGUF और MLX मॉडल अलग-अलग आज़माए, लेकिन दोनों में से कोई भी चला नहीं। हो सकता है LM Studio को पहले llama.cpp या MLX engine अपग्रेड करना पड़े; जानना चाहूंगा कि क्या किसी ने इसे चलाने में सफलता पाई है

    • पिछला मॉडल PrismML के llama.cpp के custom fork https://github.com/PrismML-Eng/llama.cpp पर चलाया था। इस मॉडल को अभी आज़माया नहीं है, लेकिन इस हफ्ते समय निकालकर benchmark करने वाला हूं
      कहा जा रहा है कि mainline llama.cpp में भी Metal और CPU backend के लिए patches आ गए हैं, इसलिए अगर आपके पास Mac या पर्याप्त तेज CPU और memory है तो शायद latest llama.cpp भर से काम चल जाए
    • आप कौन-सा मॉडल चलाना चाहते हैं, उसके हिसाब से custom fork की जरूरत पड़ सकती है; details https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README.... में हैं
    • PrismML के llama.cpp fork को LM Studio के अंदर चलाने का कोई तरीका है या नहीं, मुझे नहीं पता
      fork खुद तो ठीक चलता है, लेकिन एक छोटे test में model reasoning loop में बुरी तरह फंस गया। यह वही समस्या भी हो सकती है जो reasoning intensity ज्यादा set करने पर आती है
      M1 Max पर अभी भी MoE Qwen 3.6 और Gemma 4 सबसे बेहतर विकल्प लगते हैं। 35B सच में ज्यादा खराब है, इस दावे को लेकर भी मुझे भरोसा नहीं है; मेरे use case में यह 27B की तुलना में reasoning loop में काफी कम फंसता है
    • LM Studio में दो official model डाउनलोड किए और दोनों 3.6GB के थे, लेकिन कोई भी load नहीं हुआ
    • Unsloth में भी नहीं चला, लेकिन updates का अगला batch आने पर एक-दो दिन में fix होने की संभावना ज्यादा है

  • शानदार! मैं ternary models की scaling का एक साल से ज्यादा समय से इंतजार कर रहा था[1]। सामान्य Qwen 27B local hardware पर ठीक-ठाक speed से चलाने के लिए बहुत heavy है, इसलिए इसे खुद try करने के लिए उत्साहित हूं
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • मेरे साथ भी ऐसा ही है। उम्मीद है कि यह ऐसा model होगा जो 16GB laptop पर usable हो सकता है

  • 1-bit model से 90% performance हासिल करना अपने-आप में कमाल का नतीजा है
    लेकिन पिछले 2 हफ्तों में यह पहले ही पांचवीं product announcement है, और हर कोई कह रहा है कि AI इस्तेमाल करने का तरीका बदल रहा है और उनकी अपनी trade-off ही perfect answer है। paradigm shift product launch announcements में नहीं होता
    मुझे लगता है हर launch post को paradigm shift जैसा सुनाने वाली यह किसी तरह की AI-specific writing style है

    • हर tech announcement ऐसी ही होती है। reality से बेपरवाह, marketing वाले marketing ही करेंगे

  • पूरे context length पर भी KV cache memory usage चौंकाने वाला कम दिखता है। इसकी वजह से यह multi-agent coding workflows के लिए खास तौर पर उपयोगी हो सकता है
    अच्छा होगा अगर नए model announcements और demos में KV cache memory usage और उससे जुड़ी optimizations को ज्यादा साफ तरीके से cover किया जाए

    • KV cache को quantize करने से attention और recall performance खराब होती है, और उसके असर से long-form tasks भी बिगड़ते हैं। model family और size के हिसाब से हर part quantization को कितना झेल पाता है, यह अलग होता है, और target task पर भी निर्भर करता है

  • आज सीखा: 1-bit model असल में +1, 0, -1 की तीन values इस्तेमाल करने वाला 1.58-bit model है

    • इसके दो variants हैं। मजाक में कहें तो bit की value बहुत बड़ी रख दी गई है
      Ternary Bonsai 27B ternary {-1, 0, +1} weights और FP16 per-group scaling का इस्तेमाल करता है, जिससे per weight effective bits 1.71-bit हैं। 1-bit Bonsai 27B binary {-1, +1} weights और वही per-group scaling इस्तेमाल करता है, जिससे per weight effective bits 1.125-bit हैं
    • 3-state digits में से 5 को 1 byte में डालने के सबसे practical तरीके से calculate करें तो यह 1.6-bit है। लेकिन असल में आम तौर पर 4-state digits में से 4 को pack किया जाता है
    • यह पहले ‘1-bit’ models से शुरू हुई एक दुर्भाग्यपूर्ण convention है। हालांकि Bonsai में ternary version और असली 1-bit version दोनों मौजूद हैं