AMD Ryzen AI Halo, $4000 (लगभग 6 लाख रुपये) AI डेवलपमेंट किट

 (lttlabs.com)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • लोकल AI डेवलपमेंट एनवायरनमेंट को खुद सेटअप करने का बोझ कम करने के लिए, Ryzen AI Halo में Ryzen AI Max+ 395 mini PC के साथ ROCm, ड्राइवर, मॉडल और डेवलपमेंट टूल्स बंडल करके दिए गए हैं
  • यह एकल कॉन्फ़िगरेशन 16-core/32-thread Zen 5 CPU, Radeon 8060S integrated GPU, XDNA 2 NPU, 128GB LPDDR5x-8000 unified memory, 2TB SSD के साथ आता है, और इसकी कीमत $3,999.99 USD है
  • llama-bench में Apple Silicon Mac Studio, Ryzen AI Max+ 395 सिस्टम से आगे रहा, खासकर token generation में, जहाँ memory bandwidth के अंतर की वजह से Gemma 4 पर 2–3 गुना ज़्यादा प्रदर्शन दिखा
  • Halo की असली खासियत नया प्रोसेसर नहीं, बल्कि AMD Ryzen AI Developer Center, Best Known Configurations और AMD AI Playbooks जैसे compatibility-tuned शुरुआती बिंदु उपलब्ध कराना है
  • AMD Lemonade और FastFlowLM के जरिए XDNA 2 NPU पर gpt-oss-20b-FLM चलाया गया, जहाँ CPU/GPU उपयोग लगभग शून्य रहते हुए अधिकतम 35W और 20 tokens/s generation दर्ज हुई

Ryzen AI Max+ 395 आधारित mini AI डेवलपमेंट किट

  • AMD Ryzen AI Halo, Zen 5 आधारित AMD Ryzen AI Max+ 395 प्रोसेसर पर बना एक छोटा PC है, जिसे ROCm या AMD हार्डवेयर आधारित AI डेवलपमेंट/लर्निंग को आसान शुरुआत देने के लिए डिज़ाइन किया गया है
  • प्रोसेसर 16-core/32-thread कॉन्फ़िगरेशन वाला है, और ज़्यादातर AI काम Radeon 8060S integrated graphics संभालती है
  • NPU, जिसका पहले बहुत कम व्यावहारिक उपयोग दिखा था, इस डिवाइस में वास्तव में इस्तेमाल किया जा सका
  • यह एक ही हार्डवेयर कॉन्फ़िगरेशन में बेचा जाता है, जिसके मुख्य स्पेसिफिकेशन इस प्रकार हैं
    • हटाई जा सकने वाली 2TB M.2 SSD
    • 128GB LPDDR5x-8000 unified memory
    • 256GB/s memory bandwidth
  • 2TB स्टोरेज लोकल मॉडल जमा करने के लिए पर्याप्त है, और 128GB मेमोरी इतनी है कि कुछ ठीक-ठाक आकार के मॉडल लोड करने के बाद भी सिस्टम ऑपरेशन के लिए जगह बची रहे
  • इसकी बिक्री कीमत $3,999.99 USD है, और इसे Windows 11 Pro या Linux प्री-इंस्टॉल्ड एकल कॉन्फ़िगरेशन में खरीदा जा सकता है
  • उपयोगकर्ता इसे प्राप्त करने के बाद मनचाहा OS इंस्टॉल कर सकते हैं, लेकिन ऐसा समझा गया है कि AMD फैक्ट्री-शिप्ड Linux/Windows images और bundled drivers, programs, models अलग से उपलब्ध नहीं कराएगा
  • परीक्षण में इस्तेमाल की गई यूनिट, Debian 13.4 आधारित custom AMD Linux distribution चलाने वाला Linux version था

छोटा chassis और विस्तार क्षमता

  • मार्केटिंग इमेज के विपरीत, Halo वास्तव में बहुत छोटा box-type डिवाइस है, जिसका footprint लगभग 15cm का वर्ग है और ऊँचाई 5cm से कम है
  • इसका वज़न 1.2kg है, लेकिन portability के लिहाज़ से अनिवार्य 240W power adapter को भी साथ गिनना होगा
  • power button और सभी ports पीछे की तरफ लगाए गए हैं
    • 4 USB 3.2 Type-C ports
    • 1 HDMI 2.1 port
    • 1 10GbE Ethernet port
    • Wi‑Fi 7 और Bluetooth 5.4
    • power button के सबसे पास वाला USB-C port सिर्फ USB-C Power Delivery input के लिए है
  • कोई स्पष्ट stacking design नहीं है, लेकिन corner feet और चारों तरफ air intake vents होने से Windows और Linux यूनिट्स को अलग-अलग चलाने या cluster की तरह stack करने की कुछ गुंजाइश दिखती है
  • cooling के लिए दो blower fans ऊपर और किनारों से हवा खींचते हैं, heatsink से गुजारते हैं और पीछे की तरफ बाहर निकालते हैं
  • सामान्य उपयोग में यह शांत रहता है, लेकिन अंदर के 120W TDP प्रोसेसर को संभालते समय fan speed बढ़ सकती है
  • केस के नीचे सफेद lighting ring sleep mode में नीली blinking करती है, और लाइटिंग को बंद किया जा सकता है

teardown और internal configuration

  • dense mini PC संरचना होने के कारण अंदर बहुत कुछ सीधे देखने को नहीं मिलता, लेकिन magnetic detachable stand के नीचे लगे 4 bolts हटाकर bottom cover खोला जा सकता है
  • M.2 2280 SSD तक बिना अतिरिक्त disassembly के आसानी से पहुँचा जा सकता है
  • upper shell हटाकर compute core को उजागर करने के लिए कुछ और connectors अलग करने पड़ते हैं
  • core को निकाला जा सकता है, लेकिन उपयोगकर्ता के लिए अतिरिक्त छेड़छाड़ की ज़्यादा गुंजाइश नहीं है
  • bottom case पहली बार खोलने पर दिखने वाली metal plate को 4 bolts से हटाया जा सकता था, लेकिन thermal material को छेड़ने से बचने के लिए उसे नहीं हटाया गया

llama-bench में LLM प्रदर्शन

  • Ryzen AI Max+ 395, codename Strix Halo, 2025 की spring से उपलब्ध प्रोसेसर है, इसलिए Halo इस मामले में कोई बिल्कुल नया performance level नहीं दिखाता
  • इसी प्रोसेसर का उपयोग करने वाले दूसरे हार्डवेयर में Framework Desktop, Beelink GTR9 Pro, X+ Rival और ACEMAGIC M1A PRO शामिल हैं
  • performance testing का मकसद, इस उत्पाद के मुख्य software stack को देखने से पहले, यह जाँचना था कि अपेक्षित स्तर का प्रदर्शन मिल रहा है या नहीं
  • परीक्षण मुख्य रूप से llama.cpp में शामिल llama-bench पर आधारित था
    • llama.cpp, GGUF फ़ॉर्मेट के large language models को load और run करने वाला open source inference engine है
    • llama-bench, prompt processing (pre-fill) और token generation (decoding) को मापता है
  • LLM tokens/s performance compatibility differences और variability के प्रति संवेदनशील होती है, इसलिए नतीजों को कई स्रोतों के साथ मिलाकर देखना चाहिए

बेसिक llama-bench टेस्ट परिणाम

  • बेसिक टेस्ट pp512/tg128 कॉन्फ़िगरेशन में किया गया, जो ऐसे परिदृश्य का simulation है जहाँ उपयोगकर्ता 512 tokens इनपुट करता है और मॉडल 128 tokens generate करता है
  • इस्तेमाल किए गए मॉडल हाल में ध्यान खींचने वाले 17–32GB वर्ग के 3 मॉडल थे
    • Qwen 3.6 35B A3B(Q4_K_M)
    • Gemma 4 31B IT(IQ4_XS)
    • GLM 4.7 Flash(Q8_0)
  • तुलना के लिए ये डिवाइस शामिल थे
    • AMD Ryzen AI Halo: AI Max+ 395, 128GB
    • Framework Desktop: AI Max+ 395, 128GB
    • M2 Ultra Mac Studio: 76-core GPU, 128GB unified memory
    • M3 Ultra Mac Studio: 80-core GPU, 512GB unified memory
  • Halo और Framework Desktop में ROCm/HIP और Vulkan दोनों runtimes इस्तेमाल किए गए
  • Apple Silicon Mac Studio ने AMD Ryzen AI Max+ 395 सिस्टम्स की तुलना में बेहतर प्रदर्शन दिया, और मुख्य अंतर Mac की लगभग 800GB/s memory bandwidth तथा Max+ 395 की 256GB/s bandwidth से आता है
  • prompt processing हिस्सा आम तौर पर compute-limited होता है, इसलिए dense मॉडल Gemma 4 में Apple Silicon और Max+ 395 के बीच का अंतर सिर्फ memory bandwidth तुलना से अपेक्षा से कम था
  • Qwen 3.6 35B A3B और GLM 4.7 Flash जैसे sparse Mixture of Experts models में prompt processing, compute पर कम निर्भर थी, इसलिए Mac की memory bandwidth का फायदा और साफ दिखा
  • token generation आम तौर पर memory bandwidth से कहीं अधिक सीमित होती है, और Gemma 4 में Apple Silicon डिवाइसों ने 2–3 गुना अधिक tokens/s प्रदर्शन दिखाया
  • Ryzen AI Max+ 395 पर Vulkan और ROCm/HIP के बीच कोई साफ विजेता नहीं था
    • तेज backend compatibility, model architecture, context size, hardware और software optimization के अनुसार बदलता है
    • दोनों backends लगातार अपडेट हो रहे हैं
  • परीक्षण Flash Attention ऑन करके किए गए थे, लेकिन यह सेटिंग हमेशा सर्वश्रेष्ठ प्रदर्शन देगी, ऐसा ज़रूरी नहीं, इसलिए हर सिस्टम पर खुद test करना बेहतर है

context बढ़ने और agent-style उपयोग का simulation

  • agent-style LLM उपयोग बढ़ने के साथ, context size बढ़ने पर performance कैसे गिरती है यह देखने के लिए अतिरिक्त llama-bench tests जोड़े गए
  • यह परीक्षण उस स्थिति का सरल simulation था जहाँ निर्देश पाने वाला agent tool calls करता है या जवाब देता है
  • मुख्य parameters ये थे
    • -p, -n: prompt processing और token generation के लिए tokens की संख्या
    • -b, -ub: batch और microbatch size
    • -fa: Flash Attention enable या disable
    • -ngl: GPU पर offload किए जाने वाले model layers की संख्या
    • -r: repetition count
    • -d: वे tokens जो पहले से context में मौजूद हैं
  • लगातार tests चलाने से होने वाली heat buildup कम करने के लिए, इन्हें custom script के जरिए loop और delay डालकर चलाया गया
  • तीनों मॉडलों में context size बढ़ने के साथ performance degradation स्पष्ट रूप से दिखी
  • Gemma 4, Vulkan backend और 65,536-token context के संयोजन में 30 मिनट के भीतर पूरा नहीं हुआ

power और temperature

  • Halo का chassis बहुत छोटा है, इसलिए यह जाँचा गया कि क्या यह Ryzen AI Max+ 395 package के अधिकतम 120W TDP और boost के दौरान 140W तक को लंबे समय तक संभाल सकता है
  • तुलना के लिए उसी Ryzen AI Max+ 395 वाले Framework Desktop को भी test किया गया
  • परीक्षण में Quarch QTL2843 से wall power consumption मापते हुए llama-bench prefill test 20 बार चलाया गया
  • दोनों डिवाइस “Performance” mode में थे, और Halo power या cooling के लिए user tuning की अनुमति नहीं देता
  • Framework Desktop का AI Max+ 395 पूरे परीक्षण में 120W baseline पर बना रहा, और 130W तक के power spikes अपेक्षाकृत अक्सर दिखे
  • Halo ने टेस्ट शुरू होने के बाद लगभग 5 मिनट तक 140W बनाए रखा, फिर बाकी परीक्षण के दौरान 120W TDP पर आ गया
  • Halo की blower design और चारों तरफ intake vents ने thermal equilibrium पर भी बाहरी हिस्से को अपेक्षाकृत ठंडा रखा, हालांकि नीचे का हिस्सा लगभग 50°C तक गर्म हुआ
  • heat बाहर निकालते समय fans तेज़ घूमते हैं, लेकिन उनकी आवाज़ तीखी होने के बजाय “woosh” जैसी लगती है

software से बनती उत्पाद की वैल्यू

  • Ryzen AI Max+ 395 आधारित mini PCs कई रूपों में खरीदे जा सकते हैं, इसलिए Halo की अनूठी वैल्यू नए हार्डवेयर से ज़्यादा AMD Ryzen AI Developer Center, curated configurations और 1st-party support के वादे में है
  • Halo को NVIDIA DGX Spark की तरह इस तरह बनाया गया है कि खास AMD या NVIDIA हार्डवेयर पर test करने वाले developers environment setup में लगने वाला समय बचा सकें
  • DGX Spark के विपरीत, Halo Linux और Windows दोनों versions में उपलब्ध है
  • Linux version boot होने पर AMD Ryzen AI Developer Center में प्रवेश करता है, जहाँ से software install/update, documentation access और system control किया जाता है
  • AMD के अनुसार Halo lock नहीं है, इसलिए उपयोगकर्ता अपनी पसंद का OS इंस्टॉल कर सकते हैं
  • हालांकि, ऐसा लगता है कि AMD फैक्ट्री-shipped Windows/Linux configurations के बीच स्विच करने के लिए images उपलब्ध नहीं कराएगा

Best Known Configurations और Playbooks

  • AI Halo और Developer Center, AMD के Best Known Configurations(BKC) तक पहुँच देते हैं
  • BKC ऐसे system configurations हैं जिनमें शामिल software, packages और drivers के आपसी compatibility को AMD ने validate किया है
  • यह व्यवस्था playbook चलाने या learning शुरू करने से पहले dependency issues सुलझाने का बोझ कम करती है
  • सामान्य AI Max+ systems में AMD AI Playbook memory allocation के लिए command-line निर्देश देता है, लेकिन AI Halo में Linux या Windows के अनुसार इसे slider या dropdown के जरिए सरल बनाया गया है
  • Halo manual setup या complex configurations को नहीं रोकता; implementation और hardware details को abstract कर देने का जोखिम है, लेकिन यह गहराई में जाने से पहले एक शुरुआती बिंदु देता है
  • AMD AI Playbooks सरल tutorials का एक संग्रह है, जो AMD hardware पर AI workloads को explore करने देता है
  • Playbooks का फोकस AI Halo पर है, लेकिन Radeon GPU versions भी उपलब्ध हैं
  • Playbooks GitHub पर भी खुले तौर पर उपलब्ध हैं, और AMD का कहना है कि BKC की तरह इन्हें भी up to date रखा जाएगा तथा हर महीने नए playbooks जोड़े जाएँगे

इस्तेमाल किए गए Playbooks

  • AMD Sync नेटवर्क के जरिए Halo तक remote access का सरल तरीका देता है
    • live metrics देखना
    • VSCode project खोलना
    • Jupyter Labs project शुरू करना
    • terminal access
  • AMD Sync के लिए सिर्फ remote device पर AMD Sync इंस्टॉल करना और SSH जानकारी कॉपी करना जरूरी था, और testing में यह बिना समस्या चला
  • LM Studio और Lemonade से जुड़े playbooks, local LLM को download, manage, serve और interact करने की प्रक्रिया को कवर करते हैं
    • LM Studio local models चलाने के लिए पहले से व्यापक रूप से इस्तेमाल होने वाला प्रोग्राम है
    • Lemonade AMD द्वारा अपेक्षाकृत हाल में विकसित LLM execution tool है
  • LM Studio और Lemonade playbooks software install, runtime update और पहला model download करने तक का छोटा और आसानी से follow किया जा सकने वाला flow देते हैं
  • ये दोनों playbooks local LLM को coding assistant की तरह इस्तेमाल करने या OpenAI API के साथ programmatically interact करने तक आगे बढ़ते हैं
  • VSCode playbook, पिछले playbooks में hosted local LLM को IDE के अंदर Cline agent से जोड़ता है
  • PyTorch आधारित LLM execution और fine-tuning playbooks दिखाते हैं कि preinstalled software, drivers और models की वजह से 4–5 steps में LLM चलाया जा सकता है
  • PyTorch playbook script के अंदरूनी कामकाज का पूरा tutorial नहीं है, लेकिन dependencies जोड़ने और setup काम कर रहा है या नहीं, यह देखने के smoke test के रूप में सफल है
  • beginners के लिए “Next Steps” के तहत आगे आज़माने लायक ideas भी दिए गए हैं

software configuration की ताकत और कमज़ोरियाँ

  • BKC और playbooks ऐसा baseline state देते हैं, जिस पर तब भी लौटा जा सकता है जब कई tutorials follow करने के बाद भी कुछ काम न करे
  • Developer Center के System Reset button से उस स्थिति तक पहुँचा जा सकता है
  • Halo को सामान्य कंप्यूटर की तरह ज़रूरत के अनुसार install और configure किया जा सकता है, इसलिए BKC और playbooks उपयोगकर्ता की स्वतंत्रता को सीमित नहीं करते
  • BKC और playbooks, 3rd-party tutorials में भी एक ज्ञात starting point और compatibility मानकर चलने की सुविधा दे सकते हैं, जिससे उपयोगकर्ताओं के लिए आगे बढ़ना आसान हो सकता है
  • जैसा कि AI Playbook GitHub issues में देखा जा सकता है, फिलहाल कुछ playbooks में विफल होने वाले हिस्से हैं, और वास्तविक परीक्षण के दौरान भी समस्याएँ सामने आईं
  • अगर AMD ऐसे मुद्दों को जल्दी ठीक नहीं करता, तो पूरी software value कमजोर पड़ सकती है, और भविष्य की वैल्यू के वादे पर खरीदने का जोखिम बना रहेगा

NPU का वास्तविक उपयोग

  • Halo में AMD Lemonade और FastFlowLM के जरिए XDNA 2 NPU पर LLM चलाया जा सका
  • चलाया गया मॉडल gpt-oss-20b-FLM था, और NPU utilization telemetry उपलब्ध नहीं थी
  • CPU/GPU उपयोग लगभग 0 होने की स्थिति में AI Max+ 395 package ने अधिकतम 35W खपत की, और generation performance 20 tokens/s रही
  • NPU की compute performance अक्सर GPU से कम होती है, लेकिन इसकी बड़ी ताकत कहीं अधिक energy efficiency है
  • यह कैमरा जैसे sensors को तेज़ी से process करने और CPU/GPU को मुख्य कार्यों के लिए खाली रखने वाले workloads के लिए उपयुक्त है
  • Ryzen AI Max+ 395 और NPU सहित यह development kit, विशाल GPUs के बजाय अधिक power-efficient local LLM development को आगे बढ़ाने में मदद कर सकती है

USB-C Power Delivery का व्यवहार

  • Halo पूरी तरह USB-C PD से power लेता है
  • USB-C फिलहाल अधिकतम 240W तक दे सकता है, और Halo के साथ USB-C PD Extended Power Range(EPR) को support करने वाला Delta ADP-240KB BA AC/DC power adapter शामिल है
  • यह adapter अधिकतम 48V, 5A दे सकता है
  • परीक्षण में Halo ने power supply से 200W से अधिक नहीं खींचा
  • Infineon CY4500-EPR के जरिए power adapter और Halo के बीच के PD packets मापे गए
  • power adapter पहली बार connect होने पर SOURCE_CAPABILITIES message के जरिए उपलब्ध voltages और currents बताता है
  • शुरुआत में केवल Standard Power Range(SPR) output mode दिखा, जो 20V, 5A यानी 100W तक सीमित था
  • Halo, EPR_MODE message भेजकर power adapter का EPR mode request करता है, और उसके बाद पूरी EPR capability की पुष्टि करता है
  • Halo, fixed 48V output mode का अनुरोध करता है जिसमें अधिकतम 5A उपलब्ध है, ताकि 240W कॉन्फ़िगरेशन इस्तेमाल की जा सके
  • Halo, power adapter को लगातार EXTENDED_CONTROL_MESSAGE भेजता रहता है, और fixed voltage output में इस तरह के लगातार messages देखना दिलचस्प था

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • नया ध्यान देने लायक हिस्सा AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks) है
    यह Nvidia के playbooks(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks) का AMD की तरफ़ से जवाब है, और यह अच्छा है कि AMD इस क्षेत्र को ज़्यादा गंभीरता से लेना शुरू कर रहा है
    हार्डवेयर बिल्कुल वही है जो पिछले साल 2 हज़ार डॉलर में बिक रहा था, और चीनी OEM से अभी भी 1 हज़ार डॉलर सस्ता खरीदा जा सकता है
    LTT Lab के LLM टेस्ट ज़्यादा परिष्कृत हो रहे हैं, यह अच्छी बात है, लेकिन ROCm/Vulkan version और llama.cpp build version के हिसाब से आंकड़े काफ़ी बदल सकते हैं
    Strix Halo की performance को अधिकतम निकालने के लिए kernel tuning और ryzenadj जैसी utilities मददगार होती हैं, और ज़्यादातर बातें http://strixhalo.wiki/ पर संकलित हैं
    अगर इसे coding या agent वाले कामों में इस्तेमाल करें, तो model के MTP support करने पर यह पहले से ही काफ़ी mature है, और decode लगभग 30% तक तेज़ हो सकता है

  • समय बचाना हो तो, article में भी जैसे बताया गया है, AMD Ryzen AI Max+ 395(Strix Halo) processor 2025 के spring से पहले ही मौजूद था, और Halo उस लिहाज़ से कुछ नया नहीं देता
    पिछले boards जैसी ही 256 GB/s memory bandwidth की limit है, समझ नहीं आता कि इसे अभी नई चीज़ की तरह क्यों launch किया जा रहा है
    लगभग इसी कीमत में Framework Desktop खरीदा जा सकता है, और GMKtec EVO-X2 थोड़ा सस्ता मिल सकता है

    • अभी launch करने की वजह यह है कि profitability बहुत ज़्यादा है और demand भी काफ़ी है, और पिछले 1 साल में कीमतें भी बढ़ी हैं
      AMD के नज़रिये से PC manufacturers को सस्ता बेचने के बजाय खुद profit लेना स्वाभाविक है
    • सही है। नवंबर 2025 में लगभग वही specs वाला Framework Desktop करीब 2.5 हज़ार डॉलर में खरीदा था
    • 1 साल पहले यह computer 2 हज़ार डॉलर में खरीदा जा सकता था, लेकिन अब कीमत असल में लगभग दोगुनी है
    • 256GB/s bandwidth सचमुच काफ़ी बड़ी constraint है
    • अगर space constraint नहीं है, तो Framework Desktop क्यों चुनना है, समझ नहीं आता
      बस कोई सामान्य tower या server rack computer खरीद लें

  • 128GB से ज़्यादा memory वाली machine वाकई चाहिए, लेकिन 4 हज़ार डॉलर में सिर्फ़ 256 GB/s मिलना काफ़ी कठोर है
    ARM और AMD दोनों के नुकसान भी झेलने पड़ते हैं
    RTX Spark आने तक लगता है कीमत 6 हज़ार डॉलर होनी पड़ेगी, और 128GB+ के साथ 700+ GB/s machine आए तो कहीं 10 हज़ार डॉलर होकर ज़्यादातर consumers की पहुंच से बाहर न हो जाए, इसकी चिंता है

    • Mac Studio memory bandwidth के लिहाज़ से कहीं बेहतर खरीद है, लेकिन 128GB configuration में नहीं खरीदा जा सकता
      सच कहें तो अभी अच्छे options ज़्यादा नहीं हैं, और market के कम पागल होने तक इंतज़ार करना बेहतर हो सकता है
    • अभी 4 हज़ार~5 हज़ार डॉलर के आसपास speed, यानी GPU+32GB VRAM, चुन सकते हैं, या capacity, यानी DGX Spark/Halo, चुन सकते हैं, लेकिन दोनों साथ पाना मुश्किल है
      अगर कोई दोनों वाली machine बनाए, तो वह आसानी से 10 हज़ार डॉलर में बिकेगी, और लगता है लोग लाइन लगाकर खरीदेंगे
    • यह जानना चाहिए कि Strix Halo memory को inference workload से पूरा भर देने पर token speed असुविधाजनक रूप से धीमी हो जाती है
      उदाहरण के लिए DS4, यानी DeepSeek V4 Flash का 1-bit quantization model, करीब 9~13 tokens प्रति second देता है, और पहले token तक का समय बहुत लंबा है
      agent-type interactive coding model के तौर पर यह व्यावहारिक नहीं है
      Strix Halo मुझे पसंद है, और इसे मुख्य रूप से software security audit या learning experiments जैसे non-interactive tasks लगातार चलाने में अच्छे से इस्तेमाल कर रहा हूं
      AI experiments के platform के तौर पर यह अच्छा है, लेकिन 4 हज़ार डॉलर में Nvidia-based Asus Ascend GX10 खरीदा जा सकता है और शायद वह बेहतर होगा
      local interactive agent use case के लिए शायद Qwen 3.6 या Gemma 4 चलाएंगे, और ये 2x64GB GPU में आराम से फिट हो जाते हैं, पुराने GPU भी Strix Halo से तेज़ हो सकते हैं
      32GB में भी मुश्किल से फिट हो जाते हैं, और 48GB या 64GB Mac पर भी अच्छे चलेंगे
      अभी GPU side का sweet spot Radeon AI Pro R9700 की दो cards लगता है
      5090 या 4090 की तरह used car जितनी कीमत नहीं है, लेकिन local inference के लिए पर्याप्त memory और performance देता है, और eBay के पुराने server GPU की तरह नाज़ुक/अजीब या 3D printed fan duct की मांग भी नहीं करता
      फिलहाल ऐसे 128GB inference machines पर ज़्यादा अच्छे चलने वाले और 64GB machines पर ठीक से न चलने वाले models खास नहीं हैं
      64GB machine तेज़ भी हो सकती है, और 32GB GPU में भी बहुत सारे धीमे नहीं होंगे, लेकिन जिन GPUs को vendor drivers और CUDA या ROCm में अभी सक्रिय support नहीं है, उन्हें न खरीदना बेहतर है
    • सही तौर पर GB/s है, और यह 2 terabits per second है

  • ये devices DGX Spark से सस्ते होने पर शानदार थे
    लेकिन कीमत समान हो तो Spark के बजाय इसे खरीदने की कोई वजह नहीं है
    Spark सचमुच इसका तेज़ version है, और software support भी बेहतर है
    यह बात Ryzen AI Max 395 device रखने वाले के तौर पर कह रहा हूं

    • Spark के उलट, कोई भी operating system चला सकना काफ़ी बड़ा फायदा है
    • Framework motherboard को rackmount case में डालकर तेज़ और low-power x86 homelab और inference server की तरह इस्तेमाल कर रहा हूं
    • संदर्भ के लिए, अभी DGX Spark FE सबसे सस्ता ढूंढने पर भी लगभग 4,700 डॉलर था
      कई higher-education suppliers के हिसाब से
    • use case पर निर्भर करता है
      Ryzen का CPU DGX Spark से बेहतर है, खासकर AVX-512 इस्तेमाल करने के लिए update किए गए modern programs में multithreaded performance कहीं ज़्यादा है
      सिर्फ़ GPU applications के मामले में NVIDIA system बेहतर होने की संभावना ज़्यादा है
    • सही है। hardware prices पूरी तरह पागल होने से पहले, 2025 के अंत में इसे खरीदने की एकमात्र वजह भी Spark की आधी कीमत होना ही था
      सही Linux kernel, kernel firmware, ROCm installation वगैरह के साथ काफ़ी देर तक tinkering करनी पड़ी

  • मेरे पास Strix Halo डिवाइस है और मुझे पसंद भी है, लेकिन इस कीमत पर AI उपयोग के लिए Nvidia आधारित ASUS GX 10 खरीदना बेहतर है
    CUDA ecosystem अभी भी ज्यादा मजबूत है
    AMD का CPU बेहतर है, इसलिए desktop machine के तौर पर यह बेहतर है, लेकिन inference और training workloads में Nvidia थोड़ा तेज है और support भी थोड़ा बेहतर है
    ROCm से भी लगभग हमेशा वही काम किए जा सकते हैं, लेकिन थोड़ा ज्यादा हाथ लगाना पड़ता है
    हालांकि Nvidia अपने hardware के साथ जो custom Ubuntu भेजता है, वह संभालने में मुश्किल होने तक खराब है
    Nvidia software में अच्छा नहीं है, और मैंने Jetson line के साथ कई साल काम किया है, लेकिन वह अब भी बेहद खराब है
    यह अब भी एक rough custom Ubuntu है, जटिल image-based structure है और UEFI भी नहीं है, इसलिए ऐसा नहीं है कि बस कोई दूसरा Linux install कर दें
    अनुमान है कि वे बड़े devices पर भी Ubuntu ही भेजेंगे, लेकिन मैंने सीधे तौर पर सिर्फ छोटे embedded Jetson machines ही इस्तेमाल किए हैं
    AMD वाला सामान्य x86_64 PC है, इसलिए लगभग कोई भी Linux install किया जा सकता है, और मैंने अपने device पर सीधे Fedora डाल दिया

    • मुझे अपने Spark का Ubuntu इतना खराब नहीं लगा
      यह बस Ubuntu है और मुझे कोई खास समस्या नहीं हुई
      अब तक देखे ARM64 Linux devices में यह इकलौता vendor भी है जो सचमुच ठीक से supported Linux ship करता है
      मैं ASUS GX10 को रोजमर्रा के मुख्य workstation के तौर पर इस्तेमाल कर रहा हूं, और जो नहीं चलता वह करीब-करीब Spotify ही है, शायद DRM issue के कारण
      लगता है Signal ARM64 client भी नहीं है
      DGX Spark का Strix Halo पर बड़ा फायदा यह है कि prefill speed कहीं ज्यादा तेज है
      लगभग 5 गुना तेज
      network hardware भी हद से ज्यादा शक्तिशाली है, लेकिन मेरे और दूसरे Spark users के 99% के उस performance को पूरा इस्तेमाल करने की संभावना कम है

  • 256GB/s memory bandwidth 3090 के लगभग 1/4 के बराबर है
    अगर memory आधी करके speed 4 गुना बढ़ा दी होती, तो यह बेहतर खरीद होता

    • मुझे नहीं लगता कि इसे लेकर इतना यकीन किया जा सकता है
      ज्यादा memory speed dense models या high concurrency serving के लिए अच्छी है
      लेकिन local single-user environment में, ऐसे platforms की वजह से ज्यादा शक्तिशाली और बड़े MoE models को reasonable speed और low concurrency पर चला पाना अक्सर ज्यादा बेहतर होता है
    • card के अंदरूनी bandwidth से मिलने वाला performance gain तब गायब हो जाता है जब data system RAM में spill होने लगता है
      उस समय slow PCIe lanes bottleneck होने की संभावना रहती है
      अगर workload 24GB card में fit हो जाता है, तो आप वैसे भी उस AI mini PC niche market के target user नहीं हैं जिसे वे बनाना चाहते हैं
    • हालात पर निर्भर करता है
      छोटे models कहीं बेहतर चलाए जा सकते हैं
      निजी तौर पर 3090 तब सबसे ज्यादा logical लगता है जब कम से कम 2, और ideally 4 cards खरीदे जा सकें; तब यह पूरी तरह अलग budget की बात हो जाती है
    • अहम चीज memory capacity है
      नया MTP model Qwen3.6 35B MoE करीब 80k context तक भी बड़ी slowdown के बिना tokens निकालता है
      बहुत सारे tokens मिलना अच्छा है, लेकिन context को process और expand कर पाने की वजह से यह छोटे graphics cards की तुलना में लगातार शानदार machine बना रहेगा

  • 32GB DDR4 RAM module की bandwidth 25GB/s है और कीमत 160 डॉलर है
    8 खरीदने पर 1,280 डॉलर में 256GB RAM और 200GB/s bandwidth मिलती है
    अगर 16GB modules के 16 piece, हर एक 60 डॉलर में खरीदें, तो 960 डॉलर में 400GB/s bandwidth मिल सकती है
    समस्या यह है कि 8 या 16 memory controllers चाहिए होंगे
    memory controllers इतने महंगे नहीं होते
    Intel Core i3-14100F में 2-channel controller है और कीमत 110 डॉलर है, इसलिए 16-channel controller को 880 डॉलर से कम, और 8-channel controller को करीब 440 डॉलर माना जा सकता है
    तो 128GB वाले 4,000 डॉलर के device के बजाय 16 DRAM controllers वाला सस्ता CPU बनाना बेहतर नहीं होगा क्या
    या फिर 8 RAM channels वाले 2 CPUs भी हो सकते हैं
    DDR5 में 32GB की कीमत 360 डॉलर है, यानी दोगुनी महंगी, लेकिन bandwidth दोगुनी भी नहीं है, इसलिए खरीदने लायक नहीं
    ज्यादा RAM channels बनाकर DDR4 लगाना ज्यादा practical है

    • अगर Epyc चाहिए, तो वही रास्ता अपनाया जा सकता है
      हालांकि motherboard काफी महंगा हो सकता है
    • मुझे लगता है industry गलत दिशा में चली गई
      महंगे DDR5 पर जाने के बजाय, सबसे सस्ते CPUs में भी 8/16 DDR4 channels support कराना चाहिए था
      32GB DDR5-4800 module 360 डॉलर का है और दो 32GB DDR4-3200 modules 320 डॉलर के हैं, यानी capacity दोगुनी, bandwidth ज्यादा और कीमत कम
      DDR5 तो बस overpricing है

  • पिछली form में यह “सिर्फ” 2,000 डॉलर का था, लेकिन इस updated box में भी memory bandwidth गंभीर रूप से कम है
    hybrid inference के लिए dedicated GPU लगाने की जगह वाले कुछ models भी हैं, लेकिन व्यक्तिगत तौर पर मुझे वे उतने worth नहीं लगते
    बेहतर है पैसा Xeon या EPYC build के लिए बचाकर रखा जाए

  • समझ नहीं आता कि मिलते-जुलते products सभी 128GB VRAM पर ही क्यों अटक जाते हैं
    इस कीमत पर कम से कम 224GB VRAM की उम्मीद थी

    • 495 में 192GB support होने वाला है
      यह memory bus पर निर्भर करता है
      128-bit पर 96GB, 256-bit पर 192GB, 512-bit पर 384GB, और 1024-bit पर करीब 768GB समझ सकते हैं
    • यह platform की सीमा के कारण है
      https://community.frame.work/t/was-there-no-possible-way-to-...
    • GPU manufacturers अपना सारा profit datacenter products बेचकर कमाते हैं
      वे नहीं चाहते कि low-margin consumer/homelab products datacenter products की जगह लें, इसलिए वे ऐसे products की VRAM जानबूझकर सीमित रखते हैं ताकि वे datacenter use के लिए कम आकर्षक बनें

  • यह CUDA वाले Nvidia DGX Spark या 128GB और दोगुनी memory bandwidth वाले Mac से बस थोड़ा ही सस्ता है
    Strix Halo की खासियत असल में यह थी कि यह उन कहीं ज़्यादा ताकतवर machines की आधी कीमत पर था
    इस कीमत पर AMD chip खरीदना लगभग पागलपन है
    हालांकि पूरा hardware market अभी पागल हुआ पड़ा है, इसलिए अफसोस है कि यह भी शायद अच्छी तरह बिकेगा

    • सिर्फ M5 Max का top-end model ही AMD से दोगुनी से ज़्यादा memory bandwidth रखता है, लेकिन ऐसी configuration काफ़ी महंगी है, $10,000 से भी ऊपर
      M5 Pro की memory bandwidth थोड़ी ज़्यादा है, लेकिन फिलहाल वह अधिकतम 64GB DRAM तक ही उपलब्ध है
      यह छोटी memory configuration भी AMD या NVIDIA से महंगी है, और अगर आप छोटे SSD के बजाय इतने सामान्य आकार का SSD चाहते हैं जिसमें LLM रख सकें और खुद quantization compute कर सकें, तो वह और महंगा पड़ेगा
      उदाहरण के लिए 4TB SSD और 64GB DRAM के साथ कीमत $5,600 से ऊपर जाती है
      अगर मकसद LLM inference करना है, तो Apple कोई competitive solution नहीं लगता
      कीमत कहीं ज़्यादा है, कुछ LLMs store करने के लिए काफी जगह चाहिए, और SSD expansion भी सीमित है
      सही बात सिर्फ इतनी है कि AMD Strix Halo systems पहले NVIDIA से काफी सस्ते थे, लेकिन अब उसी कीमत पर आ गए हैं
      Strix Halo का CPU NVIDIA से बेहतर है, लेकिन NVIDIA GPU के AMD GPU से बेहतर होने की संभावना ज़्यादा है और CUDA का ठीक से काम करना guaranteed है
    • निजी तौर पर, कीमत सस्ती न भी हो तो भी Nvidia competitor का होना अपने आप में मुझे बिल्कुल ठीक लगता है
    • Nvidia DGX $4.5k में नहीं बिक रहा है और shelves पर पड़ा है
    • जिज्ञासा है कि “दोगुनी memory bandwidth” आपने कहाँ देखी