Nvidia GH200 सर्वर को 7,500 यूरो में खरीदकर डेस्कटॉप में बदलने का उदाहरण

 (dnhkng.github.io)
1 पॉइंट द्वारा GN⁺ 2025-12-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Nvidia Grace-Hopper GH200 सर्वर को व्यक्तिगत उपयोग के AI डेस्कटॉप में बदलने के प्रयोग में, 235B पैरामीटर मॉडल को लोकल पर चलाने लायक प्रदर्शन हासिल किया गया
  • Reddit से 7,500 यूरो में सेकंड-हैंड GH200 सिस्टम खरीदकर, डेटासेंटर-ग्रेड लिक्विड-कूल्ड सर्वर को एयर-कूल्ड डेस्कटॉप के रूप में दोबारा असेंबल किया गया
  • कूलिंग, पावर और सेंसर त्रुटि जैसी वजहों से GPU तापमान 16,777,214°C दिखा, फैन सर्किट को नुकसान हुआ, और मैनुअल सोल्डरिंग मरम्मत सहित कई हार्डवेयर ट्रबलशूटिंग की गईं
  • अंतिम रूप में 4 लिक्विड कूलर, CNC मशीनिंग एडैप्टर और 3D प्रिंटेड पार्ट्स का संयोजन करके एक स्थिर सिस्टम बनाया गया
  • कुल खर्च लगभग 9,000 यूरो रहा, जिससे अकेले H100 GPU की कीमत से भी कम में अल्ट्रा हाई-परफॉर्मेंस AI वर्कस्टेशन बनाया जा सका

Grace-Hopper सर्वर की खरीद और विनिर्देश

  • Reddit के r/LocalLLaMA बोर्ड पर 10,000 यूरो का GH200 सर्वर लिस्टिंग मिला, मोलभाव के बाद इसे 7,500 यूरो में खरीदा गया
    • कॉन्फिगरेशन: 2× Grace-Hopper Superchip, 2× 72-कोर Grace CPU, 2× H100 GPU, 480GB LPDDR5X, 96GB HBM3, कुल 1,152GB हाई-स्पीड मेमोरी
    • NVLink-C2C बैंडविड्थ 900GB/s, पावर 1,000~2,000W, साथ में 3,000W PSU शामिल
  • विक्रेता GPTshop.ai था, जो Nvidia सर्वर को डेस्कटॉप में बदलकर बेचने वाली कंपनी है
    • सिस्टम पहले से ही एक वाटर-कूल्ड सर्वर को एयर-कूल्ड में बदलकर बनाया गया था, यानी एक तरह का ‘Franken-system’
    • बाहरी डिज़ाइन खुरदुरा था, रैक-माउंट नहीं हो पाता था, और 48V पावर सप्लाई लगा था

सर्वर की डिसअसेंबली और क्लीनिंग

  • सर्वर में गंभीर धूल जमाव था और 8 हाई-पावर फैन से वैैक्यूम क्लीनर जैसी तेज आवाज़ आ रही थी
    • घर में इस्तेमाल के लिए बहुत शोर होने के कारण, डिसअसेंबल करने के बाद साफ-सफाई और पुनः असेंबल किया गया
  • आइसोप्रोपाइल अल्कोहल की कई लीटर मात्रा से पूरी मदरबोर्ड की सफाई की गई, और हिटिंग फ्लोर पर एक हफ्ता सुखाया गया
  • Grace-Hopper मॉड्यूल की अंदरूनी स्थिति देखने के लिए इसे खोला गया और अंदर की संरचना की जांच की गई

लिक्विड-कूलिंग सिस्टम का पुनर्गठन

  • लीकेज जोखिम के कारण कस्टम ब्लॉक की बजाय Arctic Liquid Freezer III 420 AIO कूलर की 4 यूनिटों का इस्तेमाल किया गया
    • GPU और CPU डाय के डाइमेंशन मापकर Fusion 360 से एडैप्टर ब्लॉक डिज़ाइन किया गया
    • Bambu X1 3D प्रिंटर से प्रोटोटाइप बनाया गया, बाद में CNC मशीनिंग से अंतिम पार्ट्स तैयार किए गए
  • मशीनिंग के बाद बचा हुआ तेल हटाकर इंस्टॉलेशन पूरा किया गया और ठंडा करने की क्षमता सुनिश्चित की गई

डेस्कटॉप असेंबली

  • फ्रेम ProfilAlu एल्युमिनियम प्रोफाइल से बनाया गया, Fusion 360 में डिज़ाइन किया गया
    • कई PCB और फिल्टर माउंट पार्ट्स 3D प्रिंटिंग से बनाए गए
    • सैकड़ों नहीं, कई किलो फिलामेंट का उपयोग कर संरचना को स्थिर किया गया

प्रमुख समस्याएँ

  • फैन पावर कनेक्शन के दौरान ‘पॉप’ जैसी आवाज़ और धुआँ निकलना शुरू हुआ, कुछ फैन हेडर सर्किट क्षतिग्रस्त हो गए
    • गलत करंट कैलकुलेशन के कारण MOSFET के नुकसान का अनुमान लगा
    • फैन पावर को अलग 12V-5A एडेप्टर से बदल दिया गया
  • फैन एरर की वजह से BMC (Baseboard Management Controller) ने बूट ब्लॉक कर दिया
    • phosphor-sensor-monitor.service को निष्क्रिय करके फैन चेक बायपास किया गया

GPU तापमान त्रुटि और सर्किट रिपेयर

  • बूट के दौरान GPU तापमान 16,777,214°C दिखाया, सिस्टम ने खुद-ब-खुद शटडाउन कर दिया
    • यह 24-बिट इंटीजर का मैक्सिमम (2²⁴-2) था, यानी सेंसर सिग्नल त्रुटि
  • माइक्रोस्कोप से निरीक्षण में 100nF कैपेसिटर और 4.7kΩ रेजिस्टर खराब पाया गया
    • सूक्ष्म सोल्डरिंग से सर्किट की मरम्मत की गई, UV मास्क से फिक्स किया गया
    • पुनः असेंबल करने के बाद सामान्य बूट सफल रहा

अंतिम कॉन्फिगरेशन और परफॉर्मेंस

  • अतिरिक्त निर्माण किए गए पार्ट्स:
    • 8TB E1.S SSD माउंट, 3kW PSU बैक पैनल, रेडिएटर सुरक्षा के लिए मेष
  • GPU इनिशियलाइज़ेशन समस्या NVLink Disable सेटिंग से सुलझाई गई
    • /etc/modprobe.d/nvidia-disable-nvlink.conf में NVreg_NvLinkDisable=1 जोड़ा गया

बेंचमार्क परिणाम

  • 144 कोर पर Llama.cpp बिल्ड में 90 सेकंड लगे, बड़े मॉडल टेस्ट के नतीजे:
    • gpt-oss-120b-Q4_K_M: प्रॉम्प्ट 2974.79, टोकन 195.84
    • GLM-4.5-Air-Q4_K_M: प्रॉम्प्ट 1936.65, टोकन 100.71
    • Qwen3-235B-A22B-Instruct: प्रॉम्प्ट 1022.79, टोकन 65.90
  • प्रति GPU लगभग 300W खपत, अधिकतम सीमा (900W) की तुलना में पर्याप्त हेडरूम मौजूद है

लागत विवरण

  • Grace-Hopper सर्वर €7,500, SSD €250, CNC एडैप्टर €700, लिक्विड कूलर €180
  • फ्रेम €200, ग्लास पैनल €40, 3D प्रिंटिंग सामग्री €40, अन्य पार्ट्स €50
  • क्लीनिंग के लिए आइसोप्रोपाइल अल्कोहल €20, 12V पावर €10, LED लाइटिंग €10
  • कुल खर्च लगभग €9,000, अकेले H100 GPU से भी सस्ता

निष्कर्ष

  • 235B पैरामीटर मॉडल को लोकल पर रन करने में सक्षम डेस्कटॉप बनाया गया
  • डेटा-सेंटर ग्रेड हार्डवेयर को पर्सनल सेटअप में बदलते हुए सेंसर त्रुटि, सर्किट नुकसान, कूलिंग समस्याएँ जैसी कई चुनौतियों को पार किया गया
  • परिणामस्वरूप हाई-परफॉर्मेंस AI रिसर्च वर्कस्टेशन कम खर्च में बनाया गया उदाहरण

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-12-12
Hacker News की राय

  • मैंने डेटासेंटर-ग्रेड AI हार्डवेयर खरीदा, उसे liquid cooling → air cooling → फिर से liquid cooling में मॉडिफाई किया, और GPU तापमान 1,600 दस-हज़ार डिग्री दिखने जैसी अनगिनत मुश्किलों से गुजरने के बाद आखिरकार घर पर 235B पैरामीटर मॉडल चला सकने वाला एक डेस्कटॉप बना लिया।
    यह लापरवाह फैसलों, रचनात्मक problem solving, और डेटासेंटर उपकरण को रोज़मर्रा के उपयोग के लिए बदलने की कोशिश की कहानी है

    • पता चला कि अगर driver को NVLINK को पूरी तरह ignore करने के लिए कहा जाए, तो GPU PCIe के जरिए स्वतंत्र रूप से initialize हो जाते हैं।
      इसे ढूँढने में एक हफ्ता लगा, और Reddit की वजह से समाधान मिला। सोच रहा हूँ क्या ऐसी समस्या हर डेटासेंटर में भी हो सकती है
    • Reddit पर यही पोस्ट देखकर मैंने भी खरीदने के बारे में सोचा था, लेकिन मैं अमेरिका में रहता हूँ इसलिए छोड़ दिया। अच्छा हुआ कि यह scam नहीं निकला
    • उसने कहा कि 7,500 यूरो नकद दिए, तो जिज्ञासा है कि क्या उसने वह पूरी रकम नोटों में निकाली थी। बैंक से इतनी बड़ी रकम कैसे ली, यह जानना दिलचस्प होगा
    • soldered parts को epoxy से फिक्स करने वाली बात प्रभावशाली लगी। ऐसा करने के लिए soldering skill पर काफी भरोसा होना चाहिए। सोच रहा हूँ क्या उसके पास glue gun नहीं थी

  • मेरा भी कुछ ऐसा ही अनुभव रहा है। 3 साल से मैं अपने बेटे के साथ इस्तेमाल करने के लिए एक rack-mounted gaming server बनाना चाहता था, लेकिन घर छोटा है और पत्नी ने अनुमति नहीं दी, इसलिए मैंने अपने माता-पिता के घर के PV power plant (90kWp) और rack server का उपयोग किया।
    दो महीने पहले eBay से मैंने 1,400 यूरो में Supermicro SYS-7049GP-TRT खरीदा, और अंदर खोलकर देखा तो उसमें Nvidia V100S 32GB था। उसे 1,600 यूरो में बेच दिया और दो Xeon 6254 CPU खरीदकर बदल दिए। उसके बाद दो Blackwell RTX 4000 Pro खरीदे, और अब मैं बेटे के साथ गेम भी खेल सकता हूँ और LLM प्रयोग भी कर सकता हूँ।
    यह case 4 dual GPU लगा सकता है, इसलिए कभी न कभी इसे चार RTX 6000 (कुल 384GB VRAM) तक upgrade करना संभव लग रहा है। पुराना enterprise equipment मजबूत होता है और कीमत के मुकाबले बहुत अच्छा value देता है, इसलिए यह सचमुच मज़ेदार hobby है

  • 7.5k यूरो का 20kg server, 5 यूरो की IKEA LACK table पर रखा है, यह काफी मज़ेदार है। LACK की अधिकतम load capacity 25kg है, इसलिए यह थोड़ा खतरनाक लग रहा है

    • असल में मूल case 20kg का था, लेकिन अब उसमें aluminium frame और glass panel जोड़ दिए गए हैं, इसलिए यह लगभग 40kg है। अब लगता है कि इसे LACK पर नहीं रखना चाहिए
    • फिर भी LACK table उम्मीद से ज्यादा मजबूत होती है। server और network equipment के लिए इसका काफी उपयोग होता है, और LackRack wiki में भी ऐसे कई उदाहरण हैं। मैंने भी उस पर 100kg से ज्यादा रखा है
    • फिर भी शायद 25% का safety margin तो होगा ही, यही मज़ाक था

  • “उसे लेने के लिए मैं दो घंटे गाड़ी चलाकर गया” यह पंक्ति मज़ेदार लगी। सचमुच Your mileage may vary

  • GPU को चलाने की प्रक्रिया बहुत दर्दनाक थी, इसलिए बाद में आने वाले खोजियों के लिए install commands छोड़ जाना प्रभावशाली लगा।
    NVIDIA-Linux-aarch64 driver इंस्टॉल करना पड़ा, और ऐसे रहस्यमय commands हर बार देखकर वही एहसास आता है कि “मैं भी वहाँ रह चुका हूँ”

  • गंभीरता से पूछूँ तो जिज्ञासा है कि क्या ऐसा उपकरण वास्तव में gaming performance भी अच्छा देता है। यह AI/ML के लिए optimized है, तो कहीं ऐसा तो नहीं कि सामान्य गेम ठीक से न चलें।
    और “जंगल के बीच वाले farmhouse गया” वाली बात पढ़कर यह भी लगा कि कहीं वह खतरनाक तो नहीं था

    • जब seller ने कहा, “server सफेद van के पीछे है,” और गाड़ी का पिछला हिस्सा दिखाया, तो थोड़ा डर लगा। सौभाग्य से उसके बाद workshop देखकर मन शांत हुआ
    • इन GPU में HDMI या DisplayPort output नहीं होता, इसलिए गेम चलाने के लिए उन्हें VM के जरिए चलाना पड़ता है
    • gaming के लिए RTX PRO 6000 Blackwell + AMD 9800X3D + low-latency RAM + NVMe का कॉम्बिनेशन सबसे अच्छा है। इसके आगे return on investment कम हो जाता है। ARM-आधारित server CPU में DRM समस्याएँ भी आती हैं
    • LTT वीडियो में भी इसी तरह के AI GPU का टेस्ट किया गया था, और gaming performance बहुत खराब थी। एक mid-range consumer card ने 1/10 कीमत में बेहतर नतीजे दिए

  • ऐसी पोस्ट सच में शानदार होती हैं। ऐसे DIY success stories ही Hacker News का असली मज़ा हैं

    • सही कहा। यह जलन भी पैदा करती हैं और साथ ही “मैं भी यह कर सकता हूँ” वाली प्रेरणा भी देती हैं

  • सौदा अब भी अच्छा है, लेकिन इसकी तुलना नए H100 की कीमत से करना थोड़ा बढ़ा-चढ़ाकर कहना है। अभी RTX 6000 Pro को 7~8 हज़ार डॉलर में खरीदा जा सकता है, और performance भी मिलती-जुलती है। साथ ही इसे सामान्य workstation में भी लगाया जा सकता है। पुराने enterprise equipment का depreciation बहुत बड़ा होता है

    • फिर भी यह अब भी शानदार deal है। वजह RAM/VRAM के सूक्ष्म अंतर हैं।
      Blackwell, FP8 के मानक पर H100 से दोगुना तेज है, लेकिन यहाँ तुलना FP4 में है, इसलिए वास्तविक स्थिति अलग है। VRAM bandwidth भी HBM3 के मानक पर 4.9TB/s है, जो RTX 6000 Pro के 1.8TB/s से 2.5 गुना तेज है।
      NVLink-C2C, cards के बीच 900GB/s देता है, जो PCIe5 के मुकाबले लगभग 5 गुना है, इसलिए बड़े LLM में यह bottleneck कम करता है।
      उदाहरण के लिए GPT-OSS-120B benchmark में RTX 6000 Pro प्रति सेकंड 145 tokens बनाता है, जबकि GH200 195 tokens बनाता है
    • और उसके पास दो H100 भी हैं। दो RTX 6000 Pro खरीदने के लिए 15~16 हज़ार डॉलर चाहिए होंगे, और शामिल RAM अकेले की कीमत भी 7 हज़ार डॉलर से ज्यादा है

  • यह सचमुच cyberpunk सपना हकीकत में जीने जैसा लगता है। ऐसा प्रयास करने का साहस काबिले-तारीफ है

  • पुराना enterprise equipment खरीदने के लिए किसी shop recommendation की माँग की गई। ज़्यादातर जगहें कैलिफ़ोर्निया में लगती हैं, तो जिज्ञासा है कि NY/NJ इलाके में भी ऐसी दुकानें हैं या नहीं

    • eBay पर कई लिस्टिंग डालने वाले sellers को ट्रैक कर लो। पूरे देश में ऐसे seller काफ़ी मिल जाते हैं