- Nvidia Grace-Hopper GH200 सर्वर को व्यक्तिगत उपयोग के AI डेस्कटॉप में बदलने के प्रयोग में, 235B पैरामीटर मॉडल को लोकल पर चलाने लायक प्रदर्शन हासिल किया गया
- Reddit से 7,500 यूरो में सेकंड-हैंड GH200 सिस्टम खरीदकर, डेटासेंटर-ग्रेड लिक्विड-कूल्ड सर्वर को एयर-कूल्ड डेस्कटॉप के रूप में दोबारा असेंबल किया गया
- कूलिंग, पावर और सेंसर त्रुटि जैसी वजहों से GPU तापमान 16,777,214°C दिखा, फैन सर्किट को नुकसान हुआ, और मैनुअल सोल्डरिंग मरम्मत सहित कई हार्डवेयर ट्रबलशूटिंग की गईं
- अंतिम रूप में 4 लिक्विड कूलर, CNC मशीनिंग एडैप्टर और 3D प्रिंटेड पार्ट्स का संयोजन करके एक स्थिर सिस्टम बनाया गया
- कुल खर्च लगभग 9,000 यूरो रहा, जिससे अकेले H100 GPU की कीमत से भी कम में अल्ट्रा हाई-परफॉर्मेंस AI वर्कस्टेशन बनाया जा सका
Grace-Hopper सर्वर की खरीद और विनिर्देश
- Reddit के r/LocalLLaMA बोर्ड पर 10,000 यूरो का GH200 सर्वर लिस्टिंग मिला, मोलभाव के बाद इसे 7,500 यूरो में खरीदा गया
- कॉन्फिगरेशन: 2× Grace-Hopper Superchip, 2× 72-कोर Grace CPU, 2× H100 GPU, 480GB LPDDR5X, 96GB HBM3, कुल 1,152GB हाई-स्पीड मेमोरी
- NVLink-C2C बैंडविड्थ 900GB/s, पावर 1,000~2,000W, साथ में 3,000W PSU शामिल
- विक्रेता GPTshop.ai था, जो Nvidia सर्वर को डेस्कटॉप में बदलकर बेचने वाली कंपनी है
- सिस्टम पहले से ही एक वाटर-कूल्ड सर्वर को एयर-कूल्ड में बदलकर बनाया गया था, यानी एक तरह का ‘Franken-system’
- बाहरी डिज़ाइन खुरदुरा था, रैक-माउंट नहीं हो पाता था, और 48V पावर सप्लाई लगा था
सर्वर की डिसअसेंबली और क्लीनिंग
- सर्वर में गंभीर धूल जमाव था और 8 हाई-पावर फैन से वैैक्यूम क्लीनर जैसी तेज आवाज़ आ रही थी
- घर में इस्तेमाल के लिए बहुत शोर होने के कारण, डिसअसेंबल करने के बाद साफ-सफाई और पुनः असेंबल किया गया
- आइसोप्रोपाइल अल्कोहल की कई लीटर मात्रा से पूरी मदरबोर्ड की सफाई की गई, और हिटिंग फ्लोर पर एक हफ्ता सुखाया गया
- Grace-Hopper मॉड्यूल की अंदरूनी स्थिति देखने के लिए इसे खोला गया और अंदर की संरचना की जांच की गई
लिक्विड-कूलिंग सिस्टम का पुनर्गठन
- लीकेज जोखिम के कारण कस्टम ब्लॉक की बजाय Arctic Liquid Freezer III 420 AIO कूलर की 4 यूनिटों का इस्तेमाल किया गया
- GPU और CPU डाय के डाइमेंशन मापकर Fusion 360 से एडैप्टर ब्लॉक डिज़ाइन किया गया
- Bambu X1 3D प्रिंटर से प्रोटोटाइप बनाया गया, बाद में CNC मशीनिंग से अंतिम पार्ट्स तैयार किए गए
- मशीनिंग के बाद बचा हुआ तेल हटाकर इंस्टॉलेशन पूरा किया गया और ठंडा करने की क्षमता सुनिश्चित की गई
डेस्कटॉप असेंबली
- फ्रेम ProfilAlu एल्युमिनियम प्रोफाइल से बनाया गया, Fusion 360 में डिज़ाइन किया गया
- कई PCB और फिल्टर माउंट पार्ट्स 3D प्रिंटिंग से बनाए गए
- सैकड़ों नहीं, कई किलो फिलामेंट का उपयोग कर संरचना को स्थिर किया गया
प्रमुख समस्याएँ
- फैन पावर कनेक्शन के दौरान ‘पॉप’ जैसी आवाज़ और धुआँ निकलना शुरू हुआ, कुछ फैन हेडर सर्किट क्षतिग्रस्त हो गए
- गलत करंट कैलकुलेशन के कारण MOSFET के नुकसान का अनुमान लगा
- फैन पावर को अलग 12V-5A एडेप्टर से बदल दिया गया
- फैन एरर की वजह से BMC (Baseboard Management Controller) ने बूट ब्लॉक कर दिया
phosphor-sensor-monitor.service को निष्क्रिय करके फैन चेक बायपास किया गया
GPU तापमान त्रुटि और सर्किट रिपेयर
- बूट के दौरान GPU तापमान 16,777,214°C दिखाया, सिस्टम ने खुद-ब-खुद शटडाउन कर दिया
- यह 24-बिट इंटीजर का मैक्सिमम (2²⁴-2) था, यानी सेंसर सिग्नल त्रुटि
- माइक्रोस्कोप से निरीक्षण में 100nF कैपेसिटर और 4.7kΩ रेजिस्टर खराब पाया गया
- सूक्ष्म सोल्डरिंग से सर्किट की मरम्मत की गई, UV मास्क से फिक्स किया गया
- पुनः असेंबल करने के बाद सामान्य बूट सफल रहा
अंतिम कॉन्फिगरेशन और परफॉर्मेंस
- अतिरिक्त निर्माण किए गए पार्ट्स:
- 8TB E1.S SSD माउंट, 3kW PSU बैक पैनल, रेडिएटर सुरक्षा के लिए मेष
- GPU इनिशियलाइज़ेशन समस्या NVLink Disable सेटिंग से सुलझाई गई
/etc/modprobe.d/nvidia-disable-nvlink.conf में NVreg_NvLinkDisable=1 जोड़ा गया
बेंचमार्क परिणाम
- 144 कोर पर Llama.cpp बिल्ड में 90 सेकंड लगे, बड़े मॉडल टेस्ट के नतीजे:
- gpt-oss-120b-Q4_K_M: प्रॉम्प्ट 2974.79, टोकन 195.84
- GLM-4.5-Air-Q4_K_M: प्रॉम्प्ट 1936.65, टोकन 100.71
- Qwen3-235B-A22B-Instruct: प्रॉम्प्ट 1022.79, टोकन 65.90
- प्रति GPU लगभग 300W खपत, अधिकतम सीमा (900W) की तुलना में पर्याप्त हेडरूम मौजूद है
लागत विवरण
- Grace-Hopper सर्वर €7,500, SSD €250, CNC एडैप्टर €700, लिक्विड कूलर €180
- फ्रेम €200, ग्लास पैनल €40, 3D प्रिंटिंग सामग्री €40, अन्य पार्ट्स €50
- क्लीनिंग के लिए आइसोप्रोपाइल अल्कोहल €20, 12V पावर €10, LED लाइटिंग €10
- कुल खर्च लगभग €9,000, अकेले H100 GPU से भी सस्ता
निष्कर्ष
- 235B पैरामीटर मॉडल को लोकल पर रन करने में सक्षम डेस्कटॉप बनाया गया
- डेटा-सेंटर ग्रेड हार्डवेयर को पर्सनल सेटअप में बदलते हुए सेंसर त्रुटि, सर्किट नुकसान, कूलिंग समस्याएँ जैसी कई चुनौतियों को पार किया गया
- परिणामस्वरूप हाई-परफॉर्मेंस AI रिसर्च वर्कस्टेशन कम खर्च में बनाया गया उदाहरण
अभी कोई टिप्पणी नहीं है.