USB4 का उपयोग करके $47.98 में हाई-स्पीड 10Gbps फुल-मेश नेटवर्क बनाना

• AWS लागत घटाने के लिए एक bare-metal Kubernetes क्लस्टर बनाया गया और 10Gbps नेटवर्क सेट किया गया
• USB4 Ethernet bridge आधारित नेटवर्किंग से पारंपरिक Ethernet switch और cable को बदला गया
• नेटवर्क स्पीड 11Gbps तक पहुँची, जबकि निर्माण लागत सिर्फ $47.98 रही

मानक 1U सर्वर की तुलना में mini PC

• bare-metal क्लस्टर बनाते समय किस प्रकार की मशीन इस्तेमाल की जाए, इस पर विचार किया गया
• इस्तेमाल किए हुए 1U सर्वर सस्ते थे, लेकिन संचालन लागत को देखते हुए वे अक्षम थे
• mini PC सस्ते, शांत और कम बिजली खपत वाले होते हैं
• Venus UM790 Pro mini PC चुना गया, जिसकी बिजली खपत कम है (idle पर 6W, अधिकतम load पर 80W)
  • AMD Ryzen 9 7940HS CPU + 64GB memory + 1T storage के साथ यह $779 में किफायती था

नेटवर्किंग

• UM790 Pro mini PC के 2 और यूनिट जोड़कर इसे 3-node क्लस्टर तक बढ़ाने का निर्णय लिया गया
• Ceph storage system इंस्टॉल करने के बाद nodes के बीच बेहतर नेटवर्क कनेक्शन की ज़रूरत पड़ी
  • डिवाइस में 2.5G network port तो था, लेकिन Ethernet switch भी खरीदना पड़ता
• डिवाइस में मौजूद 2 USB4 ports का उपयोग कर 40Gbps स्पीड की संभावना पर विचार किया गया
• USB4 cable से full-mesh नेटवर्क बनाया गया, जिससे 2.5G Ethernet switch खरीदने की तुलना में लागत बची

NixOS और Systemd से mesh नेटवर्क कॉन्फ़िगरेशन

• NixOS का उपयोग कर Linux OS environment को reproducible तरीके से कॉन्फ़िगर किया गया।
• systemd-udevd के जरिए Thunderbolt bridge network devices कॉन्फ़िगर किए गए और IP सेट किया गया।

बेंचमार्क परिणाम

• iperf3 बेंचमार्क के नतीजों से 11Gbps नेटवर्क स्पीड की पुष्टि हुई

बाद की समीक्षा

• कम लागत में 11Gbps नेटवर्क बनाने पर संतोष व्यक्त किया गया।
• USB4 आधारित नेटवर्क की स्पीड सीमा के कारणों को लेकर जिज्ञासा रही।
• USB/Thunderbolt आधारित हाई-स्पीड नेटवर्किंग की भविष्य की संभावनाओं को तलाशा गया।

GN⁺ की राय:

• यह लेख इस बात पर ज़ोर देता है कि software engineers के लिए hardware की समझ बढ़ाना कितना महत्वपूर्ण है। खास तौर पर, कम लागत में हाई-स्पीड नेटवर्क बनाने का रचनात्मक तरीका दिखाकर यह पारंपरिक नेटवर्किंग तरीकों का नया विकल्प प्रस्तुत करता है।
• USB4 तकनीक पर आधारित नेटवर्किंग, पारंपरिक Ethernet आधारित समाधानों की तुलना में अधिक cost-effective है और ऊँची स्पीड देती है। इससे भविष्य में छोटे data centers या व्यक्तिगत उपयोगकर्ताओं के लिए यह एक आकर्षक विकल्प बन सकती है।
• NixOS जैसे tools का उपयोग कर नेटवर्क कॉन्फ़िगरेशन को automate और reproducible बनाने का तरीका system administrators और developers के लिए उपयोगी जानकारी देता है।

[aster]

मुझे तो यह पूरा खरीदो जैसा दिखा..

[pmc7777]

बहुत बढ़िया तरीके से सेटअप किया है... ईर्ष्या हो रही है।

[bus710]

मैं TB4/USB4 पर IP का इस्तेमाल फाइल ट्रांसफर के लिए कर रहा हूँ, और यह सच में बहुत तेज़ है haha

[bus710]

अगर thinderbolt-tools, bolt पैकेज इंस्टॉल हों और ड्राइवर ठीक से इंस्टॉल किया गया हो, तो nmcli से इंटरफ़ेस कॉन्फ़िगर करके ssh या scp आदि के साथ इसे सामान्य Ethernet कनेक्शन की तरह आसानी से इस्तेमाल किया जा सकता है.
Intel डिवाइस और Mac डिवाइस में कोई बड़ी समस्या नहीं थी, लेकिन AMD में कुछ ऐसे डिवाइस हो सकते हैं जो ठीक से काम न करें.

[kuroneko]

अगर मुझे यह पता होता, तो मैं Intel CPU चुनता... रोना आ रहा है

[kuroneko]

अरे... क्या, अगर 2 PC के बीच USB4/Thunderbolt को सीधे जोड़ दें तो उसे Ethernet की तरह माना जाता है?

मैं अभी NAS और PC के बीच 10Gbps कनेक्शन बनाने के लिए तरह-तरह की योजनाएँ बना रहा था
(10G सपोर्ट करने वाले दो LAN कार्ड खरीदकर उन्हें सीधे जोड़ने की सोच रहा था)

अब अचानक थोड़ा खाली-खाली सा लग रहा है।

तो क्या मुझे USB4/Thunderbolt सपोर्ट वाला motherboard लेना चाहिए था...

[kuroneko]

HN पर सरसरी नज़र डालते हुए देखा था, तो बिना ज़्यादा सोचे आगे बढ़ गया था,
लेकिन यहाँ देखा तो बात अचानक समझ में आने लगी;

खैर, इसकी बदौलत मुझे समाधान दिख रहा है...

अगर कोई कमी है, तो बस इतनी कि NAS और PC पास-पास होने चाहिए।
क्योंकि USB4 केबल ज़्यादा से ज़्यादा लगभग 3m ही होती है... (LAN केबल के अधिकतम 100m होने की तुलना में)

[molla]

दूरी की सीमा उम्मीद से कहीं ज़्यादा सख्त है.
usb-c केबल स्टैंडर्ड में 10Gbps सपोर्ट सिर्फ 1m या उससे कम पर मिलता है. (इसी वजह से usb-c data cables छोटे होते हैं.)
2m या उससे कम पर 5Gbps सपोर्ट मिलता है, और उससे ज़्यादा होने पर सिर्फ USB 2 सपोर्ट रहता है.
अगर पूरी तरह Thunderbolt की तरफ जाएँ, तो active cable इस्तेमाल करके दूरी बढ़ाई जा सकती है, लेकिन active cables की कीमत भी बहुत ज़्यादा होती है, और यह भी ठीक से नहीं पता कि वे USB4 के साथ compatible हैं या नहीं.

[kuroneko]

आह... लगता है कि बाज़ार में उपलब्ध 3M वाले USB4 केबल शायद ठीक से स्पीड नहीं दे पाते।
लगता है पहले ठीक से पता करके ही करना होगा। मैं AMD CPU इस्तेमाल करता हूँ, इसलिए Thunderbolt का इस्तेमाल करना भी मुश्किल है T_T

[GN⁺]

Hacker News राय

• USB4/Thunderbolt प्रोटोकॉल पर चर्चा:

  • USB4/Thunderbolt एक लगभग जादुई प्रोटोकॉल है, और आधुनिक PCs के बीच डेटा ले जाने का सबसे तेज़ तरीका USB-C केबल से Thunderbolt पोर्ट्स को जोड़ना है.
  • यह कनेक्शन Windows में Ethernet पोर्ट के रूप में दिखता है, और आसानी से 1GB/s से अधिक की ट्रांसफर स्पीड हासिल कर लेता है, जो SSD को पूरी तरह भर देने के लिए काफ़ी है.
  • Intel ने CES में Thunderbolt 4/5 का इस्तेमाल करके डिवाइस-टू-डिवाइस फ़ाइल ट्रांसफर फ़ीचर दिखाया. सैद्धांतिक रूप से Thunderbolt 4 और 5 क्रमशः 20Gbps और 40Gbps स्पीड देते हैं.
  • अगर केवल एक ही Thunderbolt/USB4 कंट्रोलर इस्तेमाल हो रहा हो, तो संभव है कि दो USB4 पोर्ट्स 40Gbps PCIe lanes को आपस में बाँट रहे हों, इसलिए केवल 11Gbps ही हासिल हुआ हो.

• नेटवर्क संरचना पर स्पष्टीकरण:

  • अगर केवल 3 नोड्स हैं, तो इसे mesh network नहीं कहा जाता; असली ring network तब बनता है जब 3 या उससे अधिक नोड्स हों और कुछ destinations तक पहुँचने के लिए कई hops से गुजरना पड़े.
  • Mesh network का मतलब ऐसे नेटवर्क से है जो कई संभावित paths वाले मनमाने point-to-point connections से बना हो.

• Dell सर्वर की बिजली खपत का benchmark:

  • Dell r430 सर्वर की बिजली खपत मापने पर पाया गया कि boot होने के बाद यह लगभग 100 watt लेता है, और load में लगभग 220 watt तक जाता है.
  • इसका मतलब है कि रोज़ाना 72kWh और महीने का $11.05 खर्च होता है, जबकि load की स्थिति में यह महीने का $24.3 तक पहुँचता है.
  • स्थिर इंटरनेट और शोर की समस्या से बचने के लिए सर्वर होस्टिंग को co-location में रखना बेहतर है.

• USB 4 की error handling क्षमता:

  • USB के ज़रिए बड़ी मात्रा में डेटा ट्रांसफर करते समय कभी-कभार होने वाले data corruption के मामले में USB 4 की error handling क्षमता पर सवाल उठाया गया.

• पुराने फ़ाइल ट्रांसफर तरीक़े:

  • MS-DOS कंप्यूटरों के बीच parallel cable से फ़ाइल ट्रांसफर करने की यादें साझा की गईं.

• Thunderbolt कनेक्शन का optimization:

  • Thunderbolt कनेक्शन में MTU (maximum transmission unit) को 9000 पर सेट करने से 1500 की तुलना में बेहतर performance मिलती है.

• पुराने नेटवर्क ढाँचों की याद:

  • IP-over-SCSI का उपयोग करके 1990 के दशक में U320 स्पीड पर 8 PCs को एक SCSI chain में जोड़ने के अनुभव का ज़िक्र है.

• Thunderbolt स्पीड से जुड़े तकनीकी मुद्दे:

  • Thunderbolt स्पीड को प्रभावित करने वाले कारकों में cable, motherboard की PCIe lane allocation, और driver/firmware updates का उल्लेख है.

• बिजली दरों पर चर्चा:

  • औसत residential electricity rate 15.34 cent/kWh बताया गया, लेकिन San Francisco में इससे दोगुने से भी अधिक भुगतान करने का व्यक्तिगत अनुभव साझा किया गया.

[cosine20]

और हाँ, पुराने कंप्यूटरों को parallel cable से जोड़ने पर वे एक-दूसरे के साथ data भेज और प्राप्त कर सकते थे???