Meta, कस्टम CXL ब्रिज चिप से पुराने RAM को नए सर्वरों में फिर से इस्तेमाल कर रहा है

 (theregister.com)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Meta फेंके जाने वाले DDR4 मेमोरी को नए DDR5 सर्वरों से जोड़कर, कुछ disaggregated inference workloads में ज़रूरी सर्वरों की संख्या को अधिकतम 25% तक घटा रहा है
  • सर्वर fleet का लगभग 40% मेमोरी विस्तार योग्य नहीं है, जबकि मेमोरी की उपयोगी उम्र सर्वरों से अधिक होती है, इसलिए DIMM का पुन:उपयोग लागत बचत का एक तरीका बनता है
  • इसका इन-हाउस ASIC Vistara DDR4 को CXL 2.0/1.1-संगत PCIe Gen5 x16 इंटरफ़ेस से जोड़ता है, जिससे मौजूदा CXL उपकरणों में DDR4 पुन:उपयोग की सीमाओं को पार किया जा सके
  • Vistara-आधारित MemServer में AMD Turin, 768GB DDR5 और 256GB DDR4 को जोड़ा गया है, और DDR4 को OS में CPU-रहित अलग NUMA node के रूप में दिखाया जाता है
  • CXL-विस्तारित मेमोरी OOM के कारण होने वाली job failure, restart और resource fragmentation overhead को 33% तक घटाकर बड़े पैमाने के infrastructure संचालन का बोझ कम करती है

DDR4 को फिर से इस्तेमाल करने की पृष्ठभूमि

  • Meta पुराने सर्वरों से निकाले गए DDR4 DIMM को नए सर्वरों में लगाकर एक साझा किए जा सकने वाले मेमोरी pool के रूप में बना रहा है
  • सर्वर fleet में लगभग 40% मेमोरी विस्तार योग्य नहीं होने के कारण कुछ workloads को संभालना कठिन होता है
  • सर्वरों की अपेक्षित आयु 3~5 साल होती है, जबकि मेमोरी 7~10 साल तक उपयोगी रह सकती है
  • इस आयु अंतर की वजह से पुराने सर्वरों की मेमोरी को नए सिस्टम में दोबारा इस्तेमाल करना infrastructure efficiency बढ़ाने का एक तरीका बन गया है
  • मेमोरी विस्तार न हो सकने वाले सर्वरों का अनुपात: {p:40}

CXL अपनाने की सीमाएँ और Vistara की भूमिका

  • CXL कई hosts के बीच मेमोरी साझा करना संभव बनाता है, लेकिन production environment में कम bandwidth, अधिक latency और अतिरिक्त memory tier management overhead बोझ बन सकते हैं
  • अलग-अलग मेमोरी technologies को एक सिस्टम में जोड़ते समय ये सीमाएँ और अधिक स्पष्ट हो सकती हैं
  • Meta एक ही मशीन में कई memory types मिलाना चाहता था, लेकिन तैयार-शुदा CXL उपकरण उसकी ज़रूरतों के अनुरूप नहीं थे
    • अधिकांश CXL solutions DRAM और controller को साथ में बांधते हैं, जिससे DIMM का पुन:उपयोग कठिन हो जाता है
    • अक्सर DDR4 support नहीं होता, इसलिए पुराने मेमोरी मॉड्यूल के पुनर्चक्रण के लिए वे उपयुक्त नहीं हैं
    • power consumption और cost भी अपनाने की आकर्षकता कम करते हैं
  • इस कमी को पूरा करने के लिए Meta ने कस्टम ASIC Vistara विकसित किया

Vistara ASIC कॉन्फ़िगरेशन

  • Vistara, DDR4 मेमोरी को host processor से जोड़ने वाले CXL bridge की भूमिका निभाता है
  • इसका मुख्य इंटरफ़ेस CXL 2.0/1.1-संगत PCIe Gen5 x16 है
  • प्रत्येक Vistara ASIC में निम्न कॉन्फ़िगरेशन है
    • स्वतंत्र 72-बिट DDR4 मेमोरी चैनल 2
    • अधिकतम 3,200 MT/s गति का समर्थन
    • 64GB DIMM इस्तेमाल करने पर प्रति चिप अधिकतम 256GB समर्थन
  • ASIC को चलाने के लिए कस्टम RISC-V प्रोसेसर 2 इस्तेमाल किए जाते हैं

MemServer हार्डवेयर और सॉफ़्टवेयर

  • Vistara हार्डवेयर Meta के MemServer नामक डिवाइस में लगाया जाता है
  • प्रत्येक MemServer निम्न घटकों को जोड़ता है
    • AMD Turin प्रोसेसर
    • 158 कोर, 316 थ्रेड
    • 768GB DDR5 मेमोरी
    • Vistara ASIC से जुड़ा 256GB DDR4
  • Vistara CXL कार्ड, MemServer chassis के भीतर पीछे से पहुंच वाले समर्पित स्लॉट में लगाया जाता है
  • high-density मेमोरी और CXL डिवाइस के thermal load को संभालने के लिए chassis में high-capacity fans और directional airflow का उपयोग कर Vistara मॉड्यूल तक ठंडी हवा सीधे भेजी जाती है
  • सॉफ़्टवेयर स्तर पर DDR4 को OS में CPU-रहित अलग NUMA node के रूप में दिखाया जाता है, जो processor से सीधे जुड़े local DRAM node से अलग है
  • Meta platform पहले उपलब्ध local DDR4 का उपयोग करता है, और ज़रूरत पड़ने पर CXL-आधारित मेमोरी का उपयोग करता है
  • Vistara में उपयोग होने वाला Linux CXL driver code पहले से upstream kernel में है या upstream inclusion प्रक्रिया में है

प्रोडक्शन तैनाती और संचालन प्रभाव

  • Meta ने Vistara-आधारित CXL कॉन्फ़िगरेशन को लाखों सर्वरों वाले hyperscale infrastructure में लागू किया है
  • लागू workloads में निम्न शामिल हैं
    • recommendation systems की embedding tables सहित disaggregated ML inference
    • big data processing
    • databases
    • distributed cache
    • CI/CD build systems
  • Spark और Hive जैसे big data tools terabyte और petabyte स्तर के datasets संभालते हैं, और प्रति job सैकड़ों GB मेमोरी की ज़रूरत हो सकती है
  • ऐसे workloads में OOM events होने पर मुख्य business analytics और ML pipelines रुक सकते हैं
  • CXL से विस्तारित अतिरिक्त मेमोरी capacity, OOM जोखिम घटाकर job failure, job restart और resource fragmentation से जुड़े overhead को 33% कम करती है
  • disaggregated inference में सर्वरों की संख्या को अधिकतम 25% तक घटाने का प्रभाव देखा गया
  • Meta को ऊंची मेमोरी कीमतों से बचने का लाभ भी मिल रहा है
  • संचालन overhead में कमी: {p:33}
  • disaggregated inference में सर्वरों की संख्या में कमी: {p:25}

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • William Gibson के Neuromancer की शुरुआत में मुख्य किरदार भूमिगत बाजार में RAM 3MB बेचने की कोशिश करता है, और इसे अक्सर इस बात के उदाहरण के तौर पर उद्धृत किया जाता है कि किताब समय की कसौटी पर खरी नहीं उतरी
    लेकिन आजकल memory market की दिशा देखें तो… शायद हम अभी वहां तक पहुंचे ही नहीं हैं

    • शुरुआती computer scientists वाकई बहुत आशावादी थे। उन्हें लगता था कि RAM के कुछ KB और CPU के कुछ MHz से artificial intelligence, consciousness, machine learning, language, speech synthesis—सब कुछ किया जा सकता है
      अब हम एक web form के लिए ही GB के हिसाब से RAM इस्तेमाल कर रहे हैं। Gibson ने सोचा कि cyberspace में एक consciousness के लिए RAM 3MB काफी होगी, यह बेहद आशावादी था, लेकिन उस समय के माहौल से अच्छी तरह मेल खाता था
    • computing को सचेत रूप से देखना शुरू करने के बाद से मैंने कई बार सोचा है कि सबसे प्रभावशाली प्रगति memory capacity में हुई है। Network या USB भी बड़े advancement हैं, लेकिन वे computer को उसी तरह “तेज” नहीं बनाते
      2000 में जब Diablo II अभी-अभी आया था, तब मुझे 450MHz Pentium III और RAM 64MB वाला computer उधार इस्तेमाल करने को मिल सकता था; उस समय RAM 64MB mid-range जैसा था, कोई obvious spec नहीं। मेरी याद में Diablo II single-player के लिए 64MB और multiplayer के लिए 128MB recommend करता था
      जिस computer पर मैं अभी यह लिख रहा हूं, उसमें RAM 64GB है, यानी 1024 गुना। वहीं CPU 20-core Intel है, maximum लगभग 3GHz; अगर मान भी लें कि हर core एक साथ maximum speed पर चल रहा है, तो CPU performance में बढ़ोतरी लगभग 133 गुना ही बैठती है
      NVMe read time memory capacity की बढ़ोतरी जितना, या उससे भी ज्यादा important हो सकता है, लेकिन PC spec sheet में यह memory और CPU जितना सामने नहीं दिखता
      hard disk capacity की बढ़ोतरी भी RAM जितनी ही प्रभावशाली है। 2000 में शायद करीब 10–30GB थी, अब मुझे 10TB disk की जरूरत नहीं, इसलिए इस्तेमाल नहीं करता और 1TB काफी है। इसलिए निजी तौर पर इसका असर memory जितना महसूस नहीं होता
    • शुरुआती computing history में memory units अभी स्थिर नहीं हुए थे, और hardware architecture के हिसाब से word size भी अलग-अलग होते थे, जरूरी नहीं कि वे 8 से पूरी तरह विभाज्य हों
      ऐसी machines की memory size अक्सर उनके original word size में बताई जाती थी। जैसे, “इस machine में core memory के 8 kilowords हैं।” इसलिए पुराने उपन्यासों में अगर कोई anachronistic memory capacity दिखे, तो मैं बस मान लेता हूं कि मुझे उनका इस्तेमाल किया हुआ word size नहीं पता
    • cryogenic flask में रखे “hot” RAM 3MB की बात हो तो यह cold boot attack के ज्यादा करीब है; RAM नहीं, data बेचा जा रहा है
    • इस वजह से किसी रचना को outdated कहना काफी nitpicking है। Hamlet में mobile phone नहीं है, फिर भी वह अब भी बेहतरीन नाटक है
      हालांकि एक तेज FaceTime call से tragedy रोकी जा सकती थी

  • समझ नहीं आता कि लोग सीधे ज्यादा detailed original article पर क्यों नहीं जाते
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • original paper link यह है: https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      सरसरी तौर पर देखें तो इसे बहुत सारे DDR4 को PCIe card में लगाकर swap space की तरह इस्तेमाल करने जैसा समझा जा सकता है। असल में CXL protocol की वजह से यह ज्यादा sophisticated है, लेकिन tradeoff को ऐसे समझ सकते हैं
      ऐसा लगता है कि fast main DRAM और ज्यादा latency वाली extended DRAM के बीच hot/cold pages move करने के लिए operating system-level support भी है
      DRAM की उम्र काफी लंबी होती है, manufacturing process में पहले से ही काफी embodied carbon emissions होते हैं, और साथ ही नए DRAM supply crisis भी है—यह सचमुच बहुत valid समस्या है
    • ऐसी चीज को “Zuck” की वजह से हुआ बताकर लिखना हैरान करने वाला है। असल में यह मानना मुश्किल है कि उसे इन details की जानकारी होगी
    • अगर “original article” की बात है, तो शायद Register की sister site वाला यह लेख है
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • काफी समय से सोचता रहा हूं कि “पुराने या बचे हुए SIMM/DIMM, एक-दो पीढ़ी पुराने ढेर सारे memory modules लगाकर swap/slow memory/RAM disk की तरह इस्तेमाल करने वाले सस्ते PCI/PCI-X/PCIe cards” का बाज़ार बड़ा क्यों नहीं बना
    motherboards के address space को latest memory से पूरी तरह भरना आम बात नहीं है, और kernel को भी speed के हिसाब से यह सिखाया जा सकता है कि किस memory को ज़्यादा तरजीह देनी है, इसलिए यह स्वाभाविक रूप से संभव लगना चाहिए था
    मुझे याद है कि flash के साथ ऐसा ही कुछ करने की कोशिश वाला बाज़ार patent issues की वजह से दब गया था, लेकिन details धुंधली हैं। फिर भी flash cache कम-से-कम बड़ी कंपनियों की तरफ तो market बन गया। शायद यहां भी कुछ वैसा ही हुआ हो, या यह सिर्फ उस niche पर लागू होता हो जिसमें तब मेरी दिलचस्पी थी
    [1] मुझे पता है कि इस क्षेत्र में कुछ products थे, लेकिन मेरा impression है कि वे बड़े स्तर पर नहीं चले। मैं गलत भी हो सकता हूं
    [2] NetBSD में यह पक्का संभव है। VMEbus जैसे architectures पर मैंने खुद किया है, जहां छोटे और तेज़ onboard memory के साथ bus की तरफ की धीमी लेकिन बड़ी memory वाली configurations आम होती हैं। Linux में भी NUMA support work की वजह से ऐसा संभव लगता है, लेकिन मैंने खुद जाकर नहीं देखा

    • बड़ा market न होने की वजह यह थी कि नई memory इतनी prohibitively महंगी नहीं थी कि नए servers में पुरानी memory इस्तेमाल करने की cost, risk और constraints justify हो सकें
      अब हालात बदल गए हैं, इसलिए लोग इस idea को फिर से देख रहे हैं
    • बिल्कुल वही चीज़ नहीं है, लेकिन मैं पुराने parts से NAS box बना रहा हूं। मेरे पास बची RAM का ज़्यादातर हिस्सा laptop वाली DDR4 SODIMM है, इसलिए मैंने SODIMM → desktop DIMM adapter आज़माया, पर ठीक से काम नहीं किया
      system करीब 5 में से 1 बार ही boot हुआ, और memory speed settings कैसे भी बदलने पर stable नहीं हुआ
    • याद है कि 30 साल पहले ऐसे cards होते थे जो चार 30-pin SIMM modules को 72-pin SIMM slot में फिट करने लायक बना देते थे
      https://www.ebay.com/itm/383521792853
    • पिछली generation के DIMM इतने भी सस्ते नहीं होते और supply भी सीमित होती है। नई chips की production capacity सुरक्षित करने के लिए पुरानी generation के products production से हट जाते हैं
      DDR2 अब DDR3 से भी महंगा है, शायद इसलिए कि वह अब बनता नहीं, लेकिन पुराने hardware में memory replacement या upgrade की demand बाकी है
    • आज का बड़ा फर्क मेरी समझ में यह है कि CXL, PCIe के ऊपर cache coherency जोड़ता है। मैं गलत भी हो सकता हूं
      cache coherency न हो तो उस memory का इस्तेमाल कैसे करना है, इसमें कहीं ज़्यादा सावधानी चाहिए और performance की बात भी जटिल हो जाती है। CXL पर लगी RAM, CPU memory controller से सीधे जुड़ी RAM से performance में कमज़ोर होगी, लेकिन कोई बड़ी पकड़ नहीं होनी चाहिए

  • अगर custom chip design नहीं करनी है, तो standard product के रूप में CXL memory expansion chip मौजूद है
    https://www.marvell.com/products/cxl.html

  • इस “RAM crisis” का दिलचस्प हिस्सा यह है कि दूसरी fields की तरह, जब problem आती है तो कई players alternatives ढूंढना शुरू कर देते हैं
    नतीजतन crisis के बाद, उम्मीद है कि local machines पर भी लागू होने वाला memory boom पैदा कर सकने वाले कुछ दिलचस्प ideas या workarounds निकल सकते हैं
    पहला, Apple एक नए Chinese manufacturer पर विचार कर रहा है, और अगर quality assurance ठीक रहा तो supply-demand equation बदल सकती है। (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    दूसरा, companies performance workarounds ढूंढ रही हैं। अचानक single channel भी “ठीक-ठाक” है क्या? :)
    (https://www.gigabyte.com/press/news/2403)

    • single channel RAM भी disk-based swap से निश्चित रूप से बेहतर है
    • अच्छा होगा अगर हम फिर से hardware constraints को ध्यान में रखकर software design करना शुरू करें
    • आखिर जरूरत ही invention की मां है। शायद यह intellectual thought की सबसे पुरानी abstract concepts में से एक है
      resource scarcity और motivation के बीच बहुत घना संबंध है। सबसे बड़े frontier models RAM, SSD और GPU पर जो demand डालते हैं, वही छोटे LLM बनाने की सीधी motivation बनती है। यह वैसा ही है जैसे animals पर छोटे होने और कम food इस्तेमाल करने की evolutionary pressure पड़ती है
      ये छोटे models सफल भी हो जाएं, तब भी high-quality video processing को छोड़कर शायद वे किसी भी दूसरी application की तुलना में ज्यादा RAM, SSD और GPU इस्तेमाल करेंगे। छोटे LLM और advanced video processing की resource requirements मिलती-जुलती दिखती हैं
      हालांकि resources पूरे market में अधिक traditional तरीके से distribute होंगे, इसलिए cycle कम पागलपन भरा हो सकता है
      इसलिए manufacturers जिस RAM/SSD price cycle crisis से गुजरते हैं—यानी supply constraints और नई production capacity से पैदा oversupply के बीच prices का ऊपर-नीचे होना—उसका रास्ता छोटे LLM research को fund करने जैसा दिखता है। वैसे भी वे लगभग उतनी ही quantity में products बेचेंगे, और शायद अधिक भी बेचें

  • काश इसे consumer use के लिए भी बनाया जाए। मेरे पास काफी पुरानी RAM है

    • पहले Gigabyte ने RAM disk add-on card बनाया था। यह बिल्कुल वही चीज़ नहीं है, लेकिन storage device के रूप में दिखता था, इसलिए इसे operating system swap space की तरह इस्तेमाल किया जा सकता था
      https://en.wikipedia.org/wiki/I-RAM
    • इस तरह RAM जोड़ना main system RAM को expand करने जैसा बिल्कुल नहीं है। क्योंकि RAM PCIe-family link से जुड़ती है, इसलिए यह basic RAM की तरह behave नहीं करती
      ऐसी architecture उन server farms के लिए ज्यादा उपयुक्त है जहां engineers architecture के हिसाब से customize और tune कर सकते हैं
      RAM को storage device की तरह इस्तेमाल करने वाले cards भी थे, लेकिन उन्हें disk की तरह configure करना पड़ता था, इसलिए use cases बहुत सीमित थे और वे popular नहीं हुए
    • consumer systems में CPU तक लौटने वाली bandwidth बहुत ज्यादा नहीं होती, इसलिए मामला थोड़ा अलग लगता है
      आज DDR4 का used price देखें तो शायद उसे बेचकर NVMe drive खरीद लेना बेहतर हो

  • ServeTheHome ने दिसंबर में ही CXL मेमोरी एक्सपैंशन कंट्रोलर को कवर किया था
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • पेपर में यह लिखा है: “हमारे CXL solution ने अलग-अलग workloads में बड़ा सुधार हासिल किया, और distributed ML inference में servers की संख्या को 25% तक घटा दिया”
    समझ नहीं आता कि खराब RAM इस्तेमाल करते हुए उसी workload में servers की संख्या 25% कम कैसे हो सकती है

    • क्योंकि यह बेहतर RAM को replace नहीं कर रहा, बल्कि अतिरिक्त रूप से इस्तेमाल हो रहा है
    • CXL मूल रूप से PCIe के ऊपर “धीमी” RAM जोड़ता है। यह replacement नहीं है

  • अगले कुछ वर्षों में consumer electronics market का क्या होगा, यह देखना दिलचस्प होगा। कंपनियां अभी RAM shortage की वजह से यह दांव लगा रही हैं कि consumers ज्यादा कीमत चुकाएंगे
    लेकिन जब बाकी सभी खर्च भी बढ़ रहे हैं, तो लगता है कि काफी consumers कुछ समय तक नया device नहीं खरीदेंगे। HN के मानदंड से नहीं, यह याद रखना चाहिए कि हर कोई tech industry वाली salary नहीं कमाता

    • मुझे भी लगता है मैं उसी तरफ हूं। बस technology के साथ कम interact करने का चुनाव कर रहा हूं
      सब कुछ लगातार ज्यादा hostile होता जा रहा है और अब tipping point पर पहुंच गया है
    • Operating system manufacturers को पुराने hardware को ज्यादा लंबे समय तक support करना पड़ेगा
      Microsoft ने Win11 के लिए नया hardware जबरदस्ती push करने की कोशिश की, इसलिए Win10 को भी पहले ही 1 साल और extend कर दिया गया है

  • बढ़िया, अब used RAM की कीमतें भी आसमान छू सकती हैं
    अच्छा होगा अगर PC की कीमत फिर से एक कार जितनी हो जाए। monetization के मौके सचमुच बहुत बढ़ जाएंगे

    • यह पहले ही हो चुका है। 5 साल पुरानी used DDR4 अभी 5 साल पहले के नए product की कीमत से भी ज्यादा महंगी है