Jim Keller के नेतृत्व वाली Tenstorrent ने GPU के जवाब में RISC-V आधारित Grayskull पेश किया

• Tenstorrent, AMD की Zen architecture और Tesla के autonomous driving chip डिज़ाइन करने वाले मशहूर chip architect Jim Keller के नेतृत्व वाली कंपनी है
• कंपनी ने RISC-V आधारित GPU alternative Grayskull लॉन्च किया है, जिसे प्रोग्राम करना और scale करना आसान है, और जो runtime में sparsity तथा conditional computation को संभालने में उत्कृष्ट है
• Grayskull e75 और Grayskull e150, दो versions के development kits पेश किए गए हैं। ये AI development के लिए inference-only hardware हैं, और इनके साथ TT-Buda तथा TT-Metalium software दिए जाते हैं
• Tenstorrent ने Japan के leading semiconductor technology center (LSTC) के साथ partnership की है
• कंपनी Tenstorrent के RISC-V और chiplet IP का उपयोग करके cutting-edge 2nm AI accelerator बनाने वाली है

Grayskull की ताकत!

• Grayskull e75 model में एक single Grayskull processor दिया गया है, जो 75W पर चलने वाले low-profile, half-length PCIe Gen 4 board पर आधारित है
• Grayskull e150 model में Grayskull processor standard-height, 3/4-length PCIe Gen 4 board पर दिया गया है, जो अधिकतम 200W पर चलता है और power तथा throughput का संतुलित संयोजन देता है

Tenstorrent processor और DevKits

• Tenstorrent processor, Tensix core नामक core grid से बने हैं, और इनमें network communication hardware है जो DRAM से गुजरे बिना network के जरिए एक-दूसरे से सीधे संचार कर सकता है
• Grayskull DevKits, natural language processing के लिए BERT, image recognition के लिए ResNet, speech recognition और translation के लिए Whisper, real-time object detection के लिए YOLOv5, और image segmentation के लिए U-Net जैसे विभिन्न models को support करते हैं
• Grayskull e75 और e150 DevKits क्रमशः $599 और $799 में खरीदे जा सकते हैं

GN⁺ की राय

• Tenstorrent का Grayskull पारंपरिक GPU के RISC-V आधारित alternative के रूप में AI developers को नया विकल्प देकर industry में diversity बढ़ा सकता है
• runtime में sparsity और conditional computation को संभालने में इसकी विशेषज्ञता AI models की efficiency और performance को बेहतर बनाने की क्षमता रखती है
• इस तकनीक को अपनाते समय मौजूदा development environment के साथ compatibility, ecosystem support, और long-term performance तथा cost efficiency पर विचार करना चाहिए
• समान क्षमताओं वाले अन्य industry products में NVIDIA के GPU और Google के TPU शामिल हैं, लेकिन Grayskull अपनी RISC-V architecture आधारित डिजाइन की वजह से अलग दिखाई देता है
• Grayskull की सफलता open source hardware ecosystem की growth और innovation को बढ़ावा दे सकती है, जिससे technology के democratization और accessibility में सुधार हो सकता है

[ryudaewan]

लगता है Jim Keller He-Man के फैन हैं। https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Hacker News राय

• Grayskull डेवलपमेंट किट का सारांश:

  • Grayskull e75: 75W पावर खपत, 96 Tensix कोर, 1GHz क्लॉक स्पीड, 96MB SRAM, 8GB LPDDR4 मेमोरी (102.4 GB/s), कीमत $599
  • Grayskull e150: 200W पावर खपत, 120 Tensix कोर, 1.2GHz क्लॉक स्पीड, 120MB SRAM, 8GB LPDDR4 मेमोरी (118.4 GB/s), कीमत $799
  • इन उत्पादों की inference performance ग्राफिक्स कार्ड की तुलना में कैसी होगी, और क्या ये होम लैब के लिए उपयुक्त होंगे, इस पर रुचि दिखाई गई।
  • उत्पाद के preview version की unboxing interview उपलब्ध है, लेकिन performance metrics नहीं दिए गए हैं।

• आर्किटेक्चर पर राय:

  • Jim Keller की भागीदारी के कारण इसमें रुचि है, लेकिन CPU/ASIC डिज़ाइन का ज्ञान न रखने वाले लोगों को आर्किटेक्चर कुछ हद तक 'अजीब' लग रहा है।
  • कोर ग्रिड, मेमोरी और interface आपस में मिले हुए दिखते हैं, और network से जुड़े topology की व्याख्या मांगी गई है।

• आर्किटेक्चर कैसे काम करता है, इस पर विवरण:

  • यह Tensix कोर और shared memory से बना एक बुनियादी सिस्टम है।
  • हर Tensix कोर में tensor operations के लिए एक high-density tensor math unit (FPU), SIMD engine (SFPU), 5 Risc-V CPU कोर, और बड़ा local memory store शामिल है।
  • कोर दो विपरीत दिशाओं में चलने वाली डोनट-आकार की रिंग्स से जुड़े हुए हैं।
  • RISC-V कोर का उपयोग FPU, SFPU को नियंत्रित करने और डेटा तैयार/मूव करने के लिए किया जाता है।
  • SFPU एक अधिक सामान्य-purpose SIMT engine है, जिसे RISC-V कोर से चलाया जा सकता है।
  • SFPU simulator को GitHub पर आज़माया जा सकता है, और programming model को low-level kernel examples में देखा जा सकता है।
  • Grayskull SFPU में 4 general-purpose LRegs हैं, जो 64 19-bit values स्टोर कर सकते हैं, जबकि Wormhole में 8 general-purpose LRegs हैं, जो 32 32-bit values स्टोर कर सकते हैं।
  • Wormhole SFPU में Grayskull की तुलना में लगभग 3x IPC वृद्धि और कुछ नए SFPU instructions हैं।
  • दस्तावेज़ों की समीक्षा करने और GitHub repository देखने पर और जानकारी मिल सकती है।

• मॉडल चयन पर सवाल:

  • यह प्रश्न उठाया गया कि शुरुआत BERT, ResNet, Whisper, YOLOv5, U-Net जैसे मॉडलों से ही क्यों की गई।
  • अनुमान है कि लक्ष्य power efficiency हो सकता है, लेकिन यह पूरी तरह मेल नहीं खाता।

• सिस्टम requirements पर सवाल:

  • यह पूछा गया कि host system में 64GB RAM की आवश्यकता क्यों है।
  • क्या inference server को inference hardware के अलावा न्यूनतम configuration वाला नहीं होना चाहिए?

• अन्य कंपनियों के custom silicon से तुलना:

  • यह जानने की जिज्ञासा है कि इस तरह के processor की तुलना AWS, Google, Tesla के custom silicon से कैसे की जाए।

• आर्किटेक्चर की समानता:

  • यह Intel Project Larrabee GPU के काम करने के तरीके जैसा लगता है, बस इसमें RISC-V का उपयोग किया गया है।

• inference-only solutions को लेकर निराशा:

  • यह कहा गया कि Groq, Tenstorrent जैसे promising startup सिर्फ inference-only solutions दे रहे हैं, जिससे थकान महसूस होती है।
  • Groq के official channel से जानकारी मिली कि उनकी training को संभव बनाने वाले development में निवेश करने की कोई योजना नहीं है।
  • यह समझ में आता है कि inference की मांग training की मांग से लाखों गुना अधिक हो सकती है, फिर भी निराशा बनी हुई है।

• Grayskull™ e150 में RISC-V कोर की संख्या:

  • Grayskull™ e150 में 120 Tensix कोर हैं, और हर एक में 5 RISC-V कोर हैं, यानी कुल 600 RISC-V CPU कोर।

• performance और आर्किटेक्चर पर जानकारी की कमी:

  • performance या आर्किटेक्चर पर विस्तृत जानकारी मिल नहीं रही है।
  • ML-केंद्रित डिवाइस के लिए memory bandwidth बहुत कम है और कीमत बहुत अधिक है।
  • यह सवाल उठाया गया कि आखिर क्या चीज़ छूट रही है।