Meta ने GPU निवेश पर मैनहैटन प्रोजेक्ट के बराबर राशि खर्च की

 (twitter.com/emollick)
1 पॉइंट द्वारा GN⁺ 2024-05-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-05-06
Hacker News टिप्पणियाँ
  • मैनहैटन परियोजना और अपोलो कार्यक्रम का बजट, आज के हिसाब से देखें तो, हैरान करने वाला रूप से "सस्ता" था। 1960 के दशक में चंद्रमा पर उतरने पर खर्च की गई राशि हाल ही में Apple के शेयर बायबैक के करीब रही।
  • मैनहैटन परियोजना और अपोलो कार्यक्रम दोनों ने उस समय के GDP का 0.4% खर्च किया था। आज के लगभग $27 ट्रिलियन GDP पर यह करीब $108 बिलियन के बराबर होता है। Meta ने अभी तक इसका सिर्फ एक-तिहाई भी GPUs पर खर्च नहीं किया है।
  • नए GPU, CPU और SoC की बढ़ी-चढ़ी हुई जटिलता हमें अभिभूत नहीं करती। 30 अरब ट्रांज़िस्टर वाले 3nm चिप निर्माण की प्रक्रिया की तुलना में, मैनहैटन परियोजना परिवर्तनकारी थी, लेकिन स्केल में उतनी बड़ी नहीं थी।
  • इतना निवेश करने के बाद भी Meta OpenAI को क्यों नहीं पकड़ पा रहा, यह जानने की जिज्ञासा है। OpenAI इतना बेहतर performance कैसे निकाल रहा है?
  • 1960 के दशक से पहले बनी चीज़ों की गुणवत्ता और कौशल देखकर मैं हमेशा दंग रह जाता हूँ। उसके बाद का आधुनिक समाज क्यों इतना wasteful, slow, महँगा और कम महत्त्वाकांक्षी हो गया, यह मूल कारण शायद हमें समझ नहीं आता, लेकिन अगर लौट पाते तो अच्छा होता।
  • यह जानने की उत्सुकता है कि Meta इन GPUs का अपने internal operations में कितना उपयोग कर रहा है, और उससे कितनी cost saving मिल रही है। निराशाजनक 'Meta AI' chatbot के अलावा, content recommendation engine, abuse prevention, network bandwidth optimization जैसे कई कामों में H100 को लगाना सार्थक लगेगा।
  • लगता है कि निवेश के मुकाबले मैनहैटन परियोजना का आउटपुट अधिक प्रभावशाली रहा।
  • इसमें बंद-इकोसिस्टम (walled garden) और intellectual property (IP) की value का बड़ा रोल है। अगर कानून बदलकर IP/डेटा की सुरक्षा संभव न रही, तो अगले साल कई लोग Facebook के clones/modded copies बना लेंगे। उसी तरह NVIDIA GPU डिजाइन को लेकर भी कई लोग बदलाव करके लॉन्च करने लगेंगे। प्रतिस्पर्धा के कारण कीमत और profit margin लगभग 0 के करीब आ जाएगा।
  • उत्सुकता है कि 10 साल के भीतर Moore's law के साथ कितनी संभावना है कि $1M के GPU से आज जैसा performance हासिल किया जा सके। इतनी रकम से तो किसी GPU manufacturer को ही खरीदने की बात हो जाएगी।
  • यह उतना impressive नहीं है जितना सुनाई देता है, क्योंकि US का वास्तविक (inflation-adjusted) GDP 1945 की तुलना में लगभग 9 गुना बढ़ चुका है।