Manhattan Project और Apollo Program उम्मीद से ज़्यादा “सस्ते” लगते हैं, यह हैरान करता है
1960 के दशक में इंसान को चांद पर भेजने की लागत Apple के हालिया शेयर buyback के लगभग बराबर थी—यह अजीब लगता है
इसकी वजह यह हो सकती है कि पिछले करीब 100 वर्षों में महंगाई दर को कम आंका गया है। समय के साथ यह फर्क compound होकर बहुत बड़ा हो जाता है
अधिक निष्पक्ष तुलना यह होगी कि औसत नागरिक की कितने वर्षों की सालाना आय के बराबर लागत थी
Manhattan Project 1944 में 2 अरब डॉलर का था, और 1940 की जनगणना के median household income के आधार पर यह 1,21,000 household-years के बराबर था
Apple का share buyback 2024 में 110 अरब डॉलर का था, और 2022 की जनगणना के आधार पर यह 1,22,910 household-years के बराबर था
यानी 80 वर्षों में आधिकारिक महंगाई आंकड़ों ने लागत को लगभग 3.5 गुना कम आंका
उस समय अमेरिका कहीं ज़्यादा गरीब था और जीवन स्तर भी काफी कम था। इसलिए महंगाई-समायोजन के बाद भी मजदूरी बहुत कम थी, और युद्ध के दौरान भर्ती किए गए लोगों को बिना विकल्प कम वेतन पर काम करना पड़ता था। इससे इसका बड़ा हिस्सा समझ में आता है
असल में वे बिल्कुल सस्ते नहीं थे; बस लागत को भविष्य पर टाल दिया गया था। Hanford site cleanup की लागत 16.8 अरब से 550 अरब डॉलर के बीच आंकी जाती है
Apollo rockets की testing वाली Santa Susana facility की cleanup में भी अरबों डॉलर लगने वाले हैं, और वहां अन्य cost factors भी हैं
दबाव वाली स्थिति में cost-effectiveness ही मुख्य होती है। WWII और युद्ध के बाद के 60 के दशक की तुलना में आज जैसे अपेक्षाकृत समृद्ध और ढीले समाज में हर लागत बढ़ जाती है
उस समय सड़कें, रेल और जहाज़ बनाए जा सकते थे, लेकिन आज सैकड़ों नियम, lobbyists और अपना हिस्सा मांगने वाले stakeholders हैं
survival का मुद्दा अस्थायी रूप से सुलझ जाने के बाद financial incentives कहीं ज़्यादा महत्वपूर्ण हो जाते हैं
Manhattan Project और Apollo Program दोनों GDP के 0.4% थे। आज 27 ट्रिलियन डॉलर की GDP के आधार पर 108 अरब डॉलर वही अनुपात होगा, और Meta ने GPU पर जो पैसा खर्च किया है वह उसका एक-तिहाई भी नहीं है
तो क्या एक कंपनी ने ऐसे hobby project पर, जिसमें वह market leader भी नहीं है, अमेरिकी GDP का लगभग 0.1% खर्च कर दिया?
पैमाना अविश्वसनीय है, और यह अच्छी बात नहीं है
Meta इन GPU के लिए एक साल में नहीं, बल्कि कई वर्षों में भुगतान कर रहा है। Meta का सालाना capex करीब 30 अरब डॉलर है, और वह पूरा भी GPU पर नहीं गया
और Meta retail price दे रहा होगा, ऐसा भी नहीं है
तब तो Apple का 110 अरब डॉलर का share buyback उससे भी बड़ा हुआ
अगर सभी कंपनियों के खर्च या revenue जोड़ दिए जाएं, तो कुल GDP से बहुत ऊपर जा सकता है
आधुनिक GPU, CPU, SoC की जबरदस्त complexity शायद हमें उतनी महसूस नहीं होती
अरबों transistors वाले 3nm chip को बनाने की प्रक्रिया से तुलना करें तो Manhattan Project को बहुत विशाल project कहना मुश्किल है। वह breakthrough ज़रूर था, लेकिन EUV wafer development की तुलना में उसे “विशाल” कहना कठिन है
Manhattan Project की कम चर्चित बड़ी उपलब्धियों का भी उल्लेख होना चाहिए। असली केंद्र scientists नहीं, बल्कि Hanford और Oak Ridge थे
Hanford सिर्फ nuclear reactors नहीं था, बल्कि सचमुच शून्य से 43,000 से अधिक लोगों का शहर बनाने का project था
Oak Ridge में उस समय दुनिया की सबसे बड़ी building K-25 थी, जिसे 20 साल से अधिक समय बाद ही Boeing Everett Factory ने पीछे छोड़ा
ये दोनों ही project के बड़े cost centers भी थे। science सस्ती है, लेकिन uranium enrichment और plutonium production—खासकर वह काम जो किसी ने पहले कभी नहीं किया—सस्ते नहीं होते
10% जबरदस्त complexity है, और 90% Nvidia का profit margin है
लगभग 1960 के दशक से पहले बने परिणामों की गुणवत्ता और craftsmanship देखकर हर बार हैरानी होती है
पता नहीं उस दौर में समाज किस वजह से इतना wasteful, धीमा, महंगा और कम महत्वाकांक्षी आधुनिक समाज बन गया, लेकिन अगर लौट पाना संभव हो तो लौटना चाहूंगा
मुझे लगता है वजह professional management layer थी। manufacturing आदि में “ज़्यादा efficient” management के नाम पर कई बड़े reforms हुए, और बाद में उन्हें knowledge work पर भी लागू किया गया
खासकर office jobs के bureaucratic काम में specialization घट गया। अब तो doctors समेत हर कोई अपना assistant खुद ही बना हुआ है
बदलाव का दौर प्रत्यक्ष देखने वालों के किस्सों के मुताबिक, इस नई management culture ने जिन चीज़ों को खराब किया उनमें management खुद भी था, खासकर lower और middle management
पहले managers अपने peers या seniors के साथ meetings में जितना समय लगाते थे, उसमें पद के हिसाब से हल्का-सा फर्क होता था; lower managers की ऐसी meetings कम होती थीं और वे अपने subordinates की ज़रूरतों और operations बनाए रखने पर ध्यान देते थे
बदलाव के बाद management की सारी layers meetings, meetings और फिर meetings वाली culture में खिंच गईं, और उनमें से ज़्यादातर low-value थीं। दिखावा और राजनीति भी पहले से कहीं ज़्यादा organization के निचले स्तरों तक घुस गई
कहते हैं Apollo 11 के पीछे 4 लाख लोग थे। अगर लगभग 5 लाख लोग अपनी ज़िंदगी एक ही चीज़ बनाने में लगा दें, तो आज भी high-quality, अच्छी तरह बनी output बनाई जा सकती है
Nvidia: 26,000 लोग
TSMC: 73,000 लोग
Intel: 124,000 लोग
AMD: 25,000 लोग
Qualcomm: 50,000 लोग
ASML: 42,000 लोग
workforce के पैमाने से देखें तो पूरी global semiconductor industry भी शायद इसी स्तर की हो सकती है
बात सिर्फ output की quality और craftsmanship की नहीं है। workers की wages नहीं बढ़ीं, लेकिन productivity बढ़ी; अमीर और अमीर हुए, और income के नीचे के 90% लोगों की हालत बेहतर नहीं हो सकी
1971 के बाद इतने सारे indicators का लगातार खराब होना काफी पागलपन जैसा है[1]
[1] https://wtfhappenedin1971.com/
युद्ध के बाद machine tools बचे हुए बहुत थे और metal manufacturing processes का अनुभव भी भरपूर था
toys से कहीं व्यापक उपयोगों के लिए उपयुक्त injection-molded thermoplastics की कमी थी
अपेक्षाकृत ऊंची labour cost ने शायद material cost बचाने की incentive घटाई होगी
consumers manufactured goods के लिए ज़्यादा कीमत चुकाने के बदले उनसे repairable और लंबे समय तक चलने की उम्मीद करते थे
vacuum tube आधारित electronics में अक्सर high voltage और भारी transformers या batteries की ज़रूरत होती थी, और इससे बाहरी form factor metal या wood का तथा इस्तेमाल का तरीका non-portable तय हो जाता था। उदाहरण के लिए consumer radios अक्सर furniture में integrated होते थे
मेरी अपनी hypothesis तो है, लेकिन शायद उसे अपने तक रखना और अपने project पर पूरी मेहनत करना बेहतर होगा
I had no idea of the power of large companies. Only recently I learned that in constant dollars the development of the IBM 360 has been more expensive than the Manhattan Project.
इसके ठीक बाद वाला हिस्सा भी दिलचस्प है
I was beginning to see American publications in the first issue of Communications of the ACM. I was shocked by the clumsy, immature way in which they talked about computing. There was a very heavy use of anthropomorphic terminology, the "electronic brain" or "machines that think." That is absolutely killing. The use of anthropomorphic terminology forces you linguistically to adopt an operational view. And it makes it practically impossible to argue about programs independently of their being executed.
अगर मुख्य बात की जांच करें, तो https://thehistoryofcomputing.net/the-ibm-system360 कहता है कि “IBM ने 1960 के दशक के मध्य की मुद्रा-कीमत में 5 अरब डॉलर खर्च किए”, और Manhattan Project पर 2 अरब डॉलर खर्च हुए थे https://en.wikipedia.org/wiki/Manhattan_Project के अनुसार यह 1945 dollars में था, और https://www.bls.gov/data/inflation_calculator.htm के CPI inflation calculator के मुताबिक यह 1965 dollars में लगभग 3.5 अरब डॉलर है
उल्टा हिसाब लगाएं तो GPU training पर खर्च हुए ये 30 अरब डॉलर 1965 dollars में सिर्फ 3 अरब डॉलर हैं, इसलिए यह 360 से सस्ता पड़ता है
इतना खर्च करने के बाद भी वे अभी तक OpenAI की बराबरी क्यों नहीं कर पाए? OpenAI आखिर इतना अच्छा कैसे कर रहा है?
मैं मशीन लर्निंग विशेषज्ञ नहीं हूं, लेकिन “नहीं कर पाते” कहना कुछ ज्यादा कड़ा लगता है। Mark Zuckerberg वाले पॉडकास्ट को देखें तो ऐसा समझ आता है कि Meta, OpenAI से सीधी टक्कर नहीं लेना चाहता
recommendations जैसी मौजूदा AI सेवाओं पर ही वे पहले से बहुत संसाधन खर्च कर रहे हैं। विज्ञापन अभी भी और आगे भी cash generator हैं, और बड़े language models अभी तक बड़ा revenue नहीं बना पाए हैं
OpenAI का 2023 revenue करीब 2 अरब डॉलर था और 2024 में यह काफी बढ़ेगा, लेकिन Meta ने 2023 में 40 अरब डॉलर का net profit कमाया था। वित्तीय रूप से अभी competition करने की वजह नहीं है
Llama 400B अभी training में है, और GPT-4 के कई use cases पर भारी भी पड़ सकता है
पता नहीं आपने मुफ्त में उपलब्ध meta.ai इस्तेमाल किया है या नहीं। capability के मामले में यह पहले से काफी competitive है, बस Meta अभी इस पर बहुत ध्यान नहीं दे रहा या इसका प्रचार नहीं कर रहा
अभी training में चल रहे Llama 3 405B के मौजूदा सर्वश्रेष्ठ OpenAI model को पीछे छोड़ने की संभावना भी कम नहीं है
अंग्रेज़ी के आधार पर Llama 3 70B पहले ही Google और Anthropic के सभी models को हरा देता है, और केवल नवीनतम GPT-4 version से पीछे है। यह Open LLM Arena results के आधार पर है
LLAMA 3 काफी अच्छा है, और segment anything जैसे vision-side काम भी state-of-the-art हैं। Facebook के पास पहले से मजबूत monetization path है, इसलिए उसे ज़रूरी नहीं कि papers निकाले या demos बनाए
क्या यह सार्वजनिक है कि Meta इन GPUs को अपने internal operations में कितना इस्तेमाल कर रहा है, और वहां उसे किस तरह की savings दिख रही हैं?
निराशाजनक “meta ai” chat box के अलावा भी H100 लगाने के लिए बहुत सारे क्षेत्र होंगे। content recommendation engine से लेकर abuse prevention, network bandwidth और traffic flow optimization तक सब संभव है
group chat में group member के रूप में आने वाला @MetaAI काफी अच्छा था। उससे साथ मिलकर images के साथ मज़ाक कर सकते हैं, कहानियां लिख सकते हैं, किसी लेखक की नकल करवा सकते हैं या किसी खराब किताब के chapters लिखवा सकते हैं
कुछ पुराने group chats, जिनमें कई दिनों से messages नहीं थे, AI के साथ लगातार खिलवाड़ करने वाली जगहों में फिर से जिंदा हो गए
ऐसी तुलना की व्याख्या करना मुश्किल लगता है। inflation हटाकर देखने पर भी, जिस economy में यह खर्च आता है, वह खुद बढ़ रही है
खर्च को global economy, European economic area या Greater China जैसी social-region economy, या national economy के अनुपात के रूप में दिखाया जाए तो शायद ज्यादा स्पष्ट होगा
हो सकता है मैं कुछ miss कर रहा हूं
समझ नहीं आता कि सब सिर्फ inflation की बात क्यों कर रहे हैं। Manhattan Project के समय आधुनिक GPU जैसा device बनाना होता, तो उस project से कहीं बड़ा और महंगा supercomputer बनाना पड़ता
technology बस बेहद सस्ती हो गई है, जरूरी materials भी कम हो गए हैं, और research cost पहले ही चुकाई जा चुकी है
अगर यह बात सच है तो मैं जोड़ना चाहूंगा: यह सारा पैसा विज्ञापनों द्वारा छीनी गई मानवीय ध्यान-क्षमता और users की personal information के exploitation से जुटाया गया है। बधाई हो, मानवता
अगर ऐसा पैसा उपयोगी क्षेत्रों में लगाया जाता, तो क्या-क्या हासिल किया जा सकता था?
उलटे, economy के दूसरे heavy industry क्षेत्रों पर पहले से monopolies का कब्ज़ा है, इसलिए वहां कुछ हासिल करना मुश्किल-सा है
जब Google telecom में आया था, तो लगा था कि AT&T, Verizon, Comcast जैसे पुराने parasites को आसानी से गिरा देगा, लेकिन असल में क्या हुआ?
Apple ने cars, banking (credit cards), content में घुसने की कोशिश की—वही कहानी है
इसलिए वह पैसा अंततः इसी तरह खर्च होता है। Exxon, Monsanto, Pfizer, Boeing को छू नहीं सकते, housing·education·healthcare·banking में भी कुछ नहीं कर सकते
आखिर में नएपन पर cash जलाना ही सबसे कम resistance वाला default path बन जाता है। “उपयोगी क्षेत्र” सब दीवारों से घिरे हैं
Meta personal information बेचता नहीं है, केवल उसे advertising के लिए इस्तेमाल करता है
1 टिप्पणियां
Hacker News की राय
Manhattan Project और Apollo Program उम्मीद से ज़्यादा “सस्ते” लगते हैं, यह हैरान करता है
1960 के दशक में इंसान को चांद पर भेजने की लागत Apple के हालिया शेयर buyback के लगभग बराबर थी—यह अजीब लगता है
अधिक निष्पक्ष तुलना यह होगी कि औसत नागरिक की कितने वर्षों की सालाना आय के बराबर लागत थी
Manhattan Project 1944 में 2 अरब डॉलर का था, और 1940 की जनगणना के median household income के आधार पर यह 1,21,000 household-years के बराबर था
Apple का share buyback 2024 में 110 अरब डॉलर का था, और 2022 की जनगणना के आधार पर यह 1,22,910 household-years के बराबर था
यानी 80 वर्षों में आधिकारिक महंगाई आंकड़ों ने लागत को लगभग 3.5 गुना कम आंका
Apollo rockets की testing वाली Santa Susana facility की cleanup में भी अरबों डॉलर लगने वाले हैं, और वहां अन्य cost factors भी हैं
उस समय सड़कें, रेल और जहाज़ बनाए जा सकते थे, लेकिन आज सैकड़ों नियम, lobbyists और अपना हिस्सा मांगने वाले stakeholders हैं
survival का मुद्दा अस्थायी रूप से सुलझ जाने के बाद financial incentives कहीं ज़्यादा महत्वपूर्ण हो जाते हैं
Manhattan Project और Apollo Program दोनों GDP के 0.4% थे। आज 27 ट्रिलियन डॉलर की GDP के आधार पर 108 अरब डॉलर वही अनुपात होगा, और Meta ने GPU पर जो पैसा खर्च किया है वह उसका एक-तिहाई भी नहीं है
पैमाना अविश्वसनीय है, और यह अच्छी बात नहीं है
और Meta retail price दे रहा होगा, ऐसा भी नहीं है
https://fred.stlouisfed.org/series/FYONGDA188S
आधुनिक GPU, CPU, SoC की जबरदस्त complexity शायद हमें उतनी महसूस नहीं होती
अरबों transistors वाले 3nm chip को बनाने की प्रक्रिया से तुलना करें तो Manhattan Project को बहुत विशाल project कहना मुश्किल है। वह breakthrough ज़रूर था, लेकिन EUV wafer development की तुलना में उसे “विशाल” कहना कठिन है
Hanford सिर्फ nuclear reactors नहीं था, बल्कि सचमुच शून्य से 43,000 से अधिक लोगों का शहर बनाने का project था
Oak Ridge में उस समय दुनिया की सबसे बड़ी building K-25 थी, जिसे 20 साल से अधिक समय बाद ही Boeing Everett Factory ने पीछे छोड़ा
ये दोनों ही project के बड़े cost centers भी थे। science सस्ती है, लेकिन uranium enrichment और plutonium production—खासकर वह काम जो किसी ने पहले कभी नहीं किया—सस्ते नहीं होते
लगभग 1960 के दशक से पहले बने परिणामों की गुणवत्ता और craftsmanship देखकर हर बार हैरानी होती है
पता नहीं उस दौर में समाज किस वजह से इतना wasteful, धीमा, महंगा और कम महत्वाकांक्षी आधुनिक समाज बन गया, लेकिन अगर लौट पाना संभव हो तो लौटना चाहूंगा
खासकर office jobs के bureaucratic काम में specialization घट गया। अब तो doctors समेत हर कोई अपना assistant खुद ही बना हुआ है
बदलाव का दौर प्रत्यक्ष देखने वालों के किस्सों के मुताबिक, इस नई management culture ने जिन चीज़ों को खराब किया उनमें management खुद भी था, खासकर lower और middle management
पहले managers अपने peers या seniors के साथ meetings में जितना समय लगाते थे, उसमें पद के हिसाब से हल्का-सा फर्क होता था; lower managers की ऐसी meetings कम होती थीं और वे अपने subordinates की ज़रूरतों और operations बनाए रखने पर ध्यान देते थे
बदलाव के बाद management की सारी layers meetings, meetings और फिर meetings वाली culture में खिंच गईं, और उनमें से ज़्यादातर low-value थीं। दिखावा और राजनीति भी पहले से कहीं ज़्यादा organization के निचले स्तरों तक घुस गई
Nvidia: 26,000 लोग
TSMC: 73,000 लोग
Intel: 124,000 लोग
AMD: 25,000 लोग
Qualcomm: 50,000 लोग
ASML: 42,000 लोग
workforce के पैमाने से देखें तो पूरी global semiconductor industry भी शायद इसी स्तर की हो सकती है
1971 के बाद इतने सारे indicators का लगातार खराब होना काफी पागलपन जैसा है[1]
[1] https://wtfhappenedin1971.com/
toys से कहीं व्यापक उपयोगों के लिए उपयुक्त injection-molded thermoplastics की कमी थी
अपेक्षाकृत ऊंची labour cost ने शायद material cost बचाने की incentive घटाई होगी
consumers manufactured goods के लिए ज़्यादा कीमत चुकाने के बदले उनसे repairable और लंबे समय तक चलने की उम्मीद करते थे
vacuum tube आधारित electronics में अक्सर high voltage और भारी transformers या batteries की ज़रूरत होती थी, और इससे बाहरी form factor metal या wood का तथा इस्तेमाल का तरीका non-portable तय हो जाता था। उदाहरण के लिए consumer radios अक्सर furniture में integrated होते थे
तो क्या यह IBM ने System/360 पर जितना पैसा खर्च किया था, उससे कम है?
Dijkstra को उद्धृत करें तो https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
इतना खर्च करने के बाद भी वे अभी तक OpenAI की बराबरी क्यों नहीं कर पाए? OpenAI आखिर इतना अच्छा कैसे कर रहा है?
recommendations जैसी मौजूदा AI सेवाओं पर ही वे पहले से बहुत संसाधन खर्च कर रहे हैं। विज्ञापन अभी भी और आगे भी cash generator हैं, और बड़े language models अभी तक बड़ा revenue नहीं बना पाए हैं
OpenAI का 2023 revenue करीब 2 अरब डॉलर था और 2024 में यह काफी बढ़ेगा, लेकिन Meta ने 2023 में 40 अरब डॉलर का net profit कमाया था। वित्तीय रूप से अभी competition करने की वजह नहीं है
अंग्रेज़ी के आधार पर Llama 3 70B पहले ही Google और Anthropic के सभी models को हरा देता है, और केवल नवीनतम GPT-4 version से पीछे है। यह Open LLM Arena results के आधार पर है
क्या यह सार्वजनिक है कि Meta इन GPUs को अपने internal operations में कितना इस्तेमाल कर रहा है, और वहां उसे किस तरह की savings दिख रही हैं?
निराशाजनक “meta ai” chat box के अलावा भी H100 लगाने के लिए बहुत सारे क्षेत्र होंगे। content recommendation engine से लेकर abuse prevention, network bandwidth और traffic flow optimization तक सब संभव है
कुछ पुराने group chats, जिनमें कई दिनों से messages नहीं थे, AI के साथ लगातार खिलवाड़ करने वाली जगहों में फिर से जिंदा हो गए
ऐसी तुलना की व्याख्या करना मुश्किल लगता है। inflation हटाकर देखने पर भी, जिस economy में यह खर्च आता है, वह खुद बढ़ रही है
खर्च को global economy, European economic area या Greater China जैसी social-region economy, या national economy के अनुपात के रूप में दिखाया जाए तो शायद ज्यादा स्पष्ट होगा
हो सकता है मैं कुछ miss कर रहा हूं
समझ नहीं आता कि सब सिर्फ inflation की बात क्यों कर रहे हैं। Manhattan Project के समय आधुनिक GPU जैसा device बनाना होता, तो उस project से कहीं बड़ा और महंगा supercomputer बनाना पड़ता
technology बस बेहद सस्ती हो गई है, जरूरी materials भी कम हो गए हैं, और research cost पहले ही चुकाई जा चुकी है
अगर यह बात सच है तो मैं जोड़ना चाहूंगा: यह सारा पैसा विज्ञापनों द्वारा छीनी गई मानवीय ध्यान-क्षमता और users की personal information के exploitation से जुटाया गया है। बधाई हो, मानवता
अगर ऐसा पैसा उपयोगी क्षेत्रों में लगाया जाता, तो क्या-क्या हासिल किया जा सकता था?
जब Google telecom में आया था, तो लगा था कि AT&T, Verizon, Comcast जैसे पुराने parasites को आसानी से गिरा देगा, लेकिन असल में क्या हुआ?
Apple ने cars, banking (credit cards), content में घुसने की कोशिश की—वही कहानी है
इसलिए वह पैसा अंततः इसी तरह खर्च होता है। Exxon, Monsanto, Pfizer, Boeing को छू नहीं सकते, housing·education·healthcare·banking में भी कुछ नहीं कर सकते
आखिर में नएपन पर cash जलाना ही सबसे कम resistance वाला default path बन जाता है। “उपयोगी क्षेत्र” सब दीवारों से घिरे हैं