YC का ‘LLM चिप डिजाइन’ प्रस्ताव क्यों चूक गया

 (zach.be)
1 पॉइंट द्वारा GN⁺ 2024-11-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • YC का मानना है कि LLM कस्टम डिजिटल सिस्टम डिजाइन की लागत को काफी घटा सकते हैं, लेकिन असली bottleneck code generation से ज्यादा चिप architecture design और verification में है
  • LLM कभी-कभी काम करने वाला Verilog बना सकते हैं, लेकिन अभी उनका प्रदर्शन इंसानों से कम है, और वे आधुनिक accelerator chips के प्रदर्शन को तय करने वाली नई architecture डिजाइन नहीं कर सकते
  • लागत घटाने वाला यह approach पुराने high-level synthesis (HLS) जैसा है; HLS ने productivity तो बढ़ाई, लेकिन RTL flow की तुलना में result quality और performance कम रहे, इसलिए high-value chip market में mainstream नहीं बन पाया
  • LLM या HLS जिन क्षेत्रों में मददगार हैं, वे सीमित हैं—जैसे RTL expertise की कमी वाली teams के लिए FPGA acceleration; genomics या CFD जैसे markets को GPU कुछ हद तक पूरा कर देते हैं और उनका scale भी छोटा है
  • ज्यादा वास्तविक अवसर design automation से ज्यादा chip verification productivity में है, हालांकि LLM को complex chip specifications समझने और उन पर reasoning कराने की चुनौती अभी बाकी है

YC के प्रस्ताव ने chip design के bottleneck को कहाँ मिस किया

  • YC ने अपने ताजा Request for Startups में माना कि custom digital system design, custom design, development और testing के कारण महंगा रहा है, और large language models से लागत काफी घटाई जा सकती है
  • विशेष algorithms या computations को optimize करने पर cryptocurrency mining, data compression, special-purpose encryption जैसे काम 5x~100x तेज और 10x~100x कम ऊर्जा में किए जा सकते हैं
  • अगर Gary Tan और YC सचमुच मानते हैं कि LLM इंसानों से 100 गुना बेहतर chips design कर सकते हैं, तो वे chip design की कठिनाई और designers की expertise को बहुत कम आंक रहे हैं
  • LLM कभी-कभी functional Verilog लिखते हैं, लेकिन अभी उनका performance इंसानों से कम है, और आधुनिक accelerator chips में performance improvement लाने वाली नई chip architecture design करने की क्षमता उनमें नहीं है
  • अंततः LLM, chips को बहुत बेहतर बनाने वाली शक्ति से ज्यादा साधारण Verilog code पैदा करने वाला tool हैं

HLS ने पहले ही लागत घटाने वाले approach की सीमाएँ दिखा दीं

  • LLM-based tools से chip design लागत घटाकर hardware acceleration की economics को व्यापक करने की उम्मीद, पुराने high-level synthesis (HLS) प्रयासों जैसी है
  • HLS 1998 में Forte Design Systems की स्थापना के साथ सामने आया, और Cynthesizer ने कुछ timing constraints के आधार पर SystemC को Verilog में अपने-आप convert किया
  • HLS tools C, C++, Scala जैसी high-level languages के code को Verilog में बदलते हैं, जिसे ASIC और FPGA के लिए logic gates में synthesize किया जा सकता है
  • मकसद था कि गहरी Verilog expertise न रखने वाली teams भी silicon को सस्ता और आसान तरीके से develop कर सकें
  • Cynthesizer व्यापक रूप से स्थापित नहीं हो पाया, और Forte को 2014 में Cadence ने acquire कर लिया, जिसके बाद उसे Cadence के HLS tool Stratus में integrate कर दिया गया

HLS की मौजूदा assessment और high-performance chip market

  • Xilinx, जो अब AMD है, ने FPGA acceleration के लिए HLS को सक्रिय रूप से push किया, और Vitis को industry में अच्छे HLS tools में से एक माना जाता है
  • Lan Huang के HLS state-of-the-art survey की introduction HLS tools की सीमाएँ बताती है
    • designers अब भी hardware design के कई पहलुओं से exposed रहते हैं
    • development cycle अब भी लंबा है
    • quality of results (QoR), RTL flow से काफी पीछे है
  • दूसरे researchers के surveys में भी इसी तरह निराशाजनक results मिले हैं
  • HLS designer productivity बढ़ा सकता है, लेकिन बनने वाले designs का performance घटाता है
  • AI accelerators जैसे बेहद competitive high-value chip markets में performance मुख्य competitive metric है, इसलिए बेहतर RTL designers को hire करके तेज chips बनाने की upfront cost उठाना ज्यादा समझदारी है

छोटे accelerator markets की economics की समस्या

  • HLS performance और efficiency अहम होने वाले high-value, high-volume chips में जगह नहीं बना पाया, और कम-quality Verilog बनाने वाले LLM को भी वही समस्या झेलनी पड़ सकती है
  • HLS की कुछ सफल cases उन क्षेत्रों में हैं जहाँ silicon expertise न रखने वाले engineers को hardware acceleration इस्तेमाल करने में मदद मिली
    • genomics workloads का FPGA acceleration
    • CFD workloads का FPGA acceleration
  • ऐसे मामलों में HLS इसलिए valuable है क्योंकि उस hardware accelerator को बनाने वाले engineers के पास शुरुआत से RTL-level optimized design बनाने का अनुभव नहीं होता
  • लेकिन genomics और CFD के hardware acceleration markets अपेक्षाकृत छोटे हैं, GPU पहले ही कुछ demand पूरी कर रहे हैं, और उनकी sales AI chips या encryption accelerators की sales के एक हिस्से तक भी नहीं पहुँचती
  • अगर market बड़ा होता, तो optimized silicon बनाने के लिए skilled hardware engineers लगाना economically viable होता

लागत घटने से खुल सकने वाले क्षेत्र और सीमाएँ

  • LLM silicon development की लागत घटाकर genomics जैसे applications के लिए dedicated ASICs को संभव बना सकते हैं, जिनकी economics पहले नहीं बनती थी
  • लेकिन ऐसे ASIC पहले economic इसलिए नहीं थे क्योंकि उनका market बहुत बड़ा नहीं था
  • जिन applications को अभी hardware acceleration की जरूरत नहीं है, उनके छोटे markets होने की संभावना ज्यादा है, और वे startups के लिए खराब targets बनते हैं
  • बढ़ते markets में low-quality LLM-designed chips startups के लिए सस्ता शुरुआती foothold बन सकते हैं
  • जब market इतना बड़ा हो जाए कि पूरी chip design team justify हो सके, तो निकट भविष्य में human-designed chips performance में LLM-designed chips को आसानी से पीछे छोड़ देंगे

chip design में LLM की वास्तविक भूमिका

  • अगर LLM-based chip design मुख्यतः low-value markets ही खोलता है, तो startups और मौजूदा EDA companies द्वारा LLM अपनाने की वजह कहीं और है
  • Verilog के लिए LLM copilot ज्यादा से ज्यादा mediocre है, लेकिन उससे छोटे code snippets लिखवाने पर engineers का समय बच सकता है और company की लागत घट सकती है
  • ज्यादा महत्वपूर्ण क्षेत्र chip verification है
    • आम तौर पर silicon bugs बहुत महंगे होते हैं, इसलिए हर 1 designer पर 2 verification engineers की जरूरत होती है
    • आज अच्छे verification engineers खोजना कठिन है
  • अगर LLM verification को ज्यादा तेज, आसान और प्रभावी बना सकें, तो existing semiconductor companies और semiconductor startups दोनों के लिए बड़ी value बनेगी
  • लेकिन LLM को chip design specifications सचमुच समझने और उन पर reasoning करने लायक बनाना छोटा task नहीं है, और Bronco या Instachip की तरह fine-tuned LLM को chip verification पर सीधे apply करने वाले approaches को लेकर skepticism है

verification के लिए जरूरी model और beneficiaries

  • chip specifications अक्सर complex, incomplete और भूलभुलैया जैसे होते हैं
  • सफल chip verification के लिए LLM को chip की expected internal state समझनी होगी
  • मूल रूप से language model के पास chip का formal model होना चाहिए, जो mathematics के बजाय semiconductor verification पर लागू AlphaProof जैसी चीज के करीब है
  • Normal Computing नई thermodynamic chip architectures के साथ इसी दिशा में काम कर रहा है
  • LLM chip design को सस्ता बना सकते हैं, लेकिन मुख्य beneficiaries वे बड़ी semiconductor companies होंगी जो verification headcount घटा सकती हैं, पुराने तरीके के chip startups होंगे जो छोटी teams से चल सकते हैं, और LLM-based tools बेचने वाले EDA software startups होंगे
  • LLM 100 गुना बेहतर chips नहीं बनाएंगे और न ही hardware acceleration की कमी वाले markets को target करने वाले hardware startups को संभव बनाएंगे; economics फिट नहीं बैठती

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-18
Hacker News की राय

  • EDA क्षेत्र में LLM को अभी बहुत लंबा रास्ता तय करना है
    कुछ महीने पहले LinkedIn पर किसी ने प्रमुख LLMs से एक ऐसे सर्किट की कुल capacitance पूछी थी जिसमें 3 capacitors थे; चित्र सहज बोध के उलट बना था, लेकिन वे वास्तव में parallel में थे। एक भी सही जवाब नहीं दे पाया। उन्होंने न सिर्फ इसे गलती से series माना, बल्कि series capacitance की गणना भी गलत की, और कई prompts आज़माने पर भी सही उत्तर नहीं मिला
    मैंने एक AI tool का विज्ञापन भी देखा जो supposedly schematic समझने में मदद करता है। उसने guitar distortion pedal जैसे दिखने वाले सर्किट में यह तो पहचान लिया कि capacitor DC को block करता है, लेकिन यह नहीं समझ पाया कि वह RC high-pass filter का component है। “4 साल की electrical engineering में यह भी नहीं सिखाया” वाला narration मज़ेदार था, लेकिन मैं सोच रहा था, क्या सच में capacitor का DC blocking और RC filter नहीं पढ़ाया जाता?
    इस क्षेत्र में शायद खुद चुना हुआ curated dataset बनाना होगा और कहीं अधिक specialized model train करना होगा। general-purpose models बहुत भटकते हैं

    • मेरा अनुमान है कि LLM की internal modeling कुछ ऐसी होगी: “यह student homework वाला capacitor circuit diagram है, और electrical components की calculation homework अगर simple addition होगी तो बहुत आसान हो जाएगी, इसलिए शायद reciprocal sum rule लगाना चाहिए”
      बहुत से university-educated लोग यह मानते हैं कि उन्होंने किसी खास subject में कुछ meaningful सीखा ही नहीं। मैं आसानी से मान सकता हूँ कि उन्होंने कुछ meaningful सीखा हो और बस उसे याद न रखा हो, लेकिन इसकी ज़िम्मेदारी class पर है या नहीं, इस पर मुझे कहीं ज़्यादा संदेह है
    • मुझे समझ नहीं आता कि शुरुआत से ही general-purpose instruction-tuned LLM से यह सही करने की अपेक्षा क्यों की जाए। इसका न कर पाना बिल्कुल भी चौंकाने वाला नहीं है; अगर कर लेता, तो शायद मैं काफ़ी हैरान होता
    • CS degree की वजह से जो introductory electrical engineering class लेनी पड़ी थी, वह आज भी दुःस्वप्न जैसी लगती है
      RC circuits सच में बहुत कठिन थे
    • The Art of Electronics में कुल कितने words होंगे? क्या उसे context में देकर देख नहीं सकते कि उससे मदद मिलती है या नहीं?

  • idea generation या learning जैसे चरणों में, जो मूल रूप से reproducible नहीं होते, LLM का उपयोग ठीक है। लेकिन यह अब भी यक़ीन करना मुश्किल है कि engineers reliability, inspectability, और interpretability की ज़रूरत वाले बेहद complex systems के core में एक slow, expensive, and nondeterministic black box रखना चाहते हैं

    • क्या आपका मतलब यह है कि complex systems के core में मौजूद nondeterministic black boxes को complex systems के core में nondeterministic black box डालने की इच्छा है, और यही मानना कठिन है?
    • मैंने यह मान लिया है। engineering और engineering से पैसे कमाना पूरी तरह अलग बातें हैं, और दूसरी चीज़ के लिए कभी-कभी तकनीक की भी ज़रूरत नहीं होती। हाँ, fraud बेशक unethical है
    • पूरी तरह सहमत। अभी मैं सारे sources नहीं ढूँढ सकता, लेकिन [1] और उसके references आगे गहराई में जाने के लिए एक अच्छा starting point हो सकते हैं
      मुझे याद है कि मैंने कोई proof या conjecture देखा था कि हर संभव prompt को block कर सकने वाला “LLM firewall” बनाना असंभव है, हालाँकि मेरी याददाश्त गलत भी हो सकती है
      [1] https://arxiv.org/abs/2410.07283
    • इंसान भी अपने आप में slow, expensive, और nondeterministic black box के काफ़ी क़रीब हैं
    • LLM को इस्तेमाल किए गए sampling method के आधार पर पूरी तरह deterministic बनाया जा सकता है। कुछ methods में कोई randomness नहीं होती
      बाकी सब सही है। अभी यह inspectable या interpretable नहीं है

  • जिन कामों में गहरी “understanding” या नए invention की ज़रूरत होती है, वे statistical word regurgitator को सौंपने लायक नहीं हैं। मैंने अभी तक किसी भी क्षेत्र में LLM द्वारा सचमुच कुछ नया invent करने का एक भी उदाहरण नहीं देखा। मेरा मतलब उस स्तर से है जहाँ उस क्षेत्र का expert उसे नया माने
    LLM जहाँ चमकते हैं, वह boilerplate generation है, और वह बहुत उपयोगी है। अभी तक मैंने LLM में वैसी कोई चीज़ नहीं देखी जो मौलिक “thought” जैसी लगे। मैं काम में रोज़ AI इस्तेमाल करता हूँ, फिर भी यही अनुभव है

    • मौलिक “thought” उत्पन्न करने वाले LLM बहुत हैं
      ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
      AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
      MatPilot द्वारा नई materials की खोज: https://arxiv.org/abs/2411.08063
      और Nvidia Omniverse का digital twin training भी है
      https://blog.google/technology/ai/google-ai-big-scientific-b...
    • इसे test करके देख लो। अगर आपको लगता है कि LLM chip design में क्रांति ला सकता है, तो उससे कहीं आसान काम करवाकर देखो। उससे एक नया और बेहतर sorting algorithm invent करने को कहो
      Timsort या Dijkstra जैसे नाम यूँ ही नहीं हैं। ऐसी चीज़ें invent करने के लिए दुर्लभ मानवीय creativity चाहिए। अगर LLM मौजूदा algorithms से अर्थपूर्ण रूप से बेहतर कोई नया sorting algorithm भी नहीं बना सकता, तो chip design जैसी कहीं अधिक कठिन चीज़ तो और भी मुश्किल होगी
    • “नया” किसे कहेंगे?

  • YC को इस बात से कोई मतलब नहीं कि LLM से chip design करना “समझदारी” है या नहीं। दूसरे VCs की तरह वह तकनीकी रूप से अक्षम है, और उसकी दिलचस्पी सिर्फ़ ऐसे hype-driven startups बनाने में है जिन्हें acquire किया जा सके
    Gary Tan की दिलचस्पी “बेहतर chips बनाने” में नहीं है, बल्कि किसी ऐसे भोले खरीदार को ढूँढने में है जो बेकार hype-driven companies को कई billion dollars में खरीद ले। पुराने ढंग की investment bank उसके लिए शायद ज़्यादा उपयुक्त होती
    YC तकनीकी रूप से अक्षम है और दुनिया को बेहतर बनाने वाली संस्था नहीं है। उनकी हर बात झूठ है और उनके असली इरादे, यानी पैसे कमाना, छिपाती है

    • मैं इसे अलग शब्दों में कहता, लेकिन मोटे तौर पर यह सही है। आज का VC यह जानते हुए भी कि AI गलत tool है, उसे फिर भी push करेगा; और application domain को जितना अधिक complex बनाया जाए, उतना आसान है किसी तथाकथित भोले खरीदार को ढूँढना
    • पहली बात, VC “बेकार startups” के acquire हो जाने से पैसा नहीं कमाते; वे असली outlier success से पैसा कमाते हैं। VC business में लगातार पैसा बनाने का वही एक तरीका है
      दूसरी बात, क्या आप ऐसा कोई उदाहरण दे सकते हैं जहाँ बिना वास्तविक revenue traction वाली “hype-driven company” “कई billions” में बिकी हो?
      तीसरी बात, investment banks asset sales को broker करते हैं, ख़ुद खरीदते नहीं
      अगर आपको VC, startup, और banking की बुनियादी बातें भी नहीं पता, तो शायद इस बातचीत से बाहर रहना बेहतर होगा

  • Qualcomm DSP आर्किटेक्चर टीम में 1 साल काम किया है, इसलिए इस क्षेत्र का थोड़ा अनुभव है, लेकिन बहुत ज़्यादा नहीं
    लेखक chip design की कुछ महत्वपूर्ण बातें छोड़ रहा है। ज़्यादातर समय और काम high-performance Verilog लिखने में नहीं जाता। डिजाइनर सवालों के जवाब देने, दस्तावेज़ लिखने, boilerplate कॉपी करने, और कठिन manuals व diagrams पढ़ने में बहुत समय लगाते हैं। LLM अभी भी इन सभी कामों में मदद कर सकता है
    मौजूदा स्थिति वाले LLM से ही design team की रफ़्तार कम-से-कम 2 गुना तेज़ की जा सकती है, और बेहतर tools हों तो model intelligence सुधरे बिना भी 4 गुना या 10 गुना तक संभव हो सकता है। ज़्यादातर लाभ ज़्यादा experiments चलाने, ज़्यादा चीज़ें आज़माने, design choices पर feedback जल्दी पाने, और documentation, communication, तथा खराब दस्तावेज़ पढ़ने में लगने वाला समय घटाने से आएगा

    • मैं ही लेखक हूँ। असहमत नहीं हूँ। दरअसल लेख में भी यही लिखा था
      “पता चला कि LLM लाभदायक बाजार वाले chips में भी काफ़ी मूल्यवान है। बस यह ज़्यादातर design work नहीं करेगा। Verilog के लिए LLM copilot, अच्छा मानें तो भी बस औसत है। लेकिन अगर LLM से छोटे code snippets लिखवाए जाएँ तो engineer का समय बचेगा और अंततः employer की लागत भी घटेगी।”
      designer के 2 गुना तेज़ होने की बात शायद आशावादी है, लेकिन मैं ग़लत भी हो सकता हूँ। chip design का मेरा ज़्यादातर अनुभव अच्छी documentation वाली छोटी कंपनियों में datapath architecture और design पर केंद्रित रहा है, इसलिए हो सकता है कि मैं औसत engineer द्वारा संभाले जाने वाले boilerplate की मात्रा को कम आँक रहा हूँ
      फिर भी मुझे नहीं लगता कि LLM जल्द ही high-performance datapath या networking Verilog design करेगा

  • लेख के ज़्यादातर तकनीकी बिंदुओं से सहमत हूँ
    फिर भी YC का इस क्षेत्र में innovation की मांग करना सार्थक हो सकता है। लेख सही तरह से दिखाता है कि chip design में LLM लागू करने में कोई आसान जीत नहीं है। अगर किसी खास application का बाजार बहुत छोटा है, तो LLM मदद करे तब भी बहुत फ़र्क नहीं पड़ेगा, और अगर chip बहुत महत्वपूर्ण है, तो आप सबसे बेहतरीन engineers को रखना चाहेंगे। software के उलट, chip design में long-tail effect इतना बड़ा नहीं है। chip tapeout कोई ऐसी चीज़ नहीं जिसे कोई hacker कर ले, और FPGA के साथ खेलना भी PC पर hacking करने से ज़्यादा entry cost माँगता है
    लेकिन अगर आगे बढ़ने का कोई साफ़ रास्ता होता, तो YC को innovative approaches माँगने की ज़रूरत ही नहीं पड़ती

    • इसे beginner का भोला अहंकार कहा जा सकता है
      George Hotz ने भी AI chip plan के साथ chip कंपनियों को उलट-पुलट देने की कोशिश में ऐसा ही दिखाया था https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre...। लगता है कि वह जटिलता को ठीक से नहीं समझ पाया था। हाँ, मानना पड़ेगा कि उसने जल्दी software और tiny-box बनाने की दिशा पकड़ ली
    • YC में chip design experts कितने हैं?
    • आगे बढ़ने का एक स्पष्ट रास्ता है, लेकिन यह शायद अल्पमत राय है, या शायद fringe view। यह पारंपरिक trade-offs का पालन नहीं करता
      bit-level non-von-Neumann general-purpose systolic array AI computation ही नहीं, लगभग हर चीज़ को बहुत तेज़ बना सकता है। यानी ऐसा chip जो general-purpose computation करे
      chip design ख़ुद लगभग मामूली है। मेरा मानना है कि कुछ वर्षों के अनुभव वाला कोई व्यक्ति इसे कुछ दिनों में बना सकता है। मैं अगली TinyTapeout में design submit करना चाहता हूँ। स्थिर आय की वजह से मुझे कुछ समय इंतज़ार करना पड़ा
      असली समस्या programming है। यह लगभग अंतहीन अनछुआ इलाका है। इस architecture को target करने का कोई अच्छा तरीका नहीं है, और आप शायद Verilog या किसी और hardware description language का उपयोग नहीं करना चाहेंगे
    • स्पष्ट रास्ता भी जोखिम भरा हो सकता है। पहली बात, जोखिम को बाँटना अच्छा है, और दूसरी बात, निवेश बढ़ने पर connections भी बढ़ते हैं
      LLM boom के बारे में, लगता है कि अंततः लोग समझेंगे कि LLM और algorithms को मिलाकर सिर्फ LLM इस्तेमाल करने की तुलना में कहीं ज़्यादा काम किए जा सकते हैं। यहाँ algorithm शब्द शायद बिल्कुल सटीक नहीं है; मतलब databases, algorithms, दूसरे models जैसे सहायक tools से है। उदाहरण के लिए पूरे dataset की बजाय सिर्फ access API ही LLM को सिखाया जा सकता है

  • chip design के बारे में कुछ नहीं जानता
    लेकिन “X क्षेत्र में AI लागू नहीं हो सकता। X जटिल है और मौजूदा LLM इंसानों से कमज़ोर हैं” जैसी बात हमेशा संदिग्ध लगती है
    VC आज के LLM-आधारित systems से X को सुधारने के लिए निवेश नहीं कर रहे, बल्कि उस भविष्य में निवेश कर रहे हैं जहाँ LLM-आधारित systems 100 गुना बेहतर performance देंगे
    writing भी जटिल थी और कभी LLM इंसानों से कमज़ोर थे, लेकिन अब स्थिति बदल चुकी है। digital art और music में भी ऐसा ही है। suno.AI देख लीजिए। इसमें एक pattern है

    • लेख में गहराई से नहीं आया, लेकिन Verilog में superhuman performance हासिल करने की एक बड़ी बाधा high-quality training data की कमी है
      expert-level Verilog का ज़्यादातर हिस्सा private है, इसलिए LLM आमतौर पर Python की तुलना में Verilog बहुत ख़राब लिखते हैं। वैसे LLM Python भी बहुत अच्छा नहीं लिखते
    • AI अभी कला में भी इंसानों से बेहतर नहीं है। LLM को लेकर आशावादी लोगों और logistic curve को न समझने वाले लोगों का Venn diagram मुझे लगभग एक वृत्त जैसा लगता है
    • इस खास मामले में यह देखना मुश्किल है कि LLM यहाँ से वहाँ तक कैसे पहुँचेगा। समस्या React website बनाने जैसी boilerplate code की नहीं, बल्कि प्रक्रिया में लिए जाने वाले सचमुच नए architecture और खासकर architectural decisions की है
      इनमें से कुछ बहुत मनमाने लग सकते हैं, और इन्हें सही करने के लिए गहरी समझ चाहिए। सिर्फ भाषा जैसे tokens से इसका अनुमान नहीं लगाया जा सकता। भौतिकी के नियमों और rules of thumb की बुनियादी समझ महत्वपूर्ण है
    • फिर भी मुझे यहाँ startup नहीं दिखता
      अगर किसी उपयोग के मामले में LLM इस क्षेत्र में अच्छा हो जाता है, तो लाभ किसी छोटे startup को नहीं बल्कि मौजूदा chip design कंपनियों को होगा
    • writing जटिल थी और LLM कभी इंसानों से कमज़ोर थे, लेकिन अब वे आसानी से औसत इंसानी स्तर की जगह ले सकते हैं। उन्हें इंसानों को आकर्षक लगने वाले जवाब देने के लिए tune किया गया है, इसलिए ऐसे subjective value वाले use cases में यह खास तौर पर सच है
      chip design वैसा बिल्कुल नहीं लगता। यह उस स्थिति के ज़्यादा क़रीब है जहाँ specialized trained tools मददगार होते हैं। general-purpose LLM ने कुछ खास tasks में जो क्षमता दिखाई है वह चौंकाने वाली है, लेकिन ऐसा भी बहुत कुछ है जहाँ broad text corpus पर trained model का specialized tools को पीछे छोड़ना बहुत कठिन लगता है। पहले पैराग्राफ़ पर लौटें, क्या यह सचमुच संदिग्ध नहीं लगता कि text पर trained model chess में Stockfish को हरा देगा?

  • YC ज़्यादातर निवेशकों की तरह AI पर अंधाधुंध दांव लगाकर दुआ कर रहा है

    • design automation tool startup के लिए आगे बढ़ना वाकई बहुत मुश्किल है। पहला, ग्राहक startup के products नहीं खरीदते, और दूसरा, acquisition के ज़रिए exit की संभावना का दायरा बहुत छोटा है
    • “greater fool” तर्क से पैसा कमाया जा सकता है। सफल sale, यानी exit, का मतलब यह ज़रूरी नहीं कि कंपनी सचमुच सफल और profitable भी हो

  • मेरी पढ़ाई में, किसी खास algorithm का hardware acceleration उसी algorithm को general-purpose processor पर software में चलाने की तुलना में 100 गुना तेज़ और efficient हो सकता है, और automated chip design एक कठिन problem space साबित हुआ है, इसलिए शायद विचार यह है कि AI लगाकर तरह-तरह के workloads के लिए special-purpose hardware accelerators में entry barrier कम किया जाए
    मेरा नहीं मानना कि इसका मतलब AI इंसानों से chip design 100 गुना बेहतर करेगा; मुझे लगता है कि वे जिस engineering trade-off की बात कर रहे हैं, वह यही हिस्सा है। हाँ, wording इतनी अटपटी और salesy है कि भ्रम हो तो किसी को दोष नहीं दिया जा सकता

    • उदारता से पढ़ें तो मुझे भी यही लगता है
      साथ ही, मूल लेख शायद यह कहकर मुद्दा चूक जाता है कि target applications के बाज़ार इतने छोटे हैं कि उनका पीछा करना सार्थक नहीं
      अलग-अलग देखें तो हर एक इतना बड़ा नहीं कि उससे किसी कंपनी की market cap बन जाए, लेकिन एक काल्पनिक AI chip startup ऐसे कई छोटे बाज़ारों को एक साथ target कर सकता है। क्या यह long-tail strategy नहीं होगी?

  • अच्छा लेख है, लेकिन YC का मुख्य सिद्धांत यह मानकर चलता है कि technology लगातार exponential pace से आगे बढ़ती रहती है, और फिर सोचा जाता है कि उससे क्या-क्या संभव होगा
    उनका प्रस्ताव हमेशा यह मानकर चलता है कि startup AI वाले Moore’s law जैसी किसी लहर पर सवार हो पाएंगे, और hardware synthesis उसका एक साफ use case है। यानी वे मान रहे हैं कि 2 साल के भीतर एक सफल AI hardware synthesis कंपनी निकल आएगी, और वे उस curve से आगे रहने की कोशिश कर रहे हैं
    मैं इस बात से सहमत हूँ कि वे शायद ग़लत हैं, लेकिन यह लेख वास्तव में यह नहीं समझाता कि AI capabilities की exponential growth पर दांव लगाना ग़लत क्यों है