‘GPU की कमी’ अमर रहे — ओपन-सोर्स AI अनुदान

 (a16z.com)
1 पॉइंट द्वारा GN⁺ 2023-09-01 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • a16z ओपन-सोर्स AI को AI ecosystem की मुख्य बुनियाद मानता है, और developers के बीच resource gap कम करने के लिए Open Source AI Grant शुरू किया है
  • बंद मॉडल्स से प्रतिस्पर्धा करने वाले ओपन-सोर्स मॉडल्स बढ़ने के साथ, individuals और छोटी teams का fine-tuning और optimization work मॉडल्स की उपयोगिता बढ़ा रहा है
  • सहायता के दायरे में instruction-tuning, बिना सेंसरशिप वाले LLM, local execution के लिए quantization, inference tools, LLM security research जैसे वे projects हैं जो technology की सीमाओं को आगे बढ़ाते हैं
  • ओपन-सोर्स AI में model size बढ़ने पर fine-tuning के लिए भी बड़ी मात्रा में GPU compute resources चाहिए होते हैं, इसलिए पारंपरिक infrastructure projects की तुलना में resource burden अधिक है
  • यह grant investment या SAFE note नहीं है, और recipients financial returns के दबाव के बिना अपना open-source काम जारी रख सकते हैं

a16z ने Open Source AI Grant की घोषणा की

  • a16z Open Source AI Grant program के जरिए कुछ चुनिंदा open-source developers को grant के रूप में support करता है
  • यह funding investment या SAFE note नहीं है, और इसका structure developers को financial returns पैदा करने के दबाव के बिना अपना काम जारी रखने में मदद करता है
  • a16z मानता है कि फलता-फूलता open-source ecosystem AI के भविष्य को बनाने के लिए जरूरी है

बंद मॉडल्स से मुकाबला करता ओपन-सोर्स AI

  • open-source ecosystem में open-source models सामने आ रहे हैं जो बंद alternatives से प्रतिस्पर्धा करते हैं
  • सैकड़ों छोटी teams और individuals मॉडल्स को ज्यादा उपयोगी, accessible और performant बनाने पर काम कर रहे हैं
  • ऐसे projects open-source AI के technical level को ऊपर उठाते हैं और technology की ज्यादा मजबूत और व्यापक समझ बनाने में मदद करते हैं

GPU resources bottleneck क्यों बनते हैं

  • projects बनाने वाले लोगों के पास अक्सर काम को अंत तक आगे बढ़ाने या लंबे समय तक maintain करने के लिए पर्याप्त resources नहीं होते
  • AI projects में resource समस्या पारंपरिक infrastructure की तुलना में अधिक स्पष्ट दिखती है
    • model fine-tuning के लिए भी काफी GPU compute resources की जरूरत होती है
    • जैसे-जैसे open-source models बड़े होते हैं, जरूरी resources भी साथ-साथ बढ़ते हैं

grant किन कार्य क्षेत्रों की ओर है

  • support में open-source AI models और tools की practical उपयोगिता बढ़ाने वाले कई काम शामिल हैं
    • base LLM के लिए instruction-tuning
    • बिना सेंसरशिप वाले LLM की fine-tuning
    • low-power machines पर मॉडल चलाने के लिए optimization
    • model inference के लिए नए tools बनाना
    • LLM security issues पर research
    • और अन्य open-source AI से जुड़े काम

पहले grant recipients और projects

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-01
Hacker News की राय

  • मैं AI grant पाने वालों में से एक हूं, और fast.ai में किए जा रहे काम को सपोर्ट मिलने के लिए a16z का बहुत आभारी हूं
    मेरा grant Lambda Labs का Scalar server खरीदने में लगा, जिसे पिछली पीढ़ी के 8 A6000 GPU के साथ कॉन्फ़िगर किया जा सका
    इसका एक कारण यह भी था कि NVIDIA ने हाल ही में उनमें से 3 उपलब्ध कराए, और Lambda Labs ने भी उन्हें cost price पर दिया
    a16z ने इस grant को दिए जाने की बात बताने के अलावा कोई equity या बदले में कुछ भी नहीं मांगा, और प्रक्रिया भी बहुत smooth थी
    लगभग कोई form नहीं था, बस एक पेज के contract पर sign करना था; contract साफ़ और fair था, उसमें लिखा था कि a16z को कोई अधिकार नहीं मिलेंगे, और server खरीदने की रकम भी तुरंत transfer कर दी गई

    • यहां पिछली पीढ़ी के A6000 GPU से मतलब “RTX A6000” और “RTX 6000 Ada Generation” के बीच फर्क बताना है
      पहला Ampere architecture पर है और GeForce 30 series के बराबर है, जबकि दूसरा Ada architecture पर है और GeForce 40 series के बराबर है
      लगता है Nvidia को पूरा भरोसा है कि वह technical generation names उतने ही खराब रख सकती है जितने USB Implementers Forum रखता है
    • a16z ने grant देने की बात बताने के अलावा कोई equity या बदले में कुछ नहीं मांगा, और contract में साफ़ लिखा कि उन्हें कोई अधिकार नहीं मिलेंगे—यह काफी उदार तरीका है और ईमानदार business operator होने का मजबूत संकेत लगता है
    • जहां जरूरत है, जिस व्यक्ति को इसकी कद्र होगी, वहां बिना किसी शर्त के support जाते देखना सचमुच अच्छा है
      ऐसी चीजें और ज्यादा हों, और jph00 के काम के लिए शुभकामनाएं

  • HN के लोगो, इस नई initiative की घोषणा करते हुए मुझे बहुत खुशी हो रही है
    यह program उन individuals, teams और hackers को support करने के लिए बनाया गया है जो commercial company बनाने का लक्ष्य नहीं रखते
    फिर भी ये projects open source AI की frontier को आगे बढ़ाते हैं, और technology कैसे आगे बढ़ती है इसे ज्यादा मजबूत और inclusive तरीके से समझने में मदद करते हैं
    थोड़ा-सा योगदान दे पाने पर गर्व है, और first cohort तथा इस क्षेत्र में योगदान देने वाले सभी लोगों का धन्यवाद

    • मुझे यह अच्छा project लगता है
      अगर कोई individual अलग-अलग training data ideas के साथ इस क्षेत्र में योगदान देना चाहता है, तो क्या उसे पहले खुद को साबित करके attention पाना होगा, या proposal submit करने का कोई तरीका है?
      मेरे मामले में compute cost काफी महंगी है, इसलिए proof-of-concept के लिए कुछ tests तो afford कर सकता हूं, लेकिन उससे ज्यादा मुश्किल है; और एक 4090 पर llama70b को 1it/s से तेज चलाना संभव नहीं
    • GPU कहां से लाते हैं, यह जानने की उत्सुकता है

  • list में oobabooga देखकर बहुत खुशी हुई
    हर कोई अपने-अपने तरीके से योगदान दे रहा है, और ooba कई models आज़माने के लिए एक बेहतरीन portal का काम करता है
    README में भी लिखा है कि यह text generation field का automatic 1111 जैसा बनना चाहता है
    मेरे जैसे beginners के लिए इस नई दुनिया को explore करने में ooba एक अच्छा entry point है

  • मौजूदा grant recipients को देखकर बधाई देना चाहता हूं
    सभी high-impact individuals या teams हैं, और साफ़ दिखता है कि अच्छी research करके पैसा जहां जाना चाहिए वहीं लगाया गया है

  • शुरुआती सवाल है: अगर 25,000 डॉलर हों, तो कितने GPU खरीदकर “GPU Poor” को support करने में मदद की जा सकती है?
    क्या ऐसा कुछ खुद build करने के लिए कोई DIY guide है?
    मैं cash donate करने के बजाय कुछ GPUs somehow setup करके लोगों को cost price पर use करने देना चाहता हूं

    • 25K में server rent करने के पैसे हो जाएंगे, या roughly assemble करके 8x4090 machine जैसी कुछ बनाई जा सकती है
      8xA100, 8xH100 servers, जिन्हें ज्यादातर लोग चलाना चाहते हैं, 200,000 डॉलर से ऊपर जाते हैं, और पैसे होने पर भी अभी उन्हें पाना बहुत मुश्किल हो सकता है
    • vast.ai इस्तेमाल करके आप ऐसा provide करना शुरू कर सकते हैं, और hosting docs भी काफी हैं: https://vast.ai/docs/hosting/hosting
      शायद इसे किसी खास user group तक सीमित न कर पाएं, लेकिन vast.ai इस्तेमाल करने वाले आम तौर पर बड़ी कंपनियों से ज्यादा छोटी companies, individuals और researchers ही होंगे, इसलिए practically यह “GPU Poor” की मदद ही है
    • उस budget में, सच कहूं तो खरीदने के बजाय spot/rental instances इस्तेमाल करने की सलाह दूंगा
      A100 लगभग 2 डॉलर प्रति घंटे का है, और मुश्किल हिस्सा बड़ा quota हासिल करना है
      training jobs वैसे भी काफी uneven होती हैं; एक बड़े single run से पहले कई छोटे experiments चलाना आम बात है
    • बुरा इरादा थोपना नहीं चाहता, लेकिन यह resources donate करने से ज्यादा condo खरीदकर rent से loan चुकाने जैसा नहीं है क्या?
    • location East Coast, New York मानकर चलें

  • यह सच में शानदार है
    list में मेरे इस्तेमाल किए हुए कई tools दिख रहे हैं, और उन्हें financial support मिलते देखना अच्छा है
    अच्छा होगा अगर Ollama भी जल्द list में आ जाए
    मेरे पास एक मजेदार idea है जिसे test करना चाहता हूं; शायद उसे 8X A100 के कुछ घंटे और EvolveInstruct-style data चाहिए होगा, इसलिए 1,000 डॉलर से ज्यादा खर्च आ सकता है
    grant #2 में शामिल हो पाऊंगा या नहीं, यह देखने के लिए code तैयार करने की कोशिश करूंगा

    • अच्छा है, MVP के सफल होने की उम्मीद है
      feedback के लिए भी बहुत धन्यवाद, और Ollama के लोगों से भी मिल रहे हैं

  • ऐसे और कौन से open source LLM projects हैं जिन पर लोग depend करते हैं?
    यह future grant recipients के ideas खोजने के लिहाज से है
    initiative अच्छी है और first selection भी शानदार है; management fees का बहुत अच्छा इस्तेमाल है
    extra candidates सोचने की कोशिश करता हूं तो मुश्किल होती है, क्योंकि TheBloke, vLLM, oobabooga जैसे नाम, जिन्हें मैं recommend करता, पहले ही शामिल हैं
    future recipients के candidates के रूप में MLC LLM, ExLlama, text-generation-inference का open source fork, और AutoGPTQ ध्यान में आते हैं

    • शानदार suggestions हैं, धन्यवाद

  • जुड़े हुए लोगों को बधाई
    यह समझते हुए भी कि इसमें कुछ हद तक branding/marketing motivation है, अच्छा लगता है कि a16z हाल के वर्षों के crypto या shallow media production की तुलना में real pain points solve करने पर ज्यादा aligned दिख रहा है
    उम्मीद है वे ऐसा जारी रखेंगे, और ज्यादा “thought leaders” और venture capital firms भी follow करेंगी

    • नहीं, वे अब भी दुनिया बचा रहे हैं
      फर्क बस इतना है कि अब crypto से नहीं, AI से बचा रहे हैं
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • मैं सहमत हूं कि यह initiative real pain points solve करने में मदद करती है
      हालांकि “Crypto” का बचाव करने की कोशिश नहीं कर रहा, लेकिन real pain points solve करने का पैमाना काफी subjective नहीं है क्या?
      उदाहरण के लिए, कई लोगों और companies के लिए ad click-through rate बढ़ाना और crypto/gas fees घटाना भी real pain point और जरूरत हो सकता है; बस वह problem मेरे लिए important नहीं हो सकती

  • हैरानी हुई
    first selection सचमुच मजबूत है, और naturally होने वाले organic experimentation का बड़ा हिस्सा सीधे इन पर depend करता है

  • “Eric Hartford: censorship-free LLM fine-tuning” का आगे बढ़ना देखकर बहुत खुशी है
    LLM बहुत valuable tools बनने वाले हैं, और ऐसे tools में censorship built-in होना काफी बेचैन करने वाला है
    बस सोचिए कि safety और ethics के नाम पर Word आपको “bad words” type करने से रोक दे