- हाई-परफॉर्मेंस कंप्यूटिंग के शुरुआती दौर में प्रमुख टेक कंपनियों ने Unix के अपने-अपने closed-source वर्ज़न विकसित किए
- समय के साथ open source Linux लोकप्रिय हुआ, और आज यह cloud computing तथा mobile operating systems का standard बन चुका है
- उम्मीद है कि AI भी इसी तरह विकसित होगा
- अभी कई टेक कंपनियाँ closed models विकसित कर रही हैं, लेकिन open source तेज़ी से बराबरी कर रहा है
- पिछले साल Llama 2 पिछली पीढ़ी के models की तुलना में पीछे था, लेकिन इस साल Llama 3 सबसे अग्रणी models के साथ प्रतिस्पर्धा करने के स्तर तक पहुँच गया है
- अगले साल से उम्मीद है कि Llama models इंडस्ट्री के सबसे अग्रणी models बन जाएंगे
- openness, modification की सुविधा और cost efficiency में Llama पहले से ही आगे है
- अब हम open source AI को industry standard बनाने के अगले चरण पर बढ़ रहे हैं
- Meta ने आज Llama 3.1 405B, पहला state-of-the-art open source AI model, और Llama 3.1 70B, 8B models की घोषणा की
- closed models की तुलना में इसका cost-performance ratio कहीं बेहतर है, और 405B model का open source होना इसे छोटे models को fine-tune और refine करने के लिए सबसे अच्छा विकल्प बनाएगा
- हम विभिन्न कंपनियों के साथ मिलकर एक व्यापक ecosystem को बढ़ा रहे हैं
- Amazon, Databricks, NVIDIA आदि के साथ मिलकर AI models की fine-tuning और distillation को support करने वाली पूरी services प्रदान की जा रही हैं
- Groq low-latency, low-cost inference services बना रहा है
- models AWS, Azure, Google, Oracle सहित सभी प्रमुख clouds पर उपलब्ध हैं
- Scale.AI, Dell, Deloitte आदि enterprise को Llama अपनाने और अपने data का उपयोग करके custom models train करने में मदद कर रहे हैं
- जैसे-जैसे community बढ़ती है और अधिक कंपनियाँ नई services विकसित करती हैं, हम Llama को industry standard बना सकते हैं और AI के लाभ सभी तक पहुँचा सकते हैं
- Meta open source AI के लिए प्रतिबद्ध है
- open source आपके लिए सबसे उपयुक्त development stack क्यों है,
- Llama को open source करना Meta के लिए क्यों अच्छा है,
- और open source AI दुनिया के लिए क्यों अच्छा है,
- इसलिए यह उस platform के बारे में बताता है जो लंबे समय तक टिकेगा
open source AI डेवलपर्स के लिए क्यों अच्छा है
- आप models को खुद train, fine-tune और distill कर सकते हैं: हर संगठन अपने unique data का उपयोग करके model को सबसे उपयुक्त size में अनुकूलित कर सकता है
- closed vendors पर निर्भर हुए बिना स्वतंत्रता बनाए रखें: open source एक compatible toolchain ecosystem देता है, जिससे आप स्वतंत्र रूप से move कर सकते हैं
- data protection: sensitive data को cloud API पर भेजे बिना अपने model पर process किया जा सकता है
- cost efficient: Llama 3.1 405B model पर inference closed models की तुलना में लगभग 50% सस्ता है
- दीर्घकालिक standard में निवेश: open source, closed models की तुलना में तेज़ी से आगे बढ़ रहा है
open source AI Meta के लिए क्यों अच्छा है
- Meta का business model सर्वोत्तम अनुभव और services देना है
- इसके लिए cutting-edge technology तक हमेशा पहुँच होनी चाहिए और competitors के closed ecosystems में बँधना नहीं चाहिए
- Apple platform पर services बनाने के अनुभव से closed ecosystem की सीमाएँ सामने आईं
- open ecosystem बनाने से बेहतर services दी जा सकती हैं
- open sourcing को लेकर चिंता होती है कि इससे technological advantage छोड़ना पड़ेगा, लेकिन यह बड़ी तस्वीर को नज़रअंदाज़ करता है
- ecosystem development: Llama को tools, efficiency improvements, silicon optimization और अन्य integrations के साथ एक पूर्ण ecosystem के रूप में विकसित होना चाहिए। अगर Llama का उपयोग केवल Meta ही करे, तो ecosystem विकसित नहीं होगा
- competitiveness बनाए रखना: AI development बेहद प्रतिस्पर्धी होगा, इसलिए open sourcing का मतलब किसी बड़े technological advantage को छोड़ना नहीं है। Llama को हर पीढ़ी में competitive, efficient और open होना चाहिए
- business model में अंतर: Meta का business model AI model access बेचना नहीं है, इसलिए Llama को open source करने से उसकी revenue, sustainability या research investment की क्षमता प्रभावित नहीं होती। यही उन कारणों में से एक है जिनकी वजह से कई closed providers सरकारों के सामने open source के खिलाफ lobbying कर रहे हैं
- open source experience: Meta के पास open source projects और उनकी सफलता का इतिहास है। Open Compute Project के जरिए servers, networks और data center designs को open करके अरबों डॉलर बचाए गए। PyTorch, React जैसे tools को open source करके ecosystem innovation का लाभ मिला। यह approach लंबे समय में लगातार Meta के पक्ष में रही है
open source AI दुनिया के लिए क्यों अच्छा है
- AI के सकारात्मक भविष्य के लिए open source आवश्यक है
- AI productivity, creativity और quality of life को बढ़ा सकता है, economic growth को तेज़ कर सकता है, और healthcare तथा scientific research में प्रगति संभव बना सकता है
- open source अधिक लोगों को AI के लाभ और अवसर उपलब्ध कराता है और यह सुनिश्चित करता है कि शक्ति कुछ कंपनियों तक सीमित न रहे
- यह AI technology को समाज में अधिक समान और सुरक्षित तरीके से वितरित करने में मदद करता है, और open source अधिक सुरक्षित है क्योंकि इसका development पारदर्शी होता है
- सुरक्षा को समझने के लिए मेरा framework यह है कि हमें दो श्रेणियों के नुकसान से बचाव करना चाहिए
- अनपेक्षित नुकसान: जब AI systems अनजाने में नुकसान पहुँचाते हैं
- उदाहरण: गलत health advice देना, self-replication, या goals का अत्यधिक optimization
- जानबूझकर किया गया नुकसान: जब malicious users AI model का उपयोग करके नुकसान पहुँचाते हैं
- अधिकांश चिंताएँ अनपेक्षित नुकसान से जुड़ी हैं
- उदाहरण: लोगों पर AI systems का प्रभाव, AI द्वारा मनुष्यों को नुकसान पहुँचाने वाले science fiction जैसे scenarios
- open source अनपेक्षित नुकसान को रोकने में अधिक सुरक्षित है क्योंकि systems अधिक transparent होते हैं और उनका व्यापक review किया जा सकता है
- Llama जैसे open source models, safety systems (Llama Guard) की वजह से closed models की तुलना में अधिक safe और secure हो सकते हैं
- हम सख्त testing और red team activities सहित model की harmfulness का आकलन करने और risk को कम करने की कोशिश कर रहे हैं
- model को public किया गया है ताकि कोई भी उसका testing कर सके
- क्योंकि AI models इंटरनेट की जानकारी से सीखते हैं, इसलिए यह भी देखना होगा कि क्या model मौजूदा जानकारी से अधिक नुकसान पहुँचा सकता है
- जानबूझकर किए गए नुकसान पर विचार
- छोटे actors और बड़े actors के बीच अंतर करना चाहिए
- भविष्य में malicious individuals AI models का उपयोग करके नए तरह के नुकसान पैदा कर सकते हैं
- AI का व्यापक रूप से deploy होना ज़रूरी है ताकि बड़े actors छोटे malicious actors की शक्ति को संतुलित कर सकें
- जब बड़े institutions बड़े पैमाने पर AI deploy करते हैं, तो यह पूरे समाज में security और stability को बढ़ावा देता है
- अमेरिका और लोकतांत्रिक देशों की प्रतिक्रिया
- अमेरिका की ताकत decentralized open innovation है
- कुछ लोग तर्क देते हैं कि models को closed रखना चाहिए ताकि China उन तक पहुँच न सके, लेकिन यह प्रभावी नहीं है
- espionage बहुत उन्नत है, इसलिए models के चोरी हो जाने की संभावना अधिक है
- केवल closed models वाली दुनिया में कुछ बड़ी कंपनियों और विरोधी देशों को models तक पहुँच मिलेगी, जबकि startups, universities और छोटे businesses अवसर से वंचित रह सकते हैं
- अगर अमेरिका की innovation को closed development तक सीमित किया गया, तो बढ़त बनाए रखना मुश्किल होगा
- हमें open ecosystem बनाना चाहिए और सरकारों तथा सहयोगी देशों के साथ मिलकर नवीनतम technology के लाभ को अधिकतम करना चाहिए
- open source AI आर्थिक अवसर और सुरक्षा का अधिकतम लाभ उठाने का दुनिया का सबसे अच्छा तरीका है
- आज की प्रमुख टेक कंपनियाँ और scientific research open source software पर आधारित हैं
- अगली पीढ़ी की कंपनियाँ और research भी open source AI का उपयोग करेंगी
आइए इसे साथ मिलकर बनाएं
- Meta, पहले के Llama models से अलग approach अपना रहा है
- हमने internally teams बनाई हैं ताकि जितने संभव हों उतने developers और partners Llama का उपयोग कर सकें
- हम सक्रिय रूप से partnerships बना रहे हैं ताकि ecosystem की अधिक कंपनियाँ अपने customers को unique features दे सकें
- हमारा मानना है कि Llama 3.1 release इंडस्ट्री का वह turning point होगा जहाँ से अधिकांश developers मुख्य रूप से open source का उपयोग करना शुरू करेंगे
5 टिप्पणियां
Meta ने अब तक जो किया है, उसे देखते हुए ऐसा लगता है कि वह अनजाने नुकसान हो या जानबूझकर किया गया नुकसान, दोनों को होने देने की काफी संभावना रखती है। मेरी व्यक्तिगत राय में Zuckerberg भरोसेमंद व्यक्ति नहीं हैं।
क्या Llama open source है? No.
training data = source code
इस बार का Llama 3.1 मॉडल open source के रूप में जारी किया गया है। लेकिन training data सार्वजनिक नहीं है। AI और deep learning में training data ही 'source code' होता है, और मॉडल किसी app जैसी चीज़ होता है। इसलिए, वास्तव में Llama को open source नहीं कहा जा सकता। यह बस एक मुफ्त language model app जारी करने जैसा है।
क्या Meta के Llama training data को सार्वजनिक करने की संभावना है? No.
Llama का training data सिर्फ text में ही 15 ट्रिलियन tokens का है, और multimodal training के लिए image, video, audio data भी होगा। इनमें से काफ़ी हिस्सा Facebook या Instagram जैसी सेवाओं के customer data होने की संभावना है। इसलिए, इसे सार्वजनिक करना सामाजिक रूप से data ownership और copyright से जुड़े बड़े मुद्दे खड़े कर सकता है, इस वजह से अनुमान है कि Meta चाहकर भी यह data सार्वजनिक नहीं कर पाएगा.
मेटा कमाल है
Hacker News की राय
open source AI को लेकर इस्तेमाल की जाने वाली भाषा भ्रमित करने वाली है
AI startups और developers के लिए इसमें बड़े फायदे हैं
Meta उन गिनी-चुनी बड़ी AI कंपनियों में से एक है जो open models उपलब्ध कराती हैं
Meta का advertising revenue model ध्यान खींचने लायक है
Meta खुद को AI open source के champion के रूप में स्थापित करना चाहती है