Unix vs. Linux
Oracle vs. MySQL
open source ने सहयोग के ज़रिए innovation हासिल किया है। open source की ताकत transparency और collaboration है। Linux, MySQL जैसी सफल open source परियोजनाएँ उसका नतीजा हैं।
GPT-n vs. Llama ?
Llama में open innovation की सीमाएँ हैं।
Llama मॉडल में innovation लाने के लिए pretraining संभव होना चाहिए, लेकिन अभी सिर्फ post-training ही संभव है। इसकी वजह यह है कि Llama का training data सार्वजनिक नहीं किया गया है। AI और deep learning में source code असल में training dataset होता है। लेकिन Llama ने सिर्फ model weights सार्वजनिक किए हैं, जबकि training data, model training code, hyperparameters आदि सार्वजनिक नहीं किए गए। मौजूदा Llama weights के साथ fine-tuning, quantization जैसे tuning-आधारित innovation तो संभव हैं, लेकिन वे model weight innovation संभव नहीं हैं जो सिर्फ pretraining के ज़रिए ही हो सकते हैं। क्योंकि AI और deep learning में training dataset विकसित करना ही coding और debugging है। Llama का training data गैर-सार्वजनिक है, इसलिए लोग मिलकर सहयोग से उसे बेहतर नहीं बना सकते। इस लिहाज़ से Llama को open source कहना मुश्किल है।
इसके अलावा, community के पास GPU संसाधनों की कमी है।
कहा जाता है कि Llama की training में H100*16k GPU इस्तेमाल किए गए। सिर्फ GPU की लागत ही 600 अरब वॉन से ज़्यादा है। इसे चलाने के लिए infrastructure और बिजली जैसी अतिरिक्त लागत जोड़ें तो कुल खर्च आसानी से 1 ट्रिलियन वॉन से ऊपर जाएगा। यह ऐसा काम नहीं है जिसे कोई भी कोशिश कर सके। अगर open source community में innovation संभव होना है, तो public GPU cluster होना ज़रूरी होगा।
सारांश में
AI और deep learning क्षेत्र में open innovation संभव होने के लिए कम से कम ये दो बातें ज़रूरी हैं।
training data को सार्वजनिक करना
बड़े पैमाने पर public GPU cluster उपलब्ध कराना
लेकिन, पहला बिंदु copyright मुद्दों की वजह से संभव होने की संभावना बहुत कम है। और दूसरे के लिए 1 ट्रिलियन वॉन की ज़रूरत है।
निष्कर्ष यह है कि मौजूदा स्थिति में AI और deep learning क्षेत्र में open innovation की संभावना बहुत कम है। हालांकि, अगर GPU या neuromorphic chip जैसे hardware में innovation होता है, तो तस्वीर बदल सकती है।
1 टिप्पणियां
Unix vs. Linux
Oracle vs. MySQL
open source ने सहयोग के ज़रिए innovation हासिल किया है। open source की ताकत transparency और collaboration है। Linux, MySQL जैसी सफल open source परियोजनाएँ उसका नतीजा हैं।
GPT-n vs. Llama ?
Llama में open innovation की सीमाएँ हैं।
Llama मॉडल में innovation लाने के लिए pretraining संभव होना चाहिए, लेकिन अभी सिर्फ post-training ही संभव है। इसकी वजह यह है कि Llama का training data सार्वजनिक नहीं किया गया है। AI और deep learning में source code असल में training dataset होता है। लेकिन Llama ने सिर्फ model weights सार्वजनिक किए हैं, जबकि training data, model training code, hyperparameters आदि सार्वजनिक नहीं किए गए। मौजूदा Llama weights के साथ fine-tuning, quantization जैसे tuning-आधारित innovation तो संभव हैं, लेकिन वे model weight innovation संभव नहीं हैं जो सिर्फ pretraining के ज़रिए ही हो सकते हैं। क्योंकि AI और deep learning में training dataset विकसित करना ही coding और debugging है। Llama का training data गैर-सार्वजनिक है, इसलिए लोग मिलकर सहयोग से उसे बेहतर नहीं बना सकते। इस लिहाज़ से Llama को open source कहना मुश्किल है।
इसके अलावा, community के पास GPU संसाधनों की कमी है।
कहा जाता है कि Llama की training में H100*16k GPU इस्तेमाल किए गए। सिर्फ GPU की लागत ही 600 अरब वॉन से ज़्यादा है। इसे चलाने के लिए infrastructure और बिजली जैसी अतिरिक्त लागत जोड़ें तो कुल खर्च आसानी से 1 ट्रिलियन वॉन से ऊपर जाएगा। यह ऐसा काम नहीं है जिसे कोई भी कोशिश कर सके। अगर open source community में innovation संभव होना है, तो public GPU cluster होना ज़रूरी होगा।
सारांश में
AI और deep learning क्षेत्र में open innovation संभव होने के लिए कम से कम ये दो बातें ज़रूरी हैं।
लेकिन, पहला बिंदु copyright मुद्दों की वजह से संभव होने की संभावना बहुत कम है। और दूसरे के लिए 1 ट्रिलियन वॉन की ज़रूरत है।
निष्कर्ष यह है कि मौजूदा स्थिति में AI और deep learning क्षेत्र में open innovation की संभावना बहुत कम है। हालांकि, अगर GPU या neuromorphic chip जैसे hardware में innovation होता है, तो तस्वीर बदल सकती है।