Meta ने Llama 4 पर काम पहले ही शुरू कर दिया है; ज़रूरी computing power, Llama 3 से 10 गुना

• 2024 Q2 earnings call की घोषणा में Mark Zuckerberg ने इसका ज़िक्र किया
• Llama 3 पहले से ही सबसे उन्नत models के साथ प्रतिस्पर्धा कर रहा है, और Llama 4 का development पहले ही शुरू हो चुका है
  • लक्ष्य है कि अगले साल इसे industry के highest level तक पहुंचाया जाए
• आने वाले कुछ वर्षों के लिए ज़रूरी computing cluster और data की योजना बनाई जा रही है
  • Llama 4 की training के लिए ज़रूरी computing power, Llama 3 की तुलना में लगभग 10 गुना अधिक होने की उम्मीद है, और भविष्य के models के लिए यह इससे भी आगे बढ़ती रहेगी
  • इस trend का आगे कैसे विस्तार होगा, इसका अनुमान लगाना मुश्किल है, लेकिन इस समय नए infrastructure projects को चालू करने में लगने वाले लंबे lead time को देखते हुए, बहुत देर करने की बजाय ज़रूरत से पहले capacity तैयार करना बेहतर माना जा रहा है
  • इन investments को बढ़ाते हुए भी कंपनी-भर में operational efficiency बनाए रखी जाएगी

[brainer]

मेरा मानना है कि इसमें बहुत ज़्यादा हैरानी की बात नहीं है, क्योंकि DL में computing resource औसतन हर 2 साल में 10 गुना बढ़ते रहे हैं।