Apple ने डिवाइस पर उपयोग को लक्ष्य बनाकर 8 छोटे AI language model जारी किए

• Apple ने OpenELM पेश किया, जो इतने छोटे AI language model हैं कि उन्हें सीधे smartphone पर चलाया जा सकता है
• OpenELM का मतलब है "Open-source Efficient Language Models", और यह Hugging Face पर Apple Sample Code License के तहत उपलब्ध है
• source code सार्वजनिक किया गया है, लेकिन license में कुछ पाबंदियां हैं, इसलिए यह सामान्य "open source" परिभाषा में पूरी तरह फिट नहीं बैठ सकता

OpenELM मॉडल की विशेषताएं

• OpenELM 27 करोड़ से 3 अरब parameters वाले 8 मॉडलों से बना है
• हालिया research का फोकस ऐसे छोटे AI language model बनाने पर है जो कुछ साल पहले के बड़े AI language model जितने सक्षम हों
• OpenELM मॉडल दो प्रकार में उपलब्ध हैं: pretrained version और instruction-tuned version
  • OpenELM-270M, OpenELM-450M, OpenELM-1_1B, OpenELM-3B
  • OpenELM-270M-Instruct, OpenELM-450M-Instruct, OpenELM-1_1B-Instruct, OpenELM-3B-Instruct

OpenELM मॉडल का training data और performance

• OpenELM में अधिकतम 2048 tokens की context window है
• इसे लगभग 1.8 ट्रिलियन tokens के data पर train किया गया है, जिसमें सार्वजनिक रूप से उपलब्ध RefinedWeb, PILE का deduplicated version, RedPajama का subset, और Dolma v1.6 का subset dataset शामिल है
• Apple की "layer-wise scaling strategy" के जरिए parameters को हर layer में ज्यादा कुशल तरीके से allocate किया गया, जिससे compute resources की बचत हुई और model performance बेहतर हुई
• OpenELM ने Allen AI के OLMo 1B की तुलना में आधे pretraining tokens के साथ भी 2.36% ज्यादा accuracy दिखाई

जारी की गई अतिरिक्त सामग्री और Apple का लक्ष्य

• Apple ने OpenELM training में इस्तेमाल की गई CoreNet library का code और reproducible training recipe भी जारी किया
• एक बड़ी tech company के लिए असामान्य रूप से, Apple ने weights भी जारी किए, जिससे transparency पर जोर दिया गया
• source code, model weights, और training materials जारी करके "open research community को मजबूत और समृद्ध बनाना" इसका लक्ष्य है
• हालांकि, चूंकि इसे सार्वजनिक datasets पर train किया गया है, Apple ने चेतावनी दी कि इससे गलत, हानिकारक, पक्षपाती, या आपत्तिजनक outputs निकल सकते हैं

आगे की संभावना

• Apple ने अभी तक इन नए AI language model features को consumer devices में integrate नहीं किया है
• लेकिन अटकलें हैं कि जून के WWDC में आने वाले iOS 18 update में user privacy के लिए on-device processing का उपयोग करने वाले नए AI features शामिल हो सकते हैं
• ज्यादा जटिल off-device AI processing के लिए Siri को upgrade करने हेतु Google या OpenAI के साथ काम करने की संभावना भी है

[tsboard]

मुझे सच में जिज्ञासा है कि iOS 18 अपडेट कितना बड़ा बदलाव लाएगा। AI फीचर्स से बेहतर बने M4 का भी बेसब्री से इंतज़ार है!