Apple का नया 'Transformer' आधारित predictive text मॉडल

 (jackcook.com)
15 पॉइंट द्वारा GN⁺ 2023-09-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Apple ने Transformer language model का उपयोग करने वाली iOS और macOS की एक नई सुविधा पेश की है: उपयोगकर्ता के टाइप करते समय predictive text सुझाव देना
  • यह Apple द्वारा सार्वजनिक रूप से स्वीकार किए गए पहले Transformer-आधारित मॉडलों में से एक है, जिसे operating system में एकीकृत किया जाना है
  • Gmail के autocomplete की तरह, यह अलग-अलग शब्द पूरे करता है और कभी-कभी एक बार में दो या उससे अधिक शब्द सुझाता है
  • predictive text मॉडल AppleSpell में पाया गया, जो macOS का एक internal application है और उपयोगकर्ता के टाइप करते समय spelling और grammar errors की जांच करता है
  • मॉडल /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle में स्थित है, जिसमें टाइपिंग के दौरान उपयोग होने वाली कई Espresso model files शामिल हैं
  • predictive text मॉडल की vocabulary में special tokens, contractions और emoticons सहित 15,000 tokens शामिल हैं
  • predictive text मॉडल की architecture, जिसमें token embeddings, positional encoding, decoder blocks की एक श्रृंखला और output layer शामिल है, GPT-2 पर आधारित प्रतीत होती है
  • Apple के predictive text मॉडल में लगभग 3.4 करोड़ parameters और 512 hidden units हैं, इसलिए यह GPT-2 के सबसे छोटे version से भी काफी छोटा है
  • मॉडल का छोटा आकार इसे device battery पर अधिक भार डाले बिना तेज़ी से और बार-बार चलाने योग्य बनाता है, जिससे user experience बेहतर होता है
  • आकार की सीमाओं के कारण मॉडल पूरे वाक्य या अनुच्छेद लिखने में सक्षम नहीं है, लेकिन जब इसे अगले एक या दो शब्दों पर उच्च confidence होता है, तब यह उपयोगकर्ता को सुझाव देने के लिए पर्याप्त रूप से अच्छा है
  • जो लोग predictive text सुविधा को सीधे आज़माना चाहते हैं, उनके लिए लेखक ने GitHub पर scripts उपलब्ध कराई हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-18
Hacker News राय
  • पोस्ट के लेखक ने कहा कि उन्हें आश्चर्य है कि उनका लेख Hacker News पर लोकप्रिय हो रहा है, और वे इससे जुड़े सवालों के जवाब देंगे।
  • कुछ यूज़र यह सवाल उठा रहे हैं कि क्या Apple का नया predictive text model GPT2 से बेहतर है। GPT2 में यूज़र इनपुट के आधार पर असंबंधित टेक्स्ट जनरेट करने की प्रवृत्ति होती है।
  • इस पर बहस की गुंजाइश है कि predictive text model को पूरे वाक्य जनरेट करने चाहिए या केवल यूज़र के इच्छित इनपुट का अनुमान लगाना चाहिए।
  • टेस्ट में temperature setting का उल्लेख नहीं किया गया, जो top prediction के अलावा अन्य token चुनने की संभावना को नियंत्रित करती है। यह setting मॉडल के output की creativity और repetitiveness को प्रभावित कर सकती है।
  • कुछ यूज़र्स ने iOS simulator के console log को देखकर पता लगाया कि "unilm.bundle" नया text prediction model है।
  • इस बात पर अटकलें हैं कि क्या Apple के मॉडल के भविष्य के version बेहतर गुणवत्ता वाले data पर प्रशिक्षित छोटे मॉडल की ओर शिफ्ट करेंगे, और क्या Apple Xcode के लिए Copilot का अपना version विकसित करेगा।
  • कुछ यूज़र्स का कहना है कि अगर text prediction का उद्देश्य text input को तेज करना है, तो input interface ही bottleneck हो सकता है, जो तेज़ी से text दर्ज करने के बेहतर तरीकों की ज़रूरत का संकेत देता है।
  • AI deployment पर चर्चा हो रही है, और कुछ यूज़र्स का सुझाव है कि AI को end-to-end solution के रूप में बेचने के बजाय छोटे, भरोसेमंद काम करने के लिए इस्तेमाल किया जाना चाहिए।
  • यह सवाल उठाया गया कि क्या नया predictive text model अनुभव या iMessage history के आधार पर बेहतर हो सकता है।
  • "UnilmCtrl" शब्द को Socher के CTRL model पर किसी निर्भरता का संकेत मानकर अटकलें लगाई गई हैं, लेकिन इसकी पुष्टि नहीं हुई है। कुछ यूज़र्स का कहना है कि अगर Apple NLP क्षेत्र में अधिक समय से काम कर रहा होता, तो वे उसका अधिक सम्मान करते।