Apple चाहता है कि AI cloud के बजाय सीधे उसके अपने hardware पर चले

 (arstechnica.com)
12 पॉइंट द्वारा GN⁺ 2023-12-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Apple, AI को cloud के बजाय सीधे hardware पर चलाने की कोशिश कर रहा है

  • Apple ने हालिया research के ज़रिए smartphone पर large language model चलाने का तरीका पेश करके यह संकेत दिया है कि वह artificial intelligence के क्षेत्र में प्रतिस्पर्धियों की बराबरी करना चाहता है
  • research paper "LLM in a Flash" मौजूदा computational bottleneck का समाधान पेश करता है और सीमित memory वाले devices पर LLM inference को प्रभावी ढंग से चलाने का रास्ता खोलता है
  • यह approach इस दिशा में रास्ता खोलती है कि ChatGPT जैसे apps को चलाने वाले बड़े data repositories user के सवालों का कैसे जवाब दें, यानी inference कैसे करें

Apple की AI research और market outlook

  • Apple ने AI research में नई हलचल दिखाई है, जैसे image generation model Stable Diffusion को उसके अपने chips पर चलाने में सक्षम बनाना
  • smartphone makers और chip manufacturers को उम्मीद है कि नए AI features smartphone market को फिर से बढ़ावा देंगे, और Counterpoint Research के अनुसार 2024 में AI-केंद्रित smartphones की 10 करोड़ से अधिक units ship होने की उम्मीद है
  • 2011 में Siri लॉन्च करने के बावजूद, यह धारणा रही है कि OpenAI के ChatGPT के लॉन्च के बाद Silicon Valley में फैले artificial intelligence उत्साह से Apple कुछ हद तक बाहर रह गया

तकनीकी चुनौतियाँ और privacy

  • ChatGPT या Google Bard जैसे बड़े AI models को personal devices पर चलाना तकनीकी रूप से बहुत चुनौतीपूर्ण है, क्योंकि smartphones के पास data center जैसी विशाल computing resources और energy नहीं होती
  • अगर यह समस्या हल हो जाती है, तो AI assistants cloud की तुलना में तेज़ प्रतिक्रिया दे सकते हैं और offline भी काम कर सकते हैं, साथ ही personal device पर ही सवालों के जवाब देकर data को cloud में भेजने की ज़रूरत नहीं होगी, जिससे privacy में भी मदद मिल सकती है

paper का निष्कर्ष

  • Apple researchers ने paper के निष्कर्ष में यह कहा

    “हमारा research न केवल मौजूदा computer bottlenecks का समाधान देता है, बल्कि भविष्य के research के लिए एक मिसाल भी पेश करता है। हमारा मानना है कि जैसे-जैसे LLMs का scale और complexity लगातार बढ़ते जाएंगे, इस तरह के approaches विभिन्न devices और applications में LLMs की क्षमता का पूरा लाभ उठाने के लिए आवश्यक होंगे”

GN⁺ की राय

  • Apple की यह research smartphone users को अधिक तेज़ और अधिक personal AI experience देने की संभावना खोलती है.
  • privacy को लेकर users की चिंताओं को देखते हुए, data को cloud के बजाय personal device पर process करना कई लोगों के लिए एक आकर्षक विकल्प हो सकता है.
  • अगर यह technology commercialize होती है, तो users internet connection के बिना भी advanced AI features का उपयोग कर सकेंगे, जिससे smartphones की usability और convenience में काफ़ी सुधार होने की उम्मीद है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-27
Hacker News राय

  • यह कहना पागलपन है कि Apple आर्टिफिशियल इंटेलिजेंस (AI) के क्षेत्र में पीछे है।

    • OpenAI चर्चा में है, लेकिन search links वाले ads और data sales पर आधारित है, इसलिए AI के लिए कम आशाजनक है।
    • अभी का "बड़ा" AI training के लिए cloud cost से जकड़ा हुआ है, और बड़े खिलाड़ी software को hardware में ले जाने के लिए जूझ रहे हैं।
    • OpenAI दुनिया भर के commercial partners के साथ काम करते हुए AGI (Artificial General Intelligence) की बात करता है, लेकिन यह central bank को replace करने वाली cryptocurrency जितना ही अवास्तविक है।
    • दूसरी ओर, Apple 4 साल से अधिक समय से devices में neural processor दे रहा है, और AI features हर marketing campaign का हिस्सा रहे हैं।
    • VisionOS augmented reality, AI utility के लिए एक नया क्षेत्र देता है, और इसका लक्ष्य सिर्फ मज़ा नहीं बल्कि वह काम भी है जहाँ remote work नियम बनता जा रहा है।
    • Apple ही एकमात्र सुरक्षित और privacy-protecting ecosystem है।

  • यह देखकर खुशी होती है कि latest iOS के हिस्से के रूप में AI hardware पर चल रहा है।

    • driving के दौरान message मिलने पर Siri ने photo की content को सही-सही describe किया था, ऐसा अनुभव साझा किया गया।
    • यह feature end-to-end (E2E) encrypted है, इसलिए पहचान message transmit होते समय नहीं बल्कि local पर हुई होगी।
    • यह quality improvement update के रूप में दिलचस्प है, और AI के hardware पर और ज़्यादा processing कर पाने के साथ इसके बढ़ने की संभावना को लेकर उत्साह व्यक्त किया गया।

  • Mistral 7B को mobile device पर आज़माने की सिफारिश की गई।

    • iPhone 15 पर उस app को इस्तेमाल करके performance को बहुत अच्छा बताया गया।
    • कमी यह है कि app को phone की लगभग पूरी memory चाहिए, और अगर किसी दूसरे app में जाकर वापस आएँ तो state reset हो जाती है और model को फिर से शुरुआत से load करना पड़ता है।

  • शक्तिशाली phone/device वाली मौजूदा दुनिया में, AI को device पर चलाना अगला कदम लगता है।

    • 2021 model के एक मजबूत specs वाले phone का उपयोग करते हुए, यह राय दी गई कि Apple महंगे AI apps को ऐसे शक्तिशाली user devices पर offload करना चाहेगा।
    • यह उन लोगों के लिए privacy की जीत लगती है जो नहीं चाहते कि उनका personal data training में इस्तेमाल हो, और जो इस बात पर नियंत्रण पसंद करते हैं कि कौन-सा model इस्तेमाल हो रहा है और वह किन ethics का पालन करता है।

  • Apple की CoreML library कई सालों से मौजूद है, और इसमें BERT model शामिल है।

    • iOS और iPadOS में BERT से अधिक उन्नत transformer models आने की उम्मीद की गई।
    • iPad Pro में 16GB RAM है और वह 13B model चला सकता है।
    • 32GB Mac Mini खरीदने के बाद, 6 हफ्तों में चलाए जा सकने वाले models में बड़ा सुधार महसूस हुआ।
    • भविष्य को लेकर उम्मीदें ऊँची हैं।

  • यह दिलचस्प है कि AI में smartphone के लिए एक नया upgrade cycle बनाने की क्षमता हो सकती है।

    • AI features वास्तव में upgrade को justify करेंगे या नहीं, यह अभी स्पष्ट नहीं है, और अगर battery life पर असर पड़ता है तो value proposition शायद बहुत न बदले।

  • जहाँ AI privacy risk पैदा करता है, वहाँ इसे local पर चलाना सबसे अच्छा तरीका लगता है।

    • भविष्य में AI के साथ cognitive ability को 10 गुना बढ़ाने की इच्छा व्यक्त की गई, और इसके लिए जानकारी का brain के साथ real time में आदान-प्रदान होना ज़रूरी बताया गया।
    • cloud data sync से जुड़कर advertisers और spy agencies को अपने विचारों में झाँकने देना स्वीकार्य नहीं है।

  • Apple, iPhone users को AI/ML options देने के लिए infrastructure चलाने की लागत कम करता है।

    • यह computation को distribute करके cost बचाता है और device manufacturing पर पहले से किए गए खर्च का उपयोग करता है।
    • data phone से बाहर नहीं जाता, इसलिए consumers को privacy मिलती है।

  • अगर on-device AI मुख्यधारा बन जाता है, तो OpenAI जैसी कंपनियाँ कैसे प्रतिक्रिया देंगी, यह जानने की जिज्ञासा है।

    • उनका business model API access पर आधारित है, इसलिए वे शायद offline models बेचना शुरू कर सकती हैं।
    • लेकिन ऐसा होने पर piracy की समस्या पैदा हो सकती है।

  • Apple ने latest generation में Neural Engine के लिए die space में लगभग कोई incremental जगह न देने के बावजूद on-device AI चलाने की स्पष्ट मंशा जताई है।

    • इसके लिए कुछ संभावित व्याख्याएँ हैं, और जो लोग इस बारे में बेहतर जानते हैं उनकी राय जानने की इच्छा व्यक्त की गई।
    • हो सकता है उन्हें लगता हो कि मौजूदा hardware ही पर्याप्त शक्तिशाली है, या ANE का उपयोग बढ़ने से अतिरिक्त resources को उचित नहीं ठहराया जा सकता।
    • यह भी हो सकता है कि वे AI computation को vector operations जैसी चीज़ों के माध्यम से फिर से generalize करने की योजना बना रहे हों।
    • सबसे निराशावादी परिदृश्य में, वे शायद बड़े उछाल को तब के लिए बचाकर रख रहे हों जब upgrades को मजबूर करने की ज़रूरत पड़े।