Pixel 8 Pro का Tensor G3 जनरेटिव AI कार्यों को cloud पर भेजता है

 (notebookcheck.net)
1 पॉइंट द्वारा GN⁺ 2023-10-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Pixel 8 Pro के नए जनरेटिव AI फीचर्स Tensor G3 पर सीधे प्रोसेस नहीं होते, बल्कि Google servers के जरिए चलते हैं; इससे Google की AI-केंद्रित chip marketing और वास्तविक अनुभव के बीच का अंतर दिखता है
  • AI Wallpaper और Magic Editor के लिए लगातार internet connection जरूरी है, और मुख्य मुद्दा यही है कि यूज़र द्वारा मांगा गया काम device के अंदर नहीं, बल्कि cloud में प्रोसेस होता है
  • Google ने Tensor G3 को “AI-first” chip के रूप में पेश करते हुए on-device machine learning और जनरेटिव AI की बुनियाद पर जोर दिया था, लेकिन कुछ प्रमुख फीचर्स local execution से दूर हैं
  • Notebookcheck ने एक छोटा verification video जोड़ा है, जिसमें दिखाया गया है कि Magic Editor और AI Wallpaper को cloud-based processing के लिए लगातार internet connection चाहिए
  • Geekbench 6 के आधार पर, नवीनतम CPU architecture होने के बावजूद Tensor G3, Snapdragon 8 Gen 2 की तुलना में Snapdragon 7+ Gen 2 के अधिक करीब है; इससे AI फीचर्स की promotion और chip performance पर बहस साथ-साथ उभरती है

Pixel 8 Pro launch और Tensor G3 की आलोचना

  • Pixel 8 Pro को Google flagship series के हिसाब से सामान्य से अधिक मुश्किल launch झेलने वाला मामला माना गया
  • @Mrwhosetheboss के नाम से जाने जाने वाले Arun Maini ने पिछले साल Pixel 7 Pro को “Best Smartphone of 2022” दिया था, लेकिन Pixel 8 Pro को वैसी ही प्रशंसा नहीं दी
  • Pixel 8 series में कुछ बातें उन्हें सकारात्मक लगीं
    • design
    • Pixel 8 Pro के rear पर frosted glass finish
    • advanced software
    • still photography performance
    • Best Photo, Magic Editor, Audio Magic Eraser जैसे AI-based फीचर्स
  • कमियों में lens switching के दौरान zoom handling की अटपटाहट और artificial दिखने वाला video stabilization शामिल बताए गए
  • सबसे बड़ी आलोचना Pixel 8 series के Tensor G3 processor पर केंद्रित रही

जनरेटिव AI फीचर्स की server dependency

  • Maini के अनुसार AI Wallpaper और Magic Editor जैसे नए जनरेटिव AI फीचर्स Tensor G3 SoC की उपलब्ध processing capability से अधिक computation मांगते हैं
  • इन फीचर्स के लिए लगातार internet connection जरूरी है
    • यूज़र के सभी कार्यों को Google servers से होकर गुजरना पड़ता है
    • उनका आकलन है कि ये device पर नहीं चलते, और यह बात महसूस होने लायक धीमेपन के रूप में दिखती है
  • Maini के उद्धरण का सार यह है
    • जनरेटिव AI से कुछ बनाने वाले फीचर्स के लिए permanent internet connection जरूरी है
    • काम Google servers के जरिए प्रोसेस होता है
    • यह एहसास कराता है कि Tensor G3 flagship स्तर का नहीं है

Google की Tensor G3 marketing से टकराव

  • Google ने Tensor G3 को “AI-first” बताते हुए AI processing capability पर जोर दिया
  • Google के official blog में Google VP of Product Management Monika Gupta ने ये बातें रखीं
    • हाल की AI innovations का बड़ा हिस्सा datacenter-level compute power पर बना है
    • रोजमर्रा में AI की transformative power इस्तेमाल करने के लिए यह उन devices पर accessible होनी चाहिए जिन्हें हम रोज इस्तेमाल करते हैं
    • Tensor G3 Google की latest custom silicon chip है
  • Google ने समझाया कि Tensor G3 on-device machine learning की सीमाओं को आगे बढ़ाता है
    • Pixel 8 और Pixel 8 Pro में Google AI research के latest results सीधे लाने की बात कही
    • बताया कि Tensor का उद्देश्य speed या traditional performance metrics नहीं, बल्कि mobile computing experience को आगे बढ़ाना है
    • कहा कि मुख्य subsystems upgrade हुए हैं और on-device generative AI के लिए foundation तैयार किया गया है
    • इसमें latest Arm CPU, upgraded GPU, नया ISP और Imaging DSP, और Google AI models चलाने के लिए design किया गया next-generation TPU शामिल है

Arm की व्याख्या से दिखता on-device AI मुद्दा

  • Pixel 8 Pro के जनरेटिव AI tasks को प्रोसेस करने का तरीका Google के on-device AI message से टकराता है
  • Google performance metrics के महत्व को कम करके पेश करता है, लेकिन Arm AI tasks में CPU और GPU की भूमिका पर जोर देता है
  • Arm के अनुसार, जैसे-जैसे AI computation cloud से उस जगह की ओर जा रहा है जहां data collect होता है, Arm CPU और MCU technologies edge और endpoints पर AI·ML workloads का अधिकांश हिस्सा संभाल रही हैं
  • Arm की व्याख्या के मुताबिक, CPU हर AI system का केंद्र है, चाहे वह AI को अकेले handle करे या GPU या NPU जैसे सहायक processors के साथ मिलकर खास tasks संभाले
  • इस संदर्भ में, Google की उस व्याख्या और Arm की व्याख्या के बीच अंतर है जिसमें AI tasks TPU से ही handle होते दिखते हैं

Benchmark blocking और Geekbench 6 results

  • Review embargo period के दौरान Play Store के जरिए popular benchmark apps install करना आसान नहीं था
  • यह restriction launch के बाद भी जारी रहा, लेकिन Notebookcheck article के बाद Google ने block हटा दिया
  • Primate Labs के cross-platform benchmark Geekbench 6 में, latest CPU architecture होने के बावजूद Tensor G3 ने उम्मीद से कम CPU scores दिखाए
  • Tensor G3 की performance मौजूदा flagship chip Snapdragon 8 Gen 2 की तुलना में mid-range chip Snapdragon 7+ Gen 2 के ज्यादा करीब निकली
  • Update में जोड़े गए छोटे videos ने पुष्टि की कि Magic Editor और AI Wallpaper सहित नए Pixel 8 Pro AI फीचर्स के लिए लगातार internet connection जरूरी है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-10-23
Hacker News की टिप्पणियाँ

  • Google ने ऐसा कहा: “नए Tensor G3 chip में हमने सभी प्रमुख sub-systems को upgrade किया है ताकि on-device generative AI का रास्ता खुल सके”
    यह साफ़ तौर पर बहुत ढीली-ढाली wording है, और इसका यह मतलब ज़रूरी नहीं कि सारा generative AI वास्तव में Tensor G3 पर ही चलता हो। वे यह भी दावा कर सकते हैं कि G3 पर किया गया कोई एक काम भविष्य के chips की तैयारी है। फिर भी mobile SoC पर generative AI को, खासकर ठीक-ठाक performance और power consumption के साथ on-device चलाना, अभी भी काफ़ी मुश्किल लगता है

    • iOS पर ऐसे apps हैं जो Stable Diffusion-टाइप models को device पर local रूप से चलाते हैं
      https://apps.apple.com/ca/app/draw-things-ai-generation/id64...
      लगता है Tensor chip में भी इतना performance तो होगा कि वही काम कर सके, लेकिन शायद efficiency कम होने की वजह से local execution से बचा जा रहा है
    • समझ नहीं आता कि यही मुख्य शिकायत क्यों है। असली performance को consumers से छिपाने वाला post-launch embargo उससे कहीं बड़ा मुद्दा है

  • Google के quote को देखें तो उसमें कहा गया है, “Tensor का मकसद speed या पारंपरिक performance metrics नहीं है, बल्कि mobile computing experience को आगे बढ़ाना है… on-device generative AI का रास्ता खोलना… इसमें next-generation TPU है जिसे Google AI models चलाने के लिए custom-design किया गया है”
    तो फिर internet connection की ज़रूरत क्यों है? सोचता हूँ क्या आख़िरी समय में यह fail हो गया और मजबूरी में ऐसे launch किया गया, या फिर शुरू से ही यह सिर्फ़ marketing copy थी

    • “Tensor speed या पारंपरिक performance metrics के बारे में नहीं है” कहने के बावजूद, [1] में वे यह भी कहते हैं: “Pixel 8 और Pixel 8 Pro में Google का सबसे तेज़, सबसे efficient और सबसे secure chip Google Tensor G3 है… performance और efficiency सुधारने के लिए सभी प्रमुख components upgrade किए गए हैं… 2021 के बाद से on-device machine learning models की संख्या दोगुने से ज़्यादा हो गई है, और उनकी complexity व sophistication भी बढ़ी है”
      यह तो performance के बारे में काफ़ी कुछ लगता है
      [1] https://store.google.com/intl/en/ideas/articles/google-tenso...
    • काफ़ी संभव लगता है। अगर chip performance उम्मीद से कम निकले, तो benchmark apps के इस्तेमाल को block कर दो, और press से कह दो कि हमें तो शुरू से speed में दिलचस्पी ही नहीं थी। समस्या हल
    • कुछ AI workloads के लिए on-device chip और generative AI चलाने के लिए सैकड़ों watts खींचने वाले high-end server-grade graphics cards, GPU और accelerators में काफ़ी फ़र्क है
      low-end generative AI का state of the art भी optimized models को desktop-class GPU पर चलाकर बस ठीक-ठाक नतीजे देने तक ही सीमित है। phone के लिए यह करना मुश्किल है। बहुत-सा machine learning device पर चलता है और और भी ज़्यादा वहाँ जा रहा है, लेकिन generative AI अभी उस stage पर नहीं लगता
    • बात काफ़ी साफ़ है। कुछ machine learning tasks phone पर काफ़ी आसान हैं, जैसे speech recognition। कुछ नहीं हैं, जैसे inpainting
      Google थोड़ी slippery language ज़रूर इस्तेमाल कर रहा है, लेकिन अगर कोई machine learning model जिसे GTX 4090 चाहिए, phone पर न चले, तो इसमें हैरानी की बात नहीं
    • यह बिल्कुल वही pattern था जो Stadia की negative latency के समय था, और Stadia बंद होने तक भी वह वास्तव में लागू नहीं हुआ

  • क्या किसी ने Magic Editor इस्तेमाल करते समय network traffic देखकर पुष्टि की है कि processing सचमुच बाहर offload होती है? या यह सिर्फ़ internet connection की ज़रूरत से निकाला गया निष्कर्ष है?
    क्या यह संभव नहीं कि internet सिर्फ़ नया model लाने के लिए चाहिए हो, और processing अब भी device पर ही हो?

    • Magic Editor, यानी Google Photos का rainbow button, केवल cloud backup चालू होने पर ही काम करता है, इसलिए शायद बात वही है
    • यह सबसे plausible जवाब लगता है, लेकिन यहाँ इस पर ज़्यादा ध्यान नहीं दिया जा रहा

  • कुछ हद तक बात समझ में आती है। generative AI की cost बहुत ज़्यादा है
    लेकिन generative, AI tasks की सिर्फ़ एक category है, और prediction/inference शायद वह क्षेत्र है जहाँ Tensor मुख्य रूप से इस्तेमाल होता है। Magic Eraser में “photo में object ढूँढना” device पर हो सकता है, जबकि “object हटाने के बाद क्या भरना है” server पर तय किया जा सकता है

    • inference और training होते हैं, और generative भी inference ही है

  • अगर इसे cloud पर offload किया जा रहा है, तो फिर Tensor G3 का AI processor आख़िर किस काम आता है?

    • speech recognition जैसे कुछ non-generative tasks में, लेकिन दूसरे chips भी ऐसे काम कर सकते हैं
      Tensor G3 की एकमात्र बेहतर बात शायद यह लगती है कि Qualcomm की consumer smartphone chips को जल्दी discontinue करने की आदत से बचा जा सके
    • पता नहीं क्या यह HTTP work के लिए hardware acceleration भी support करता है
    • marketing के लिए विश्वसनीयता

  • Google के AI जवाब के अनुसार Google Pixel 8 Pro generative AI models को device पर local रूप से चला सकता है, लेकिन सबको नहीं
    Google ने अक्टूबर 2023 के Made by Google event में घोषणा की थी कि Pixel 8 Pro का custom Tensor G3 chip, Google के text और image generation models के distilled versions चला सकता है। ऐसे models image editing और Gboard smart replies जैसी features को power दे सकते हैं। लेकिन Bard जैसे large language models चलाने सहित कुछ generative AI tasks अब भी इतने ज़्यादा compute की माँग करते हैं कि उन्हें smartphone पर local रूप से चलाना संभव नहीं, इसलिए उन्हें cloud पर भेजा जाता है
    local execution के उदाहरण के तौर पर Magic Eraser, Zoom Enhance, Best Take, Audio Magic Eraser, Gboard Smart Replies, और Google Recorder के AI summaries गिनाए गए हैं। कहा गया है कि जैसे-जैसे Tensor chips बेहतर होंगे, भविष्य के Pixel devices में और generative AI features on-device चल सकेंगी ʘ ‿ ʘ

  • “Tensor” ख़ुद कुछ offload नहीं कर रहा, बल्कि वह काम Google Cloud को भेजने वाले Android apps हैं। SoC का इससे क्या लेना-देना है, यह साफ़ नहीं है

    • वे Android apps किसने बनाए?
    • फिर वे apps local AI engine का इस्तेमाल क्यों नहीं कर रहे?

  • शीर्षक देखते ही मुझे Juicero याद आ गया
    on-device कहकर प्रचार करना और फिर तुरंत data को कहीं और भेज देना—यह कैसे ठीक माना जा सकता है?

  • क्या यह स्वाभाविक नहीं है? अगर high-quality generative features on-device चलें, तो वही तो बहुत बड़ी छलाँग होगी

  • “AI Wallpaper बनाना या Magic Editor जैसी ऐसी generative AI features, जहाँ सचमुच AI से कुछ बनवाना पड़ता है, उन्हें स्थायी internet connection चाहिए… यह इतना सुस्त है कि बार-बार महसूस होता है कि यह on-device नहीं चल रहा” — यह बात मुझे ठीक लगती है
    generative AI के बेहतर होने की वजह यही है कि यह बहुत विशाल हो गया है और बहुत संसाधन खाता है। 1000 डॉलर से महंगे consumer GPU पर भी यह खास तेज़ नहीं है। यह जानते हुए भी कि नतीजे काफी खराब हो जाएँगे, ऐसे generation tasks को छोटे on-device environment के हिसाब से घटाना समय और मेहनत की बहुत बड़ी बर्बादी जैसा लगता है। लेकिन फिर भी सवाल बना रहता है कि edge पर Tensor आखिर किस काम में वाकई अच्छा है, और AMD·Qualcomm·ARM जैसी chip कंपनियाँ भी बड़े neural network·Tensor core डाल रही हैं, इसलिए यह काफ़ी ध्यान खींचने वाला सवाल है

    • latency के प्रति संवेदनशील चीज़ें तो literally किसी भी हालत में edge processing के लिए उपयुक्त हैं। जब connection स्थिर न हो, तब off-device speech recognition बेहद खराब अनुभव बन जाती है
      ज़रा सोचिए कि Photoshop में किसी object पर क्लिक करके AI से उसकी boundary खोजनी है, और हर क्लिक पर image को bundle करके cloud पर upload करना पड़े, फिर हर selection पर scheduling·processing·return के लिए 5 सेकंड इंतज़ार करना पड़े। camera app में machine learning object-recognition focus भी बेकार होगा, अगर cloud viewfinder के अंदर object को 3 सेकंड की देरी से track करे
    • अगर यह स्वीकार भी कर लें, तब इसका मतलब यही है कि यह कमज़ोर processor है जो विज्ञापित काम कर ही नहीं सकता। G3, performance के मामले में Snapdragon Gen 2 से खराब है, और शायद Gen 1 के ज़्यादा क़रीब है। battery drain भी वैसा ही है या नहीं, इस पर यक़ीन नहीं, और जल्द ही Snapdragon Gen 3 भी आने वाला है
    • speech recognition, wake-word detection, object recognition, autocomplete जैसी चीज़ें हैं
      खासकर wake-word detection में एक तय window पर अपेक्षाकृत छोटे convolutional neural network को लगातार चलाना पड़ता है, इसलिए power efficiency बहुत महत्वपूर्ण है
    • अगर इस “जादू” को on-device कहकर advertise किया जाए, तो यह ठीक नहीं है
      Pixel 8 के लॉन्च से ठीक पहले Google के researchers के RealFill[0] और Break-A-Scene[1] papers पढ़कर, और model ensemble को जल्दी implement करने की कोशिश के बाद, मुझे उम्मीद थी कि G3 Tensor core ने 2013 के Moto X के natural language processing·context-awareness core[2] जैसी छलांग लगाई होगी, या फिर Google के बनाए edge TPU Coral[3] जैसी चौंका देने वाली inference performance देगा। Moto X ने Active Display, gesture recognition, और शोर-शराबे वाले माहौल में speech recognition में आज के 95% mobile devices से बेहतर implementation दिया था, और Coral भी शानदार था, लेकिन chip shortage, कंपनी के अस्थिर रवैये, और IoT से बाहर निकलने की वजह से 2022 में hardware production ASUS को चला गया
      मुद्दा यह है कि 1000 डॉलर से महंगे hardware पर inference performance को लेकर जो धारणाएँ थीं, वे बुनियादी तौर पर गलत निकलीं। “generative” जैसे buzzword पर निर्भरता देखकर लगता है कि Twitter influencers या हाल की large language model deployment कोशिशों से गलत सबक सीखे गए हैं। mobile devices में भी खास tasks के लिए customized hardware पहले संभव था और वास्तव में विकसित भी किया गया था। अगर performance, power, और processing-time की ज़रूरतें पूरी नहीं हो रही थीं, तो hardware class action lawsuit तक पहुँचा सकने वाले तरीके से खुद को उजागर करने के बजाय marketing copy को फिर से तैयार करना चाहिए था
      [0] https://realfill.github.io/
      [1] https://omriavrahami.com/break-a-scene/static/paper/Break-A-...
      [2] https://en.wikipedia.org/wiki/Moto_X_(1st_generation)#Hardwa...
      [3] https://coral.ai/