AlphaEvolve: Gemini-आधारित उन्नत एल्गोरिद्म डिज़ाइन कोडिंग एजेंट

 (deepmind.google)
3 पॉइंट द्वारा GN⁺ 2025-05-15 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Google DeepMind द्वारा पेश किया गया AlphaEvolve एक evolutionary coding agent है, जो Gemini मॉडल और automated evaluators को मिलाकर एल्गोरिद्म खोजता और ऑप्टिमाइज़ करता है
  • Gemini Flash व्यापक आइडिया एक्सप्लोरेशन संभालता है, Gemini Pro अधिक गहरे सुझाव देता है, और candidate programs को चलाकर, सत्यापित करके और स्कोर देकर उन्हें आशाजनक variants में विकसित किया जाता है
  • पिछले 1 साल में खोजे गए एल्गोरिद्म डेटासेंटर scheduling, TPU design, Gemini optimization में deploy किए गए, और Borg में दुनिया भर के Google computing resources का औसतन 0.7% लगातार वापस हासिल किया गया
  • Gemini matrix multiplication kernel 23% तेज हुआ, जिससे training time 1% कम हुआ, और FlashAttention kernel implementation ने अधिकतम 32.5% speedup हासिल किया
  • गणित के क्षेत्र में इसने 4x4 complex matrix multiplication को 48 scalar multiplications में करने वाला एल्गोरिद्म खोजा, और 50 से अधिक public problems में लगभग 20% मामलों में पहले के सर्वश्रेष्ठ समाधान से बेहतर नतीजे दिए

AlphaEvolve एल्गोरिद्म को कैसे विकसित करता है

  • AlphaEvolve एक evolutionary coding agent है, जिसका लक्ष्य general-purpose एल्गोरिद्म discovery और optimization है
  • यह large language model की creative problem-solving क्षमता के साथ automated evaluators जोड़ता है, ताकि उत्तरों को verify किया जा सके, और evolutionary framework के जरिए promising ideas को लगातार बेहतर बनाया जा सके
  • 2023 में Google DeepMind ने दिखाया था कि LLMs code functions generate करके public scientific problems में प्रमाणित रूप से नया ज्ञान खोज सकते हैं, और AlphaEvolve इस क्षमता को एकल function से बढ़ाकर पूरे codebase और अधिक जटिल एल्गोरिद्म तक ले जाता है
  • मॉडल की संरचना ऐसी है जिसमें exploration breadth और suggestion quality अलग-अलग भूमिकाएँ निभाती हैं
    • Gemini Flash: एक तेज और efficient मॉडल, जो आइडिया स्पेस को अधिक व्यापक रूप से एक्सप्लोर करता है
    • Gemini Pro: एक अधिक शक्तिशाली मॉडल, जो गहरी समझ वाले सुझाव देता है
  • बनाए गए programs को automated evaluation metrics के जरिए चलाया, सत्यापित और स्कोर किया जाता है, इसलिए यह विशेष रूप से गणित और computer science की उन समस्याओं के लिए उपयुक्त है जहाँ accuracy और quality का मात्रात्मक मूल्यांकन किया जा सकता है

Google इन्फ्रास्ट्रक्चर में लागू परिणाम

  • पिछले 1 साल में AlphaEvolve द्वारा खोजे गए एल्गोरिद्म Google के डेटासेंटर, hardware, software के व्यापक हिस्सों में deploy किए गए
  • जब व्यक्तिगत optimizations को बड़े AI और computing infrastructure पर लागू किया गया, तो समान संसाधनों से अधिक काम करने का प्रभाव मिला

  • डेटासेंटर scheduling

    • AlphaEvolve ने एक सरल लेकिन प्रभावी heuristic खोजा, जो Borg को Google के बड़े डेटासेंटर्स को अधिक efficiently coordinate करने में मदद करता है
    • यह समाधान 1 साल से अधिक समय से production में चल रहा है, और दुनिया भर के Google computing resources का औसतन 0.7% लगातार वापस हासिल कर रहा है
    • इसे human-readable code में implement किया गया है, इसलिए interpretability, debugging की आसानी, predictability और deployment की सुविधा भी मिलती है

  • hardware design

    • इसने matrix multiplication के लिए highly optimized arithmetic circuits में अनावश्यक bits हटाने के लिए Verilog rewrite का प्रस्ताव दिया
    • यह सुनिश्चित करने के लिए कि proposed changes circuit की functional correctness बनाए रखें, उन्हें मजबूत verification process से गुजरना होता है
    • इस प्रस्ताव को Google के custom AI accelerator के भविष्य के Tensor Processing Unit में integrate किया गया
    • इसने chip designers द्वारा इस्तेमाल की जाने वाली standard language में बदलाव सुझाए, इसलिए यह AI और hardware engineers के बीच collaboration के तरीके से भी मेल खाता है

Gemini training और inference optimization

  • AlphaEvolve ने बड़े matrix multiplication tasks को छोटे subproblems में बाँटने का तरीका खोजा, जिससे Gemini architecture का एक मुख्य kernel 23% तेज हो गया
  • इस kernel सुधार से Gemini training time 1% कम हुआ, और generative AI models के development के लिए आवश्यक computing resources भी बचे
  • kernel optimization में लगने वाला engineering time विशेषज्ञों के कई हफ्तों के काम से घटकर कुछ दिनों के automated experiments तक आ गया
  • low-level GPU instructions भी optimization के दायरे में शामिल थे
    • इस क्षेत्र में आम तौर पर compiler पहले से ही बहुत मजबूत optimization कर देता है, इसलिए human engineers अक्सर सीधे बदलाव नहीं करते
    • Transformer-आधारित AI models के FlashAttention kernel implementation में अधिकतम 32.5% speedup हासिल किया गया
  • ऐसे optimizations विशेषज्ञों को performance bottlenecks पहचानने और improvements को codebase में आसानी से integrate करने में मदद करते हैं

गणित और एल्गोरिद्म discovery

  • AlphaEvolve न्यूनतम code skeleton दिए जाने पर भी जटिल गणितीय समस्याओं के लिए नए approaches सुझा सकता है
  • इसने नए gradient-based optimization process के कई components डिज़ाइन किए और matrix multiplication के लिए नए एल्गोरिद्म खोजे
  • उदाहरण में optimizer, weight initialization, loss function और hyperparameter search जैसे कई components बदले गए, और evolutionary process में 15 mutations की आवश्यकता पड़ी
  • AlphaEvolve की प्रक्रिया ने 4x4 complex matrix multiplication को 48 scalar multiplications में करने वाला एल्गोरिद्म खोजा
    • यह इस सेटिंग में पहले से सर्वश्रेष्ठ माने जाने वाले Strassen के 1969 एल्गोरिद्म में सुधार है
    • matrix multiplication algorithms के लिए विशेष रूप से बनाए गए AlphaTensor ने 4x4 matrices में केवल binary arithmetic के लिए सुधार खोजा था
  • इसे mathematical analysis, geometry, combinatorics और number theory की 50 से अधिक public problems पर भी लागू किया गया
    • अधिकांश experiments कुछ घंटों के भीतर सेट किए जा सके
    • लगभग 75% मामलों में इसने ज्ञात state-of-the-art solutions को फिर से खोज लिया
    • लगभग 20% मामलों में इसने पहले के सर्वश्रेष्ठ समाधानों में सुधार किया और उन public problems में प्रगति की
  • kissing number problem में इसने 11 dimensions में 593 outer spheres की व्यवस्था खोजकर एक नई lower bound स्थापित की

सार्वजनिक योजना और उपयोग का दायरा

  • AlphaEvolve यह दिखाता है कि किसी विशेष domain में एल्गोरिद्म discovery से आगे बढ़कर वास्तविक समस्याओं के लिए जटिल एल्गोरिद्म development तक कैसे पहुँचा जा सकता है
  • Google DeepMind को उम्मीद है कि जैसे-जैसे large language models की coding क्षमता बेहतर होगी, AlphaEvolve भी लगातार बेहतर होता जाएगा
  • People + AI Research team के साथ मिलकर AlphaEvolve के साथ interact करने के लिए एक user-friendly interface बनाया जा रहा है
  • चुने गए academic users के लिए Early Access Program की योजना है, और व्यापक सार्वजनिक उपलब्धता की संभावना पर भी विचार किया जा रहा है
  • रुचि पंजीकरण इस form के माध्यम से लिया जाएगा
  • अभी इसके उपयोग के क्षेत्र गणित और computing हैं, लेकिन जहाँ समाधान को एल्गोरिद्म के रूप में व्यक्त किया जा सके और automatically verify किया जा सके, वहाँ इसका उपयोग संभव है
  • Google DeepMind का मानना है कि materials science, drug discovery, sustainability और व्यापक तकनीकी व business applications में भी AlphaEvolve बदलाव ला सकता है
  • संबंधित सामग्री

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.