FunSearch: LLM का उपयोग करके गणित और विज्ञान में नई खोजें

 (deepmind.google)
1 पॉइंट द्वारा GN⁺ 2023-12-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें

FunSearch: गणित और विज्ञान में नई खोजों के लिए बड़े भाषा मॉडल का उपयोग

  • बड़े भाषा मॉडल (LLMs) concepts को जोड़ने में बेहद सक्षम हैं, और पढ़ने, लिखने, तथा coding के ज़रिए समस्या-समाधान में मदद करने वाले उपयोगी tools हैं।
  • LLMs में कभी-कभी तथ्यहीन जानकारी को "hallucinate" करने की प्रवृत्ति होती है, इसलिए सत्यापित की जा सकने वाली सटीक खोजें करना चुनौतीपूर्ण है।
  • FunSearch एक pre-trained LLM, जो रचनात्मक solutions देता है, और एक automatic "evaluator", जो गलत ideas को छांट देता है, को जोड़कर नए गणितीय और computer science solutions खोजने का तरीका है।

भाषा मॉडल के माध्यम से विकासवादी खोज को आगे बढ़ाना

  • FunSearch एक evolutionary method का उपयोग करता है जो सबसे अधिक score पाने वाले ideas को आगे विकसित करता है, और इन ideas को ऐसे computer programs के रूप में व्यक्त किया जाता है जिन्हें अपने आप run और evaluate किया जा सकता है।
  • उपयोगकर्ता समस्या को code के रूप में लिखते हैं, जिसमें program को evaluate करने की procedure और शुरुआती program pool को initialize करने वाला seed program शामिल होता है।
  • FunSearch एक iterative procedure है, जिसमें हर iteration पर मौजूदा program pool से कुछ programs चुने जाते हैं और LLM को दिए जाते हैं, फिर LLM नए programs बनाता है और उनका evaluation किया जाता है।

गणित में नई राह खोलना

  • FunSearch ने cap set problem के लिए नया solution खोजा, जो दशकों से गणितज्ञों को परेशान करता रहा है।
  • cap set problem में high-dimensional grid में ऐसे सबसे बड़े point set को खोजना होता है जिसमें एक ही रेखा पर तीन बिंदु न हों, और यह extremal combinatorics में एक महत्वपूर्ण model है।
  • FunSearch ने कुछ settings में पिछले 20 वर्षों में खोजे गए सबसे बड़े cap sets में से एक खोज निकाला।

FunSearch संक्षिप्त और मानव-पठनीय programs को प्राथमिकता देता है

  • FunSearch केवल समस्या का solution तैयार नहीं करता, बल्कि ऐसा program बनाता है जो यह भी दिखाता है कि वह solution कैसे निकाला गया।
  • FunSearch कम Kolmogorov complexity वाले, यानी बेहद संक्षिप्त programs के माध्यम से solution खोजना पसंद करता है।
  • FunSearch के program outputs शोधकर्ताओं के लिए समझने में आसान होते हैं और उन्हें actionable insights प्रदान करते हैं।

कंप्यूटिंग की बदनाम रूप से कठिन चुनौतियों का समाधान

  • सैद्धांतिक cap set problem में सफलता के बाद FunSearch को computer science की एक महत्वपूर्ण व्यावहारिक चुनौती "bin packing" problem पर लागू किया गया।
  • FunSearch ने मौजूदा heuristics की तुलना में कम bins का उपयोग करके उतनी ही items को pack करने में सफलता पाई।

LLM-चालित खोजों से विज्ञान और उससे आगे के लिए रास्ता खुलना

  • यदि LLMs की hallucination प्रवृत्ति को रोका जा सके, तो इन models की शक्ति का उपयोग करके न केवल नई गणितीय खोजें की जा सकती हैं, बल्कि महत्वपूर्ण वास्तविक समस्याओं के लिए प्रभावशाली solutions भी सामने लाए जा सकते हैं।
  • उम्मीद है कि कई वैज्ञानिक और औद्योगिक समस्याओं के लिए LLM-driven approaches का उपयोग करके प्रभावी और customized algorithms बनाना एक सामान्य प्रथा बन जाएगा।

GN⁺ की राय

  • FunSearch गणितीय problem-solving में AI की नई संभावनाएं दिखाता है। खासकर, cap set problem जैसे लंबे समय से अनसुलझे प्रश्न के लिए नया solution प्रस्तुत करके यह बताता है कि गणित में AI की भूमिका और महत्वपूर्ण होती जाएगी।
  • इस तकनीक का वास्तविक औद्योगिक समस्याओं, जैसे data center की efficiency बढ़ाने, में उपयोग यह दिखाता है कि AI व्यावहारिक problem-solving में भी योगदान दे सकता है।
  • FunSearch द्वारा बनाए गए programs मानव-पठनीय हैं, जिससे शोधकर्ताओं को गहरी insights मिल सकती हैं और वे AI के साथ मिलकर समस्याएं हल करने में अधिक सक्षम हो सकते हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-15
Hacker News की राय

  • LLM की आवश्यकता पर सवाल:

    • LLM का उद्देश्य दिए गए type signature के अनुरूप Python function बनाना लगता है.
    • LLM के बिना भी दिए गए type signature के अनुरूप random, सही Python function बनाए जा सकने चाहिए.
    • यह सुझाव दिया गया कि एक सीमित language अधिक efficient हो सकती है, और उदाहरण के तौर पर PushGP जैसी language का उल्लेख किया गया.
    • यह सवाल उठाया गया कि क्या LLM वास्तव में value जोड़ता है, क्या यह अन्य genetic programming techniques की तुलना में प्रतिस्पर्धी है, और क्या पारंपरिक approaches की तुलना में computation cost में कोई अंतर है.

  • combinatorics में खोज को लेकर महत्वपूर्ण संदर्भ:

    • यह पता चला कि एक विशेष combinatorial संख्या पहले से ज्ञात दायरे की तुलना में अधिक संकीर्ण दायरे के भीतर है.
    • यह खोज logic-केंद्रित mathematical proof से नहीं, बल्कि विशेष गुणों वाले number sequence खोजने की विधि से की गई.
    • genetic algorithm और LLM का उपयोग करने वाला यह तरीका रोचक और उपयोगी हो सकता है.

  • "self-play" पर संबंधित टिप्पणी:

    • FunSearch, LLM-आधारित evolutionary method का उपयोग करके सबसे अधिक score पाने वाले ideas को विकसित करता है.
    • उपयोगकर्ता code के रूप में समस्या का वर्णन करता है, और program को evaluate तथा initialize करने के लिए program pool बनाता है.
    • हर iteration में FunSearch वर्तमान pool से कुछ programs चुनता है, LLM इनके आधार पर नए programs बनाता है, और फिर उनका स्वतः evaluation किया जाता है. सबसे अच्छे programs को फिर मौजूदा pool में वापस जोड़ा जाता है, जिससे self-improvement loop बनता है.

  • web search के व्यक्तिगत उपयोग का अनुभव:

    • सवाल पूछने और web links खोजने के लिए pplx.ai और phind.com का उपयोग किया गया.
    • सवालों को refine करके या follow-up questions पूछकर अलग या अधिक गहरे references खोजे गए.
    • Tech Twitter की सामग्री भी उपयोगी है, और research में Grok के उपयोग को लेकर उत्सुकता जताई गई.

  • DeepMind की खोज पर Twitter पोस्ट:

    • अगर neural network वास्तव में नया ज्ञान बना सकते हैं, तो यह आग की खोज के बाद की सबसे महत्वपूर्ण खोज हो सकती है.
    • यह सवाल उठाया गया कि अगर यह खोज सच है, तो क्या सभी लोग इसके बारे में बात नहीं कर रहे होते.
    • Palm 2 में जो किया गया उससे प्रभावित होने और भविष्य के models द्वारा इस method के उपयोग की संभावनाओं को लेकर उत्साह व्यक्त किया गया.

  • Twitter पोस्ट का सार:

    • AI capabilities लगातार बढ़ रही हैं, और AI autocomplete, refactoring, code review diff generation आदि के जरिए व्यक्तिगत productivity में 20-30% सुधार हुआ है.
    • AI models का उपयोग करके business flow के कुछ हिस्सों को जोड़ देने पर system को "improve" करना model बदलने जितना आसान हो जाता है.
    • शुरुआती integration के बाद आने वाले कुछ वर्षों में सब कुछ जादू की तरह बेहतर होने की उम्मीद है.

  • program generation पर सार:

    • दिए गए program template/skeleton और fitness function की स्थिति में LLM का उपयोग करके programs की population बनाई जाती है.
    • नए programs बनाने के लिए prompt का उपयोग किया जाता है, और input पर programs चलाकर fitness function से score दिया जाता है.
    • evolution के लिए island model का उपयोग किया जाता है, और LLM calls की संख्या लगभग 1e6 जैसी कम है.
    • program evaluation/scoreing में depth बनाम breadth के trade-off पर विचार किया गया.

  • cap set problem के प्रति दृष्टिकोण:

    • cap set problem उच्च-आयामी grid में ऐसे सबसे बड़े point set को खोजने की समस्या है, जिसमें कोई भी तीन points एक सीधी रेखा में न हों.
    • FunSearch ने इस समस्या के लिए maximum cap set खोजने वाले program के रूप में solution तैयार किया.
    • यह पिछले 20 वर्षों में cap set size में हुई वृद्धि में सबसे बड़ी वृद्धि को दर्शाता है.

  • LLM और symbolic reasoning के integration की संभावना को लेकर जिज्ञासा व्यक्त की गई.

  • नया ज्ञान उत्पन्न हुआ या नहीं, इससे अलग, AI model size या अन्य regulatory measures के आधार पर AI access restrictions पर विचार करते समय इसे एक case study के रूप में दिलचस्प माना गया.

  • universal approximation theorem के संदर्भ में, यह उल्लेख किया गया कि ReLU का उपयोग करने वाले artificial neural network से functions का सटीक approximation किया जा सकता है.

    • यह approach समान है, लेकिन अंततः code प्रदान करता है.