परिचय
इस वर्ष छह शोधपत्रों को उत्कृष्ट शोधपत्र पुरस्कार से सम्मानित किया गया। चयन प्रक्रिया इस प्रकार थी।
सबसे पहले, शोधपत्रों को प्रारंभिक फ़िल्टरिंग से गुज़ारकर 32 संभावित पुरस्कार-विजेता शोधपत्रों के रूप में चुना गया। इस प्रक्रिया में उच्च औसत स्कोर वाले शोधपत्रों और Program Committee की सिफारिश पाने वाले शोधपत्रों को चुना गया। परिणामस्वरूप, इस सेट में 16 विषयों को कवर करने वाले शोधपत्र शामिल थे, जिन पर oral presentation sessions में चर्चा की गई थी। ये शोधपत्र उत्कृष्ट शोधपत्र पुरस्कार समिति को प्रदान किए गए।
समिति ने इन शोधपत्रों पर विचार करते हुए उनकी असाधारण स्पष्टता, अंतर्दृष्टि, रचनात्मकता और दीर्घकालिक प्रभाव के आधार पर पुरस्कार-विजेताओं का चयन किया।
निस्संदेह, पुरस्कार-विजेता शोधपत्र चुनने की कोई पूर्णत: परिपूर्ण प्रक्रिया नहीं होती, लेकिन हमें विश्वास है कि ICML समुदाय इन शोधपत्रों के अत्यंत मजबूत योगदान को मान्यता देगा।
- उत्कृष्ट शोधपत्र पुरस्कार समिति: Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
विजेता निम्नलिखित हैं (paper ID के क्रम में):
-
D-Adaptation के माध्यम से Learning-Rate-Free Learning (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
यह शोधपत्र stochastic convex optimization की विशाल श्रेणी के लिए learning-rate-free optimal bounds प्राप्त करने की चुनौती को हल करने के उद्देश्य से एक रोचक दृष्टिकोण प्रस्तुत करता है। लेखक ऐसे समस्याओं के optimization में पारंपरिक learning rate चयन की सीमाओं को पार करने के लिए एक नई विधि प्रस्तावित करते हैं। यह शोध optimization क्षेत्र में एक मूल्यवान और व्यावहारिक योगदान देता है। -
Large Language Models के लिए एक Watermark (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
यह शोधपत्र large language models के output पर watermark लागू करने की एक विधि प्रस्तावित करता है, अर्थात generated text में ऐसा signal embed करना जो मनुष्यों को दिखाई न दे लेकिन algorithmically detect किया जा सके। watermark को language model को दोबारा train किए बिना बनाया जा सकता है, और इसे API या parameters तक पहुंच के बिना भी detect किया जा सकता है। शोधपत्र watermark की पहचान के लिए interpretable p-value के साथ एक statistical test भी प्रस्तावित करता है, और उसकी sensitivity का विश्लेषण करने के लिए एक information-theoretic framework प्रस्तुत करता है। प्रस्तावित विधि सरल और नई है, तथा इसमें गहन theoretical analysis और ठोस experiments प्रस्तुत किए गए हैं। LLM द्वारा उत्पन्न synthetic text का detection और auditing एक महत्वपूर्ण चुनौती है; इसे देखते हुए, यह शोधपत्र समुदाय पर महत्वपूर्ण प्रभाव डाल सकता है। -
अनदेखे पर सामान्यीकरण, Logic Reasoning और Degree Curriculum (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
यह कार्य Boolean functions के learning में महत्वपूर्ण प्रगति प्रस्तुत करता है, विशेष रूप से generalization on the unseen (GOTU) setting को लक्ष्य बनाते हुए। यह एक चुनौतीपूर्ण समस्या है, जो out-of-distribution generalization का प्रश्न उठाती है। शोधपत्र इस महत्वपूर्ण विषय को गहराई से संबोधित करता है और theoretical analysis तथा व्यापक experiments के समर्थन के साथ एक सुव्यवस्थित दृष्टिकोण प्रस्तुत करता है। यह शोध Boolean function learning की सैद्धांतिक समझ को बेहतर बनाता है और दिखाता है कि इसे व्यावहारिक algorithms में कैसे लागू किया जा सकता है। -
Algorithmic Information Ratio का उपयोग करके Exploration-Exploitation Strategies का डिज़ाइन (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
यह शोधपत्र bandits और अन्य sequential decision-making strategies को डिज़ाइन करने की अत्यंत सामान्य समस्या को संबोधित करता है। यह algorithmic information ratio नामक एक नई quantity का उपयोग करके किसी strategy के regret को सीमित करने का तरीका प्रस्तावित करता है, और इस bound को optimize करने की विधि निकालता है। यह bound पूर्व के समान information-theoretic quantities की तुलना में अधिक tight है, और ये विधियां stochastic तथा adversarial bandit settings में अच्छा प्रदर्शन करती हैं, साथ ही सभी परिस्थितियों में सर्वोत्तम प्रदर्शन हासिल करती हैं। विशेष रूप से रोचक बात यह है कि यह शोधपत्र इस संभावना की ओर संकेत करता है कि bandits के लिए प्रसिद्ध Thompson Sampling और UCB से आगे बढ़कर नई exploration-exploitation strategies की पूरी नई श्रृंखला खोली जा सकती है। इस सिद्धांत का reinforcement learning तक विस्तार अत्यंत आशाजनक है। इस शोधपत्र को विशेषज्ञ reviewers से लगातार बहुत मजबूत समर्थन मिला।
संदर्भ सामग्री
यह ICML 2023 की आधिकारिक वेबसाइट है। यहां विभिन्न शोधपत्रों और पुरस्कार-विजेता कार्यों को देखा जा सकता है:
https://icml.cc/Conferences/2023
यह एक ऐसा प्लेटफ़ॉर्म है जहां शोधपत्रों के reviews और discussions देखे जा सकते हैं। प्रत्येक शोधपत्र के लिंक के माध्यम से अधिक विवरण और चर्चा देखी जा सकती है:
https://openreview.net/
- *यह लेख GPT-4 का उपयोग करके स्वचालित रूप से तैयार किया गया विवरण है, और इसमें त्रुटियां हो सकती हैं. *
- यदि आपको कोई गलत जानकारी मिले, तो कृपया टिप्पणी में बताएं!
1 टिप्पणियां
आगे पढ़ें