09] इस सप्ताह के प्रमुख ML पेपर (Top ML Papers of the Week)

(discuss.pytorch.kr)

3 पॉइंट द्वारा ninebow 2024-06-13 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

DAIR.AI द्वारा हर हफ्ते प्रकाशित ML पेपरों पर आधारित इस लेख का स्वचालित अनुवाद किया गया है।
इस सप्ताह चुने गए पेपरों को देखें तो अधिकांश शोध बड़े भाषा मॉडल (LLMs) पर केंद्रित दिखाई देते हैं। खास तौर पर, इन्हें बड़े भाषा मॉडलों से concept extraction (Extracting Concepts from GPT-4), दक्षता में सुधार (MatMul-free LLMs), मॉडल की सोचने की प्रक्रिया को समझना (Buffer of Thoughts), LLMs की ज्यामितीय संरचना (The Geometry of Concepts in LLMs), और इन मॉडलों के alignment (Aligning LLMs with Demonstrated Feedback, Towards Scalable Automated Alignment of LLMs) पर हुए शोध के रूप में संक्षेपित किया जा सकता है। ये विषय AI क्षेत्र में LLMs की समझ, सुधार और अनुप्रयोग की संभावनाओं को लेकर मौजूदा रुचि को दर्शाते हैं। भले ही सभी पेपरों की सामग्री को विस्तार से नहीं देखा गया हो, केवल शीर्षकों से भी हालिया शोध रुझानों को समझने के लिए ये पर्याप्त लगते हैं.
इस रुझान को कुछ कारणों से समझाया जा सकता है। सबसे पहले, GPT-4 जैसे बड़े भाषा मॉडलों की सफलता के बाद AI शोध क्षेत्र में ऐसे मॉडलों के प्रति रुचि तेज़ी से बढ़ी है। ये मॉडल प्राकृतिक भाषा प्रसंस्करण (NLP) के साथ-साथ विभिन्न knowledge tasks में मानव-स्तर का प्रदर्शन हासिल करने में महत्वपूर्ण भूमिका निभा रहे हैं। दूसरे, LLMs की समझ और प्रगति ऐसे AI सिस्टम के विकास के अवसर देती है जो अधिक जटिल और रचनात्मक कार्य कर सकें। अंत में, इस तरह का शोध मॉडल के व्यवहार को समझने और नियंत्रित करने वाली तकनीकों के विकास में योगदान दे सकता है, जो AI की सुरक्षा और नैतिक उपयोग को मजबूत करने के लिए आवश्यक हैं। नतीजतन, इस सप्ताह चुने गए पेपर AI तकनीक, खासकर बड़े भाषा मॉडलों के विकास की अग्रिम पंक्ति में हो रहे शोध और प्रयोगों को दर्शाते हैं.

NLLB: न्यूरल मशीन अनुवाद को 200 भाषाओं तक विस्तारित करना / Scaling neural machine translation to 200 languages

पेपर परिचय

200 भाषाओं में transfer learning का उपयोग करने वाला एक विशाल multilingual model प्रस्तावित किया गया है। यह sparsely Gated Mixture of Experts architecture पर आधारित है, low-resource भाषाओं के लिए अनुकूलित approach से प्राप्त data पर trained है, और 40K अनुवादों के मूल्यांकन में औसतन 44% बेहतर translation quality हासिल करता है।
> Proposes a massive multilingual model that leverages transfer learning across 200 languages; it’s based on a sparsely Gated Mixture of Experts architecture and trained on data via an approach tailored for low-resource languages; evaluates on 40K translations and achieves an average of 44% improvement in translation quality.

पेपर सारांश(Abstract)

न्यूरल तकनीकों के विकास ने मशीन अनुवाद शोध के लिए नए रास्ते खोले हैं। आज, neural machine translation (NMT) सिस्टम अत्यधिक multilingual क्षमताओं का लाभ उठा सकते हैं और zero-shot translation भी कर सकते हैं, जिससे भाषा कवरेज और गुणवत्ता दोनों के लिहाज़ से आशाजनक परिणाम मिलते हैं। हालांकि, उच्च-गुणवत्ता वाले NMT को scale करने के लिए बड़ी मात्रा में parallel bilingual data की आवश्यकता होती है, जो दुनिया की 7,000+ भाषाओं के लिए समान रूप से उपलब्ध नहीं है। अपेक्षाकृत कम संख्या वाली high-resource भाषाओं के translation quality में सुधार पर ध्यान केंद्रित करने से low-resource भाषाओं की ओर शोध का ध्यान कम हो जाता है, जिससे लंबे समय में digital inequality और बढ़ सकती है। इस पैटर्न को तोड़ने के लिए यहाँ No Language Left Behind (NLLB) प्रस्तुत किया गया है—एक एकल विशाल multilingual model, जो भाषाओं के बीच transfer learning का उपयोग करता है। हमने Sparsely Gated Mixture of Experts architecture पर आधारित एक conditional computational model विकसित किया, जिसे low-resource भाषाओं के लिए अनुकूलित नई mining techniques से प्राप्त data पर train किया गया। इसके अलावा, हजारों tasks पर training के दौरान overfitting से निपटने के लिए हमने कई architectural और training improvements तैयार किए। इस उद्देश्य के लिए विशेष रूप से बनाए गए tools—एक automatic benchmark (FLORES-200), एक human evaluation metric (XSTS), और मॉडल की सभी भाषाओं को कवर करने वाला toxicity detector—का उपयोग करते हुए हमने 40,000 से अधिक translation directions पर मॉडल के प्रदर्शन का मूल्यांकन किया। पिछले state-of-the-art मॉडलों की तुलना में, हमारे मॉडल ने BLEU के अनुसार translation quality में औसतन 44% सुधार हासिल किया। NMT को 200 भाषाओं तक scale करने का प्रदर्शन करके और इस प्रयास के सभी योगदानों को non-commercial उपयोग के लिए स्वतंत्र रूप से उपलब्ध कराकर, यह कार्य एक universal translation system के विकास के लिए महत्वपूर्ण आधार तैयार करता है।
> The development of neural techniques has opened up new avenues for research in machine translation. Today, neural machine translation (NMT) systems can leverage highly multilingual capacities and even perform zero-shot translation, delivering promising results in terms of language coverage and quality. However, scaling quality NMT requires large volumes of parallel bilingual data, which are not equally available for the 7,000+ languages in the world. Focusing on improving the translation qualities of a relatively small group of high-resource languages comes at the expense of directing research attention to low-resource languages, exacerbating digital inequities in the long run. To break this pattern, here we introduce No Language Left Behind—a single massively multilingual model that leverages transfer learning across languages. We developed a conditional computational model based on the Sparsely Gated Mixture of Experts architecture, which we trained on data obtained with new mining techniques tailored for low-resource languages. Furthermore, we devised multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. We evaluated the performance of our model over 40,000 translation directions using tools created specifically for this purpose—an automatic benchmark (FLORES-200), a human evaluation metric (XSTS) and a toxicity detector that covers every language in our model. Compared with the previous state-of-the-art models, our model achieves an average of 44% improvement in translation quality as measured by BLEU. By demonstrating how to scale NMT to 200 languages and making all contributions in this effort freely available for non-commercial use, our work lays important groundwork for the development of a universal translation system.

पेपर लिंक

https://www.nature.com/articles/s41586-024-07335-x

आगे पढ़ें

https://github.com/facebookresearch/fairseq/tree/nllb

https://x.com/AIatMeta/status/1798420492774432769

GPT-4 से concepts निकालना / Extracting Concepts from GPT-4

शोध परिचय

GPT-4 से लगभग 16 million interpretable patterns निकालने के लिए sparse autoencoders पर आधारित एक नई scalable method प्रस्तावित की गई है। यह method पूर्वानुमेय scaling दिखाती है और पिछली तकनीकों की तुलना में अधिक efficient है।
> GPT-4 से लगभग 16 million interpretable patterns निकालने के लिए sparse autoencoders पर आधारित एक नई scalable method प्रस्तावित की गई है; यह method predictable scaling दिखाती है और पिछली तकनीकों की तुलना में अधिक efficient है.

पेपर सार

SAE(Sparse AutoEncoder, sparse autoencoder) sparse bottleneck layer से activations को reconstruct करके language model से interpretable features निकालने के लिए एक promising unsupervised approach प्रदान करते हैं। चूंकि language models कई concepts सीखते हैं, इसलिए सभी relevant features को recover करने के लिए autoencoders का बहुत बड़ा होना आवश्यक है। हालांकि, reconstruction और sparsity objectives के बीच संतुलन बनाने की आवश्यकता और dead latents की मौजूदगी के कारण autoencoder scaling के गुणों का अध्ययन करना कठिन है। हम sparsity को सीधे नियंत्रित करने के लिए K-sparse autoencoders [Makhzani and Frey, 2013] के उपयोग का प्रस्ताव करते हैं, जिससे tuning सरल होती है और reconstruction-sparsity frontier बेहतर होता है। इसके अतिरिक्त, हमने ऐसे modifications खोजे हैं जिनसे हमारे द्वारा आजमाए गए सबसे बड़े scale पर भी dead latents बहुत कम होते हैं। इन तकनीकों का उपयोग करके हमने autoencoder size और sparsity के संबंध में साफ scaling laws पाए। हमने hypothesized features की recovery, activation patterns की explainability, और downstream effects की sparsity के आधार पर feature quality का मूल्यांकन करने के लिए कई नए metrics भी प्रस्तुत किए हैं। ये metrics सामान्य रूप से autoencoder size के साथ बेहतर होते जाते हैं। अपने approach की scalability दिखाने के लिए हमने 40 billion tokens पर GPT-4 activations के साथ 16 million latent autoencoder को train किया। हम open-source models के लिए code और autoencoders के साथ एक visualizer भी जारी करते हैं।
> Sparse autoencoders language model से interpretable features निकालने के लिए एक promising unsupervised approach प्रदान करते हैं, जिसमें sparse bottleneck layer से activations को reconstruct किया जाता है। चूंकि language models कई concepts सीखते हैं, इसलिए सभी relevant features को recover करने के लिए autoencoders बहुत बड़े होने चाहिए। हालांकि, reconstruction और sparsity objectives के बीच संतुलन बनाने की आवश्यकता और dead latents की मौजूदगी के कारण autoencoder scaling के गुणों का अध्ययन कठिन है। हम sparsity को सीधे नियंत्रित करने के लिए k-sparse autoencoders [Makhzani and Frey, 2013] का उपयोग करने का प्रस्ताव करते हैं, जिससे tuning सरल होती है और reconstruction-sparsity frontier बेहतर होता है। इसके अतिरिक्त, हमने ऐसे modifications पाए जो हमारे द्वारा आजमाए गए सबसे बड़े scales पर भी dead latents को बहुत कम कर देते हैं। इन तकनीकों का उपयोग करके हमने autoencoder size और sparsity के संबंध में स्पष्ट scaling laws पाए। हमने hypothesized features की recovery, activation patterns की explainability, और downstream effects की sparsity के आधार पर feature quality का मूल्यांकन करने के लिए कई नए metrics भी पेश किए हैं। ये metrics सामान्य रूप से autoencoder size के साथ बेहतर होते हैं। अपने approach की scalability दिखाने के लिए हमने 40 billion tokens के लिए GPT-4 activations पर 16 million latent autoencoder को train किया। हम open-source models के लिए code और autoencoders के साथ-साथ एक visualizer भी जारी करते हैं।

शोध और पेपर लिंक

https://openai.com/index/extracting-concepts-from-gpt-4/

https://cdn.openai.com/papers/sparse-autoencoders.pdf

आगे पढ़ें

https://github.com/openai/sparse_autoencoder

https://openaipublic.blob.core.windows.net/sparse-autoencoder/…

https://x.com/OpenAI/status/1798762092528586945

Transformers SSM हैं: Structured State Space Duality के माध्यम से generalized models और efficient algorithms / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

पेपर परिचय

state space models (SSM) और structured attention को मिलाने वाली नई architecture 8 गुना बड़े states का उपयोग करती है और 50% तेज़ी से train होती है। नई state space duality layer, Mamba में उपयोग किए गए approach की तुलना में अधिक efficient और scalable है, और large state capacity की आवश्यकता वाले tasks में results को बेहतर बनाती है।
> state space models (SSMs) और structured attention को मिलाने वाली एक नई architecture; यह 8x बड़े states का उपयोग करती है और 50% तेज़ी से train होती है; नई state space duality layer, Mamba में उपयोग किए गए approach की तुलना में अधिक efficient और scalable है; यह उन tasks पर results भी बेहतर बनाती है जिन्हें large state capacity की आवश्यकता होती है।

पेपर सार(Abstract)

Transformers language modeling में deep learning की सफलता के पीछे मुख्य architecture रहे हैं, लेकिन हाल के समय में Mamba जैसे state space models (SSM) ने small to medium scale पर Transformers के बराबर या उनसे बेहतर प्रदर्शन दिखाया है। हम दिखाते हैं कि ये model families वास्तव में एक-दूसरे से काफ़ी निकटता से संबंधित हैं, और structured semiseparable matrices की एक अच्छी तरह से अध्ययन की गई class के विभिन्न decompositions के माध्यम से जुड़े SSMs और attention के variants के बीच सैद्धांतिक संबंधों का एक समृद्ध framework विकसित करते हैं। हमारा state space duality (SSD) framework हमें एक नई architecture (Mamba-2) डिज़ाइन करने की अनुमति देता है, जिसकी core layer Mamba के selective SSM का एक refinement है, जो 2-8X तेज़ है, जबकि language modeling में Transformers के साथ प्रतिस्पर्धी भी बनी रहती है।
> जबकि Transformers language modeling में deep learning की सफलता के पीछे मुख्य architecture रहे हैं, state-space models (SSMs) जैसे Mamba ने हाल ही में small to medium scale पर Transformers के बराबर या उनसे बेहतर प्रदर्शन किया है। हम दिखाते हैं कि ये model families वास्तव में काफ़ी निकटता से संबंधित हैं, और structured semiseparable matrices की एक well-studied class के विभिन्न decompositions के माध्यम से जुड़े SSMs और attention के variants के बीच सैद्धांतिक संबंधों का एक समृद्ध framework विकसित करते हैं। हमारा state space duality (SSD) framework हमें एक नई architecture (Mamba-2) डिज़ाइन करने की अनुमति देता है, जिसकी core layer Mamba के selective SSM का refinement है और जो 2-8X तेज़ है, जबकि language modeling में Transformers के साथ प्रतिस्पर्धी बनी रहती है।

पेपर लिंक

https://arxiv.org/abs/2405.21060

स्केलेबल, matrix multiplication (MatMul)-free language modeling / Scalable MatMul-free Language Modeling

पेपर परिचय

यह एक ऐसी इम्प्लीमेंटेशन का प्रस्ताव करता है जो LLM में matrix multiplication ऑपरेशन को हटाते हुए भी 1 अरब पैरामीटर स्केल पर प्रदर्शन बनाए रखती है, और दावा करती है कि मॉडल का आकार बढ़ने पर full-precision Transformer और MatMul-free मॉडल के बीच प्रदर्शन का अंतर कम होता जाता है, जबकि inference के दौरान optimized kernel का उपयोग करने पर memory consumption 10 गुना से अधिक घट जाता है।
> Proposes an implementation that eliminates matrix multiplication operations from LLMs while maintaining performance at billion-parameter scales; the performance between full precision Transformers and the MatMul-free models narrows as the model size increases; claims that by using an optimized kernel during inference, memory consumption is reduced by more than 10x.

पेपर सारांश (Abstract)

सामान्यतः matrix multiplication (MatMul) बड़े language models (LLMs) की कुल computational cost का सबसे बड़ा हिस्सा होता है। यह लागत केवल तब और बढ़ती है जब LLMs बड़े embedding dimensions और context lengths तक scale होते हैं। इस कार्य में हम दिखाते हैं कि 1 अरब पैरामीटर स्केल पर मजबूत प्रदर्शन बनाए रखते हुए LLMs से MatMul ऑपरेशनों को पूरी तरह हटाया जा सकता है। हमारे प्रयोग दिखाते हैं कि हमारे प्रस्तावित MatMul-free मॉडल कम-से-कम 2.7B पैरामीटर स्केल तक inference के दौरान कहीं अधिक memory मांगने वाले state-of-the-art Transformers के बराबर प्रदर्शन हासिल करते हैं। scaling laws की जांच में हमने पाया कि मॉडल का आकार बढ़ने के साथ हमारे MatMul-free मॉडल और full precision Transformers के बीच प्रदर्शन अंतर कम होता जाता है। हम इस मॉडल का एक GPU-efficient implementation भी प्रस्तुत करते हैं, जो training के दौरान unoptimized baseline की तुलना में memory usage को अधिकतम 61% तक कम करता है। inference के दौरान optimized kernel का उपयोग करने पर, हमारे मॉडल की memory consumption unoptimized models की तुलना में 10 गुना से अधिक कम की जा सकती है। हमारी architecture की efficiency को ठीक से quantify करने के लिए, हमने FPGA पर एक custom hardware solution बनाया जो GPU की क्षमता से आगे बढ़कर lightweight operations का उपयोग करता है। हमने 13W पर 1 अरब पैरामीटर स्केल मॉडल प्रोसेस किए, वह भी human readable throughput से अधिक पर, जिससे LLMs को brain-like efficiency के और करीब लाया गया। यह कार्य न केवल दिखाता है कि प्रभावी प्रदर्शन बनाए रखते हुए LLMs को कितनी हद तक सरल बनाया जा सकता है, बल्कि यह भी इंगित करता है कि अगली पीढ़ी के lightweight LLMs को प्रोसेस करने के लिए भविष्य के accelerators को किन प्रकार के operations के लिए optimize किया जाना चाहिए। कोड implementation \url{https://github.com/ridgerchu/matmulfreellm} पर उपलब्ध है।
> Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales. Our experiments show that our proposed MatMul-free models achieve performance on-par with state-of-the-art Transformers that require far more memory during inference at a scale up to at least 2.7B parameters. We investigate the scaling laws and find that the performance gap between our MatMul-free models and full precision Transformers narrows as the model size increases. We also provide a GPU-efficient implementation of this model which reduces memory usage by up to 61% over an unoptimized baseline during training. By utilizing an optimized kernel during inference, our model's memory consumption can be reduced by more than 10x compared to unoptimized models. To properly quantify the efficiency of our architecture, we build a custom hardware solution on an FPGA which exploits lightweight operations beyond what GPUs are capable of. We processed billion-parameter scale models at 13W beyond human readable throughput, moving LLMs closer to brain-like efficiency. This work not only shows how far LLMs can be stripped back while still performing effectively, but also points at the types of operations future accelerators should be optimized for in processing the next generation of lightweight LLMs. Our code implementation is available at \url{https://github.com/ridgerchu/matmulfreellm}.

पेपर लिंक

https://arxiv.org/abs/2406.02528

विचारों का बफर: बड़े language models के साथ thought-augmented reasoning / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

पेपर परिचय

यह LLM-आधारित reasoning की accuracy, efficiency और robustness को बेहतर बनाने के लिए thought-augmented reasoning approach प्रस्तुत करता है। यह problem-solving process से निकाले गए high-level thoughts (thought templates) वाले meta-buffer का उपयोग करता है, फिर संबंधित thought template को retrieve करके उसे thought-augmented reasoning process के लिए task-specific reasoning structures में instantiate करता है। इसने Tree-of-Thoughts जैसे multi-query prompting methods की लागत के केवल 12% पर 10 चुनौतीपूर्ण tasks में SOTA प्रदर्शन दिखाया।
> Presents a thought-augmented reasoning approach to enhance the accuracy, efficiency, and robustness of LLM-based reasoning; it leverages a meta-buffer containing high-level thoughts (thought templates) distilled from problem-solving processes; the relevant thought template is then retrieved and instantiated with task-specific reasoning structures for the thought-augmented reasoning process; it demonstrates SOTA performance on 10 challenging tasks while requiring 12% of the cost of multi-query prompting methods like Tree-of-Thoughts.

पेपर सारांश (Abstract)

बड़े language models (LLMs) की accuracy, efficiency और robustness को बेहतर बनाने के लिए एक नया और बहुउद्देश्यीय thought-augmented reasoning approach, Buffer of Thoughts (BoT), प्रस्तुत किया गया है। विशेष रूप से, इसमें एक meta-buffer प्रस्तावित किया गया है जो विभिन्न tasks की problem-solving process से निकाले गए उपयोगी high-level thoughts, यानी thought templates, को संग्रहीत करता है। इसके बाद प्रत्येक समस्या के लिए एक प्रासंगिक thought template को retrieve किया जाता है और efficient reasoning के लिए उसे विशेष reasoning structures के साथ adaptively instantiate किया जाता है। साथ ही, scalability और stability सुनिश्चित करने के लिए एक buffer-manager भी प्रस्तावित किया गया है, जो meta-buffer को dynamically update करता है, जिससे अधिक tasks हल होने के साथ meta-buffer की क्षमता बढ़ती जाती है। 10 चुनौतीपूर्ण reasoning-intensive tasks पर किए गए व्यापक experiments में, पिछले SOTA methods की तुलना में उल्लेखनीय performance improvements हासिल हुए: Game of 24 में 11%, Geometric Shapes में 20%, और Checkmate-in-One में 51%। अतिरिक्त analysis से यह भी सामने आया कि BoT की generalization ability और model robustness बेहतर है, जबकि इसकी लागत औसतन multi-query prompting methods (जैसे tree/graph of thoughts) की केवल 12% है। विशेष रूप से, हमने पाया कि Llama3-8B+BoT में Llama3-70B model को पीछे छोड़ने की क्षमता है। प्रोजेक्ट यहां उपलब्ध है: https://github.com/YangLing0818/buffer-of-thought-llm
> We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm

पेपर लिंक

https://arxiv.org/abs/2406.04271

आगे पढ़ें

https://github.com/YangLing0818/buffer-of-thought-llm

https://x.com/omarsar0/status/1799113545696567416

SaySelf: आत्म-परावर्तक तर्कों के साथ confidence व्यक्त करना LLMs को सिखाना / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales

पेपर परिचय

यह एक training framework है जो LLMs को अधिक सटीक fine-grained confidence estimates और self-reflective rationales व्यक्त करना सिखाता है; यह पहले ऐसे dataset पर supervised finetuning करता है जिसमें कई reasoning chains के बीच के अंतर के summaries शामिल होते हैं, और फिर confidence estimates को calibrate करने के लिए reinforcement learning लागू करता है, ताकि LLM सटीक और high-confidence predictions दे सके तथा गलत outputs पर overconfidence दिखाने पर उसे दंडित किया जा सके।
> A training framework to teach LLMs to express more accurate fine-grained confidence estimates and self-reflective rationales; it performs supervised finetuning on a dataset that contains summaries of the difference between multiple reasoning chains; reinforcement learning is then applied to calibrate confidence estimates, encouraging the LLM to produce accurate, high-confidence predictions and penalize overconfidence in erroneous outputs.

पेपर सारांश (Abstract)

बड़े भाषा मॉडल (LLM) अक्सर गलत या गढ़ी हुई जानकारी उत्पन्न करते हैं और आम तौर पर अपना confidence नहीं दिखाते, जिससे उनका व्यापक उपयोग सीमित हो जाता है। पिछले शोधों में direct या self-consistency prompting के जरिए, या supervised fine-tuning के लिए विशेष datasets बनाकर, LLM से confidence निकलवाने की कोशिश की गई है। Prompting-आधारित approaches का प्रदर्शन कमजोर रहता है, और training-आधारित approaches binary या गलत group-level confidence estimates तक सीमित हैं। इस शोध में advanced SaySelf पेश किया गया है, जो एक training framework है और LLM को अधिक सटीक, fine-grained confidence estimates व्यक्त करना सिखाता है। इसके अलावा, confidence scores से आगे बढ़ते हुए SaySelf एक ऐसी प्रक्रिया शुरू करता है जो LLM को self-reflective rationales बनाने की दिशा में ले जाती है, ताकि वे अपने parametric knowledge की कमियों को स्पष्ट रूप से पहचान सकें और अपनी uncertainty समझा सकें। यह काम natural language के माध्यम से किसी विशिष्ट knowledge में मौजूद uncertainty को अपने-आप summarize करने के लिए LLM का उपयोग करके किया जाता है। यह summary कई sampled reasoning chains में मौजूद असंगतियों के analysis पर आधारित होती है, और उससे प्राप्त data का उपयोग supervised fine-tuning में किया जाता है। साथ ही, सावधानी से डिज़ाइन किए गए reward function के साथ reinforcement learning का उपयोग confidence estimates को calibrate करने के लिए किया जाता है, ताकि LLM सटीक और high-confidence predictions देने के लिए प्रेरित हों और गलत outputs पर overconfidence के लिए दंडित किए जाएँ। in-distribution और out-of-distribution datasets पर किए गए प्रयोग दिखाते हैं कि SaySelf confidence calibration error को कम करने और task performance बनाए रखने में प्रभावी है। साथ ही यह भी दिखाया गया है कि उत्पन्न self-reflective rationales तर्कसंगत हैं और calibration में आगे और योगदान दे सकते हैं। कोड https://github.com/xu1868/SaySelf पर सार्वजनिक रूप से उपलब्ध है।
> Large language models (LLMs) often generate inaccurate or fabricated information and generally fail to indicate their confidence, which limits their broader applications. Previous work elicits confidence from LLMs by direct or self-consistency prompting, or constructing specific datasets for supervised finetuning. The prompting-based approaches have inferior performance, and the training-based approaches are limited to binary or inaccurate group-level confidence estimates. In this work, we present the advanced SaySelf, a training framework that teaches LLMs to express more accurate fine-grained confidence estimates. In addition, beyond the confidence scores, SaySelf initiates the process of directing LLMs to produce self-reflective rationales that clearly identify gaps in their parametric knowledge and explain their uncertainty. This is achieved by using an LLM to automatically summarize the uncertainties in specific knowledge via natural language. The summarization is based on the analysis of the inconsistency in multiple sampled reasoning chains, and the resulting data is utilized for supervised fine-tuning. Moreover, we utilize reinforcement learning with a meticulously crafted reward function to calibrate the confidence estimates, motivating LLMs to deliver accurate, high-confidence predictions and to penalize overconfidence in erroneous outputs. Experimental results in both in-distribution and out-of-distribution datasets demonstrate the effectiveness of SaySelf in reducing the confidence calibration error and maintaining the task performance. We show that the generated self-reflective rationales are reasonable and can further contribute to the calibration. The code is made public at https://github.com/xu1868/SaySelf.

पेपर लिंक

https://arxiv.org/abs/2405.20974

आगे पढ़ें

https://github.com/xu1868/SaySelf

https://x.com/omarsar0/status/1797682549608833477

बड़े भाषा मॉडलों में श्रेणीगत और पदानुक्रमिक अवधारणाओं की ज्यामिति / The Geometry of Categorical and Hierarchical Concepts in Large Language Models

पेपर परिचय

यह शोध श्रेणीगत अवधारणाओं की ज्यामितीय संरचना और उनके बीच के पदानुक्रमिक संबंध LLM में किस तरह encode होते हैं, इसका अध्ययन करता है, और यह पाता है कि सरल श्रेणीगत अवधारणाएँ LLM द्वारा simplices के रूप में दर्शाई जाती हैं, जबकि जटिल अवधारणाएँ simplices के direct sums से बने polytopes के रूप में दर्शाई जाती हैं, जो पदानुक्रमिक संरचना को प्रतिबिंबित करते हैं।
> Studies the geometry of categorical concepts and how the hierarchical relations between them are encoded in LLMs; finds that simple categorical concepts are represented as simplices by the LLMs and complex concepts are represented as polytopes constructed from direct sums of simplices, which reflect the hierarchical structure.

पेपर सारांश(Abstract)

बड़े भाषा मॉडलों के representation space में semantic meaning किस तरह encode होता है, इसे समझना interpretability की एक बुनियादी समस्या है। यह पेपर इस क्षेत्र के दो मूलभूत प्रश्नों का अध्ययन करता है। पहला, {'स्तनपायी', 'पक्षी', 'सरीसृप', 'मछली'} जैसी categorical concepts को कैसे represent किया जाता है? दूसरा, concepts के बीच hierarchical relations कैसे encode होती हैं? उदाहरण के लिए, 'कुत्ता' 'स्तनपायी' का एक प्रकार है, यह तथ्य कैसे encode होता है? इन प्रश्नों का उत्तर देने के लिए लेखक दिखाते हैं कि linear representation hypothesis को कैसे extend किया जा सकता है। वे एक हैरान कर देने वाली सरल संरचना पाते हैं: सरल categorical concepts को simplices के रूप में represent किया जाता है, hierarchical रूप से संबंधित concepts एक सटीक परिभाषित अर्थ में orthogonal होते हैं, और इसके परिणामस्वरूप complex concepts को simplices के direct sums से बने polytopes के रूप में represent किया जाता है, जो hierarchical structure को दर्शाते हैं। इन सैद्धांतिक परिणामों को Gemma बड़े भाषा मॉडल पर validate किया गया है, जहाँ WordNet के डेटा का उपयोग करके hierarchical रूप से संबंधित 957 concepts के representations का अनुमान लगाया गया है।
> Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.

पेपर लिंक

https://arxiv.org/abs/2406.01506

आगे पढ़ें

https://x.com/omarsar0/status/1798010546522103898

केवल दिखाएँ, बताएं नहीं: language models को demonstrated feedback के साथ align करना / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback

पेपर परिचय

यह पेपर feedback के रूप में बहुत कम demonstrations के जरिए किसी खास setting के लिए LLM को align करने की एक विधि प्रस्तावित करता है। यह LLM outputs को उपयोगकर्ता के demonstrated behavior के अनुरूप align करता है, कई domains में fine-grained style और task alignment सीख सकता है, और परीक्षण किए गए benchmarks पर few-shot prompting, SFT और self-play methods से बेहतर प्रदर्शन करता है।
> Proposes a method to align LLMs to a specific setting via a very small number of demonstrations as feedback; it aligns LLM outputs to a user’s demonstrated behaviors and can learn fine-grained style and task alignment across domains; outperforms few-shot prompting, SFT, and self-play methods on the tested benchmarks.

पेपर सारांश(Abstract)

language models को कई लोगों की collective voice की नकल करने के लिए align किया जाता है, जिसके कारण ऐसे outputs बनते हैं जो वास्तव में किसी एक व्यक्ति से मेल नहीं खाते। LLMs को generic output से हटाकर किसी खास दिशा में ले जाना supervised finetuning या RLHF के जरिए संभव है, लेकिन नए ad-hoc tasks के लिए इसके लिए अत्यधिक बड़े datasets की आवश्यकता होती है। इसके बजाय, लेखक तर्क देते हैं कि बहुत कम demonstrations ($<10$) को feedback के रूप में उपयोग करके LLM को किसी विशिष्ट setting के लिए align किया जा सकता है। उनकी विधि, Demonstration ITerated Task Optimization (DITTO), language model outputs को सीधे उपयोगकर्ता के demonstrated behaviors के साथ align करती है। online imitation learning से प्रेरित DITTO, उपयोगकर्ताओं के demonstrations को LLM और उसके intermediate checkpoints के output की तुलना में preferred मानकर सस्ते में online comparison data तैयार करता है। लेखक news articles, emails और blog posts जैसे domains में fine-grained style और task alignment सीखने की DITTO की क्षमता का मूल्यांकन करते हैं। इसके अलावा, वे प्रतिभागियों ($N=16$) से विभिन्न demonstrations इकट्ठा करने वाला एक user study भी करते हैं। benchmarks और user study दोनों में, DITTO की win-rate few-shot prompting, supervised fine-tuning और अन्य self-play methods की तुलना में औसतन 19 percentage points अधिक पाई गई। demonstrations को सीधे feedback के रूप में उपयोग करके, DITTO LLMs के प्रभावी customization का एक नया तरीका प्रस्तुत करता है।
> Language models are aligned to emulate the collective voice of many, resulting in outputs that align with no one in particular. Steering LLMs away from generic output is possible through supervised finetuning or RLHF, but requires prohibitively large datasets for new ad-hoc tasks. We argue that it is instead possible to align an LLM to a specific setting by leveraging a very small number ($<10$) of demonstrations as feedback. Our method, Demonstration ITerated Task Optimization (DITTO), directly aligns language model outputs to a user's demonstrated behaviors. Derived using ideas from online imitation learning, DITTO cheaply generates online comparison data by treating users' demonstrations as preferred over output from the LLM and its intermediate checkpoints. We evaluate DITTO's ability to learn fine-grained style and task alignment across domains such as news articles, emails, and blog posts. Additionally, we conduct a user study soliciting a range of demonstrations from participants ($N=16$). Across our benchmarks and user study, we find that win-rates for DITTO outperform few-shot prompting, supervised fine-tuning, and other self-play methods by an average of 19% points. By using demonstrations as feedback directly, DITTO offers a novel method for effective customization of LLMs.

पेपर लिंक

https://arxiv.org/abs/2406.00888

आगे पढ़ें

https://x.com/arankomatsuzaki/status/1797833884463472653

स्केलेबल LLM के automated alignment की ओर: एक सर्वे पेपर / Towards Scalable Automated Alignment of LLMs: A Survey

पेपर परिचय

यह LLMs को align करने के लिए इस्तेमाल होने वाले तरीकों का एक overview देता है और निम्न 4 दिशाओं को देखता है: 1) inductive bias के माध्यम से alignment, 2) behavior imitation के माध्यम से alignment, 3) model feedback के माध्यम से alignment, 4) environment feedback के माध्यम से alignment।
> Provides an overview of methods used for alignment of LLMs; explores the 4 following directions: 1) aligning through inductive bias, 2) aligning through behavior imitation, 3) aligning through model feedback, and 4) aligning through environment feedback.

पेपर सारांश (Abstract)

मानव आवश्यकताओं को पूरा करने वाले large language models (LLMs) बनाने में alignment सबसे महत्वपूर्ण चरण है। जैसे-जैसे LLMs तेज़ी से विकसित होकर धीरे-धीरे मानव क्षमताओं से आगे निकल रहे हैं, human annotation पर आधारित पारंपरिक alignment तरीके scalability की मांगों को पूरा करने में increasingly असमर्थ होते जा रहे हैं। इसलिए automated alignment signals के नए स्रोतों और technical approaches की खोज की तत्काल आवश्यकता है। इस श्वेतपत्र में हम हाल ही में उभर रहे automated alignment तरीकों की व्यवस्थित समीक्षा करते हैं और यह समझने का प्रयास करते हैं कि जब LLMs की क्षमताएँ मनुष्यों से आगे निकल जाएँ, तब effective, scalable, automated alignment कैसे हासिल किया जा सकता है। विशेष रूप से, हम alignment signals के स्रोत के आधार पर मौजूदा automated alignment तरीकों को मोटे तौर पर 4 प्रमुख श्रेणियों में वर्गीकृत करते हैं और प्रत्येक श्रेणी की वर्तमान स्थिति तथा संभावित विकास पर चर्चा करते हैं। इसके अतिरिक्त, हम automated alignment को संभव बनाने वाले मूलभूत mechanisms का अध्ययन करते हैं और alignment की बुनियादी भूमिका के परिप्रेक्ष्य से उन आवश्यक कारकों पर चर्चा करते हैं जो automated alignment technologies को व्यावहारिक और प्रभावी बनाते हैं।
> Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.

पेपर लिंक

https://arxiv.org/abs/2406.01252

आगे पढ़ें

https://x.com/omarsar0/status/1798014572663583165

AgentGym: विविध environments में large language model-आधारित agents का विकास / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

पेपर परिचय

यह एक नया framework है जो व्यापक, real-time और concurrent agent exploration के लिए विभिन्न environments और tasks को support करता है; यह self-evolution क्षमताओं वाले एक सामान्य-उद्देश्य LLM-आधारित agent का निर्माण करता है और tasks तथा environments में पहले देखे गए data से आगे उसकी संभावनाओं का अन्वेषण करता है।
> A new framework featuring various environments and tasks for broad, real-time, and concurrent agent exploration; builds a generally capable LLM-based agent with self-evolution abilities and explores its potential beyond previously seen data across tasks and environments.

पेपर सारांश (Abstract)

विविध कार्यों को संभालने और कई environments में स्वयं विकसित हो सकने वाले generalist agents का निर्माण AI community का एक दीर्घकालिक लक्ष्य है। बड़े language models (LLM) को उनकी generalized capabilities के कारण ऐसे agents बनाने के लिए एक promising foundation माना जाता है। मौजूदा approaches या तो LLM-आधारित agents से expert द्वारा दिए गए trajectories की step-by-step नकल करवाते हैं, जिसके लिए human supervision की आवश्यकता होती है, इसलिए इसे scale करना कठिन है और environment exploration सीमित हो जाता है; या फिर agents को isolated environments में explore और learn करने देते हैं, जिससे limited generalization वाले specialist agents बनते हैं। इस पेपर में, हम self-evolution capability वाले general-purpose LLM-आधारित agents के निर्माण की दिशा में पहला कदम उठाते हैं। हम तीन तत्वों की पहचान करते हैं: 1) agent exploration और learning के लिए diverse environments, 2) agents को basic capabilities और prior knowledge से लैस करने के लिए trajectory set, 3) प्रभावी और scalable evolution method। Unity, AgentGym नाम का एक नया framework प्रस्तावित करता है, जिसमें व्यापक, real-time, single-format concurrent agent exploration के लिए विभिन्न environments और tasks शामिल हैं। AgentGym में expanded instructions वाला database, benchmark suite, और environments के पार high-quality trajectories भी शामिल हैं। इसके बाद, tasks और environments में पहले देखे गए data से आगे agent self-evolution की संभावना की जांच करने के लिए हम AgentEvol नाम की एक नई method प्रस्तावित करते हैं। प्रयोगों के परिणाम दिखाते हैं कि evolved agents, SOTA models के तुलनीय परिणाम हासिल कर सकते हैं। हम AgentGym suite जारी कर रहे हैं, जिसमें platform, dataset, benchmark, checkpoints और algorithm implementations शामिल हैं। AgentGym suite https://github.com/WooooDyy/AgentGym पर उपलब्ध है।
> Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.

यह लेख GPT model की मदद से संकलित किया गया है, इसलिए इसमें कुछ गलतियां हो सकती हैं। कृपया नीचे दिए गए मूल लेख को भी साथ में देखें! पढ़ते समय यदि आपको कोई अटपटा या गलत हिस्सा मिले, तो कृपया comment में बताएं। 🤗

⚠️विज्ञापन⚠️: 🔥PyTorch Korea User Group🇰🇷 द्वारा संकलित यह लेख आपको उपयोगी लगा? सदस्य के रूप में जुड़ें, तो हम प्रमुख लेख ईमेल💌 से भेजेंगे! (डिफ़ॉल्ट Weekly है, लेकिन Daily में भी बदल सकते हैं।)

[2024/06/03 ~ 06/09] इस सप्ताह के प्रमुख ML पेपर (Top ML Papers of the Week)

NLLB: न्यूरल मशीन अनुवाद को 200 भाषाओं तक विस्तारित करना / Scaling neural machine translation to 200 languages

पेपर परिचय

पेपर सारांश(Abstract)

पेपर लिंक

आगे पढ़ें

GPT-4 से concepts निकालना / Extracting Concepts from GPT-4

शोध परिचय

पेपर सार

शोध और पेपर लिंक

आगे पढ़ें

Transformers SSM हैं: Structured State Space Duality के माध्यम से generalized models और efficient algorithms / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

पेपर परिचय

पेपर सार(Abstract)

पेपर लिंक

और पढ़ें

स्केलेबल, matrix multiplication (MatMul)-free language modeling / Scalable MatMul-free Language Modeling

पेपर परिचय

पेपर सारांश (Abstract)

पेपर लिंक

और पढ़ें

विचारों का बफर: बड़े language models के साथ thought-augmented reasoning / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

पेपर परिचय

पेपर सारांश (Abstract)

पेपर लिंक

आगे पढ़ें

SaySelf: आत्म-परावर्तक तर्कों के साथ confidence व्यक्त करना LLMs को सिखाना / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales

पेपर परिचय

पेपर सारांश (Abstract)

पेपर लिंक

आगे पढ़ें

बड़े भाषा मॉडलों में श्रेणीगत और पदानुक्रमिक अवधारणाओं की ज्यामिति / The Geometry of Categorical and Hierarchical Concepts in Large Language Models

पेपर परिचय

पेपर सारांश(Abstract)

पेपर लिंक

आगे पढ़ें

केवल दिखाएँ, बताएं नहीं: language models को demonstrated feedback के साथ align करना / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback

पेपर परिचय

पेपर सारांश(Abstract)

पेपर लिंक

आगे पढ़ें

स्केलेबल LLM के automated alignment की ओर: एक सर्वे पेपर / Towards Scalable Automated Alignment of LLMs: A Survey

पेपर परिचय

पेपर सारांश (Abstract)

पेपर लिंक

आगे पढ़ें

AgentGym: विविध environments में large language model-आधारित agents का विकास / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments

पेपर परिचय

पेपर सारांश (Abstract)

पेपर लिंक

आगे पढ़ें

मूल लेख

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.