ARC-AGI क्या है?
- ARC-AGI 2019 में पेश किया गया एक AI benchmark है, जिसे न्यूनतम उदाहरणों से अमूर्त नियमों का अनुमान लगाने और उन्हें सामान्यीकृत करने की सिस्टम की क्षमता को टेस्ट करने के लिए डिज़ाइन किया गया था।
- यह dataset IQ test जैसे puzzles से बना है, और हर puzzle में मूल नियम दिखाने वाली कई example images तथा उस नियम को लागू करने के लिए एक test image दी जाती है।
- ARC-AGI को हल करने का उद्देश्य उन मौजूदा चुनौतियों को उजागर करना है जो AI की प्रगति में बाधा बन रही हैं।
हमारा समाधान दृष्टिकोण
- हम प्रस्तावित करते हैं कि lossless information compression, ARC-AGI puzzles को हल करने के लिए एक प्रभावी framework हो सकता है।
- puzzle का अधिक efficient compression, अधिक सटीक solution के साथ सहसंबंध रखता है।
- CompressARC decoder के रूप में neural network का उपयोग करता है, और encoding algorithm किसी दूसरे network के बजाय decoder के parameters और input distribution को optimize करके puzzle का सबसे अधिक compressed representation प्राप्त करता है।
नेटवर्क लर्निंग का अवलोकन: बक्सों को रंगना
- मानव समाधान: यह पहचाना जाता है कि input बक्सों में विभाजित है और output में भी वे बक्से बने रहते हैं तथा रंगे जाते हैं।
- CompressARC समाधान: learning के हर चरण में network धीरे-धीरे puzzle के नियम को समझता है और लागू करता है।
हमारे समाधान दृष्टिकोण की व्युत्पत्ति
- lossless information compression का मतलब है जानकारी को यथासंभव कम bits में व्यक्त करना, जबकि उस जानकारी को उस bit representation से पुनर्निर्मित भी किया जा सके।
- हम यह जानना चाहते हैं कि ARC-AGI dataset को सबसे अच्छी तरह compress करने वाला system किस उत्तर को decompress करेगा।
neural network की मदद
- program space को खोजने के बजाय, हम program चुनते हैं और उसे input space की विविधता पर छोड़ते हैं।
- हम ऐसा program लिखते हैं जो neural network का forward pass चलाता है, और input space के माध्यम से खोज करते हैं।
आर्किटेक्चर
- हमने ARC-AGI puzzles को decode करने के लिए एक neural network architecture डिज़ाइन किया।
- इसकी सबसे महत्वपूर्ण विशेषता equivalence है, जैसे symmetry rules का पालन करना।
परिणाम
- CompressARC ने training set पर 34.75% और evaluation set पर 20% प्रदर्शन दर्ज किया।
जिन puzzles को हल किया जा सकता है और जिन्हें नहीं
- CompressARC कुछ विशिष्ट क्षमताओं का उपयोग करके अधिकतम संभव जानकारी निकालने की कोशिश करता है।
- उदाहरण के लिए, यह pattern को कम दूरी तक बढ़ा सकता है, लेकिन लंबी दूरी तक नहीं।
बक्सों को रंगना: एक case study
- training के दौरान reconstruction error बहुत तेज़ी से घटती है और औसतन कम बनी रहती है।
- यह समझने के लिए कि CompressARC puzzle को कैसे हल करता है, हम z में संग्रहीत representation का विश्लेषण करते हैं।
हमारे काम को बेहतर बनाने के तरीके
- CompressARC के release के समय कई ऐसे ideas थे जिन्हें आज़माया गया था या नहीं आज़माया गया था।
- कुछ ideas, जैसे puzzles के बीच weights share करके joint compression, हमें अब भी उपयोगी लगते हैं।
अभी कोई टिप्पणी नहीं है.