"Open Pre-trained Transformer Language Model"
- ऐसे बड़े language model बनाने के लिए काफ़ी पूंजी की ज़रूरत होती है, और केवल API access उपलब्ध कराने से रिसर्च करना मुश्किल होता है
- रुचि रखने वाले शोधकर्ताओं के लिए पूरा मॉडल, प्रयोगात्मक code, और logbook सभी को डाउनलोड करने योग्य रूप में सार्वजनिक किया गया है
- GPT-3 की तुलना में Carbon Footprint केवल 1/7 चाहिए
1 टिप्पणियां
https://github.com/facebookresearch/metaseq