-
Transformer आधारित
-
BERT-Large 340M, RoBERTa 355M, OpenAI GPT-2 1.5b आदि की तुलना में 10 गुना से अधिक पैरामीटर वाला अब तक का सबसे बड़ा मॉडल
-
DeepSpeed और ZeRO की वजह से यह संभव हुआ
परिचय पेज का सारांश भी खुद Turing-NLG द्वारा बनाया गया बताया गया है
"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."
अभी कोई टिप्पणी नहीं है.