MS और Nvidia ने दुनिया के सबसे बड़े language model MT-NLG 530B की घोषणा की

• Megatron-Turing Natural Language Generation

• GPT-3 के 175 billion से बड़े 530 billion parameters

• मौजूदा मॉडलों की तुलना से परे accuracy दिखाता है

→ वाक्य completion, comprehension, commonsense reasoning, natural language inference आदि

• 105 layers, transformer आधारित

• NVIDIA A100 Tensor Core GPU & HDR InifiniBand networking

• supercomputing cluster NVIDIA Selene और Microsoft Azure NDv4