Cloud TPU v5e
- सबसे किफायती, बहुमुखी और स्केलेबल Cloud TPU, जो Google Kubernetes Engine (GKE), Vertex AI, Pytorch, JAX, TensorFlow जैसे प्रमुख frameworks के साथ integration प्रदान करता है
- Cloud TPU v4 की तुलना में LLMs और gen AI models के लिए प्रति डॉलर अधिकतम 2 गुना बेहतर training performance और अधिकतम 2.5 गुना बेहतर inference performance प्रदान करता है
- अलग-अलग LLM और gen AI model sizes के अनुरूप configuration चुनने के लिए 8 अलग virtual machine (VM) configurations का समर्थन
- Multislice तकनीक की मदद से उपयोगकर्ता physical TPU pod की सीमाओं से आगे बढ़कर AI models को दसियों हज़ार Cloud TPU v5e या TPU v4 chips तक scale कर सकते हैं
A3 GPU VM
- NVIDIA के H100 Tensor Core GPU से लैस। खास तौर पर high-demand gen AI workloads और LLMs को train और serve करने के लिए बनाया गया है, और अगले महीने आम तौर पर उपलब्ध होगा
- A3 VMs पिछली पीढ़ी की तुलना में 3 गुना तेज training और 10 गुना अधिक networking bandwidth प्रदान करते हैं, जिससे बड़े पैमाने और उच्च performance मिलती है
अभी कोई टिप्पणी नहीं है.