AITemplate - गहन न्यूरल नेटवर्क को उच्च-प्रदर्शन CUDA/HIP C++ कोड में बदलने वाला Python framework

• तेज़ inference के लिए गहन न्यूरल नेटवर्क को CUDA(NVIDIA GPU) / HIP(AMD GPU) C++ कोड में रूपांतरित करता है
• ResNet, BERT, VisionTransformer, Stable Diffusion जैसे major models में roofline fp16 TensorCore/MatrixCore performance के करीब
• Unified, Open, Flexible ओपन सोर्स
• बेहतरीन backward compatibility (third-party library/runtime dependency नहीं). हर model portable binary के रूप में compile होता है
• Horizontal Fusion / Vertical Fusion / Memory Fusion
• PyTorch के साथ और बिना, दोनों तरह से काम करता है