Intel ने NPU acceleration library जारी की

Intel® NPU acceleration library: Intel neural processing unit के साथ AI performance में सुधार

• Intel NPU acceleration library एक Python library है, जो AI applications की efficiency बढ़ाने के लिए Intel neural processing unit (NPU) की power का उपयोग करती है। यह optimal performance और power efficiency के लिए computing और data flow को प्रभावी ढंग से निर्देशित करती है, computing utilization को अधिकतम करती है और data transfer को न्यूनतम रखकर AI workloads को optimize करती है.

• यह library NPU, compute acceleration और data transfer capabilities को एकीकृत करने वाले Intel Core Ultra processors के लिए डिज़ाइन की गई है। इसमें AI operations के लिए neural compute engine, सामान्य computing tasks के लिए streaming hybrid architecture vector engine, और efficient data transfer के लिए DMA engine शामिल हैं.

• development की मुख्य features में 8-bit और 4-bit quantization, NPU-native mixed-precision inference, Float16 और BFloat16 support, torch.com file support, LLM MLP horizontal fusion implementation, static-shape inference, MHA NPU inference, और NPU/GPU heterogeneous computing शामिल हैं.

• library का उपयोग करने के लिए यह सुनिश्चित करें कि आपके system में उपलब्ध NPU हो, और फिर pip के माध्यम से package install करें। यह Windows और Linux systems के साथ compatible है, लेकिन MacOS अभी supported नहीं है। बेहतर performance के लिए NPU driver को latest version में update करें.

• library implemented examples प्रदान करती है और NPU के लिए PyTorch models को optimize करने हेतु torch.com files को support करती है। साथ ही, यह PyTorch 2.0.0 से कम versions के उपयोग या Windows environment में model compile करते समय explicit functionality भी प्रदान करती है.

[kuroneko]

लगता है कि बिना बाहरी ग्राफिक्स कार्ड के भी सिर्फ NPU के दम पर AI computation कितनी हद तक संभव होगी, इसे लेकर उम्मीद बढ़ रही है।