vLLM Recipes का बड़ा अपडेट - मॉडल+हार्डवेयर कॉम्बिनेशन के हिसाब से सेटिंग्स अब एक क्लिक में
(recipes.vllm.ai)recipes.vllm.ai में बड़ा बदलाव किया गया है। अब आप vLLM के साथ "मॉडल X को हार्डवेयर Y पर कैसे चलाएँ?" का जवाब इंटरैक्टिव तरीके से पा सकते हैं.
मुख्य बदलाव
HuggingFace mirror URL — huggingface.co को recipes.vllm.ai से बदलते ही सीधे उस मॉडल की recipe पर जाएँ (उदाहरण: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Interactive command builder — हार्डवेयर, variant और parallelization strategy चुनते ही तुरंत इस्तेमाल करने लायक vllm serve कमांड तैयार
Plug-in hardware — NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) के बीच one-click switch, और flags·environment variables अपने-आप लागू
JSON API — सभी recipes को /.json path पर उपलब्ध कराया गया है, ताकि agents·automation tools उन्हें सीधे consume कर सकें
Agent skill के साथ recipe में योगदान
Repository में agent skill शामिल है, जिससे नई recipe को end-to-end तरीके से contribute किया जा सकता है। Benchmark चलाने से लेकर recipe बनाने और PR submit करने तक agent मार्गदर्शन करता है।
→ github.com/vllm-project/recipes
4 टिप्पणियां
थोड़ा ही समय और, फिर क्या किसी भी device पर एक क्लिक में deploy हो जाएगा... सिहरन
लगता है अब सर्विस के लिए वाले सब आ जाएंगे।
लगता है कि अभी भी कई मॉडल उपलब्ध नहीं हैं।
इसलिए मुझे लगता है कि योगदान करने के लिए यह एक अच्छा अवसर है।