recipes.vllm.ai को बड़े पैमाने पर नया रूप दिया गया है। अब आप vLLM के साथ "मॉडल X को हार्डवेयर Y पर कैसे चलाएँ?" का जवाब इंटरैक्टिव तरीके से पा सकते हैं.
प्रमुख बदलाव
HuggingFace mirror URL — huggingface.co को recipes.vllm.ai से बदलते ही सीधे उस मॉडल की recipe पर जाएँ (उदाहरण: recipes.vllm.ai/Qwen/Qwen3.6-35B-A3B)
Interactive command builder — हार्डवेयर, variant, और parallelization strategy चुनते ही तुरंत इस्तेमाल करने लायक vllm serve कमांड बनती है
Plug-in hardware — NVIDIA(Hopper/Blackwell)↔AMD(MI300X/MI355X) के बीच one-click switch, और flags·environment variables अपने आप लागू
JSON API — सभी recipes को /.json path पर उपलब्ध कराया गया है, ताकि agents·automation tools उन्हें सीधे consume कर सकें
Agent skill के जरिए recipe में योगदान
Repository में agent skill शामिल है, जिससे आप नई recipe को end-to-end contribute कर सकते हैं। Benchmark चलाने से लेकर recipe बनाने और PR submit करने तक agent मार्गदर्शन करता है.
→ github.com/vllm-project/recipes
4 टिप्पणियां
थोड़ा ही समय और, फिर क्या किसी भी device पर एक क्लिक में deploy हो जाएगा... सिहरन
लगता है अब सर्विस के लिए वाले सब आ जाएंगे।
लगता है कि अभी भी कई मॉडल उपलब्ध नहीं हैं।
इसलिए मुझे लगता है कि योगदान करने के लिए यह एक अच्छा अवसर है।