vLLM Compose - Docker Compose प्रोफ़ाइल के साथ कई vLLM मॉडलों को आसानी से स्विच/सर्व करें
(bae-changhyun.github.io)लोकल पर कई LLM सर्व करते समय होने वाली असुविधाओं (हर मॉडल के लिए docker कमांड दोबारा दर्ज करना, GPU सेटिंग्स याद रखना, स्टेटस मॉनिटरिंग) को हल करने के लिए यह vLLM-समर्पित TUI मैनेजमेंट टूल है.
- हर मॉडल की सेटिंग को YAML प्रोफ़ाइल के रूप में सेव करें, और TUI में सिर्फ एक बार Enter दबाकर शुरू/बंद करें
- Quick Setup: सिर्फ मॉडल नाम दर्ज करने पर प्रोफ़ाइल + सेटिंग अपने-आप बन जाती है
- GPU रियल-टाइम मॉनिटरिंग डैशबोर्ड, और मेमोरी उपयोग का पहले से अनुमान लगाने की सुविधा शामिल (
hf-mem) - vLLM arguments ऑटो-कम्प्लीशन: वास्तविक vLLM इमेज से उपलब्ध arguments की सूची अपने-आप निकालकर Tab key से ऑटो-कम्प्लीशन
- MIT लाइसेंस, Python 3.10+ / Docker / NVIDIA GPU वातावरण आवश्यक
अभी कोई टिप्पणी नहीं है.