Cafe24 ने LLM Router पेश किया

• Claude, Gemini, Qwen, Llama, DeepSeek आदि 100 से अधिक मॉडलों को एक single endpoint के जरिए कॉल करने वाला एकीकृत LLM इंफ्रास्ट्रक्चर
• OpenAI-compatible single API प्रदान करता है, इसलिए हर Provider के अलग API spec, retry logic और streaming format को अलग-अलग सीखने या maintain करने की ज़रूरत नहीं
• Auto Router प्रॉम्प्ट का विश्लेषण करके coding/reasoning/translation/creative प्रकार पहचानता है और सबसे किफायती मॉडल अपने-आप चुनता है
  • उदाहरण: React 무한 스크롤 코드 만들어줘 → coding का पता लगाना → claude-sonnet-4-6
• Auto Fallback के साथ outage या timeout होने पर पहले से परिभाषित alternate path पर तुरंत स्विच, और failed calls पर बिलिंग नहीं होती (ZCI)
  • उदाहरण: qwen3-72b → llama-3.3-70b → deepseek-v3
• Provider Routing के जरिए cost, speed और throughput मानदंडों के अनुसार provider priority सेट की जा सकती है
• BYOK(Bring Your Own Key) मोड में मौजूदा OpenAI/Anthropic/Google keys को वैसे ही रजिस्टर करके लागत पर सीधे नियंत्रण संभव
• Semantic Cache के जरिए मिलते-जुलते सवालों पर LLM call को ही skip करके token cost घटती है, और response ms स्तर पर लौटता है
• Preset फीचर के जरिए Primary मॉडल, System Prompt, Sampling और multi-stage Fallback chain को एक साथ सेव किया जा सकता है; call एक लाइन में होता है और tuning console से की जाती है, इसलिए code redeploy ZERO
• Privacy & governance के तहत logs और model को भेजे जाने वाले डेटा में संवेदनशील जानकारी (PII) के लिए automatic masking support
• Realtime Dashboard में request, cost, token trend, model-वार cost share, success/failure ratio और request-level detailed logs देखे जा सकते हैं
• Playground में बिना code के model-वार response quality, speed और cost की तुरंत तुलना
• बिना किसी commitment या subscription के credit-based pay-as-you-go, मासिक बेसिक शुल्क 0 won, साइन-अप करते ही free credit, और KRW-आधारित billing व tax invoice support