- LLM के जवाबों को cache करके संगठन की LLM लागत कम करता है और response speed तेज़ बनाता है
- semantic caching strategy के ज़रिए मिलती-जुलती या संबंधित queries खोजकर cache hit rate बढ़ाता है
- embedding algorithm के माध्यम से queries को embeddings में बदलता है और vector store के ज़रिए इन embeddings पर similarity search करता है
- LLM Adapter : OpenAI ChatGPT और LangChain support (Bard/Anthropic/LLaMA आदि के लिए support नियोजित)
- MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager : LRU, FIFO
अभी कोई टिप्पणी नहीं है.