- LLM ऐप्स के लिए DataDog + PostHog, जिसे तेज़, स्थिर और scalable बनाने के लिए डिज़ाइन किया गया है
- LLM डेटा को Trace, Evaluate, Label, Analyze
- RabbitMQ(मेसेज क्यू) + Postgres(स्टोरेज) + Clickhouse(विश्लेषण) + Qdrant(semantic search) से बना Rust-आधारित स्टैक
Laminar की खासियत
- केवल LLM कॉल्स ही नहीं, बल्कि पूरे execution trace को संभालने पर फोकस
- OpenTelemetry-आधारित instrumentation: सिर्फ 2 लाइनों के कोड + decorator से LLM/vector DB कॉल्स अपने-आप किए जाते हैं और functions को trace किया जाता है
- GenAI semantic conventions का उपयोग करके OpenTelemetry (Otel) span के लिए Rust collector बनाया गया
- semantic event-आधारित analytics
- Laminar, LLM pipeline के background job queue को host करता है, और pipeline का output metrics में बदल जाता है
- "semantic metrics" (जैसे AI agent वास्तव में क्या कह रहा है) को track किया जा सकता है और trace में उनकी location से जोड़ा जा सकता है
- core app logic और LLM event processing को अलग करता है
Pipeline Builder
- graph UI का उपयोग, जिसमें LLM और utility functions को nodes के रूप में और data flow को edges के रूप में दिखाया जाता है
- parallel branch execution, cycles, और branches को support करने वाला custom job execution engine बनाया गया है
- pipeline को सीधे API endpoint के रूप में call किया जा सकता है
- Laminar pipeline को सीधे trace करता है, जिससे network के जरिए बड़े outputs भेजने का overhead हट जाता है
trace search फीचर
- हर span को vector DB में index किया जाता है और query समय पर hybrid search की जाती है
- यह फीचर अभी beta में है, लेकिन आगे चलकर platform का महत्वपूर्ण हिस्सा बनेगा
evaluation फीचर
- Braintrust और Weights & Biases के उस approach को अपनाता है जिसमें "सब कुछ local पर चलाओ और results को server पर भेजो"
- simple SDK और अच्छे dashboard से सब कुछ track किया जा सकता है
- evaluation फीचर अभी शुरुआती चरण में है, लेकिन इस पर सक्रिय रूप से काम हो रहा है
Laminar का लक्ष्य
- LLM/GenAI की हर ज़रूरत के लिए standard open source all-in-one platform, यानी "LLMOps के लिए Supabase" बनना
अभी कोई टिप्पणी नहीं है.