क्या ऐसा कोई टूल या प्रोजेक्ट है जो AI का उपयोग करते समय input और output, तथा process की गतिविधियों (जैसे web search, execution permission, execution आदि) सहित सिस्टम स्तर पर दिखाई देने वाली सभी गतिविधियों को लॉग कर सके, चाहे वह self-hosted हो या web UI interface वाला?
आंशिक रूप से भी हो तो ठीक है। commercial services भी चलेगी।
Claude Code जैसे मामले में, cmd में claude चलाकर Claude शुरू करने के बाद input और output, और चलते समय Claude process द्वारा किए गए कार्यों (network, local activities आदि) की लॉगिंग...
7 टिप्पणियां
मैंने इसे clickstack से बनाया है। otel कॉन्फ़िगर करके भेजने वाले तरीके से।
क्या ये Litellm proxy और LangSmith में दिए जाने वाले फीचर्स नहीं हैं?
क्या वह argos था या Cursor Mafia? एक service है जिसे Toss के पूर्व डेवलपर, जो vibe coding करते हैं, चलाते हैं; self-hosting भी संभव है, और लगता है कि उसमें API key या plan के आधार पर कई accounts को monitor किया जा सकता है, कितने sessions चले, कौन-से tools इस्तेमाल हुए, वगैरह जैसी वे features भी होंगी जिनका आप ज़िक्र कर रहे हैं.
मुझे ठीक से याद नहीं कि क्या वह सिर्फ Claude के साथ काम करता था, लेकिन अगर आप इसे customized तरीके से बनाने वाले हैं, तो उसे खोलकर देखना भी अच्छा हो सकता है.
अगर आप Claude Code की तरफ देख रहे हैं, तो cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) एक बार आज़मा कर देखें.
Claude Code हर session के transcript (.jsonl) में सभी input/output और tool calls (फ़ाइल पढ़ना, लिखना, bash चलाना, web request आदि) रिकॉर्ड करता है, और cc-token-saver इसे parse करके session के हिसाब से क्या-क्या हुआ, और tokens कहाँ कितने खर्च हुए, इसे HTML dashboard में visualize कर देता है. आप एक नज़र में देख सकते हैं कि "इस session में AI ने किन फ़ाइलों को छुआ, कितनी बार commands चलाईं, और cost कितनी आई."
खास तौर पर
/continueskill transcript का विश्लेषण करके मौजूदा sessions को restore करने की सुविधा है, लेकिन transcript analysis feature उसी तरह इस्तेमाल किया जा सकता है, इसलिए आप ऐसा निर्देश भी दे सकते हैं: "/continue~ वाले case में input, output, network जानकारी analyze करो." (LLM अपने-आप इसे ठीक तरह से बदलकर लागू कर देगा)केवल AI ही नहीं,
straceया तरह-तरह के debugging tools का इस्तेमाल कर सकते हैं.अगर आप इसे service स्तर तक अच्छी तरह बनाना चाहते हैं, तो eBPF-आधारित tools देखें.
सवाल को ही Gemini में डालकर देखा तो कुछ विकल्प सामने आ गए। क्या आपने इस तरह से खोजकर देखा है?
Gemini से बेहतर हो सकता है कि आप community के सदस्यों के जवाब सुनना चाहें। मुझे लगता है कि यह एक legitimate सवाल है।