क्या ऐसा कोई टूल या प्रोजेक्ट है जो AI का उपयोग करते समय input और output, तथा process की गतिविधियों (जैसे web search, execution permission, execution आदि) सहित सिस्टम स्तर पर दिखाई देने वाली सभी गतिविधियों को लॉग कर सके, चाहे वह self-hosted हो या web UI interface वाला?
आंशिक रूप से भी हो तो ठीक है। commercial services भी चलेगी।
Claude Code जैसे मामले में, cmd में claude चलाकर Claude शुरू करने के बाद input और output, और चलते समय Claude process द्वारा किए गए कार्यों (network, local activities आदि) की लॉगिंग...
10 टिप्पणियां
हो सकता है यह वही न हो जो आप चाहते हैं, लेकिन model tracking के लिए https://langfuse.com/ नाम का एक open source उपलब्ध है.
मैंने जो बनाया है उसे टिप्पणी में छोड़ना ठीक है या नहीं, यह मुझे पता नहीं, लेकिन लगा कि शायद आप इसी तरह के टूल की तलाश कर रहे हों, इसलिए यह टिप्पणी छोड़ रहा हूँ। (यदि यह निषिद्ध है तो क्षमा करें.)
AI की हर गतिविधि नहीं, लेकिन क्या संदर्भ लिया गया और उससे कौन-सा उत्तर निकला, इसे लॉग करने वाली एक सेवा बना रहा हूँ। यह एक साधारण semantic hub से pivot करके बना है। Merkle tree आधारित तरीके से बाहरी ledger में hash रिकॉर्ड किया जाता है, और Rekor के जरिए witness लागू करके छेड़छाड़/फेरबदल को रोका है।
अगर कम parameters वाले non-LLM model हों, तो zkml लागू करके input के अनुसार answer output की consistency भी जांची जा सकती है।
नीचे दिए गए demo audit log को पेज के main के निचले हिस्से में मौजूद log proof verifier में डालेंगे, तो आप देख सकेंगे कि क्या-क्या जांचा जा सकता है।
पेज : https://hub.rawctx.dev/
डेमो audit log : https://github.com/pasar6987-create/rawctx-demo-audit-log/…
सवाल को ही Gemini में डालकर देखा तो कुछ विकल्प सामने आ गए। क्या आपने इस तरह से खोजकर देखा है?
विषय से हटकर है, लेकिन मुझे लगता है कि ऐसे कमेंट्स कम्युनिटी के माहौल पर नकारात्मक असर डालते हैं।
अगर किसी को कुछ जानना हो तो वह खुलकर पूछ सके, यह बेहतर होगा,
और "खुद ढूँढो" जैसी बातें,
खासकर बहुत से लोग पहले ही AI slop से थके हुए हैं, इसलिए LLM के जवाबों पर निर्भर रहने को कहना तो और भी ज़्यादा..
Gemini से बेहतर हो सकता है कि आप community के सदस्यों के जवाब सुनना चाहें। मुझे लगता है कि यह एक legitimate सवाल है।
मैंने इसे clickstack से बनाया है। otel कॉन्फ़िगर करके भेजने वाले तरीके से।
क्या ये Litellm proxy और LangSmith में दिए जाने वाले फीचर्स नहीं हैं?
क्या वह argos था या Cursor Mafia? एक service है जिसे Toss के पूर्व डेवलपर, जो vibe coding करते हैं, चलाते हैं; self-hosting भी संभव है, और लगता है कि उसमें API key या plan के आधार पर कई accounts को monitor किया जा सकता है, कितने sessions चले, कौन-से tools इस्तेमाल हुए, वगैरह जैसी वे features भी होंगी जिनका आप ज़िक्र कर रहे हैं.
मुझे ठीक से याद नहीं कि क्या वह सिर्फ Claude के साथ काम करता था, लेकिन अगर आप इसे customized तरीके से बनाने वाले हैं, तो उसे खोलकर देखना भी अच्छा हो सकता है.
अगर आप Claude Code की तरफ देख रहे हैं, तो cc-token-saver (https://github.com/ww-w-ai/cc-token-saver) एक बार आज़मा कर देखें.
Claude Code हर session के transcript (.jsonl) में सभी input/output और tool calls (फ़ाइल पढ़ना, लिखना, bash चलाना, web request आदि) रिकॉर्ड करता है, और cc-token-saver इसे parse करके session के हिसाब से क्या-क्या हुआ, और tokens कहाँ कितने खर्च हुए, इसे HTML dashboard में visualize कर देता है. आप एक नज़र में देख सकते हैं कि "इस session में AI ने किन फ़ाइलों को छुआ, कितनी बार commands चलाईं, और cost कितनी आई."
खास तौर पर
/continueskill transcript का विश्लेषण करके मौजूदा sessions को restore करने की सुविधा है, लेकिन transcript analysis feature उसी तरह इस्तेमाल किया जा सकता है, इसलिए आप ऐसा निर्देश भी दे सकते हैं: "/continue~ वाले case में input, output, network जानकारी analyze करो." (LLM अपने-आप इसे ठीक तरह से बदलकर लागू कर देगा)केवल AI ही नहीं,
straceया तरह-तरह के debugging tools का इस्तेमाल कर सकते हैं.अगर आप इसे service स्तर तक अच्छी तरह बनाना चाहते हैं, तो eBPF-आधारित tools देखें.