agents.txt — AI एजेंट्स के लिए दस्तावेज़ sitemap standard का प्रस्ताव

बिना tuning वाले सामान्य AI एजेंट जब वेब documentation में कोई जानकारी ढूंढते हैं, तो अभी का तरीका यह है कि वे इंसानों की तरह पेज एक-एक करके खोलते हैं.
हर HTML पेज के साथ sidebar, header, footer भी आते हैं, इसलिए असल में ज़रूरी जानकारी से कहीं ज़्यादा noise होता है,
और 651-पेज वाले documentation site को navigate करने में लाखों tokens खर्च हो जाते हैं.

robots.txt crawler को यह बताने के लिए है कि "यहाँ मत आओ",
और sitemap.xml search engine को URLs की सूची देने के लिए है,
लेकिन दोनों ही AI एजेंट्स को मनचाहा पेज जल्दी ढूंढने में ज़्यादा मदद नहीं करते.
llms.txt भी free-form description है, इसलिए structured navigation के लिए उपयुक्त नहीं है.

agents.txt एक structured index file है, जिसे documentation site /.well-known/agents.txt path पर रखती है.
AI एजेंट सिर्फ यह एक file पढ़कर, 651 पेज के आधार पर लगभग 3,200 tokens में,
"prompt caching से संबंधित पेज कहाँ है" या "Python SDK quickstart क्या है" जैसे सवालों के जवाब पेज crawl किए बिना
सीधे पा सकते हैं.

इस proposal project में claude-code और gpt-codex की official documentation के लिए navigation को TXT, MD, JSON, XML — इन चार formats में support किया गया है.
इसमें 12 तरह की page type annotations और SDK pattern compression feature भी शामिल हैं.
यह सोच Vercel द्वारा agent-browser के साथ token usage को 93% कम करने जैसी है, लेकिन यह approach अलग-अलग apps के बजाय web standard के स्तर पर है.

एजेंट के साथ demo करना सबसे अच्छा तरीका लगा, इसलिए NAVIGATOR.md नाम का एक agent project root में रखा गया है.
Reference implementation https://agentnav.baekenough.com पर देखी जा सकती है.

Feedback देंगे तो आभारी रहूँगा.