एजेंटिक इंजन ऑप्टिमाइज़ेशन (AEO)

 (addyosmani.com)
12 पॉइंट द्वारा GN⁺ 14 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • AI coding agents दस्तावेज़ों को जिस तरह consume करते हैं, वह इंसानों से बुनियादी रूप से अलग है, इसलिए सिर्फ human-centered optimization से धीरे-धीरे बढ़ता AI traffic analytics tools में दर्ज हुए बिना गायब हो जाता है
  • एजेंट दस्तावेज़ को एक ही HTTP request में लाते हैं, token count करते हैं, और अगर वह context window में fit नहीं होता तो चुपचाप discard कर देते हैं, इसलिए scroll depth, dwell time, click जैसे पारंपरिक analytics metrics बिल्कुल दर्ज नहीं होते
  • इसके जवाब में दस्तावेज़ों को इस तरह structure, format और serve करने की अवधारणा पेश की गई है कि एजेंट उन्हें वास्तव में उपयोग कर सकें: Agentic Engine Optimization(AEO)
  • AEO का मूल discoverability, parsability, token efficiency, capability signaling, access control है; इनमें से कोई एक भी विफल हो जाए तो एजेंट content को skip कर सकता है या गलत output बना सकता है
  • जो टीमें जल्दी प्रतिक्रिया देती हैं, वे अपने API को एजेंटों द्वारा recommend और integrate किए जाने में बढ़त हासिल करती हैं, और एजेंटों के लिए की गई documentation अंततः इंसानी पाठकों के लिए भी बेहतर दस्तावेज़ बनाती है

AEO क्या है

  • Agentic Engine Optimization(AEO) वह व्यावहारिक तरीका है जिसमें technical content को इस तरह structure, format और deliver किया जाता है कि AI coding agents उसे वास्तव में उपयोग कर सकें
  • जहाँ SEO search crawlers और human click patterns के हिसाब से optimization था, वहीं AEO का लक्ष्य वे AI agents हैं जो स्वायत्त रूप से content fetch, parse और reason करते हैं
  • मुख्य विचार बिंदु
    • Discoverability – क्या एजेंट JavaScript rendering के बिना दस्तावेज़ खोज सकता है
    • Parsability – क्या यह visual layout समझे बिना machine-readable है
    • Token efficiency – क्या यह सामान्य agent context window में बिना कटे समा जाता है
    • Capability signaling – क्या API यह बताती है कि वह "कैसे call होती है" नहीं बल्कि "क्या करती है"
    • Access control – क्या robots.txt वास्तव में AI traffic को अनुमति देता है

एजेंट दस्तावेज़ कैसे पढ़ते हैं

  • मानव पैटर्न: docs homepage पर पहुँचना, sections में जाना, headings को scan करना, code samples चलाना, 2~3 internal links पर जाना, session में 4~8 मिनट बिताना → analytics tools सब रिकॉर्ड कर लेते हैं
  • एजेंट पैटर्न: Claude Code, Cursor, Cline, Aider, VS Code, Junie आदि 9 प्रमुख coding agents के HTTP traffic का विश्लेषण करने वाले paper के अनुसार, कई pages की navigation 1~2 HTTP requests में compress हो जाती है
    • एक single GET request में पूरी page लेकर आगे बढ़ जाना; "user journey" की अवधारणा server-side single event में सिमट जाती है
    • scroll depth, dwell time, button clicks, tutorial completion, link navigation, form interaction जैसे सारे client-side events अदृश्य हो जाते हैं

AI traffic के fingerprints

  • server logs में agent traffic पहचानने के लिए विशिष्ट signatures मौजूद हैं
    • Aider: Headless Chromium(Playwright), on-demand GET, Mozilla/Safari full user-agent
    • Claude Code: Node.js/Axios, on-demand GET, axios/1.8.4
    • Cline: curl, GET + OpenAPI/Swagger sweep, curl/8.4.0
    • Cursor: Node.js/got, HEAD probe → GET, got (sindresorhus/got)
    • Junie: curl, sequential multi-page GET, curl/8.4.0
    • OpenCode: Headless Chromium(Playwright), on-demand GET
    • VS Code: Electron/Chromium, Electron marker सहित Chromium style
    • Windsurf: Go/Colly, colly
  • coding agents के अलावा ChatGPT, Claude, Google Gemini, Perplexity जैसी AI assistant web services भी तब server-side fetch करती हैं जब user कोई URL share करता है, और उनका भी अपना fingerprint बनता है

token समस्या: हो सकता है दस्तावेज़ एजेंट को दिखे ही नहीं

  • एजेंटों की व्यावहारिक सीमा अक्सर 100K~200K tokens होती है, और context management हर काम में सक्रिय constraint है
  • paper का उदाहरण: Cisco Secure Firewall Management Center REST API Quick Start Guide(Version 10.0) में 193,217 tokens, लगभग 718,000 characters हैं, यानी एक ही दस्तावेज़ अधिकांश agents की उपलब्ध context window को भर देता है या पार कर जाता है
  • जब दस्तावेज़ बहुत लंबा हो, तब ये स्थितियाँ बन सकती हैं
    • चुपचाप truncation होकर महत्वपूर्ण जानकारी खो जाना
    • छोटा दस्तावेज़ चुनकर इस दस्तावेज़ को skip कर देना
    • chunking की कोशिश में latency और error surface बढ़ना
    • parametric knowledge पर fallback — यानी hallucination उत्पन्न होना
  • निष्कर्ष: अब token count दस्तावेज़ का first-class metric है, और page-level token tracking अनिवार्य है

व्यावहारिक token लक्ष्य

  • Quick start / getting started pages: 15,000 tokens से कम
  • individual API reference pages: 25,000 tokens से कम
  • पूरा API reference: product के बजाय resource/endpoint unit में chunking
  • conceptual guides: 20,000 tokens से कम, विस्तृत सामग्री embed करने के बजाय link से जोड़ें

AEO stack: वास्तव में क्या बनाना चाहिए

  • AEO कोई एक technique नहीं, बल्कि foundation से surface तक layered signals और standards का समूह है

Layer 1: access control (robots.txt)

  • कई agents content fetch करने से पहले robots.txt देखते हैं, इसलिए गलत configuration होने पर बिना error के चुपचाप docs access block हो सकता है
  • execution steps
    • AI agent user-agents पर अनजाने blocks का audit करें
    • Anthropic, OpenAI, Google, Perplexity crawlers जैसे प्रसिद्ध patterns के लिए explicit allow पर विचार करें
    • अगर अधिक granular control चाहिए तो agent-permissions.json का उपयोग करें, जो एक उभरता spec है और automated interactions की अनुमति-सीमा, rate limit, preferred API endpoints आदि घोषित करता है

Layer 2: discovery के लिए llms.txt

  • yourdomain.com/llms.txt पर host की गई Markdown format की plain file, जो AI agents के लिए sitemap जैसा काम करती है
  • यह structured document directory और descriptions देती है, ताकि एजेंट पूरे site को crawl किए बिना relevant content समझ सके
  • उदाहरण structure: Getting Started(Quick Start Guide, Authentication, Core Concepts), API Reference(REST API Overview, Users API 12K tokens, Events API 8K tokens), MCP Integration(MCP Server)
  • अच्छे llms.txt की विशेषताएँ
    • page names नहीं, बल्कि उसमें क्या मिलेगा यह बताने वाली descriptions
    • उपयोगी होने पर page-level token count शामिल करना
    • product hierarchy नहीं, बल्कि task-based organization
    • अपनी total size 5,000 tokens से कम रखना(इंडेक्स खुद बजट से बाहर नहीं जाना चाहिए)

Layer 3: skill.md के माध्यम से capability signaling

  • अगर llms.txt बताता है कि चीज़ें "कहाँ हैं", तो skill.md बताता है कि product "क्या कर सकता है"
  • इससे एजेंट को prose docs से capabilities infer नहीं करनी पड़ती, बल्कि intentions को declaratively endpoints/resources से map किया जाता है
  • authentication service का उदाहरण
    • What I can accomplish: OAuth 2.0 authentication(authorization code, client credentials, PKCE), JWT token issue/verify, session और refresh token rotation management, SSO integration(SAML, OIDC)
    • Required inputs: Client ID/Secret, pre-registered Redirect URI, requested scopes(read:user, write:data, admin)
    • Constraints: प्रति application प्रति मिनट 1000 token requests, access token 1 घंटा और refresh token 30 दिन, public clients के लिए PKCE अनिवार्य
    • Key documentation: OAuth 2.0 Guide, Token Reference, Postman Collection
  • एजेंट पूरे docs पढ़ने का context budget खर्च करने से पहले यह तय कर सकता है कि API user intent पूरा कर सकती है या नहीं

Layer 4: agent parsing के लिए content format

  • सिर्फ HTML नहीं, Markdown भी दें — URL में .md जोड़कर या query parameter के जरिए source Markdown उपलब्ध कराएँ; tags, navigation, footer noise हटने से token overhead बहुत कम हो जाता है
  • पढ़ने के नहीं, scan करने के लिए structure करें
    • consistent heading hierarchy(H1 → H2 → H3, बिना skip किए)
    • हर section background से नहीं बल्कि outcome से शुरू हो
    • code examples explanation के तुरंत बाद हों
    • parameter references के लिए prose lists की जगह अधिक compact tables का उपयोग करें
  • sidebar, breadcrumb, footer links जैसे navigation noise हटाएँ
  • हर page के पहले 500 tokens में यह जवाब हो: "यह क्या है, इससे क्या किया जा सकता है, और शुरू करने के लिए क्या चाहिए"

Layer 5: token exposure

  • llms.txt index और स्वयं pages(metadata या page header में) पर token count expose करें
  • agent निर्णय के उदाहरण
    • "यह page 8K tokens का है — पूरा context में शामिल किया जा सकता है"
    • "यह page 150K tokens का है — सिर्फ relevant sections लाने होंगे"
    • "context window से बड़ा — llms.txt summary उपयोग करें"
  • implementation: server-side character count करें, लगभग 4 से divide करके estimate निकालें, और meta tag या HTTP response header में expose करें

Layer 6: "Copy for AI"

  • जब developer IDE के अंदर AI assistant में docs को context के रूप में शामिल करना चाहता है, तब rendered HTML copy करने पर navigation और footer noise भी साथ चला जाता है
  • साफ Markdown को clipboard में copy करने वाला "Copy for AI" button एजेंट को मिलने वाले context की quality को अर्थपूर्ण रूप से बेहतर बनाता है
  • Anthropic, Cloudflare आदि इसके variations पहले ही ship कर चुके हैं; low-cost, high-signal

AGENTS.md: उभरता हुआ default standard

  • जैसे README.md इंसानी developers के लिए repository entry point था, वैसे ही AGENTS.md AI agents के लिए entry point बन रहा है
  • coding agents project खुलते ही root directory में AGENTS.md ढूँढते हैं और आगे के सभी कामों में इसे निर्देश के रूप में उपयोग करते हैं
  • अच्छे AGENTS.md में शामिल होना चाहिए
    • project structure और मुख्य files की location
    • संबंधित API/service docs के direct links
    • उपलब्ध development sandbox और testing environments
    • agents के लिए जानना जरूरी rate limits और constraints
    • codebase के preferred patterns और conventions
    • उपलब्ध होने पर MCP server link
  • Cisco DevNet ने इसे open source project GitHub templates में default file के रूप में अपनाया है; नया project बनाते समय OpenAPI docs, DevNet sandbox और test environment links सहित project-specific AGENTS.md पहले से भरा हुआ मिलता है

AI referral traffic monitoring

  • अभी तुरंत किया जा सकने वाला काम: analytics tools में AI referral traffic track करना शुरू करें
  • देखने लायक referral sources: labs.perplexity.ai/referral, chatgpt.com/(none), chatgpt.com/organic, link.edgepilot.com/referral, platform.openai.com/referral, perplexity/(not set), claude.ai/referral, copilot.microsoft.com/referral, gemini.google.com/referral
  • referrer के बिना आने वाले direct agent traffic को पहले बताए गए HTTP fingerprints(axios/1.8.4, curl/8.4.0, got (sindresorhus/got), colly) से पकड़ें
  • सही AI traffic segments बनाना AEO कार्य के प्रभाव को समझने के लिए leading indicator देता है

developer experience पर व्यापक प्रभाव

  • अब तक developer portals को progressive disclosure, visual hierarchy, interactive examples, guided tutorials जैसे human cognition patterns के आसपास design किया गया था
  • agent-centric दुनिया में टूटने वाली धारणाएँ
    • visual hierarchy का अर्थ घट जाता है — एजेंट layout नहीं, text पढ़ते हैं
    • progressive disclosure बाधा बन जाता है — एजेंट सब कुछ एक साथ चाहते हैं
    • interactive examples का मूल्य घटता है — यदि static/API equivalent न हो तो वे बेकार हैं
    • user journey टूट जाती है — multi-page tutorial एक single context load बन जाता है
  • human-centered design खत्म नहीं हो रहा, लेकिन इंसान भी अब बढ़ते हुए AI assistants के context के भीतर docs पढ़ेंगे
  • आगे का सर्वोत्तम documentation इंसानों के लिए scannable और well-structured, तथा agents के लिए machine-readable और token-efficient होना चाहिए

AEO audit checklist

Discovery

  • root पर structured documentation index के साथ llms.txt मौजूद है
  • robots.txt ज्ञात AI agent user-agents को अनजाने में block नहीं करता
  • agent-permissions.json से automated clients के access rules define हैं
  • code repository में संबंधित docs को जोड़ने वाला AGENTS.md मौजूद है

Content structure

  • docs pages rendered HTML नहीं बल्कि clean Markdown में उपलब्ध हैं
  • हर page के पहले 200 शब्दों में स्पष्ट outcome statement मौजूद है
  • headings consistent और hierarchy के अनुसार सही हैं
  • code examples prose explanation के तुरंत बाद रखे गए हैं
  • parameter references nested prose नहीं बल्कि tables में हैं

Token economics

  • हर documentation page का token count track किया जाता है
  • chunking strategy के बिना 30,000 tokens से बड़ा कोई single page नहीं है
  • मुख्य pages के token counts llms.txt में expose किए गए हैं
  • page metadata(meta tags या HTTP headers) में token count दिया गया है

Capability signaling

  • skill.md file हर service/API के call method नहीं बल्कि functions बताती है
  • हर skill में capabilities, required inputs, constraints, key doc links शामिल हैं
  • जहाँ लागू हो, direct agent integration के लिए MCP server उपलब्ध है

Analytics

  • web analytics में AI referral sources segment किए गए हैं
  • ज्ञात AI agent HTTP fingerprints के लिए server logs की monitoring होती है
  • AI बनाम human traffic ratio का baseline set किया गया है

UX bridge

  • docs pages पर "Copy for AI" button मौजूद है
  • URL convention(जैसे .md जोड़ना) से source Markdown सुलभ है

Tooling

  • agentic-seo नाम का एक lightweight audit tool जारी किया गया है, जो llms.txt, robots.txt agent blocking, token counts, Markdown availability आदि scan करता है — agent readiness के लिए Lighthouse जैसा विचार

कहाँ से शुरू करें

  • सुझाया गया क्रम
    1. robots.txt audit — 10 मिनट का काम, चुपचाप agent lockout रोकता है
    2. llms.txt जोड़ें — कुछ घंटों का काम, discovery तुरंत बेहतर होती है
    3. token counts मापें और expose करें — weekend project, high leverage
    4. top 3 APIs के लिए skill.md लिखें — वहीं से शुरू करें जहाँ agents सबसे अधिक पहुँचते हैं
    5. "Copy for AI" button जोड़ें — low-cost, high-signal
    6. AI traffic monitoring सेट करें — बाकी कामों को justify करने वाला data मिलेगा

समापन

  • जैसे SEO ने सिखाया कि "सिर्फ शानदार content काफी नहीं; उसे उस दौर के वास्तविक traffic patterns के अनुसार discoverable भी बनाना पड़ता है", वैसे ही AEO नए consumer के लिए वही सबक दोहराता है
  • AI coding agents पहले से ही documentation traffic का महत्वपूर्ण और बढ़ता हुआ हिस्सा हैं, और वे इंसानी पाठकों से बुनियादी रूप से अलग व्यवहार करते हैं
  • जो टीमें जल्दी अनुकूलन करती हैं, वे अपने API को agents द्वारा recommend, सफलतापूर्वक integrate और reuse किए जाने में बढ़त हासिल करती हैं
  • जो टीमें प्रतिक्रिया नहीं देतीं, वे documentation quality और वास्तविक agent task success rate के बीच बढ़ती दूरी वाले debug करना कठिन, चुपचाप विफल होने वाले mode का सामना करेंगी
  • agents के लिए बनाना अंततः इंसानों के लिए भी बेहतर documentation बनाता है, और दोनों क्षेत्रों में भिन्नता से अधिक overlap है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.