Cloudflare ने एजेंट्स के लिए Markdown conversion delivery फीचर पेश किया

 (blog.cloudflare.com)
13 पॉइंट द्वारा GN⁺ 2026-02-13 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • AI crawlers और agent-केंद्रित ट्रैफ़िक में बढ़ोतरी के साथ, वेब कंटेंट अब केवल इंसानों ही नहीं बल्कि मशीनों द्वारा सीधे उपभोग किए जाने वाले ढांचे की ओर बदल रहा है
  • HTML को markdown में बदलने पर token उपयोग लगभग 80% कम हो जाता है, जिससे लागत और processing efficiency बेहतर होती है
  • Accept: text/markdown header के आधार पर real-time HTML→Markdown conversion को network level पर support किया गया है
  • x-markdown-tokens, Content-Signal headers के जरिए token count estimate और AI usage policy साथ में दी जाती है
  • AI bots की content consumption पद्धति को Radar में track किया जा सकता है, और Pro या उससे ऊपर के plans में beta के रूप में मुफ्त उपलब्ध है

पृष्ठभूमि: AI agent-केंद्रित वेब ट्रैफ़िक संरचना की ओर बदलाव

  • ऑनलाइन कंटेंट खोजने का तरीका पारंपरिक search engine-केंद्रित मॉडल से तेजी से AI crawler और agent-केंद्रित संरचना की ओर बढ़ रहा है
    • पहले SEO ट्रैफ़िक को नियंत्रित करता था, लेकिन अब structured data की मांग करने वाले AI systems मुख्य उपभोक्ता के रूप में उभर रहे हैं
  • कंपनियों को अब मानव visitors के साथ-साथ agents को first-class citizen के रूप में भी ध्यान में रखना होगा
  • मौजूदा वेब इंसानों के लिए डिज़ाइन की गई HTML-आधारित संरचना पर बना है, जिसमें AI processing के लिए अनावश्यक तत्व बहुत अधिक हैं

Markdown क्यों

  • HTML में semantic अर्थ से असंबंधित <div>, <script>, navigation elements आदि होने के कारण यह tokens बर्बाद करने वाली संरचना बन जाती है
    • उदाहरण: ## About Us लगभग 3 tokens लेता है, जबकि वही HTML <h2 class="section-title"...> 12~15 tokens खर्च करता है
  • इस ब्लॉग पोस्ट के आधार पर HTML 16,180 tokens → Markdown 3,150 tokens, यानी लगभग 80% token reduction
  • Markdown स्पष्ट संरचना देता है, जिससे AI processing efficiency और output quality बेहतर होती है
  • अभी अधिकांश AI pipelines में HTML→Markdown conversion चरण शामिल होता है, लेकिन
    • compute cost बढ़ती है
    • processing complexity बढ़ती है
    • लेखक की मूल मंशा से अलग होने की संभावना रहती है

Markdown for Agents: network level automatic conversion

  • Cloudflare network में real-time HTML→Markdown conversion support किया गया है
    • Enabled zone में यह content negotiation के आधार पर काम करता है
  • जब client Accept: text/markdown header के साथ request भेजता है
    • तो origin से मूल HTML लाया जाता है
    • फिर network में उसे Markdown में बदलकर return किया जाता है
  • response उदाहरण
    • content-type: text/markdown
    • vary: accept
    • x-markdown-tokens: 725 header शामिल
  • x-markdown-tokens Markdown document के estimated token count देता है
    • context window calculation
    • chunking strategy तय करने जैसे कामों में उपयोगी

Content Signals Policy के साथ एकीकरण

  • Content Signals framework के साथ integrated
  • Markdown response में डिफ़ॉल्ट रूप से
    • Content-Signal: ai-train=yes, search=yes, ai-input=yes header शामिल होता है
  • इससे यह स्पष्ट किया जा सकता है कि AI training, search, और agent input उपयोग की अनुमति है या नहीं
  • आगे चलकर custom policy options भी दिए जाएंगे

उपयोग के उदाहरण: Cloudflare Blog और Developer Docs

  • Developer Documentation और Blog में यह फीचर enabled है
  • curl -H "Accept: text/markdown" request पर Markdown return होता है
  • response के शीर्ष पर YAML metadata शामिल होती है
    • title
    • description
    • image जैसी structured जानकारी उपलब्ध कराई जाती है

Cloudflare के बाहर के documents को convert करने के तरीके

  • Workers AI AI.toMarkdown()
    • HTML सहित विभिन्न document formats का conversion और summary support
  • Browser Rendering /markdown REST API
    • actual browser rendering के बाद Markdown conversion support
    • dynamic pages को process किया जा सकता है

Markdown उपयोग tracking: Cloudflare Radar

  • Radar AI Insights में content_type dimension जोड़ा गया
    • AI bots और crawlers को लौटाए गए content के MIME type distribution को देखा जा सकता है
  • अलग-अलग agents के अनुसार Markdown requests को filter किया जा सकता है
    • उदाहरण: OAI-Searchbot(GPTBot)
  • public API और Data Explorer के माध्यम से data access संभव है

शुरुआत कैसे करें और उपलब्धता

  • Cloudflare Dashboard → Zone चुनें → Quick Actions में फीचर enable करें
  • Pro, Business, Enterprise plans और SSL for SaaS ग्राहकों के लिए उपलब्ध
  • फिलहाल beta चरण में, मुफ्त उपलब्ध
  • विस्तृत जानकारी Developer Docs में देखी जा सकती है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.