mdream - किसी भी साइट को साफ़-सुथरे Markdown और llms.txt में बदलें

• वेबसाइटों को तेज़ और हल्के तरीके से Markdown और llms.txt फ़ॉर्मैट में बदलने वाला टूल, जो AI के लिए खोजे जा सकने वाले LLM context generation को सपोर्ट करता है
• पारंपरिक HTML→Markdown कन्वर्टर LLM के लिए नहीं बने होते, इसलिए वे ज़्यादा टोकन इस्तेमाल करते हैं और धीमे भी होते हैं
• mdream core एक LLM-optimized HTML→Markdown converter है, जो लगभग 50% कम टोकन के साथ optimized output बनाता है, और 1.4MB HTML को लगभग 50ms में बेहद तेज़ी से कन्वर्ट कर सकता है
  • 5kB gzip आकार की लाइब्रेरी, बिना किसी external dependency के
• @mdream/crawl पैकेज से पूरी साइट को crawl करके llms.txt, llms-full.txt, और अलग-अलग Markdown फ़ाइलें बनाई जा सकती हैं, और Claude Code जैसे AI टूल्स के साथ जोड़ा जा सकता है
• CLI, Docker, GitHub Actions, Vite, Nuxt आदि कई environments में चलाया जा सकता है
• plugin system के ज़रिए pipeline hooking के माध्यम से content filtering, node transformation, custom behavior आदि जोड़े जा सकते हैं
  • extractionPlugin: CSS selector का उपयोग करके खास elements को extract करता है, data analysis में उपयोगी
  • filterPlugin: CSS selector या tag ID के आधार पर elements को include/exclude किया जा सकता है
  • frontmatterPlugin: HTML head जानकारी (title, meta आदि) से YAML frontmatter बनाता है
  • isolateMainPlugin: <main> element या header~footer रेंज से सिर्फ़ मुख्य content को extract करता है
  • tailwindPlugin: Tailwind CSS classes को Markdown formatting (bold, italic आदि) में बदलता है
  • readabilityPlugin: content readability को score करता है और extract करता है (experimental feature)

[tensun]

इसे आज़माया, लेकिन error आ रहा है और यह ठीक से काम नहीं कर रहा। मैंने Eldan issue पर पोस्ट किया है.