Firecrawl - वेबसाइट को पूरी तरह LLM में उपयोग योग्य बनाने वाला टूल

• वेबसाइट को crawl करके उसे LLM में उपयोग किए जा सकने वाले Markdown या structured data में बदलता है
• API के ज़रिए URL भेजने पर, यह सभी subpages को crawl करके हर subpage के लिए साफ़ data प्रदान करता है
• Python, Node, Go, Rust SDK उपलब्ध
• LangChain, Llama Index, Dify, Langflow, Zapier आदि के साथ integration सपोर्ट

[hoonix]

यह sub-crawling को support नहीं करता, लेकिन समान उद्देश्य वाले एक document format converter का परिचय दे रहा हूँ.
https://github.com/DS4SD/docling

[laeyoung]

जैसा चाहा था वैसा ठीक से नहीं हो रहा है।