यह एक Rust API server है जो web pages को scrape करता है और LLM की मदद से structured data extract करता है।
मुख्य फीचर्स:
- Headless Chrome आधारित JavaScript rendering support
- Gemini API integration के साथ scraping results का तुरंत analysis
- JSON Schema आधारित structured responses
- tab pooling के ज़रिए एक साथ 50 requests को handle करना
- SSRF prevention, constant-time API key comparison जैसी built-in security features
उपयोग उदाहरण:
POST /scrape पर URL और analysis prompt भेजने पर,
यह page content और LLM analysis result को JSON में लौटाता है।
इसे JinaAI, Firecrawl जैसी services के self-hosting alternative के रूप में बनाया गया है।
अगर केवल scraping चाहिए, तो इसे LLM के बिना भी इस्तेमाल किया जा सकता है।
अभी कोई टिप्पणी नहीं है.