Skyvern (YC S23) – ब्राउज़र ऑटोमेशन के लिए ओपन सोर्स AI एजेंट

 (github.com/Skyvern-AI)
4 पॉइंट द्वारा GN⁺ 2024-10-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • LLM और computer vision का उपयोग करके browser-आधारित workflow को automate करने वाला टूल
  • मौजूदा automation solutions DOM parsing और XPath-आधारित interaction पर निर्भर रहे हैं, जो वेबसाइट layout बदलने पर आसानी से टूट सकते हैं. Skyvern इसके बजाय viewport में मौजूद items का real-time में विश्लेषण करता है और interaction plan बनाकर काम करता है.
  • फायदे:
    • नई वेबसाइटों पर भी काम कर सकता है, और custom code के बिना visual elements को काम के लिए ज़रूरी actions से map कर सकता है.
    • वेबसाइट layout बदलने पर भी मज़बूती से काम करता है, और pre-defined XPath या selectors का उपयोग नहीं करता.
    • एक ही workflow को कई वेबसाइटों पर लागू किया जा सकता है, और जटिल स्थितियों में interaction के ज़रिए समस्या हल कर सकता है.

यह कैसे काम करता है

  • एजेंट सिस्टम: Skyvern वेबसाइट को समझने और काम की योजना बनाकर उसे चलाने के लिए कई agents का उपयोग करता है.
    • इंटरैक्टेबल elements agent: वेबसाइट के HTML का विश्लेषण करता है और interact किए जा सकने वाले elements निकालता है.
    • नेविगेशन agent: task पूरा करने के लिए navigation की योजना बनाता है.
    • डेटा extraction agent: वेबसाइट से data निकालता है.
    • पासवर्ड agent: password forms भरता है.
    • 2FA agent: 2FA forms भरता है.
    • डायनेमिक auto-completion agent: dynamic auto-complete forms भरता है.

Skyvern Cloud

  • क्लाउड version: Skyvern का managed cloud version infrastructure संभाले बिना कई Skyvern instances को parallel में चलाकर बड़े पैमाने पर workflows automate कर सकता है. इसमें bot-detection evasion mechanisms, proxy network, और CAPTCHA solving capabilities भी शामिल हैं.

Skyvern tasks और workflows

  • Task: Skyvern का बुनियादी building block, जो किसी खास लक्ष्य को हासिल करने के लिए वेबसाइट navigate करने का निर्देश देता है.
  • Workflow: कई tasks को जोड़कर एक काम की इकाई बनाता है. उदाहरण के लिए, e-commerce store में products को अपने-आप खरीदने की process automate की जा सकती है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-25
Hacker News की राय

  • Anthropic के Claude की "computer use" फीचर घोषणा को लेकर दिलचस्पी है और Skyvern की अलग पहचान क्या है, इस पर सवाल हैं

    • Claude की नई फीचर की तुलना में Skyvern की खासियत क्या है, यह जानना चाहते हैं

  • बताया गया है कि हाल में Playwright का उपयोग करने वाले AI wrapper बहुत सामने आए हैं

    • BPA (business process automation) में इसका उपयोग test automation की तुलना में अधिक आकर्षक लगता है
    • test automation में सटीकता और दोहराने-योग्यता महत्वपूर्ण होती है, लेकिन BPA में सिर्फ परिणाम मायने रखता है

  • Skyvern के उदाहरण वीडियो में बहुत अधिक prompt लिखने और plain text डेटा के उपयोग को लेकर चिंता जताई गई है

    • दावा किया जाता है कि यह Playwright के code generation से कम technical है, लेकिन ऐसा संभाल पाने वाले लोग बहुत अधिक नहीं होंगे, ऐसा माना गया है
    • website login जानकारी और credit card जानकारी plain text में देने को लेकर security चिंता है

  • यह राय है कि website redesign की आवृत्ति को बढ़ा-चढ़ाकर बताया गया है

    • Playwright automation में process बदलने पर validation के जरिए पता चल सकता है कि update की जरूरत है, लेकिन Skyvern में ऐसा विकल्प दिखाई नहीं देता

  • third-party LLM पर आधारित startup के जोखिम का उल्लेख किया गया है

    • Anthropic, OpenAI, Google जैसी बड़ी कंपनियों की भागीदारी से प्रतिस्पर्धा और कड़ी होगी

  • Skyvern के AGPL open source होने पर बधाई दी गई है और LangChain integration की योजना के बारे में पूछा गया है

    • Skyvern की सोच/कार्रवाई logic बनाने में इस्तेमाल की गई तकनीकों को लेकर जिज्ञासा जताई गई है

  • "browser automation" की अवधारणा समझाई गई है

    • यह Selenium की तरह website को operate करने वाला program बनाने की बात है

  • LLM workflow automation tool के use case और long-term परिणामों पर सवाल उठाए गए हैं

    • क्या यह tools के बीच interoperability की कमी दूर करता है, क्या यह security measures को bypass करता है, या क्या इसका उपयोग internal tools के maintenance को टालने के लिए होता है—जैसे सवाल पूछे गए हैं

  • यह चिंता जताई गई है कि क्या Skyvern जटिल process के ऊपर एक और जटिलता जोड़ रहा है

    • परियोजना उपयोगी हो सकती है, लेकिन long-term प्रभावों को लेकर सवाल हैं

  • पूछा गया है कि क्या किसी ने Skyvern को modal.com पर चलाकर देखा है

  • WebArena और VisualWebArena के प्रदर्शन के बारे में सवाल हैं

  • पूछा गया है कि क्या Cloudflare, Skyvern को block कर सकता है

  • पूछा गया है कि क्या किसी ने Skyvern को airline website पर चलाकर देखा है

    • airline website अक्सर बदलती रहती हैं और anti-scraping उपाय काफी मजबूत होते हैं