Skyvern (YC S23) – ब्राउज़र ऑटोमेशन के लिए ओपन सोर्स AI एजेंट

 (github.com/Skyvern-AI)
4 पॉइंट द्वारा GN⁺ 2024-10-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Skyvern LLM और computer vision की मदद से वेबसाइट-आधारित मैनुअल workflows को ऑटोमेट करता है, और Playwright-compatible SDK के साथ no-code workflow builder भी देता है
  • पारंपरिक browser automation जहाँ DOM parsing और XPath पर निर्भर होने के कारण layout बदलने पर टूट सकता था, वहीं Skyvern Vision LLM से स्क्रीन elements को समझकर ज़रूरी actions की planning और execution करता है
  • Skyvern का कहना है कि यह पहली बार देखी गई वेबसाइटों पर भी visual elements को actions से map कर सकता है, और predefined XPath या selectors के बिना एक ही workflow को कई वेबसाइटों पर लागू कर सकता है
  • SDK page.act, page.extract, page.validate, page.prompt और page.agent commands देता है, और मौजूदा Playwright actions में natural language prompt आधारित element discovery जोड़ता है
  • लोकल रन, Docker Compose, Skyvern Cloud, मौजूदा Chrome control, browser tunneling, WebBench में 64.4% accuracy, AGPL-3.0 license, और managed cloud में anti-bot फीचर्स के अपवाद की जानकारी भी दी गई है

Skyvern जिस समस्या को हल करना चाहता है

  • Skyvern एक ऐसा प्रोजेक्ट है जो browser-based workflows को LLM और computer vision से ऑटोमेट करता है
  • यह Playwright के ऊपर AI capabilities जोड़ने वाला Playwright-compatible SDK प्रदान करता है
  • technical और non-technical दोनों तरह के users किसी भी वेबसाइट पर मैनुअल workflows को ऑटोमेट कर सकें, इसके लिए यह no-code workflow builder भी देता है
  • पारंपरिक browser automation अक्सर वेबसाइट-विशिष्ट custom scripts, DOM parsing और XPath-based interaction पर निर्भर करती थी, और वेबसाइट layout बदलने पर टूट सकती थी
  • Skyvern सिर्फ code में define किए गए XPath interactions पर निर्भर नहीं रहता, बल्कि Vision LLM की मदद से वेबसाइट को समझता और उसके साथ इंटरैक्ट करता है

काम करने का तरीका और डिज़ाइन

  • Skyvern को BabyAGI और AutoGPT द्वारा लोकप्रिय किए गए task-driven autonomous agent डिज़ाइन से प्रेरणा मिली है
  • इसके साथ Playwright जैसी browser automation library के जरिए वेबसाइटों से इंटरैक्ट करने की क्षमता जोड़ी गई है
  • वेबसाइट को समझने, actions की planning करने और उन्हें execute करने के लिए यह कई agents के swarm का उपयोग करता है
  • इस approach के तीन मुख्य फायदे बताए गए हैं
    • custom code के बिना visual elements को ज़रूरी actions से map करके यह पहली बार देखी गई वेबसाइटों पर भी काम कर सकता है
    • navigation के दौरान predefined XPath या selectors न खोजने के कारण यह वेबसाइट layout changes के प्रति अधिक resilient है
    • एक workflow को कई वेबसाइटों पर लागू किया जा सकता है, और हर साइट पर ज़रूरी interactions को infer किया जा सकता है
  • Skyvern 2.0 की technical report Skyvern 2.0: State-of-the-art web navigation with 85.8 on WebVoyager eval में देखी जा सकती है

चलाने के तरीके

  • Skyvern Cloud Skyvern चलाने का managed cloud version है, जिसमें infrastructure खुद manage नहीं करना पड़ता
  • Skyvern Cloud कई Skyvern instances को parallel में चला सकता है, और इसमें anti-bot detection handling mechanisms, proxy network, और CAPTCHA solver शामिल हैं
  • लोकल रन pip install "skyvern[all]" के बाद skyvern quickstart से शुरू किया जा सकता है
  • skyvern quickstart और skyvern run server डिफ़ॉल्ट रूप से ~/.skyvern/data.db में SQLite database का उपयोग करते हैं
    • लोकल Postgres container इस्तेमाल करने के लिए --postgres दें
    • मौजूदा database इस्तेमाल करने के लिए --database-string दें
    • Docker Compose bundled Postgres service का उपयोग करता है
  • Docker Compose setup में Postgres, API और UI सभी containerize किए जाते हैं; .env में LLM API key सेट करने के बाद docker compose up -d से शुरुआत होती है
  • UI डिफ़ॉल्ट रूप से http://localhost:8080 पर उपलब्ध होता है

SDK और AI-आधारित Playwright विस्तार

  • Skyvern SDK, Playwright के लिए AI-powered browser automation जोड़ने वाला extension है
  • installation के तरीके उपयोग के अनुसार अलग हैं
    • Python SDK / cloud API: pip install skyvern
    • लोकल server और packaged UI: pip install "skyvern[all]" के बाद skyvern quickstart
    • Postgres के साथ लोकल server और UI: pip install "skyvern[all]" के बाद skyvern quickstart --postgres
    • मौजूदा API से जुड़ने वाला packaged UI: pip install "skyvern[ui]" के बाद skyvern run ui --api-url <api-url> --api-key <api-key>
    • TypeScript: npm install @skyvern/client
  • page object में चार AI commands जोड़ी जाती हैं
    • page.act(prompt): जैसे “login button क्लिक करो” जैसी natural language instruction से action execute करना
    • page.extract(prompt, schema): optional JSON schema के साथ structured data extraction
    • page.validate(prompt): page state validate करके bool लौटाना
    • page.prompt(prompt, schema): optional response schema के साथ LLM को arbitrary prompt भेजना
  • page.agent higher-level workflow commands देता है
    • page.agent.run_task(prompt): जटिल multi-step task चलाना
    • page.agent.login(credential_type, credential_id): Skyvern, Bitwarden, 1Password में stored credentials से authentication
    • page.agent.download_files(prompt): navigation के बाद files डाउनलोड करना
    • page.agent.run_workflow(workflow_id): पहले से बना workflow चलाना
  • मौजूदा Playwright actions optional prompt parameter के साथ AI-based element discovery सपोर्ट करते हैं
    • page.click("#btn") की जगह page.click(prompt="Click login button")
    • page.fill("#email", "a@b.com") की जगह page.fill(prompt="Email field", value="a@b.com")
    • page.select_option("#country", "US") की जगह page.select_option(prompt="Country dropdown", value="US")
    • page.upload_file("#file", "doc.pdf") की जगह page.upload_file(prompt="Upload area", files="doc.pdf")
  • interaction modes तीन हैं
    • पारंपरिक Playwright: CSS/XPath selectors का उपयोग
    • AI-based: natural language का उपयोग
    • AI fallback: पहले selector आज़माना, और fail होने पर AI का उपयोग करना

उन्नत browser control

  • Skyvern उपयोगकर्ता के मौजूदा Chrome browser को नियंत्रित कर सकता है
  • इस तरीके में मौजूदा cookies, logins और extensions वाले browser का ही उपयोग होता है
  • Chrome remote debugging को chrome://inspect/#remote-debugging पर सक्षम किया जा सकता है
  • skyvern init browser command remote debugging page खोल सकती है, user के enable करने का इंतज़ार करती है, और फिर configuration सहेज सकती है
  • Skyvern Cloud भी लोकल मशीन पर चल रहे Chrome को नियंत्रित कर सकता है
    • skyvern browser serve --tunnel command Chrome शुरू करने और Skyvern Cloud तक tunnel बनाने का काम एक साथ करती है
    • यह तब उपयोगी है जब आप पहले से login किए हुए या VPN के पीछे मौजूद साइटों को ऑटोमेट करना चाहते हैं
  • browser को tunnel के जरिए expose करते समय हमेशा --api-key का उपयोग करना चाहिए
    • API key के बिना expose करने पर URL रखने वाला कोई भी व्यक्ति browser पर पूरा control पा सकता है
    • संबंधित जानकारी browser tunneling security docs में है

प्रदर्शन और मूल्यांकन

  • Skyvern का दावा है कि उसने WebBench benchmark में 64.4% accuracy के साथ SOTA performance हासिल की है
  • technical report और evaluation Web Bench: A new way to compare AI browser agents में देखे जा सकते हैं
  • इसका दावा है कि WRITE tasks में भी यह सबसे बेहतर प्रदर्शन करने वाला agent है
    • WRITE tasks के उदाहरण हैं form filling, login, file downloading आदि
    • यह category मुख्य रूप से RPA से जुड़े कार्यों में उपयोग होती है

Tasks और Workflows

  • Task Skyvern के भीतर बुनियादी building block है
  • हर Task वेबसाइट navigate करके एक खास goal हासिल करने का single request होता है
  • Task के लिए url और prompt ज़रूरी हैं
  • optional रूप से data schema और error codes शामिल किए जा सकते हैं
    • data schema का उपयोग तब होता है जब output को किसी खास schema का पालन कराना हो
    • error codes का उपयोग खास स्थितियों में Skyvern execution रोकने के लिए होता है
  • Workflow कई Tasks को जोड़कर एक कार्य-इकाई बनाने का तरीका है
  • उदाहरण workflows
    • 1 जनवरी के बाद की सभी invoices डाउनलोड करने के लिए billing page पर जाना, date filter लगाना, target invoices की list निकालना, फिर हर invoice डाउनलोड करना
    • e-commerce purchase automation में product page पर जाना, cart में जोड़ना, cart state validate करना, और checkout करना शामिल हो सकता है
  • supported workflow features में Browser Task, Browser Action, Data Extraction, Validation, For Loops, File parsing, Sending emails, Text Prompts, HTTP Request Block, Custom Code Block, और block storage पर file upload शामिल हैं
  • Conditionals को “Coming soon” के रूप में दिखाया गया है

प्रमुख फीचर्स

  • Livestreaming browser viewport को real time में लोकल मशीन पर भेजता है ताकि आप देख सकें कि Skyvern web पर क्या कर रहा है
    • यह debugging, interaction को समझने और ज़रूरत पड़ने पर intervene करने के लिए उपयोगी है
  • Form Filling वेबसाइट के form inputs को डिफ़ॉल्ट रूप से भर सकता है
    • navigation_goal के जरिए जानकारी देने पर Skyvern उसे समझकर form भरता है
  • Data Extraction वेबसाइटों से data निकालता है
    • अगर data_extraction_schema को main prompt में jsonc format में दिया जाए, तो output उसी schema structure का पालन करता है
  • File Downloading वेबसाइटों से files डाउनलोड करता है
    • downloaded files, अगर block storage configured हो, तो अपने-आप upload हो जाती हैं और UI में उपलब्ध रहती हैं
  • Authentication login के पीछे वाले tasks को ऑटोमेट करना आसान बनाने के लिए कई authentication methods सपोर्ट करता है
  • 2FA support कई तरीकों से उपलब्ध है
    • QR-based 2FA, जैसे Google Authenticator, Authy
    • email-based 2FA
    • SMS-based 2FA
    • संबंधित docs 2FA support में हैं
  • password manager integration की स्थिति
    • supported: Bitwarden
    • supported: Custom Credential Service, HTTP API
    • unsupported: 1Password
    • unsupported: LastPass

इंटीग्रेशन और समर्थित LLM

  • Skyvern Model Context Protocol(MCP) को सपोर्ट करता है, इसलिए MCP-compatible LLMs का उपयोग किया जा सकता है
  • MCP docs MCP server documentation में उपलब्ध हैं
  • यह Zapier, Make.com, N8N integrations को सपोर्ट करता है
  • supported LLM providers इस प्रकार हैं
    • OpenAI: GPT-5.5, GPT-5.4, GPT-5, GPT-4.1, o3, o4-mini
    • Anthropic: Claude 4.7 Opus, Claude 4.6 Sonnet/Opus, Claude 4.5 Haiku/Sonnet/Opus
    • Azure OpenAI: Azure subscription में deployed सभी GPT models
    • AWS Bedrock: Claude 4.7, Claude 4.6 Sonnet/Opus, Claude 4.5 Sonnet/Opus
    • Gemini: Gemini 3.1 Pro, Gemini 3 Flash, Gemini 2.5 Pro/Flash
    • Ollama: Ollama के जरिए locally hosted models
    • OpenRouter: OpenRouter के जरिए models तक access
    • OpenAI-compatible: liteLLM के जरिए OpenAI API format का पालन करने वाले custom API endpoints
  • विस्तृत LLM configuration LLM Configuration docs में उपलब्ध है

वास्तविक उपयोग के उदाहरण

  • कई वेबसाइटों से invoice downloading ऑटोमेट करना
  • hiring application process ऑटोमेट करना
  • manufacturing company के लिए material procurement ऑटोमेट करना
  • government websites पर account registration या form filling
  • random contact us forms भरना
  • कई भाषाओं वाली insurer websites पर insurance quotes खोजना

समस्या समाधान और संचालन commands

  • pip install skyvern==1.0.31 में ज्ञात bug के कारण (sqlite3.OperationalError) table organizations already exists error आ सकता है
    • बची हुई SQLite file ~/.skyvern/data.db हटाएँ, pip install --upgrade skyvern से 1.0.32 या उससे ऊपर upgrade करें, फिर skyvern quickstart चलाएँ
    • अगर 1.0.31 बनाए रखना ज़रूरी हो, तो uv pip install skyvern इस्तेमाल किया जा सकता है
  • अगर pip install skyvern ResolutionImpossible error के साथ fail हो, तो यह 1.0.31 में litellm / fastmcp dependency resolution conflict हो सकता है
    • 1.0.32 या उससे ऊपर upgrade करें या uv pip install skyvern का उपयोग करें
  • debugging के लिए उपयोगी commands
    • skyvern run server: Skyvern server अलग से चलाना
    • skyvern run ui: Skyvern UI चलाना
    • skyvern status: service status देखना
    • skyvern stop all: सभी services रोकना
    • skyvern stop ui: UI रोकना
    • skyvern stop server: server रोकना

लाइसेंस और telemetry

  • Skyvern डिफ़ॉल्ट रूप से usage statistics इकट्ठा करता है ताकि यह समझा जा सके कि लोग इसे कैसे इस्तेमाल करते हैं
  • telemetry बंद करने के लिए SKYVERN_TELEMETRY environment variable को false पर सेट करें
  • Skyvern open source repository को managed cloud द्वारा support किया जाता है
  • core logic इस open source repository में AGPL-3.0 license के तहत उपलब्ध है
  • managed cloud offering में शामिल anti-bot उपायों को open source repository की core logic से अलग अपवाद के रूप में बताया गया है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-25
Hacker News की राय

  • जिज्ञासा है कि Anthropic ने हाल ही में Claude का जो computer use feature घोषित किया है, आप उसे कैसे देखते हैं
    अब जबकि Claude का computer use अपेक्षाकृत नया आया है, जानना चाहता हूं कि Skyvern का मुख्य differentiator क्या है

    • मैं इसी क्षेत्र में काम करता हूं, और Claude की pixels गिनने और exact coordinates पर screen से interact करने की क्षमता मौजूदा approaches को बेहतर बनाने वाला काफी उपयोगी innovation लगती है
      मौजूदा तरीका आम तौर पर interactable elements के आसपास दिखने वाले bounding boxes बनाता है, LLM से click('A12') जैसा tool call करवाता है, फिर A12 को actual HTML element से map करके Selenium/JS action चलाता है। ऐसे bounding boxes को heuristics से बनाना भी कठिन है, और अगर click handler किसी दूसरे DOM element से जुड़ा हो तो सही action करना भी मुश्किल हो सकता है
      visual elements को वापस HTML elements से map किए बिना click(x, y) या type("foo") जैसी high-level actions को सीधे screen पर perform करना automation use cases में ज्यादा प्रभावी हो सकता है। हालांकि अभी LLM को context के रूप में HTML देने पर केवल visual reasoning इस्तेमाल करने की तुलना में performance बेहतर होने की प्रवृत्ति दिखती है। इसलिए Claude के तरीके को लेकर मैं ज्यादा optimistic हूं, खासकर अगर visual reasoning लगातार सुधरती रही तो यह बहुत exciting है
    • Anthropic का product और launch वाकई शानदार है, और सिर्फ tool use + micro agents + screenshots + coordinates के दम पर websites से interact करके बहुत से काम कर लेना impressive है
      फिर भी सवाल है कि क्या competitors ऐसे ही कुछ बनाए बिना बैठे रहेंगे। xAI, Gemini, OpenAI, Mistral, MetaAI teams सिर्फ इंतजार नहीं करेंगी, और यह क्षेत्र भविष्य का बड़ा pillar हो सकता है, इसलिए लगता नहीं कि एक ही company सब कुछ ले जाएगी
      साथ ही ऐसे systems में वास्तविक value कहां से आती है, यह भी महत्वपूर्ण है। केवल demo और usable cool product काफी नहीं हो सकते, और ज्यादातर लोग असल workflow automation चाहते हैं। personal use के लिए यह पर्याप्त हो सकता है, लेकिन enterprises शायद अधिक complex चीजें चाहेंगी
      आख़िर में यह भी key है कि क्या यह सिर्फ Claude के लिए optimized रहेगा। अगर आप इसे अपने open-source LLM पर चलाना चाहते हैं, या market में सबसे अच्छे model को लगातार बदलकर इस्तेमाल करना चाहते हैं, तो बड़ी companies द्वारा दिए solutions में ऐसी flexibility मिलना मुश्किल हो सकता है। क्योंकि Anthropic के पास अंदर से Claude इस्तेमाल करवाने का incentive है
      यही आखिरी point उम्मीद देता है। Skyvern के open-source users अपनी पसंद का model चुन सकते हैं और Claude से बंधे नहीं रहते। इसे Gemini, GPT-4O, Llama 3.2 जैसे open-source models पर भी चलाया जा सकता है

  • यह शायद इस हफ्ते Playwright के ऊपर आया पहला AI wrapper भी नहीं होगा, और इस महीने का पहला example भी नहीं लगता
    business process automation के नजरिए से इसका उपयोग testing automation की तुलना में ज्यादा compelling लगता है। testing automation में process की accuracy और repeatability कहीं ज्यादा महत्वपूर्ण होती है, लेकिन business automation में अक्सर अगर result सही हो तो अजीब रास्ते से पहुंचना भी बहुत मायने नहीं रखता
    हालांकि example video में इसे चलाने के लिए काफी बड़ा prompt लिखना पड़ा, और कुछ KB के payload data को भी CSV के बजाय plaintext format में डालना पड़ा। अगर उम्मीद यह है कि यह उन लोगों की जगह लेगा जिनके लिए Playwright code generator को सीधे इस्तेमाल करना बहुत technical और कठिन है, तो मुझे यकीन नहीं कि ऐसे लोग बहुत होंगे जो एक काम कर सकते हैं लेकिन दूसरा नहीं
    इसके अलावा ऐसा लगता है कि user को website login credentials और credit card information तक plaintext में देनी पड़ती है। अगर user का Skyvern account compromise हो जाए तो गंभीर नतीजों से बचने के लिए sensitive data handle करने का तरीका बहुत मजबूत होना चाहिए
    मुझे लगता है कि LLM-based Playwright wrappers बनाने वाली तरफ websites के redesign की frequency को बढ़ा-चढ़ाकर बताने की प्रवृत्ति भी है। खासकर पुराने sites या government sites को target करते समय ऐसा है। उदाहरण के लिए, government site से interact करने वाले लंबे Playwright browser automation bundles को मैंने कई साल चलाया, लेकिन maintenance सिर्फ एक बार करनी पड़ी, जब agency की business procedure बदली। Skyvern इस्तेमाल किया होता तब भी procedure बदल गया था, इसलिए prompt और payload भी बदलने पड़ते
    Playwright automation से फर्क यह है कि हर step की success/failure और data recording की accuracy को assertions से verify किया जा सकता है, जिससे पता चल जाता है कि procedure update जरूरी है। Skyvern में ऐसा option नहीं दिखता, इसलिए चिंता है कि कहीं procedure changes छूट न जाएं और यह गलत data enter करने या steps छोड़ने न लगे

    • यह सही है कि current prompt और payload structure काफी complex side पर है, लेकिन हम LLM की मदद से users के लिए यह payload generate कराने में मदद कर पाए
      technical users ज्यादा सीखना और खुद payload बनाना चाहते हैं, जबकि non-technical users LLM से final Skyvern prompt बनाने में मदद मांगकर शुरू करते हैं। यह unexpected था, लेकिन आश्चर्यजनक रूप से natural flow निकला
      Step 1 complex तरीके से बनाना है, यानी Playwright; Step 2 complex prompt से Playwright के equivalent को बनाना है, जो current stage है; और Step 3 ऐसा बनाना है जो ज्यादा simple prompt से Playwright के equivalent को बना दे। हर step automation बनाने के लिए जरूरी technical barrier को कम करता है
      website changes की frequency को मैं LLM-based automation का छोटा value proposition मानता हूं। सबसे बड़ी value बहुत dynamic situations handle कर पाना है। उदाहरण के लिए, हर हफ्ते popup offers बदलने वाली e-commerce site को automate करते समय Skyvern को ऐसी चीजों की लगभग परवाह नहीं होती, लेकिन Playwright script टूट सकती है
      Geico example मुझे इसलिए पसंद है क्योंकि यह अच्छी तरह दिखाता है कि पहले जिसे automate करना बहुत कठिन था। form हर run में बदलता है, लेकिन Skyvern आसानी से उसे पार कर जाता है
      data accuracy के लिहाज से हम workflow feature launch कर रहे हैं, जो कई tasks को chain में जोड़ता है। इस feature की दिलचस्प बात यह है कि आगे बढ़ने से पहले Skyvern द्वारा खुद result verify करने का step जोड़ा जा सकता है। उदाहरण के लिए, n products को cart में डालने के बाद cart में जाकर cart state verify की जा सकती है
      जैसा आप उम्मीद करेंगे, यह इस बात की नींव बनता है कि कोई दूसरा agent इन tools का इस्तेमाल करके ज्यादा simple prompt से अपने-आप workflow बना सके। संक्षेप में, LLM से business process automation को धीरे-धीरे आसान बनाने की लंबी यात्रा का यह पहला step है

  • इस समय third-party LLM के ऊपर startup बनाना या तो वाकई बहुत हिम्मत का काम लगता है, या फिर ऐसा business model चाहिए जो short-term revenue पर केंद्रित हो
    अगर time horizon कुछ महीनों का नहीं बल्कि कई वर्षों का है, तो जोखिम बड़ा है। Anthropic कल ही इस क्षेत्र में कूद पड़ा, और OpenAI व Google भी जल्द ही पीछे आने की संभावना है

    • Vercel, Supabase जैसी कई कंपनियों ने AWS को “wrap” करके बड़े business बनाए हैं
      ये सचमुच AWS से compete करते हुए भी अपने products देने के लिए AWS का ही इस्तेमाल करती हैं। यह market बड़ा है, और अलग-अलग approaches के लिए जगह है
      OpenAI, Anthropic, Google इस क्षेत्र में बड़े business बनाएंगे यह साफ है, लेकिन कोई और अच्छा idea लेकर बड़े infrastructure providers पर निर्भर होकर उसे reality में बदले, इसे बाहर करने की कोई वजह नहीं दिखती
    • “कूद पड़ा” से आपका मतलब क्या है, समझ नहीं आया। क्या हुआ था, ठीक से नहीं जानता

  • इसे AGPL के तहत open source करने वाली बात दिलचस्प है
    हो सकता है docs में पहले से जवाब हो, लेकिन source को संक्षेप में search करने पर लगा कि LangChain इस्तेमाल नहीं हो रहा और आगे उस community को देने के लिए integration plan किया जा रहा है। Skyvern में thought/action chain logic बनाते समय आपने क्या इस्तेमाल किया, और अगर आज नए सिरे से शुरू करते तो क्या LangChain/Graph दिशा पर विचार करते, यह जानना चाहूंगा

    • शुरुआत में AutoGPT framework इस्तेमाल किया था
      उसके निशान tasks और steps जैसी जगहों पर अभी भी काफी बचे हैं, लेकिन जब हमने इसे ज्यादा scale करना और complex काम कराना चाहा, तो पता चला कि framework बहुत सीमित है
      उदाहरण के लिए, अभी हम multi-agent architecture इस्तेमाल कर रहे हैं जिसमें SVG analyze करने या dynamic autocomplete भरने वाले micro agents चलते हैं, और ऐसी संरचना existing frameworks से बनाना सच में बहुत मुश्किल होता
      LangChain जैसे frameworks शुरुआती prototyping के लिए अच्छे हैं, लेकिन जब आप limits push करना चाहते हैं तो वे बहुत ज्यादा constraints डालते हैं

  • अगर “browser automation” confusing लगे, तो यह Selenium जैसी चीज है जिसमें target website को program से operate कराया जाता है
    आम तौर पर किसी और के स्वामित्व वाली target website में key input events और mouse move/click events भेजकर उस site से कोई काम करवाया जाता है। यह समझ लेने के बाद बाकी explanation समझ में आ जाती है

  • जब भी ऐसे LLM workflow automation tools देखता हूं, तो हर use case और long-term outcome को लेकर कुछ सवाल उठते हैं
    पहला, क्या यह tools के बीच interoperability की कमी से पैदा friction को bypass कर रहा है? उदाहरण के लिए, अगर website owner ने REST service दी होती तो क्या यह काम ज्यादा efficient होता? ऐसे tools के मौजूद होने से, क्या कंपनियां service endpoints देना बंद कर देंगी, भले ही उन्हें देना उचित हो?
    दूसरा, अगर security कारणों आदि से service endpoint न होने की वैध वजह है, तो automation workflow उन security measures को bypass करने के लिए इस्तेमाल हो सकता है। क्या कोई malicious actor major services को disable करने के लिए tool इस्तेमाल कर सकता है? क्या tool बनाने वाला पक्ष खुद ऐसा actor बन सकता है? क्या resellers इसे high-demand products को आम consumers की पहुंच से बाहर रखने के लिए इस्तेमाल कर सकते हैं?
    तीसरा, अगर इसे internal tools और processes के deferred maintenance को bypass करने के लिए इस्तेमाल किया जाता है, तो ऐसे tools का होना management को maintenance और टालने का बहाना दे सकता है। आखिरकार यह support staff के workflow में core dependency भी बन सकता है
    चौथा, अगर इसे नेक नीयत से website design के antipatterns को bypass करने में इस्तेमाल किया जाता है, तो क्या website owner के पास उस workflow को तोड़ने का incentive होगा? क्या यह अंततः arms race का सिर्फ एक चरण है?
    जब भी complex process के ऊपर software चढ़ाकर, underlying process को सरल करने के बजाय complexity की एक और layer जोड़कर उसे ढकते हुए देखता हूं, तो ये विचार आते हैं। project उपयोगी होगा, यह तो साफ है, लेकिन long-term effects को लेकर जिज्ञासा है

    • जिन websites के पास API नहीं होता, आम तौर पर वजह दो में से एक होती है। एक, वे LinkedIn की तरह data protect करना चाहती हैं; दूसरी, वे छोटी websites या government portals की तरह API बनाने की क्षमता नहीं रखतीं या आलस/प्राथमिकता की कमी होती है
      Skyvern इस समस्या को हल करता है, लेकिन LLM cost घटने पर यह ऐसी websites के लिए API बनाने की जरूरत भी खत्म कर सकता है
      हम नहीं चाहते कि Skyvern उन websites पर इस्तेमाल हो जो ऐसा behavior prohibit करती हैं। LinkedIn इसका प्रमुख उदाहरण है। खासकर anti-bot या captcha से जुड़े code को open source न करने की वजह भी यही है कि हमें “Reddit recommendation manipulation” जैसी requests मिलती हैं। ऐसे malicious actors को support नहीं करना चाहते
      AI browser automation को कुल मिलाकर net positive मानता हूं। API की जरूरत कम होने पर API और UI दोनों maintain करने की जरूरत घटती है, experience सरल होता है, code भी कम होता है और system ज्यादा simple हो जाता है
      आखिरी हिस्से पर मैं 100% sure नहीं हूं। आम तौर पर मानता हूं कि कंपनियां API इसलिए नहीं बनातीं क्योंकि उनके पास budget नहीं होता। यानी वजह malicious नहीं है। LinkedIn जैसी कंपनियां automation attempts रोकने की कोशिश करेंगी, लेकिन हम उस cat-and-mouse game में शामिल नहीं होना चाहते

  • जानना चाहता हूं कि क्या Skyvern अलग-अलग structure वाली कई websites से data scrape करके उसे एक CSV या JSON file में structured data के रूप में merge कर सकता है
    उदाहरण के लिए, क्या यह कई bank websites से deposit account interest rates scrape कर सकता है, हर account का bank name, bank logo, product name, interest rate extract कर सकता है, और saved query को daily या weekly schedule पर चला सकता है?

    • theoretically संभव है। workflow feature का इस्तेमाल करके setup करना होगा, और information collect करने के लिए कई tasks को chain करना होगा

  • जानना चाहूंगा कि क्या आपने airline websites पर Skyvern चलाने का अनुभव लिया है
    उदाहरण के लिए, point A से point B तक mileage tickets के award seat availability extract करना। airlines हमेशा screens बदलती रहती हैं और scraping prevention भी काफी मजबूत लगता है

    • अभी तक ठीक इसी use case में मदद नहीं की है, लेकिन हम एक company के साथ integration कर रहे हैं ताकि वास्तविक इंसान की जगह Alaska और Southwest tickets की purchase automate की जा सके
      यह credit card transactions को beta test करने और reliability verify करने का तरीका होगा

  • मैं छोटे scale पर कुछ ऐसा ही बना रहा हूं, और यह area काफी promising लगता है
    problem scope को single-page interaction/scraping तक सीमित रखा, तो company में यह बहुत stable और useful रहा। हालांकि agent-style automation भी दिलचस्प लगती है

    • खासकर बहुत dynamic situations में यह उपयोगी रहा
      उदाहरण के लिए, सैकड़ों websites के contact forms भरना—ordinary code से इतनी diversity संभालना सच में मुश्किल है, लेकिन AI agent के लिए यह बड़ा issue नहीं है

  • WebArena(https://webarena.dev) या VisualWebArena(https://jykoh.com/vwa) के numbers हैं क्या?

    • अभी नहीं। internal dataset बहुत biased है इसलिए हमने publicly share नहीं किया, लेकिन कुछ हफ्तों में आने वाला है