Show HN: Autotab - AI-आधारित Chrome एक्सटेंशन से Selenium स्क्रिप्ट जनरेट करें

 (autotab.com)
3 पॉइंट द्वारा GN⁺ 2023-10-21 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Autotab एक AI-आधारित Chrome एक्सटेंशन है, जो लोकल ब्राउज़र में काम करता है और Selenium स्क्रिप्ट बनाने को भी लक्ष्य करता है
  • यूज़र अपने workflow को वीडियो मैसेज या डॉक्यूमेंट के जरिए बताकर, किसी इंसान को समझाने की तरह Autotab को काम सिखा सकते हैं
  • Fortune 500 कंपनियां और तेज़ी से scale कर रही tech-oriented कंपनियां इसे hiring, onboarding और management bottlenecks कम करने के लिए इस्तेमाल कर रही हैं
  • इसका उपयोग दायरा डेटा कलेक्शन, form filling, message sending, refund trigger जैसे browser-based repetitive tasks तक फैला हुआ है
  • अगर यह तय न हो कि कोई task handle हो पाएगा या नहीं, तो काम की recording भेजकर 24 घंटे के भीतर जवाब मिल सकता है, और BPO replacement पर विचार कर रही कंपनियां अलग से संपर्क कर सकती हैं

लोकल ब्राउज़र में सीखने और execute करने का तरीका

  • Autotab एक general-purpose AI agent है, जो यूज़र द्वारा दिए गए tasks को इंसानों के काम करने के तरीके के करीब सीखता और करता है
  • काम यूज़र के लोकल ब्राउज़र में होता है, और यूज़र Autotab द्वारा की जा रही प्रक्रिया देख सकते हैं
  • किसी खास workflow को किसी इंसान को handover करने की तरह बताया जा सकता है

    • वीडियो मैसेज और डॉक्यूमेंट-आधारित training

      • वीडियो मैसेज या तैयार डॉक्यूमेंट से task procedure बताया जा सकता है
      • जटिल workflows भी इंसान द्वारा काम समझाने के तरीके के अनुरूप बताने की संरचना है

कंपनियों में लक्षित repetitive tasks

  • Autotab को Fortune 500 कंपनियों और तेज़ी से scale करने की ज़रूरत वाली tech-oriented कंपनियों में deploy किया गया है
  • इसका मुख्य use case ऐसी स्थितियां हैं जहां hiring, onboarding और management tasks growth की speed के साथ कदम नहीं मिला पाते
  • किए जा सकने वाले tasks के उदाहरण इस प्रकार हैं
    • डेटा कलेक्शन: leads ढूंढना, reports के लिए जानकारी इकट्ठा करना, पूरे system migration
    • Form filling: government forms, internal admin apps, ERP·RMS·TMS जैसे vendor systems में data entry
    • Action execution: किसी भी platform पर messages भेजना, refund trigger करना आदि context के मुताबिक actions करना

संपर्क और applicability की पुष्टि

  • अगर यह पक्का न हो कि कोई task handle किया जा सकता है या नहीं, तो task recording record@autotab.com पर भेजने पर 24 घंटे के भीतर जवाब मिल सकता है
  • BPO को किसी दूसरे तरीके से replace करना चाहने वाली कंपनियां enterprise@autotab.com पर संपर्क कर सकती हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-10-21
Hacker News की रायें

  • Selenium प्रोजेक्ट बनाने वाले व्यक्ति के तौर पर, मुझे लगता है कि test automation AI की killer apps में से एक बनेगा
    मुझे उत्सुकता है कि generated code में AI details को hallucinate न करे, यह कैसे सुनिश्चित किया जाता है

    • फिलहाल एक बुनियादी safety measure के तौर पर, यह जांचता है कि Selenium का XPath DOM में ठीक एक ही element चुनता है या नहीं
      आगे चलकर सबसे अच्छा यह लगता है कि mirrored browser एक real-time preview दे, जो आखिरी action को हूबहू follow करे, ताकि error आने पर या intent से अलग होने पर तुरंत debugging की जा सके

  • मैं अपने agent system web app को meaningful तरीके से automate करने की कोशिश करूंगा। ऐसा लगता है जैसे automation recursive तरीके से automation को handle कर रहा हो
    थोड़ा promotion करूं तो https://github.com/agi-merge/waggle-dance
    आम तौर पर मैं Chrome इस्तेमाल नहीं करता, लेकिन समझता हूं कि Chrome से शुरुआत क्यों की गई। फिर भी Firefox या Safari version भी आए तो अच्छा होगा

    • मैंने waggledance.ai देखा; यह जो कर सकता है वह cool और interesting है
      लेकिन अच्छी तरह बने UI को छोड़कर, मुझे उत्सुकता है कि waggledance ऐसा क्या देता है जो GPT-4 के जवाबों में नहीं मिलता
      मेरे अनुभव में tasks बनाना और उन्हें तोड़ना, ChatGPT से पूछने पर मिलने वाले results से काफी मिलता-जुलता है
    • दूसरे browsers का support भी कभी न कभी निश्चित रूप से plan में है

  • मैंने अपने पिता के काम को automate करने के लिए कभी Selenium scripts खुद लिखी थीं। उदाहरण के लिए spreadsheet से नाम लेकर website के search box में डालना, और यही action सैकड़ों लोगों के लिए दोहराना—इससे बहुत समय बचा
    अगर machine को सीधे दिखाने भर से browser automation आसान बनाया जा सके, तो लगता है कई लोगों की जिंदगी काफी आसान हो जाएगी, इसलिए इसे जल्दी try करना चाहता हूं

    • ऐसी चीजों में मदद करना हमारी उम्मीदों की दिशा से अच्छी तरह मेल खाता है। इस्तेमाल करने के बाद आपका अनुभव सुनना चाहेंगे, और अगर बात करने का मन हो तो profile में email है

  • मैं इसे server पर डालकर BrowserBox के जरिए उपलब्ध कराना चाहता हूं, ताकि mobile पर भी automation बनाई जा सके
    असल में BrowserBox बनाने की वजह भी extensions से बंधे बिना web scraping authoring tool deliver करने का platform था, लेकिन remote browser को ही product बनाते-बनाते अभी तक automation authoring tool तक नहीं पहुंच पाए
    इसे बनाने और MIT के तहत release करने के लिए धन्यवाद। मुझे लगता है AI-augmented, human-guided web scraping authoring इस field का future है
    नाम भी अच्छा है। autotab
    मैं जल्द launch होने वाले BrowserBox SaaS को Cloudtabs कह रहा हूं, इसलिए थोड़ी “synergy” भी है
    https://github.com/BrowserBox/BrowserBox

    • BrowserBox शानदार दिखता है, लेकिन README से यह समझना मुश्किल था कि कौन-सा browser engine इस्तेमाल करता है। उत्सुकता है कि क्या यह आपने खुद बनाया है

  • https://ray.run/ पर Playwright के लिए लगभग बिल्कुल यही चीज बना रहे हैं। इसमें कोई शक नहीं कि test writing का future यही दिशा है, और अगले हफ्ते launch करने वाले हैं
    approach थोड़ी अलग लगती है। LLM का उपयोग केवल element identification के लिए कर रहे हैं, और actual generator https://ray.run/browser-extension से बना रहे हैं

    • जब visitor ने prefers-reduced-motion set किया हो, तो animated background बंद कर देना चाहिए
      या फिर सामान्य तौर पर ही बंद कर दें तो भी अच्छा होगा। यह काफी distracting है

  • जानना चाहता हूं कि यह Chrome के Recorder feature से कैसे अलग है
    DevTools > Recorder में user journey record करके Puppeteer script के रूप में output निकाला जा सकता है

    • सबसे बड़ा फर्क शायद यह है कि autotab Python script output करता है। मौजूदा Python codebase में integrate करना आसान है
      आगे Python code और ecosystem की flexibility की वजह से ज्यादा features बनाना आसान होगा, ऐसा लगता है। उदाहरण के लिए browser-based tasks पूरी तरह deterministic नहीं होते, और automation के दौरान अक्सर ज्यादा intelligence की जरूरत पड़ती है—जैसे webpage की जानकारी summarize करना या text box में dynamically सही जवाब भरना

  • YC investment देखकर पता चला कि आप https://www.ztool.co के founder हैं। उत्सुकता है कि यह pivot है या ztool को complement करने वाला product

    • यह निश्चित रूप से pivot के ज्यादा करीब है। हालांकि ZTool product खुद भी इस दौरान कई बार बड़े बदलावों से गुजरा है
      पिछले कुछ महीनों में बनाते हुए और users से बात करते हुए जो सीखा, उसे autotab करने की दो वजहों में समेटा जा सकता है
      पहला, AI-generated software अभी non-technical users के लिए तैयार नहीं है। ZTool में focus इस पर था कि coding न जानने वाले लोग आसानी से automation बना सकें, लेकिन अभी model output code होना बेहतर लगता है। इसलिए autotab उन users पर focus करता है जो Python code review और modify कर सकते हैं
      दूसरा, intent बताने का तरीका महत्वपूर्ण है। “यह काम annoying है” से structured representation बनाना आश्चर्यजनक रूप से काफी mental effort मांगता है। AI demos ने छोटे prompts से intent बताने पर focus किया है, लेकिन complex domains में यह अच्छी तरह काम नहीं करता। browser के जरिए intent बताने का तरीका बहुत intuitive और familiar है, इसलिए powerful लगता है

  • लिखा है कि “Selenium द्वारा control किए जाने वाला Chrome session चलाने के बाद Google में login करें”; जानना चाहता हूं कि Google login requirement क्यों है

    • अब इस हिस्से को ठीक कर दिया है, ताकि autotab.com/dashboard से API key ली जा सके और autotab record चलाते समय सिर्फ उस key से authenticate किया जा सके। अब Selenium browser में Google login करने की जरूरत नहीं है
    • फिलहाल autotab के अपने login में सिर्फ Google login की अनुमति है, लेकिन जल्द ही username/password login और दूसरे options भी जोड़ने की योजना है
      feedback के आधार पर users के लिए अपना OpenAI API key लाने का option भी बना सकते हैं

  • जानना चाहता हूं कि खुले browser window में shortcut की तरह इस्तेमाल किए जा सकने वाले workflow या macro record किए जा सकते हैं, या यह सिर्फ उन automation processes तक सीमित है जो browser window खोलकर कुछ actions चलाते हैं
    उदाहरण के लिए अगर कई tabs खुले हैं और हर tab में YouTube fullscreen button जैसा वही element है, तो क्या Autotab से “fullscreen exit करो, अगले tab पर जाओ, उस page के video को fullscreen में switch करो” जैसा कुछ record किया जा सकता है?

    • अगर आप हमेशा autotab script द्वारा खोले गए browser instance के अंदर YouTube video खोलते हैं, तो कुछ हद तक संभव है, लेकिन संक्षेप में कहूं तो अभी यह मुश्किल लगता है
      ऐसे macros बहुत interesting हैं, और हमने काफी चर्चा की है कि browser को ऐसी AI और automation के लिए कैसे design किया जा सकता है
    • उत्सुकता है कि आप किस तरह का macro define करना चाहते हैं। यह ऐसा क्षेत्र है जिसके बारे में और सीखना चाहते हैं

  • इसे जितना उपयोगी बनाया जा सके, उसके लिए ruleset वाला LLM page की dynamic situation को interpret करके action ले सके, यह जरूरी होगा
    उदाहरण के लिए cart में add करने की कोशिश करते समय अगर LLM out-of-stock वाला rule detect करे, तो कोई दूसरा action करे
    जानना चाहता हूं कि क्या आगे इस software में ऐसा LLM-augmented, rule-based branching logic संभव होगा

    • पूरी तरह सहमत हूं, और हम अभी सक्रिय रूप से इस पर काम कर रहे हैं
      interesting सवाल दो हैं। 1) user के intent बताने के लिए सबसे effective format क्या है—शायद point-and-click नहीं भी हो सकता 2) model output को auditable और editable रूप में कैसे represent किया जाए, यही मुख्य बात है