Launch HN: HumanLayer (YC F24) – AI सिस्टम के लिए human-in-the-loop API

 (news.ycombinator.com)
1 पॉइंट द्वारा GN⁺ 2024-11-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह एक API है जो production AI agents को जोखिम भरे काम चलाने से पहले इंसानी approval·input लेने देता है, जिससे पूरी तरह autonomous execution का बोझ कम होता है
  • मुख्य बात यह है कि approval requests Slack·email पर भेजी जाती हैं, response-waiting state और audit trail मैनेज किया जाता है, और agent execution flow में इंसान को शामिल किया जाता है
  • प्रोडक्ट की शुरुआत उस अनुभव से हुई जहां data teams के लिए automation agents को production systems तक सीधे access देने पर customers असहज थे
  • SDK tool calling layer पर काम करता है, इसलिए इसे CrewAI, LangChain जैसे frameworks और tool calling support करने वाले language models के साथ इस्तेमाल किया जा सकता है
  • AI SDR, AI newsletter, DevOps agent जैसे agents जो असल काम करते हैं, उनके लिए approval points और help-request paths को साफ़ रखना अहम है

Production agents के लिए ज़रूरी human approval flow

  • HumanLayer एक API है जो AI agents को execution के दौरान इंसान से feedback·input·approval मांगने देता है
  • लक्ष्य यह है कि autonomous या headless AI systems को production में deploy करते समय हर जोखिम भरे step पर human-in-the-loop रखा जा सके
  • शुरुआत data teams के लिए AI agents बनाने के अनुभव से हुई
    • unused tables delete करने जैसे उबाऊ काम automate करने की कोशिश थी
    • customers AI agents को production systems तक सीधे access देने के खिलाफ थे
  • Production-grade reliability बनाने के लिए task risk के हिसाब से evaluation, fine-tuning और prompt engineering की जरूरत थी, लेकिन 99.9% से ज्यादा reliability तक पहुंचने में 3 महीने से अधिक लग सकते थे
  • आखिरकार “table delete करने से पहले Slack पर पूछो” जैसा approval flow बनाया गया, और बाद में यह सुनिश्चित करने के लिए guardrails की भी जरूरत पड़ी कि approval request गलत व्यक्ति के पास न जाए

Features और integration तरीका

  • HumanLayer SDK integrate करने पर AI agent execution के किसी भी point पर human approval मांग सकता है
    • request को सही व्यक्ति तक Slack या email के जरिए route करता है
    • SMS और Teams support जल्द आने वाला है
    • response का इंतज़ार करते समय state मैनेज करता है
    • पूरा audit trail देता है
  • “approval request” के अलावा, यह ज्यादा general human as tool feature भी support करता है
    • इसे LLM या agent framework में इंसानी response collect करने वाले tool के रूप में expose किया जा सकता है
    • उदाहरण है: “मैं इस problem पर अटक गया हूं, मैंने ये चीजें try की हैं, कृपया सलाह दें” जैसे सामान्य सवाल
  • क्योंकि यह tool calling layer पर काम करता है, इसे CrewAI, LangChain जैसे frameworks और tool calling support करने वाले language models के साथ इस्तेमाल किया जा सकता है
    • अगर आप अपना agent·tool loop बना रहे हैं, तो lower-level SDK primitive से approval flow सीधे मैनेज कर सकते हैं
    • AI-human approval के अलावा human-human approval use cases भी explore किए जा रहे हैं

Use cases और उपलब्धता

  • कई production agents HumanLayer के approval flows का उपयोग करते हैं
    • एक customer ने AI SDR बनाया जो personalized sales emails लिखता है, लेकिन भेजने से पहले Slack में human approval लेता है
    • दूसरे customer ने इसे AI newsletter में इस्तेमाल किया, जहां subscribers content और email conversations के साथ interact कर सकते हैं
    • एक team ने इसे customer-facing DevOps agent में लागू किया, जो PR review, DB migration planning और execution, अहम steps पर human approval, और problem आने पर team से मदद मांगने को handle करता है
  • उपलब्धता में Python और TypeScript SDK, free trial, free tier, और usage-based pricing शामिल हैं
    • customer-facing agents बनाने वाली teams के लिए whitelabeling, additional features और priority support उपलब्ध है
    • docs humanlayer.dev/docs पर देखे जा सकते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-11-27
Hacker News राय

  • एक राय है कि startup मालिक AI का उपयोग करके अपनी internal services DIY तरीके से बनाना चाहते हैं। SAAS का उपयोग करना बेहतर लग सकता है, लेकिन उसकी कीमत अधिक है और वह सरल नहीं है। उनका मानना है कि प्रतिस्पर्धा बढ़ने पर कीमतें घटेंगी

  • AI services की ऊंची लागत को लेकर चिंता है, और free credits देने या pricing समायोजित करने की जरूरत बताई गई है

  • automation bias और automation complacency को लेकर चिंता है, जिसमें यह जोखिम है कि इंसान AI के फैसलों को बिना आलोचनात्मक सोच के मंजूर कर सकते हैं

  • यह विचार सुझाया गया है कि AI agents जो काम नहीं कर सकते, उनके लिए human proxies का उपयोग किया जाए

  • asynchronous या long-running tool calls को संभालने वाले framework की समस्याओं की ओर इशारा किया गया है। इसे हल करने के कुछ विचार हैं, लेकिन उन पर किसी और पोस्ट में चर्चा की जाएगी

  • एक राय है कि API layer पर टिके रहने के लिए प्रयास जरूरी है

  • एक राय यह भी है कि AI के शुरुआती चरण में इंसान logic का काम करते थे, और बाद में इंसानों को हटाने पर quality गिर गई। इसे ठीक करने के लिए third-party कंपनियों द्वारा फिर से इंसानों को शामिल करना एक अस्थायी समाधान जैसा बताया गया है

  • startup में human intervention को महत्वपूर्ण माना गया है, और यह कहा गया है कि LLM-आधारित क्षमता को वास्तविक value में बदलने के लिए control और oversight जरूरी हैं। इसके लिए customized workflows और manual processes बनाए गए हैं

  • एक राय है कि basic input/output features देने वाली services पहले से ही कई systems में संभव हैं। खुद implement करने से पहले उन्हें आजमाना उपयोगी हो सकता है

  • एक medical device company workflow agent के रूप में AI पर विचार कर रही है, और ISO13485 quality assurance process को support करने के लिए LLM का उपयोग करने की योजना है। वह दूसरे HN users की राय सुनना चाहती है