12-Factor Agents: भरोसेमंद LLM एप्लिकेशन पैटर्न

 (github.com/humanlayer)
1 पॉइंट द्वारा GN⁺ 2025-04-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 12 Factor Agents भरोसेमंद LLM एप्लिकेशन बनाने के लिए सिद्धांत प्रस्तुत करता है
  • AI agent framework का उपयोग करने के अनुभव के आधार पर, यह पाया गया कि अधिकांश प्रोडक्ट वास्तव में सच्चे agent नहीं हैं
  • 12 Factor Agents यह खोजता है कि LLM-आधारित software को ग्राहकों तक पहुँचाने लायक पर्याप्त रूप से अच्छा कैसे बनाया जाए
  • 12 कारक LLM software की reliability, scalability और maintainability बेहतर बनाने वाली मुख्य तकनीकों को शामिल करते हैं
  • modular concepts को मौजूदा प्रोडक्ट्स में एकीकृत करना उच्च-गुणवत्ता वाले AI software को तेज़ी से उपलब्ध कराने का तरीका है

12 Factor Agents - भरोसेमंद LLM एप्लिकेशन बनाने के सिद्धांत

  • AI agent framework का उपयोग करने के अनुभव के आधार पर, यह पाया गया कि अधिकांश प्रोडक्ट वास्तव में सच्चे agent नहीं हैं
  • 12 Factor Agents यह खोजता है कि LLM-आधारित software को ग्राहकों तक पहुँचाने लायक पर्याप्त रूप से अच्छा कैसे बनाया जाए
  • 12 कारक LLM software की reliability, scalability और maintainability बेहतर बनाने वाली मुख्य तकनीकों को शामिल करते हैं
  • modular concepts को मौजूदा प्रोडक्ट्स में एकीकृत करना उच्च-गुणवत्ता वाले AI software को तेज़ी से उपलब्ध कराने का तरीका है

सारांश: 12 कारक

  • प्राकृतिक भाषा को tool calls में बदलना: प्राकृतिक भाषा का उपयोग करके tools को कॉल करने का तरीका समझना
  • prompt का स्वामित्व: prompt को अपने नियंत्रण में रखना और उसका प्रबंधन करना महत्वपूर्ण है
  • context window का स्वामित्व: context window को अपने नियंत्रण में रखना और उसका प्रबंधन करना महत्वपूर्ण है
  • tools structured output हैं: tools को structured output के रूप में माना जाना चाहिए
  • execution state और business state का एकीकरण: execution state और business state को एकीकृत करके प्रबंधित करना

agent का वादा

  • DAG(Directed Acyclic Graph): software को एक directed graph के रूप में व्यक्त किया जा सकता है, और DAG orchestrator लोकप्रिय हुए हैं
  • agent का वादा: agent का उपयोग करके DAG को छोड़ा जा सकता है और LLM को real time में path तय करने दिया जा सकता है
  • agent loop में काम करते हैं: agent एक loop में काम करते हैं, जहाँ LLM अगला चरण तय करता है, tool calls चलाता है, और परिणामों को context window में जोड़ता है

12-factor agents क्यों?

  • मौजूदा frameworks की सीमाएँ: कई SaaS builders agent बनाने की कोशिश कर रहे हैं, लेकिन मौजूदा frameworks की सीमाओं के कारण 80% से अधिक गुणवत्ता हासिल करना कठिन है
  • modular concepts का महत्व: modular concepts को मौजूदा प्रोडक्ट्स में एकीकृत करना उच्च-गुणवत्ता वाले AI software को तेज़ी से उपलब्ध कराने का तरीका है

बेहतरीन LLM एप्लिकेशन के लिए design patterns

  • agent के मुख्य तत्व: agent को बेहतरीन बनाने वाले कुछ मुख्य तत्व मौजूद हैं, और framework का उपयोग करने पर उनमें से अधिकांश मिल जाते हैं
  • modular concepts का एकीकरण: modular concepts को मौजूदा प्रोडक्ट्स में एकीकृत करना उच्च-गुणवत्ता वाले AI software को तेज़ी से उपलब्ध कराने का तरीका है

संबंधित संसाधन

  • Tool Use पॉडकास्ट: मार्च 2025 के एपिसोड में संबंधित विषयों को शामिल किया गया है
  • The Outer Loop: संबंधित विषयों को कवर करने वाला ब्लॉग
  • वेब सेमिनार: @hellovai के साथ LLM performance को अधिकतम करने पर वेब सेमिनार
  • open source agent: इस methodology का उपयोग करके OSS agent बनाया गया है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-04-17
Hacker News टिप्पणियाँ

  • यह बहुत उपयोगी wiki है। धन्यवाद, और मैं इसे ज़रूर इस्तेमाल करूँगा/करूँगी। मैंने कल ही रिलीज़ किया हुआ एक "AI Agents framework" बनाया है। यह framework actor model, state machine, और aspect-oriented programming पर आधारित है। खासकर point 5 और 7 मुझे पसंद आए

    • execution state और business state को एकीकृत करना
    • अपने control flow का स्वामित्व रखना
    • SecAI यह काम अच्छी तरह करता है, और graph control flow library के रूप में LLM calls graph के nodes में एम्बेडेड हैं। negotiation, cancellation, और state relationships से flow अधिक मज़बूत होकर अधिक organic बनता है
    • जो चीज़ दूसरे frameworks में अक्सर छूट जाती है, वह है dedicated developer tools। यह failure को program करने, हर step को विस्तार से inspect करने, और automated data export तथा simple integration देने की सुविधा देता है
    • मैंने पहला tech demo रिलीज़ किया है, और इसमें सभी developer tools दिखाने वाला reference implementation शामिल है
    • Send/Stop button एक simple API के साथ start/pause/resume को संभव बनाता है। इसमें network transparency है, इसलिए यह scale कर सकता है

  • शानदार। कई वर्षों तक इस पर काम करते हुए मैंने अपनी खुद की lessons learned list बनाई है। सबसे महत्वपूर्ण बात है सबसे निचले स्तर के planning loop का स्वामित्व रखना

    • dynamic planning हो तो भी ठीक है, लेकिन आपके पास OODA loop का स्वामित्व होना चाहिए और यह तय करने के लिए heuristics होने चाहिए कि क्या यह solution की ओर converge कर रहा है
    • एक workflow engine एम्बेड करना चाहिए, और model को उस engine में चलने वाली workflow specification बनाने देनी चाहिए

  • यह सामग्री इस समय आई, इसके लिए मैं बहुत आभारी हूँ। धन्यवाद

    • मैं vvvv जैसे एक audiovisual sandbox की कल्पना कर रहा/रही हूँ। विचार यह है कि LM या simple local neural network nodes डालकर उन्हें खास काम करवाया जाए, और output को बहुत सीमित रखा जाए
    • question से answer तक का flow बहुत आकर्षक है। multi-stage pipelines भी बहुत दिलचस्प हैं

  • मुझे जिज्ञासा है कि DSPY जैसी libraries factor-2 में कैसे फिट होती हैं

    • मैंने BAML का इस्तेमाल करके prompts generate करने का एक उदाहरण देखा। unstructured data से structured information निकालने के लिए prompts हाथ से लिखना आसान नहीं है
    • मैं जानना चाहता/चाहती हूँ कि DSPY के raw prompts इस्तेमाल करने के बारे में आपका क्या विचार है

  • यह पुरानी blog post है, लेकिन framework pattern पर इसकी बात मेरी पूरी career के दौरान गूँजी है। LLMs को frameworks की बजाय libraries की तरह इस्तेमाल करना बेहतर है

    • frameworks अधिक आकर्षक होते हैं, बेचना आसान होता है, और lock-in effect तथा अतिरिक्त services की ओर ले जाते हैं

  • शानदार। 80% मैंने मुश्किल से सीखा, और बाकी 20% पढ़ने लायक मूल्यवान सामग्री होगी

    • मुझे LangGraph और pydantic schema के साथ सफलता मिली है। मैं जानना चाहता/चाहती हूँ कि दूसरों को क्या उपयोगी लगा

  • एक और बात: scale करते समय cost की योजना बनानी चाहिए

    • scale करने पर यह महँगा हो सकता है, इसलिए जिसे deterministic components से संभाला जा सकता है, उसे पहले आज़माना चाहिए। इससे hallucination और latency कम हो सकती है, और cost savings में बड़ा फ़र्क पड़ सकता है

  • सिद्धांतों का पालन आसान बनाने के लिए एक सुसंगत narrative चाहिए। real-world examples का इस्तेमाल अच्छा रहेगा

  • HN के front page पर आकर बहुत खुशी हुई

  • यहाँ BAML को देखना वाकई शानदार है। LLMs को functions की तरह ट्रीट करने पर मैं 100% सहमत हूँ