एजेंट लूप डिज़ाइन करना

• Anthropic का Claude Code और OpenAI का Codex CLI जैसे coding agents, काम करने वाला code जनरेट करने में LLM की उपयोगिता को बुनियादी रूप से बेहतर बनाते हैं, क्योंकि ये सीधे code चला सकते हैं, errors ठीक कर सकते हैं, मौजूदा implementation को explore कर सकते हैं, और experiments के ज़रिए असरदार solutions ढूंढ सकते हैं
• इन tools की क्षमता का पूरा लाभ उठाने की मुख्य तकनीक agentic loop design है, और अगर coding agent को एक स्पष्ट goal और tools के set के साथ किसी problem पर सीमित किया जाए, तो उसे brute-force तरीके से असरदार solution खोजने वाले tool की तरह समझा जा सकता है
• LLM agent की परिभाषा है goal हासिल करने के लिए loop के भीतर tools चलाना, और इसे सही तरीके से इस्तेमाल करने की कला agent के लिए उपलब्ध tools और loop को सावधानी से डिज़ाइन करने में है
• YOLO mode (जहां सभी commands डिफ़ॉल्ट रूप से approve होती हैं) जोखिमभरा है, लेकिन brute-force के ज़रिए सबसे अधिक productive नतीजे पाने की कुंजी भी है; इसे सुरक्षित रूप से चलाने के लिए Docker sandbox, GitHub Codespaces जैसे दूसरे computer environment, या फिर जोखिम स्वीकार करने का विकल्प चुना जा सकता है
• सही tools चुनना (shell commands और packages), सख्ती से scoped credentials जारी करना (test environment, budget limits), और इसे उन problems पर लागू करना जिनमें clear success criteria और trial-and-error की ज़रूरत हो—जैसे debugging, performance optimization, dependency upgrades, और container optimization—यही agentic loop design के मुख्य सिद्धांत हैं

---

YOLO mode का मज़ा

• agents का जोखिम

  • agents स्वभाव से ही जोखिमभरे होते हैं
    • वे गलत फैसले ले सकते हैं या malicious prompt injection attacks का शिकार हो सकते हैं
    • tool calls की वजह से नुकसानदायक नतीजे हो सकते हैं
  • सबसे शक्तिशाली coding agent tool है "shell में यह command चलाओ", इसलिए अगर agent बिगड़ जाए तो वह वह सब कुछ कर सकता है जो user खुद command चलाकर कर सकता है
  • Solomon Hykes का उद्धरण:
    > AI agents वे LLM हैं जो loop में environment को नष्ट करते हैं

• default approval mode की सीमाएं

  • Claude Code जैसे coding agents इसका जवाब इस तरह देते हैं कि वे लगभग हर command के लिए approval मांगना default रखते हैं
  • यह थोड़ा थकाऊ है, लेकिन इससे भी ज़्यादा महत्वपूर्ण बात यह है कि यह brute-force से problem solving की प्रभावशीलता को नाटकीय रूप से कम कर देता है

• YOLO mode

  • हर tool का अपना एक version होता है YOLO mode का, जिसमें सब कुछ डिफ़ॉल्ट रूप से approved होता है
  • यह बहुत जोखिमभरा है, लेकिन सबसे productive नतीजों के लिए बेहद महत्वपूर्ण भी

• unattended YOLO mode के तीन बड़े जोखिम

  • 1. खराब shell commands: कोई महत्वपूर्ण चीज़ delete या खराब कर देना
  • 2. exfiltration attacks: वे files या data चुरा लेना जिन्हें agent देख सकता है, जैसे source code या environment variables में रखे secrets
  • 3. proxy attacks: machine को proxy की तरह इस्तेमाल करना ताकि किसी और target पर DDoS या दूसरे hacking attacks की origin छिपाई जा सके

YOLO mode चलाने के विकल्प

• विकल्प 1: secure sandbox

  • agent को ऐसे secure sandbox में चलाएं जो उन files, secrets और network connections को सीमित करे जिन तक वह पहुंच सकता है
  • container escape की संभावना बनी रहती है, लेकिन Docker या Apple के नए container tools का इस्तेमाल अधिकांश लोगों के लिए स्वीकार्य जोखिम है
  • Anthropic के Safe YOLO mode docs:
    • internet access के बिना container में --dangerously-skip-permissions का इस्तेमाल
    • Docker Dev Containers के साथ reference implementation उपलब्ध
    • internet access को trusted hosts की सूची तक सीमित करना private source code की चोरी रोकने का अच्छा तरीका है

• विकल्प 2: किसी और का computer इस्तेमाल करें (preferred)

  • अगर agent बिगड़ भी जाए, तब भी नुकसान सीमित रहता है
  • GitHub Codespaces की सिफारिश की जाती है:
    • browser के ज़रिए access होने वाला on-demand, पूरी तरह containerized environment देता है
    • उदार free tier देता है
    • अगर कुछ गलत हो जाए, तो कहीं पर कोई Microsoft Azure machine CPU खर्च कर रही होगी; सबसे बुरी स्थिति में, environment में checkout किया गया code attacker तक लीक हो सकता है या खराब code जुड़े हुए GitHub repository में push हो सकता है
  • दूसरे agent-style tools जो किसी और के computer पर code चलाते हैं:
    • ChatGPT और Claude के Code Interpreter modes
    • OpenAI का Codex Cloud

• विकल्प 3: जोखिम स्वीकार करें

  • malicious instructions के संभावित स्रोतों के संपर्क में आने से बचने की कोशिश करें, और उम्मीद करें कि नुकसान होने से पहले गलती पकड़ लेंगे
  • ज़्यादातर लोग यही विकल्प चुनते हैं

loop के लिए सही tools चुनना

• safe YOLO mode सुनिश्चित करने के बाद

  • अगला कदम यह तय करना है कि coding agent को कौन से tools उपलब्ध कराए जाने चाहिए

• shell commands को प्राथमिकता

  • इस चरण पर MCP (Model Context Protocol) को मिलाया जा सकता है, लेकिन आम तौर पर shell commands के नज़रिए से सोचना ज़्यादा productive होता है
  • coding agents shell commands चलाने में वास्तव में बहुत सक्षम होते हैं
  • अगर environment ज़रूरी network access देता है, तो वे NPM, PyPI आदि से अतिरिक्त packages भी ला सकते हैं
  • यह भी महत्वपूर्ण है कि agent ऐसे environment में चले जहां random package installs आपके मुख्य computer की चीज़ें खराब न कर दें

• AGENTS.md file का उपयोग

  • MCP पर निर्भर रहने की बजाय, लेखक AGENTS.md (या उसके equivalent) file बनाना पसंद करते हैं, जिसमें उन packages का विवरण हो जिन्हें इस्तेमाल किया जाना चाहिए
  • उदाहरण: अलग-अलग websites के screenshots लेने वाले project के लिए, वे अपना shot-scraper CLI tool install करते हैं और AGENTS.md में यह जोड़ते हैं:

    screenshot लेने के लिए यह चलाएं:  
    
    shot-scraper http://www.example.com/ -w 800 -o example.jpg  
    

  • सिर्फ यह एक example भी agent के लिए इतना पर्याप्त है कि वह समझ सके कि दूसरे screenshots के लिए URL और filename कैसे बदलने हैं

• मौजूदा tools का उपयोग

  • अच्छे LLM पहले से ही हैरान कर देने वाली संख्या में मौजूदा tools का इस्तेमाल करना जानते हैं
  • अगर आप कहें "playwright python का उपयोग करो" या "ffmpeg का उपयोग करो", तो ज़्यादातर models इन्हें प्रभावी ढंग से इस्तेमाल कर लेते हैं
  • क्योंकि वे loop में चलते हैं, वे आम तौर पर शुरुआत की गलतियों से उबर जाते हैं और बिना अतिरिक्त निर्देशों के सही sequence समझ लेते हैं

सख्ती से scoped credentials जारी करना

• credentials की ज़रूरत

  • सही commands उपलब्ध कराने के अलावा, यह भी सोचना होगा कि उन commands के साथ कौन से credentials expose किए जाएं
  • आदर्श रूप से credentials की ज़रूरत ही न हो—क्योंकि कई काम login या API key दिए बिना हो सकते हैं—लेकिन कुछ problems authenticated access मांगती हैं

• दो मुख्य सिफारिशें

  • 1. test या staging environment के credentials दें
    • ऐसा environment जहां नुकसान को अच्छी तरह सीमित किया जा सके
  • 2. budget limits सेट करें
    • अगर credentials पैसे खर्च कर सकते हैं, तो सख्त budget limit लगाएं

• वास्तविक उदाहरण: Fly.io जांच

  • Fly.io पर चल रही scale-to-zero application के धीमे cold start time की जांच
  • Claude Code को Dockerfile सीधे edit करने, Fly account पर deploy करने, और start होने में लगने वाला समय measure करने की अनुमति दी गई

  • सुरक्षित setup

    • Fly में organization बनाई जा सकती है, उस organization के लिए budget limit सेट की जा सकती है, और ऐसा Fly API key जारी किया जा सकता है जो सिर्फ उसी organization के भीतर apps create या modify कर सके
    • सिर्फ इस जांच के लिए एक dedicated organization बनाई गई
    • $5 budget सेट किया गया
    • API key जारी की गई और Claude Code को काम पर लगा दिया गया
  • इस खास मामले में नतीजे बहुत उपयोगी नहीं निकले, लेकिन यही वह project था जिसने पहली बार यह एहसास कराया कि "agentic loop design" एक महत्वपूर्ण skill है जिसे विकसित करना चाहिए

agentic loop design कब करें

• उपयुक्त problem patterns

  • हर problem इस workflow pattern पर अच्छी प्रतिक्रिया नहीं देती
  • ध्यान देने वाली चीज़ें हैं clear success criteria और ऐसी problem जिसमें अच्छा solution ढूंढने के लिए (संभवतः थोड़ा उबाऊ) trial-and-error की ज़रूरत पड़ सकती हो
  • जब भी आप सोचें, "उफ़, यहां तो बहुत सारे variations आज़माने पड़ेंगे", यह एक मज़बूत संकेत है कि agentic loop आज़माना चाहिए

• ठोस उदाहरण

  • debugging

    • tests fail हो रहे हैं और root cause की जांच करनी है
    • अगर coding agent पहले से tests चला सकता है, तो वह बिना अतिरिक्त setup के यह काम कर सकता है

  • performance optimization

    • SQL query बहुत धीमी है, क्या index जोड़ने से मदद मिलेगी?
    • agent query को benchmark कर सकता है और (isolated development environment में!) indexes जोड़-हटा कर प्रभाव माप सकता है

  • dependency upgrades

    • कई dependencies के upgrades में आप पीछे रह गए हैं
    • अगर test suite मजबूत है, तो agent loop सबको upgrade कर सकता है और breaking changes के हिसाब से ज़रूरी छोटे updates कर सकता है
    • संबंधित release notes की copy दें, या सुनिश्चित करें कि agent जानता हो कि उन्हें कहां ढूंढना है

  • container size optimization

    • Docker container असुविधाजनक रूप से बहुत बड़ा है
    • agent अलग-अलग base images आज़मा सकता है और Dockerfile पर iterate करते हुए size घटाने की कोशिश कर सकता है, साथ ही tests पास भी रख सकता है

• साझा थीम: automated tests

  • इन सबकी साझा थीम है automated tests
  • coding agents और दूसरे LLM coding tools से मिलने वाली value, साफ़-सुथरे ढंग से pass होने वाले अच्छे test suite की वजह से कई गुना बढ़ जाती है
  • अच्छी बात यह है कि LLM, अगर यह अभी मौजूद न हो, तो इसे तैयार करने की प्रक्रिया को तेज़ करने में भी बेहतरीन हैं

यह क्षेत्र अभी भी बहुत नया है

• agentic loop design अभी बहुत नई skill है
  • Claude Code पहली बार फ़रवरी 2025 में जारी किया गया था
• उम्मीद है कि इसे एक स्पष्ट नाम देने से इस विषय पर अधिक उपयोगी बातचीत करने में मदद मिलेगी
• इन tools को जितना संभव हो उतना प्रभावी ढंग से इस्तेमाल करने के तरीकों के बारे में अभी बहुत कुछ सीखना बाकी है