मैं कई महीनों से हाथ से कोडिंग कर रहा हूँ

 (miguelconner.substack.com)
23 पॉइंट द्वारा GN⁺ 13 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • AI coding agents के आम हो जाने के इस दौर में, एक डेवलपर का रिकॉर्ड जिसने उल्टा LLM के बिना हाथ से कोडिंग करने वाले 3 महीने के रिट्रीट में भाग लिया
  • Brooklyn के Recurse Center में 6वां हफ्ता बिताते हुए, LLM को शुरुआत से खुद बना रहे हैं, Python skills को मजबूत कर रहे हैं, और साथ ही कंप्यूटर की विभिन्न abstraction layers की समझ भी गहरी कर रहे हैं
  • Coding agents तेज़ iteration और deployment संभव बनाते हैं, लेकिन जब आप खुद हाथ से code लिखते हैं, तब जो चाहिए उसे व्यक्त करना और साथ ही codebase को सीखना — ये दो काम एक साथ होते हैं
  • Cal Newport की "लेखन व्यायाम जैसा है" वाली उपमा की तरह, code बनाने में लगने वाला मानसिक प्रयास तकनीक का एक मूल तत्व है — यह दृष्टिकोण साझा किया गया है
  • इस अवलोकन के आधार पर कि AI tools का बेहतरीन उपयोग करने वाले engineers के पास अक्सर गहरा ज्ञान होता है, यह ज़ोर दिया गया है कि AI युग में भी बुनियादी क्षमता ही leverage बनाती है

LLM और coding experience

  • पिछले 2 वर्षों से Barcelona की Aily Labs में AI agents बना रहे थे
    • 2024 की शुरुआत में एक internal web search agent बनाया, जो Anthropic के "Building Effective AI Agents" लेख से लगभग 6 महीने पहले और OpenAI के DeepResearch से लगभग 1 साल पहले था
    • Cursor के शुरुआती users में थे, और LLM का उपयोग करके knowledge graph निर्माण में भी जल्दी शामिल हुए
  • हर हफ्ते चलने वाले journal club का नेतृत्व किया और open source LLM निर्माण से जुड़े papers प्रस्तुत किए
    • DeepSeek R1, Ai2 का Olmo 3, Meta का Llama 3 paper आदि कवर किए
    • Internal model training और SOTA closed models पर आधारित workflow निर्माण के बीच के trade-off को समझने में मदद मिली
  • 2023 में पहली बार LLM इस्तेमाल करने के बाद से लगातार इसके काम करने के तरीके और applications में रुचि रही

तकनीक के मूल तत्व के रूप में सीधे coding

  • LLM का अध्ययन करते हुए और coding में उनका उपयोग करते हुए जो समझ आया
    • जब आप "हाथ से" code लिखते हैं, तो जो आप चाहते हैं उसे लिखना और साथ ही codebase को सीखना — ये दो काम एक साथ होते हैं
    • Coding agent का उपयोग करने पर अक्सर prompt में जो बताया गया है वही ठीक-ठीक मिलता है; अगर आपकी इच्छा स्पष्ट न हो, तो agent आपकी जगह कई assumptions कर लेता है
    • ऐसे में सीखना कम हो जाता है और codebase की समझ भी घटती है
  • वहीं coding agents तेज़ iteration और stable software deployment को संभव बनाते हैं, और बेहतरीन tutor की भूमिका भी निभाते हैं
  • Cal Newport के NYT column से उद्धरण
    • "आपकी writing आपकी अपनी होनी चाहिए। स्पष्ट notes या reports लिखने के लिए जो तनाव चाहिए, वह athlete के gym workout के बराबर एक मानसिक क्रिया है; यह हटाने लायक झुंझलाहट नहीं, बल्कि कौशल का मूल तत्व है।"
    • लेखक का मानना है कि यही उपमा code लिखने पर भी समान रूप से लागू होती है
  • Aily में साथ काम करने वाले उत्कृष्ट programmers आम तौर पर AI का बेहतरीन उपयोग करने वाले लोग भी थे, और गहरा ज्ञान AI tools पर leverage देता है

code retreat क्या है

  • Recurse Center(RC), Brooklyn में स्थित एक self-directed, full-time programming retreat है
    • Retreat: "दैनिक जीवन से कुछ समय के लिए पीछे हटकर किसी विशेष गतिविधि पर ध्यान केंद्रित करने की अवधि"
    • आवेदन और coding interview के बाद भागीदारी; 6 या 12 हफ्तों तक programming में डूबना
    • विभिन्न विशेषज्ञताओं वाले cohort-based collaborative environment इसकी विशेषता है, और कई दशकों के अनुभव वाले programmers भी इसमें शामिल होते हैं
    • यह मुफ्त में चलाया जाता है
  • Recurse Center में लक्ष्य

    • शुरुआत से LLM सीखना

      • Pre-training और post-training सहित, पहले से बने codebase को fork करने के बजाय खुद Transformer लिखने का लक्ष्य

    • हाथ से Python और बेहतर लिखना

      • कई साल Python में काम करने के बावजूद अभी भी बहुत कुछ सीखना बाकी है; docs देखने या LLM से पूछने को कम करके project structure के बारे में intuition बनाना चाहते हैं

    • कंप्यूटर को और गहराई से समझना

      • यह समझ कि कंप्यूटर कई abstraction layers पर काम करने वाली एक बेहद जटिल मशीन है
      • चूंकि उन्होंने औपचारिक Computer Science शिक्षा नहीं ली, इसलिए ये layers साथ में कैसे काम करती हैं इसका बेहतर mental model बनाना चाहते हैं
      • ठोस योजना बहुत नहीं है, लेकिन RC इसके लिए सही जगह लगा

प्रगति

  • 1. शुरुआत से LLM train करना

    • Stanford के CS336: Language Modeling from Scratch course की पहली assignment को LLM coding help के बिना पूरा किया
      • 50 पन्नों की assignment एक दूसरे Recurser के साथ की
      • Python में optimized tokenizer लिखा, और PyTorch में upgraded GPT-2 style architecture implement किया
      • Tiny Stories dataset पर hyperparameter tuning के लिए कई ablation किए, फिर इसे OpenWebText के लगभग 9 billion tokens पर लागू किया
      • खुद लिखे 17M parameter model के learning rate sweep के नतीजों में पाया कि high learning rate instability लाती है। A100 पर training में लगभग 1 घंटा लगा
    • आगे की योजना
      • CS336 की बाकी assignments: language model optimization, scaling law estimation/calculation, raw text को pre-training data में बदलना, model post-training
      • दूसरी assignment GPU profiling और Triton में FlashAttention2 implement करना पहले ही शुरू कर चुके हैं
      • अंतिम लक्ष्य: ऐसा model पाना जिसे खुद post-train किया हो

  • 2. Python skill में सुधार

    • Python और PyTorch में कई छोटे agents और neural networks लिखकर अभ्यास कर रहे हैं
    • सबसे अधिक मदद 10 साल से अधिक Python अनुभव वाले व्यक्ति के साथ pair programming से मिली
      • एक pair partner को जब syntax या behavior याद नहीं आता, तो वे तुरंत terminal खोलकर एक छोटा example टाइप करते हैं और 1 मिनट के भीतर behavior verify कर लेते हैं
      • Google search या LLM query के बिना समस्या हल करने की यह muscle-memory बनी प्रक्रिया अटकाव दूर करने में बहुत सहायक रही
    • Advent of Code जैसे problems को pair programming से हल करके इस दिशा को जारी रखने की योजना है
      • Real-time collaboration शुरू में तनावपूर्ण लगता है, लेकिन उसी से तेज़ growth महसूस होती है

  • 3. कंप्यूटर की समझ को गहरा करना

    • 1983 का Apple IIe कंप्यूटर पर BASIC में fizzbuzz लिखा
      • code को manually edit और run करने की प्रक्रिया खुद अनुभव की, और अतीत व वर्तमान के कंप्यूटरों के फर्क और समानताएँ दोनों महसूस कीं
    • CTF Fridays में भाग लेकर Unix/terminal skills मज़बूत कीं
      • Bandit जैसे "war games" challenges को terminal से हल करते हुए passwords इकट्ठे किए और levels पार किए
      • अब समझ सकते हैं कि Claude Code उनके कंप्यूटर पर क्या चलाने की कोशिश कर रहा है
    • Vim में single-layer perceptron हाथ से कोड किया
      • शुरुआत में यह बहुत उबाऊ था, लेकिन दूसरे Recurser की tips और shortcuts सीखने से सुधार हुआ
      • Cloud GPU पर training jobs चलाते समय अंत में file edit करनी हो तो यह बहुत उपयोगी है
    • Clojure workshop में भाग लिया (जिसे 15+ साल के अनुभव वाले व्यक्ति ने संचालित किया)
      • Functional language का अनुभव कम होने से विषय स्वयं ही रोचक लगा
      • छोटी introduction के बाद mob programming के रूप में सत्र चला, जहाँ प्रतिभागी बारी-बारी से 1–2 मिनट तक समस्या समाधान में योगदान देते रहे
    • साप्ताहिक 5-मिनट tech talks में भाग लिया
      • "Running Rust Code", "GPUs for Dummies", "Typesafe APIs for Type B Personalities", "Some Useless Agents" (स्वयं का talk) जैसे विविध विषय रहे
      • अब तक 2 बार प्रस्तुति दे चुके हैं (simple agent architecture, MCP tools को efficiently scale करना), और इस हफ्ते GPU optimization methods पर बोलने वाले हैं
    • अन्य प्रतिभागियों के projects और careers के बारे में सुनने मात्र से भी यह समझ बढ़ती है कि कंप्यूटर किन समस्याओं को हल कर सकते हैं

बाकी 6 हफ्ते

  • रिट्रीट के बाद नई तकनीकों और skills के साथ agent production deployment और eval execution के काम पर लौटने की योजना है
  • चिंता है कि बचे हुए 6 हफ्तों में सूची की सभी चीज़ें पूरी करना कठिन होगा
  • लेकिन RC की असली कीमत सभी items पूरे करने में नहीं, बल्कि coding पर समय लगाना ही है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.