फ़ाइलसिस्टम पर फिर से ध्यान क्यों जा रहा है
(madalitso.me)- हाल में AI एजेंट इकोसिस्टम में फ़ाइलसिस्टम पर फिर से ध्यान गया है, और यह डेटाबेस से अलग स्थायी context management के साधन के रूप में उभर रहा है
- LLM का context window स्थायी memory नहीं, बल्कि मिटते रहने वाले whiteboard के अधिक करीब है, और फ़ाइलसिस्टम इसका सबसे सरल स्थायी storage समाधान है
- Claude Code, Cursor आदि फ़ाइल-आधारित context storage के ज़रिए long-term memory लागू करते हैं, और
CLAUDE.md,aboutme.mdजैसी फ़ाइलें एजेंट की पहचान और environment information को संजोने का काम करती हैं - फ़ाइलसिस्टम-आधारित context management एक प्रमुख विषय के रूप में उभरा है, और LlamaIndex·LangChain·Oracle·Archil जैसी प्रमुख कंपनियों ने इससे जुड़े लेख और प्रोडक्ट लगातार जारी किए हैं
CLAUDE.md,AGENTS.md,.cursorrulesजैसी agent context files के फैलाव के बीच, Anthropic का Agent Skills(SKILL.md) फ़ॉर्मैट Microsoft·OpenAI·GitHub·Cursor आदि द्वारा अपनाया गया है, जिससे interoperability मिली है- ETH Zürich के शोध के अनुसार context files उल्टा task success rate को घटा सकती हैं और inference cost को 20% से अधिक बढ़ा सकती हैं, इसलिए इनमें केवल न्यूनतम आवश्यकताएँ ही लिखनी चाहिए
- फ़ाइलें किसी एक खास app पर निर्भर नहीं होतीं, और AI एजेंट युग में टूल्स के बीच स्विचिंग, workflow संयोजन और continuity बनाए रखने वाली open interface के रूप में स्थापित हो रही हैं
Everyone is talking about files : हर जगह फ़ाइलों की चर्चा हो रही है
- LlamaIndex ने "Files Are All You Need" प्रकाशित किया, और LangChain ने एजेंट फ़ाइलसिस्टम का उपयोग context engineering के लिए कैसे कर सकते हैं पर चर्चा की
- Oracle (हाँ, वही Oracle!) ने फ़ाइलसिस्टम और डेटाबेस के बीच agent memory management की तुलना पर लेख प्रकाशित किया, जबकि Dan Abramov ने AT Protocol आधारित social filesystem का प्रस्ताव रखा
- Archil क्लाउड वॉल्यूम बना रहा है क्योंकि एजेंट POSIX filesystem चाहते हैं
- LlamaIndex के Jerry Liu का कहना है कि "सैकड़ों टूल्स वाले एक एजेंट" की बजाय, केवल फ़ाइलसिस्टम और 5~10 टूल्स के साथ बना एजेंट 100 से अधिक MCP tools वाले एजेंट से भी ज़्यादा सामान्य-उपयोगी हो सकता है
- Karpathy ने कहा कि Claude Code के काम करने की वजह यह है कि वह सीधे उपयोगकर्ता के कंप्यूटर, environment, data और context पर चलता है; और OpenAI का cloud container deployment पर फोकस करना गलत दिशा थी
- फिलहाल coding agents वास्तविक AI उपयोग मामलों का बड़ा हिस्सा बनाते हैं, और Anthropic का CLI tool Claude Code उसकी कमाई का बड़ा भाग चला रहा है, जिससे कंपनी मुनाफ़े के करीब पहुँच रही है
Context window memory नहीं है
- इंसानी memory में long-term storage, selective recall और गैर-ज़रूरी जानकारी भूलने की क्षमता शामिल होती है, लेकिन LLM का context window लगातार मिटते रहने वाले whiteboard जैसा है
- Claude Code इस्तेमाल करते समय जब "context left until auto-compact" अलर्ट करीब आता है, तो एजेंट द्वारा संचित codebase, preferences और decisions जैसे context compress हो जाते हैं या खो जाते हैं
- फ़ाइलसिस्टम इसका सबसे सरल समाधान देता है: चीज़ों को फ़ाइल में लिखो, और ज़रूरत पड़ने पर फिर पढ़ो
CLAUDE.mdप्रोजेक्ट के लिए स्थायी context देता है- Cursor पुराने chat records को searchable files के रूप में सहेजता है
aboutme.mdpreferences, skills और working style को रखने वाला portable identity descriptor बनता है, जो API coordination के बिना apps के बीच जा सकता है
ETH Zürich का शोध: context files का paradox
- ETH Zürich के हालिया पेपर ने यह आंका कि repository-level context files वास्तव में coding agents की task completion में मदद करती हैं या नहीं
- नतीजे उल्टे साबित हुए: कई एजेंटों और मॉडलों में context files ने task success rate घटाई, और inference cost 20% से अधिक बढ़ाई
- context files पाने वाले एजेंटों ने ज़्यादा व्यापक खोज की, ज़्यादा tests चलाए, और ज़्यादा files देखीं, लेकिन जिन कोड हिस्सों में बदलाव चाहिए था, वहाँ पहुँचने में देर हुई
- ये फ़ाइलें एजेंट के लिए ऐसे checklist की तरह काम करने लगीं जिन्हें वह ज़रूरत से ज़्यादा गंभीरता से फॉलो करता है
- पेपर का निष्कर्ष यह नहीं है कि "context files का उपयोग मत करो", बल्कि यह कि गैर-ज़रूरी requirements task को कठिन बना देती हैं, इसलिए context files में केवल न्यूनतम requirements ही लिखनी चाहिए
- समस्या फ़ाइलसिस्टम की स्थायी परत में नहीं, बल्कि
CLAUDE.mdको 2,000 शब्दों के onboarding document की तरह लिखने की आदत में है
फ़ाइल फ़ॉर्मैट ही API है — लेकिन कौन-सी फ़ाइल?
- अभी
CLAUDE.md,AGENTS.md,copilot-instructions.md,.cursorrulesसाथ-साथ मौजूद हैं; एजेंटों को स्थायी फ़ाइलसिस्टम-आधारित context चाहिए, इस पर सहमति है, लेकिन फ़ाइल नाम और content format पर सहमति नहीं है - Dan Abramov के social filesystem लेख में मुख्य डिज़ाइन यह है: AT Protocol user data को private repository के भीतर files की तरह मानता है, और apps को "post" क्या है इस पर सहमत होने की ज़रूरत नहीं होती, क्योंकि domain-name आधारित namespace टकराव रोक देता है
- हर app का database derived data बन जाता है, यानी हर user folder का cached materialized view
- Anthropic ने Agent Skills को open standard के रूप में पेश किया:
SKILL.mdफ़ॉर्मैट को Microsoft, OpenAI, Atlassian, GitHub, Cursor ने अपनाया- Claude Code के लिए लिखी गई skill, Codex और Copilot पर भी चलती है — फ़ाइल फ़ॉर्मैट ही API है
- NanoClaw एक lightweight personal AI assistant framework है, जो "features की जगह skills" मॉडल अपनाता है
- अगर Telegram support चाहिए, तो Telegram module नहीं बल्कि
/add-telegramskill (एक Markdown फ़ाइल) Claude Code को सिखाती है कि उसे कैसे इंटीग्रेट करना है - skills फ़ाइलें होने की वजह से portable, auditable और composable हैं — MCP server या plugin marketplace की ज़रूरत नहीं
- अगर Telegram support चाहिए, तो Telegram module नहीं बल्कि
- यही है coordination-free interoperability: अगर दो apps Markdown पढ़ सकते हैं, तो वे context साझा कर सकते हैं; अगर वे
SKILL.mdफ़ॉर्मैट समझते हैं, तो functionality भी साझा कर सकते हैं; partnership agreements या standardization meetings के बिना, फ़ाइल फ़ॉर्मैट खुद coordination का काम करता है
Bottleneck का स्थान बदल रहा है
- पारंपरिक data architecture इस धारणा पर बनी थी कि storage bottleneck है, लेकिन जब processing क्षमता storage I/O से आगे निकल गई, तो storage और compute के separation (S3 + temporary compute clusters) की ओर paradigm shift हुआ
- AI एजेंटों में भी ऐसा ही हो रहा है: bottleneck model performance या compute नहीं, बल्कि context है
- models पर्याप्त स्मार्ट हैं, लेकिन भूलक्कड़ हैं
- फ़ाइलसिस्टम, ठीक वहीं जहाँ एजेंट चलता है (डेवलपर की मशीन, environment, data जहाँ पहले से मौजूद हैं), स्थायी context को manage करने का सबसे प्रभावी तरीका है
फ़ाइलसिस्टम पहले से ही graph है
- Twitter पर यह बात उठी कि जो लोग फ़ाइलसिस्टम का उपयोग करते हुए कहते हैं कि एजेंटों को graph की ज़रूरत नहीं, वे असल में इस बात से इनकार कर रहे हैं कि वे graph का ही उपयोग कर रहे हैं
- फ़ाइलसिस्टम directories, subdirectories और files से बना tree structure है, यानी एक directed acyclic graph (DAG)
- जब एजेंट
ls,grep, फ़ाइल पढ़ना, और references follow करना करते हैं, तब वे पहले से graph traverse कर रहे होते हैं
- Oracle के लेख में Richmond ने सबसे तेज़ भेद बताया: फ़ाइलसिस्टम interface के रूप में जीतता है, और database foundation layer के रूप में जीतता है
- जब concurrent access, large-scale semantic search, deduplication, freshness weighting जैसी ज़रूरतें आती हैं, तो अंततः अपना index बनाना पड़ता है, जो व्यवहार में database ही है
- फ़ाइल interface इसलिए शक्तिशाली है क्योंकि यह universal है और LLM इसे पहले से समझते हैं; database-backed layer इसलिए शक्तिशाली है क्योंकि यह वास्तविक संचालन के लिए ज़रूरी guarantees देती है
- भविष्य फ़ाइल बनाम database का नहीं, बल्कि ऐसी संरचना का है जहाँ फ़ाइलें इंसानों और एजेंटों के interaction का interface हों, और नीचे use case के मुताबिक foundation layer हो
यह personal computing की पुनर्परिभाषा है
- फ़ाइलसिस्टम AI युग में personal computing के अर्थ को फिर से परिभाषित कर सकता है
- data, context, preferences, skills और memory ऐसे फ़ॉर्मैट में मौजूद हों जो उपयोगकर्ता के स्वामित्व में हों, जिन्हें कोई भी एजेंट पढ़ सके, और जो किसी एक application में lock-in न हों
aboutme.mdआज के OpenClaw/NanoClaw में भी काम करता है, और कल के नए टूल्स में भी- skill files portable हैं, और project context टूल्स के पार भी बना रहता है
- यह वैसा ही है जैसा personal computing मूल रूप से होना चाहता था, इससे पहले कि सब कुछ closed SaaS apps और proprietary databases की ओर चला जाए
- फ़ाइलें मूल open protocol हैं, और जब AI एजेंट computing का मुख्य interface बन रहे हैं, तब वे tools switching, workflow संयोजन, और applications के बीच continuity को किसी की अनुमति के बिना संभव बनाती हैं
- फिर भी इसमें आदर्शवाद का पहलू है: open formats के इतिहास में कई ऐसे standards हैं जो कागज़ पर जीते, लेकिन व्यवहार में असफल रहे
- कंपनियों के पास अपनी context files को थोड़ा अलग बनाने का प्रोत्साहन होता है, ताकि switching cost बनी रहे
CLAUDE.md,AGENTS.mdऔर.cursorrulesका एक universal format में एकीकृत न होना, बल्कि साथ-साथ बने रहना, यह दिखाता है कि fragmentation default है- ETH Zürich का पेपर याद दिलाता है कि फ़ॉर्मैट होने के बावजूद अच्छी context files लिखना कठिन है, और खराब context files न होने से भी बदतर हो सकती हैं
- Dan Abramov का मुख्य संदेश:
हमारी memories, thoughts और designs उन्हें बनाने वाले software से अधिक समय तक जीवित रहने चाहिए
- यह तकनीकी तर्क नहीं, बल्कि मूल्य का प्रश्न है; और फ़ाइलसिस्टम इस भूमिका के लिए इसलिए उपयुक्त है क्योंकि वह सबसे बेहतरीन तकनीक नहीं, बल्कि पहले से उपयोगकर्ता की अपनी एकमात्र तकनीक है
अभी कोई टिप्पणी नहीं है.