- Andrej Karpathy ने हाल ही में कहा कि वे इन दिनों code से ज़्यादा व्यक्तिगत knowledge repository बनाने पर tokens खर्च कर रहे हैं, और इस LLM-आधारित wiki को बनाने के लिए एक idea guide file सार्वजनिक की है
- इस file को agent को देने पर वह अपने-आप wiki बनाता है और उसके उपयोग का मार्गदर्शन भी करता है
- यह ऐसा तरीका है जिसमें LLM खुद wiki लिखता और maintain करता है; हर query पर मूल स्रोत से जानकारी दोबारा निकालने वाले RAG तरीके के विपरीत, इसमें ज्ञान धीरे-धीरे जमा होता हुआ persistent wiki बनता है
- wiki को Obsidian जैसे tools में खुला रखा जा सकता है, और LLM Markdown files को real time में edit और update करता है; उपयोगकर्ता sourcing और सवाल पूछने पर ध्यान देता है
- नया source जोड़ने पर LLM उसे पढ़कर मौजूदा wiki में integrate करता है, cross-reference जोड़ता है, और एक source को process करते समय 10~15 wiki pages update कर सकता है
- व्यक्तिगत health और goal management, research, reading notes, team internal wiki जैसे हर उस क्षेत्र में लागू किया जा सकता है जहाँ ज्ञान समय के साथ जमा होता है
- wiki maintenance की सबसे बड़ी बाधा रहे bookkeeping cost को LLM लगभग 0 के करीब ला देता है, जिससे वह wiki management समस्या हल होती है जिसे लोग अक्सर बीच में छोड़ देते थे
मुख्य विचार
- LLM के साथ documents उपयोग करने का ज़्यादातर तरीका RAG (Retrieval-Augmented Generation) है: files का collection upload करें, और query के समय LLM relevant chunks खोजकर जवाब बनाए
- NotebookLM, ChatGPT file upload, और ज़्यादातर RAG systems इसी तरह काम करते हैं
- हर बार ज्ञान नए सिरे से निकाला जाता है, यानी knowledge accumulation नहीं होता
- LLM-Wiki का approach अलग है: LLM मूल source में सीधे खोजने के बजाय persistent wiki को धीरे-धीरे बनाता और maintain करता है
- नया source जोड़ने पर LLM उसे पढ़ता है, मुख्य जानकारी निकालता है, और उसे मौजूदा wiki में मिलाता है
- entity pages update करना, topic summary सुधारना, नए data और पुराने दावों के बीच विरोधाभास चिह्नित करना, synthesis को मज़बूत करना
- wiki एक persistent, compounding artifact है: cross-references पहले से बने होते हैं, contradictions पहले से चिह्नित होती हैं, और synthesis पहले से परिलक्षित होती है
- वास्तविक उपयोग उदाहरण: एक तरफ LLM agent और दूसरी तरफ Obsidian खुला रखकर, LLM द्वारा किए गए edits को real time में देखना
- Obsidian = IDE, LLM = programmer, wiki = codebase
उपयोग के क्षेत्र
- व्यक्तिगत: goals, health, psychology, self-development tracking — journals, articles, podcast notes इकट्ठा करके एक structured self-record बनाना
- research: कई हफ्तों या महीनों तक papers, articles, reports पढ़ते हुए विकसित होती thesis को समेटने वाला व्यापक wiki बनाना
- reading: chapters के हिसाब से व्यवस्थित करना, characters, themes, और plot threads के pages बनाना — Tolkien Gateway की तरह हज़ारों interlinked pages एक व्यक्तिगत reader भी बना सकता है
- business/team: Slack threads, meeting transcripts, project documents, customer calls से LLM द्वारा maintain किया जाने वाला internal wiki बनाना
- इसके अलावा competitive analysis, due diligence, travel planning, lecture notes, hobby deep-dives जैसे हर उस क्षेत्र में लागू जहाँ ज्ञान जमा होता है
architecture (3 layers)
- raw sources: curated source documents का collection — articles, papers, images, data files
- immutable, LLM इन्हें केवल पढ़ता है, modify नहीं करता
- यही layer source of truth है
- the wiki: LLM द्वारा बनाए गए Markdown files की directory — summaries, entity pages, concept pages, comparisons, overviews, synthesis
- LLM इस layer का पूरा मालिक होता है: pages बनाना, source जुड़ने पर update करना, cross-references maintain करना
- उपयोगकर्ता पढ़ता है, LLM लिखता है
- the schema: LLM को wiki structure, conventions, और workflow बताने वाला configuration document (Claude Code के लिए
CLAUDE.md, Codex के लिए AGENTS.md)
- यही मुख्य config file LLM को सामान्य chatbot की जगह एक systematic wiki manager बनाती है
- समय के साथ उपयोगकर्ता और LLM इसे साथ मिलकर विकसित करते हैं
मुख्य operations
- ingest: नए source को raw collection में जोड़ना और LLM को उसे process करने के लिए कहना
- LLM source पढ़ता है → मुख्य बिंदुओं पर विचार करता है → wiki में summary page लिखता है → index update करता है → संबंधित entity/concept pages update करता है → log entry जोड़ता है
- एक source का असर 10~15 wiki pages पर पड़ सकता है
- आप एक-एक source पर closely involve हो सकते हैं, या कम supervision के साथ batch processing कर सकते हैं
- query: wiki से प्रश्न पूछने पर LLM संबंधित pages खोजता है और citations के साथ synthesized उत्तर देता है
- उत्तर Markdown page, comparison table, slide deck (Marp), chart (matplotlib), canvas आदि कई रूपों में हो सकता है
- अच्छे उत्तरों को wiki में नए pages के रूप में वापस save किया जा सकता है — यानी exploration भी knowledge base का हिस्सा बन जाती है
- lint: समय-समय पर LLM से wiki की स्थिति जाँचने को कहना
- जाँच के बिंदु: pages के बीच contradictions, नए sources से replace हो चुके पुराने claims, inbound links के बिना orphan pages, अपने page के बिना महत्वपूर्ण concepts, missing cross-references, और web search से भरे जा सकने वाले data gaps
indexing और logging
- index.md: content-केंद्रित file — wiki के सभी pages को links, one-line summary, और metadata के साथ catalog करता है
- query का जवाब देते समय LLM पहले index पढ़ता है और फिर संबंधित pages तक जाता है
- ~100 sources और सैकड़ों pages के scale पर भी embedding-आधारित RAG infrastructure के बिना अच्छी तरह काम करता है
- log.md: chronological record — ingest, query, और lint passes का रिकॉर्ड क्रम से रखता है
- अगर हर entry का prefix एक जैसा रखा जाए तो Unix tools से parse किया जा सकता है
- उदाहरण:
## [2026-04-02] ingest | Article Title → grep "^## \\[" log.md | tail -5 से हाल की 5 entries देखी जा सकती हैं
वैकल्पिक CLI tools
- wiki के बढ़ने पर LLM को ज़्यादा efficiently काम कराने के लिए छोटे tools बनाए जा सकते हैं
- qmd: Markdown files के लिए local search engine — BM25/vector hybrid search और LLM reranking, सब कुछ on-device
- CLI (जिसे LLM shell out कर सकता है) और MCP server (जिसे LLM native tool की तरह उपयोग कर सकता है) दोनों का support
- छोटे scale पर केवल index file ही काफ़ी है, और ज़रूरत पड़ने पर LLM की मदद से साधारण search scripts भी सीधे बनाई जा सकती हैं
tips और tool उपयोग
- Obsidian Web Clipper: web articles को Markdown में बदलने वाला browser extension — raw collection में sources जल्दी जोड़ने के लिए उपयोगी
- local image storage: Obsidian Settings → Files and links में attachment folder path set करने के बाद shortcut से images को local disk में save किया जा सकता है
- LLM inline images वाले Markdown को एक बार में नहीं पढ़ सकता, इसलिए पहले text पढ़कर फिर images अलग से देखना बेहतर है
- Obsidian graph view: पूरे wiki का shape समझने के लिए — relationships, hub pages, और orphan pages देखने में सर्वोत्तम
- Marp: Markdown-आधारित slide deck format — Obsidian plugin उपलब्ध है, और wiki content से सीधे presentation बनाई जा सकती है
- Dataview: page frontmatter पर queries चलाने वाला Obsidian plugin — अगर LLM YAML frontmatter (tags, dates, source count) जोड़ दे तो dynamic tables और lists बनाई जा सकती हैं
- wiki एक Markdown files का git repository है — version history, branching, और collaboration मुफ़्त में मिलते हैं
यह काम कैसे करता है
- knowledge base बनाए रखने की मुख्य बाधा पढ़ना या सोचना नहीं, बल्कि bookkeeping है: cross-references update करना, summaries को ताज़ा रखना, contradictions चिह्नित करना, और दर्जनों pages में consistency बनाए रखना
- लोग wiki इसलिए छोड़ देते हैं क्योंकि maintenance burden उसकी value से तेज़ी से बढ़ता है
- LLM ऊबता नहीं, cross-reference updates भूलता नहीं, और एक बार में 15 files संभाल सकता है → maintenance cost लगभग 0 की ओर चली जाती है
- यह विचार Vannevar Bush के Memex (1945) से वैचारिक रूप से जुड़ा है: ऐसा knowledge repository जो व्यक्तिगत हो, सक्रिय रूप से curated हो, और जहाँ documents के बीच links खुद documents जितने ही मूल्यवान हों
- Bush जिस सवाल का हल नहीं कर सके थे — "इसे maintain कौन करेगा?" — उसे LLM संभालता है
इस दस्तावेज़ की प्रकृति
- यह दस्तावेज़ जानबूझकर abstract रखा गया है — उद्देश्य किसी खास implementation के बजाय विचार को समझाना है
- directory structure, schema conventions, page formats, tools जैसी details domain, preference, और LLM के अनुसार बदलती हैं
- सभी components optional और modular हैं — जो चाहिए वही इस्तेमाल करें, जो न चाहिए उसे छोड़ दें
- इसे LLM agent के साथ share करके और फिर अपनी ज़रूरत के मुताबिक साथ मिलकर उसका version concretize करने की सलाह दी गई है
अभी कोई टिप्पणी नहीं है.