- लोकल LLM रनिंग और कोड सैंडबॉक्स वातावरण का उपयोग करके, क्लाउड पर निर्भरता के बिना AI वर्कस्पेस सेट करने का तरीका
- Ollama से लोकल LLM चलाकर, Apple Container से अलग-थलग VM में कोड execute करके और Playwright के साथ headless browser के ज़रिए automation एवं इंटरनेट एक्सेस सक्षम करना
- UI को
assistant-ui पर बेस करते हुए मॉडल चयन ड्रॉपडाउन और ai-sdk इंटीग्रेशन, तथा MCP(Model Context Protocol) के जरिए सुरक्षित कोड रनिंग environment बनाया
- MCP से कनेक्ट हुए Coderunner VM में Jupyter server और browser चला कर चार्ट निर्माण, इमेज/वीडियो एडिटिंग, GitHub tools इंस्टॉल, और वेब खोज को privacy-सुरक्षित तरीके से रन करना
- वर्तमान में यह सिर्फ़ Apple Silicon पर काम करता है; आगे चलकर UI सुधार, ब्राउज़र डिटेक्शन बाईपास, और टूल मैनेजमेंट फ़ंक्शन मजबूत करना बाकी है
आवश्यकताएँ और पृष्ठभूमि
- लक्ष्य: सभी कुछ लोकल में चलाना — कोई cloud/remote code execution नहीं
- मौजूदा LLM chat apps (जैसे ChatGPT, Claude) क्लाउड-आधारित LLM chat, क्लाउड/लोकल code execution और इंटरनेट एक्सेस जैसी सुविधाएँ देती हैं
- ओपन सोर्स LLM के बढ़ते उपयोग ने सवाल खड़ा किया कि क्या ये सारी चीज़ें पूरी तरह लोकल की जा सकती हैं
- सिर्फ लोकल LLM पर्याप्त नहीं, इसलिए कोड को अलग वातावरण में execute होना चाहिए और browser आधारित content access भी चाहिए
विचार
- LLM को पूरी तरह लोकल वातावरण में रन करना
- केवल लाइटवेट VM के अंदर कोड रन करके host सिस्टम पर संभावित risk को ब्लॉक करना
- नई जानकारी/टूल खोज और automation के लिए headless browser जोड़ना
- AI planning से लेकर code execution तक पूरी तरह लोकल में होने वाला privacy-first वर्कफ़्लो बनाना
- किसी बाहरी सेवा को डेटा दिए बिना फोटो, वीडियो एडिटिंग आदि विविध काम लोकल में करना
टेक स्टैक
- LLM: Ollama (लोकल मॉडल + कुछ external मॉडल सपोर्ट)
- UI:
assistant-ui + ai-sdk (मॉडल चयन फीचर जोड़कर)
- VM रनटाइम: Apple
container (पूरी तरह अलग VM environment उपलब्ध कराता है)
- ऑर्केस्ट्रेशन:
instavm/coderunner (MCP से Jupyter server कनेक्शन)
- ब्राउज़र ऑटोमेशन: Playwright (MCP tool के रूप में expose)
Mac ऐप प्रयास और बदलाव
a0.dev से native Mac ऐप बनाने की कोशिश की, लेकिन वह iOS-first होने से मुश्किलें आईं- Electron + NextJS wrapping भी try किया, पर complexity कारण छोड़ना पड़ा
- अंततः लोकल web-based
assistant-ui पर शिफ्ट किया गया
Assistant-UI का कस्टमाइज़ेशन
- मॉडल चयन ड्रॉपडाउन जैसी मल्टी-मॉडल सपोर्ट फीचर की अपेक्षा थी, लेकिन वास्तविकता सीमित रही
- उदाहरण देखकर ai-sdk से सीधे multi-model चयन फीचर implement किया
- शुरुआती चरण में OpenAI/Anthropic की तरह क्लाउड मॉडल भी support किए, फिर धीरे-धीरे लोकल शिफ्ट की strategy अपनाई
Tool-calling और मॉडल सपोर्ट मुद्दे
- Tool-calling करने वाले मॉडल की ज़रूरत थी, लेकिन Ollama जैसे कुछ मॉडल असल में सपोर्ट नहीं करते
- official docs में tool support दिखता है, लेकिन वास्तविक implementation कई बार अधूरा होता है
- ओपन सोर्स ecosystem तेज़ी से बदलता है, इसलिए tool support status और token pricing दोनों ही बहुत volatile हैं
कंटेनर आधारित अलग-थलग कोड रनिंग
- Apple के Container टूल से Docker की तुलना में प्रत्येक container को पूर्ण अलग VM पर्यावरण मिलता है, जिससे AI-generated code अधिक सुरक्षित चलता है
- VM वातावरण में Jupyter server deploy कर Model Context Protocol(MCP) से expose किया, जिससे Claude Desktop, Gemini CLI आदि tools सीधे use हो सकें
coderunner MCP server का code ओपन करके बाहरी tools के साथ integration examples दिए- Apple Container अभी unstable है; build/image issues आने पर बार-बार rebuild/restart करना पड़ता है
- वास्तविक वीडियो एडिट टेस्ट में UI + LLM + Coderunner stack का सही काम करना verify हुआ
headless browser एकीकरण
- container के अंदर Playwright आधारित headless browser deploy करके MCP टूल के रूप में expose किया
- नए टूल/जानकारी खोज, GitHub usage search और research automation जैसी use-cases के लिए अपेक्षा
- बेसिक वर्कफ़्लो: लोकल LLM + sandboxed code execution + headless browser का संयोजन पूर्ण हो चुका है
संभावित कार्य उदाहरण
- किसी विषय पर research और summarization
- natural language कमांड से CSV chart generation और rendering
- ffmpeg से वीडियो editing (segment कटाई आदि)
- image resize, crop, format conversion
- GitHub tools की container के अंदर इंस्टॉलेशन
- headless browser से webpage crawling और summarization आदि
फ़ाइल वॉल्यूम माउंट और आइसोलेशन
- Host का
~/.coderunner/assets container के /app/uploads से map कर फाइलों को secure shared space में रखा जाता है
- execute किए गए कोड को host सिस्टम को सीधे access नहीं मिलता, यानी security बेहतर रहती है
सीमाएँ और आगे की चुनौतियाँ
- अभी केवल Apple Silicon पर्यावरण में काम करता है, macOS 26 विकल्प के रूप में
- टूल मैनेजमेंट, आउटपुट स्ट्रीमिंग आदि के लिए UI सुधार बाकी है
- headless browser कई साइटों पर bot detection के कारण ब्लॉक हो जाता है
निष्कर्ष
- यह project सिर्फ़ एक प्रयोग नहीं, बल्कि computing sovereignty और privacy protection पर केंद्रित मॉडल है
- क्लाउड या remote server पर निर्भरता बिना, अपने निजी लोकल मशीन पर डेटा सुरक्षित रूप से प्रोसेस करने का अनुभव देता है
- बेहतरीन LLM शायद बड़े cloud में ही रह सकते हैं, लेकिन लक्ष्य है कि individual privacy बचाने वाले local AI tools आगे बढ़ें
- ओपन सोर्स
coderunner-ui GitHub पर उपलब्ध है; feedback और collaboration का स्वागत है
संबंधित संसाधन
अभी कोई टिप्पणी नहीं है.