[LLM]
LLM (Large Language Model) अब ऐसा अस्तित्व बन गया है जिसकी कमी खलती है। डेवलपर के नज़रिए से, मैं पिछले 2 सालों से Github Copilot को coding assistant के रूप में अच्छी तरह इस्तेमाल कर रहा था, लेकिन अब ChatGPT और Claude बेहतर code बनाने लगे हैं। हाल के समय में Retrieval-Augmented Generation (RAG) डेवलपरों के लिए एक महत्वपूर्ण keyword बन गया है, इसलिए MML की structure और API के बारे में पढ़ाई किए बिना रहना मुश्किल हो गया, और मैंने इसे सीखना शुरू किया।
मैं हमेशा मानता रहा हूँ कि सीखने का सबसे तेज़ तरीका है किसी चीज़ को सिखाना या बनाकर देखना। इसलिए जब भी कुछ पढ़ता हूँ, तो उसे लागू करने के लिए एक नया project शुरू कर देता हूँ। इस बार LLM सीखते हुए जो project मैंने बनाया, वह MirrorOn है।
[मल्टीपल LLM query टूल MirrorOn]
MirrorOn एक query tool है जो एक बार सवाल पूछकर कई LLM से जवाब प्राप्त करता है। इसका नाम ‘आईना, ओ आईना’ से प्रेरित है। ^^ अगर आप आईना On! करेंगे, तो वह बताएगा कि दुनिया में सबसे सुंदर कौन है।

फ़िलहाल (V 0.1.0) में ChatGPT, Claude और Ollama का उपयोग किया जा सकता है। ChatGPT और Claude के लिए API key की ज़रूरत होती है। उपयोगकर्ता खुद API key जारी करके settings में key दर्ज करता है और सवाल पूछने पर API query result देख सकता है। इसे इस तरह बनाया गया है कि बातचीत का context जारी रखा जा सके, और menu के माध्यम से copy, delete, share जैसी क्रियाएँ की जा सकती हैं।
[लोकल LLM]
Ollama(https://ollama.com) एक प्रोग्राम है जो उपयोगकर्ता के कंप्यूटर पर LLM चलाने में मदद करता है। लिंक से Ollama install करके अपनी पसंद का model install करें, फिर आप मुफ्त(!) में सवाल पूछ सकते हैं। आपके कंप्यूटर की क्षमता जितनी अनुमति दे, उतने विविध model चलाए जा सकते हैं।
अगर MirrorOn को Ollama client की तरह इस्तेमाल करें, तो हर महीने LLM पर होने वाला खर्च बचाया जा सकता है।
[RAG – Retrieval-Augmented Generation]
एप्लिकेशन डेवलपर के दृष्टिकोण से देखें तो Retrieval-Augmented Generation (RAG) आगे चलकर एक अनिवार्य क्षमता बन सकती है। MML सब कुछ नहीं जान सकता, लेकिन उपयोगकर्ताओं की ज़रूरतें विविध होती हैं, और उनके अनुरूप ढलने का तरीका RAG है।
MirrorOn V0.1.0 में मैंने बुनियादी फीचर बनाए हैं। अभी यह PDF दस्तावेज़ upload करके उन्हें summarize और search करने तक सीमित है, लेकिन आगे vectorization जैसी सुविधाएँ जोड़ने की योजना है।
इसके अलावा image upload करके उसकी सामग्री के बारे में सवाल पूछना, या LLM को instruction देना जैसी LLM उपयोग के लिए खास सुविधाएँ भी हैं। विस्तृत फीचर्स के लिए लिंक देखें। यह English और Japanese को support करता है और documentation भी उपलब्ध है।
[विस्तृत फीचर विवरण]
https://github.com/bipark/MirrorOn
[डाउनलोड]
फ़िलहाल केवल Mac version उपलब्ध है। Mac App Store पर upload करने के लिए मैंने कई हफ्तों तक कोशिश की, लेकिन API key दर्ज करने वाली सुविधा के कारण Apple ने approval रोक रखा है, इसलिए इसे Git Release से download करने के लिए upload किया गया है। आगे Apple की मंज़ूरी मिलने पर उम्मीद है कि यह App Store में भी उपलब्ध होगा। Windows version भी बनाया जा रहा है।
अभी कोई टिप्पणी नहीं है.