Ailoy: आसान on-device AI agent बनाने का टूल
(github.com/brekkylab)यह ailoy नाम की एक लाइब्रेरी है, जो LLM agent को आसानी से बनाने में मदद करती है.
इसके दो वर्ज़न हैं: python / javacript(node), और मेरा दावा है कि मौजूदा टूल्स में यह सबसे आसान है.
इसकी खासियत यह है कि इसे machine learning expert न होने पर भी बनाया जा सकता है.
Google, OpenAI, Anthropic जैसी कंपनियां आखिरकार API का इस्तेमाल ज़्यादा करवाने पर ध्यान देती हैं, इसलिए वे मुझे पैसाखाऊ लगती हैं; इसी वजह से मैंने ऐसा बनाया कि on-device AI पर agent चलाया जा सके.
GitHub और Discord लिंक पर आएं, अगर कहीं अटकें तो मैं मदद करूंगा. एक बार इस्तेमाल करके अपनी राय छोड़ें, तो आभारी रहूंगा!
4 टिप्पणियां
मॉडल का size छोटा है, तो वास्तविक उपयोग में performance कैसी महसूस होती है, यह जानने की जिज्ञासा है।
यक़ीनन GPT सीरीज़ या deepseek r1 की तुलना में इसमें थोड़ी कमी महसूस होती है। 30B मॉडल काफ़ी अच्छा है, लेकिन इसे on-device चलाने के लिए 5090 स्तर का GPU चाहिए, जो एक कमी है....
इसलिए, अगर OpenAI मॉडल जैसी परफॉर्मेंस रखते हुए token optimization करना हो, तो OpenAI का इस्तेमाल करते हुए आसान tasks के लिए local model का उपयोग करने वाला hybrid तरीका सबसे अच्छा लगता है।
फिर भी यह इतना बेकार नहीं है कि इस्तेमाल ही न किया जा सके, और अगर task बहुत complex न हों, तो translation या summary जैसी चीज़ों में इतना बड़ा फर्क महसूस नहीं होता... haha
अच्छा, समझ गया^^ जवाब के लिए धन्यवाद