दक्षिण कोरिया के राष्ट्रपति चुनावी वादों की जानकारी देने वाला प्लेटफ़ॉर्म
(github.com/MinsuChae)21वें राष्ट्रपति पद के उम्मीदवारों की जानकारी एक नज़र में
- शीर्षक थोड़ा भव्य रखा है, लेकिन संक्षेप में कहें तो यह 21वें राष्ट्रपति चुनाव से पहले राष्ट्रपति पद के उम्मीदवारों की प्रोफ़ाइल, चुनावी वादे और उम्मीदवारों से जुड़े विवादों जैसी जानकारी देने के उद्देश्य वाला एक प्रोजेक्ट है।
- 🔗 https://daeseoneunjigeum.com
बनाने का उद्देश्य
मेरे जानने वाले 20s आयु वर्ग के लोगों ने राष्ट्रपति और राष्ट्रपति चुनाव में रुचि दिखाई, और हाल की कई घटनाओं के कारण युवाओं की चुनावों में दिलचस्पी बढ़ी है, इसलिए मुझे लगा कि राष्ट्रपति चुनाव में भागीदारी के लिए प्रोत्साहन होना चाहिए।
लेकिन वास्तविक मतदान के समय हर उम्मीदवार को अलग-अलग विस्तार से देखना मुश्किल होता है, और अन्य उम्मीदवारों से तुलना करके कौन बेहतर है यह तय करना भी आसान नहीं था।
“तो क्यों न LLM के जरिए सीधे प्रश्न‑उत्तर करने वाली साइट बनाई जाए।” इसी बहुत सरल विचार से यह बना, और योजना बनाने में 2~5 दिन, जबकि कोडिंग और डिप्लॉयमेंट में लगभग 2 दिन लगे।
उपलब्ध सुविधाएँ
- उम्मीदवारवार प्रोफ़ाइल·वादों·विवादों का सारांश
(चुनावी आधिकारिक पुस्तिका अभी जारी नहीं हुई है, इसलिए फिलहाल यह news-आधारित ड्राफ्ट है।) - “○○ उम्मीदवार के प्रमुख वादे बताओ” जैसे सवाल पूछने वाली real-time Q&A
(Gemma‑3‑1b‑itमॉडल जवाब बनाता है। सिर्फ CPU पर चल रहा है 😅 )
आगे की योजना
- चुनावी आधिकारिक पुस्तिका के आधार पर जानकारी उपलब्ध कराना
- अगर डेवलपर-स्तर नहीं बल्कि दक्षिण कोरिया के आम नागरिकों के स्तर पर बड़ा ध्यान मिले या संस्थानों आदि से समर्थन मिले, तो Gemma‑3‑27b के साथ LLM मॉडल को बेहतर बनाना
कमी महसूस हुई बातें
- मॉडल का आकार
मूल रूप से मैं 27 b parameter वर्ज़न चलाना चाहता था, लेकिन इसके लिए VRAM 48 GB चाहिए था।
आखिरकार 1 b मॉडल पर समझौता करना पड़ा। (सिर्फ एक A6000 किराए पर लेने में भी लगभग 6 लाख वॉन प्रति महीना लगता है।) - डेटा क्वालिटी का निम्न स्तर
news articles आदि के जरिए screening की है, लेकिन आधिकारिक सामग्री न होने के कारण अभी भी ठोस चुनावी वादों जैसी चीज़ें समझना कठिन है। चुनावी आधिकारिक पुस्तिका जारी होते ही सबसे पहले इसे अपडेट करने की योजना है। - LLM मॉडल की प्रतिक्रिया गति
साधारण अभिवादन आदि पर कुछ सेकंड में जवाब आ जाता है, लेकिन वादों जैसे मुख्य सवाल पूछने पर 1 मिनट से अधिक लगने की समस्या है। इसे real-time कहना थोड़ा मुश्किल है। CPU computation की वजह से ऐसा है। 😅
अनुरोध
- अगर आपको कोई गलत जानकारी या असुविधा दिखे, तो कृपया कमेंट में बताइए।
- GPU support/cloud partnership का हमेशा स्वागत है।
- कृपया अत्यधिक load testing से बचें!
हाल में युवाओं की चुनावी भागीदारी महत्वपूर्ण होती जा रही है, इसलिए राजनीतिक जानकारी को आसान और तेज़ बनाने के लिए इसे बनाया है।
एक बार ज़रूर देखें, अपने मनचाहे उम्मीदवार को खोजें, और कमियों की ओर इशारा करें। 🙏
मेरा major कंप्यूटर क्षेत्र में है, लेकिन डेवलपर पोज़िशनिंग से ज़्यादा AI researcher वाली पोज़िशन मज़बूत होने के कारण, test code या data type checking जैसी चीज़ें अनुभवी डेवलपर्स को असुविधाजनक लग सकती हैं।
9 टिप्पणियां
नमस्ते। यह पोस्ट देखकर प्रेरणा मिली, और मैंने भी कुछ मिलता-जुलता लेकिन थोड़ा अलग रूप में इसे बनाया। मैं व्यक्तिगत रूप से AI application development की विभिन्न संभावनाओं को service के रूप में आज़मा रहा हूँ, और इस बार तकनीकी approach और implementation के लिहाज़ से यह एक अच्छा अनुभव रहा।
8 मई से 11 मई तक इसे gemma 12b पर चला रहा हूँ। मैंने एक ऐसी कंपनी द्वारा किए गए beta test में भाग लिया, जो GPU cloud computing जैसी सेवाएं देती है, और उससे जुड़ा load test किया, तथा इसे इस तरह लागू किया कि वास्तविक load का पता चल सके.
संबंधित जानकारी को बार-बार लगातार संशोधित करना कठिन है, इसलिए जब भी बड़े पैमाने पर जानकारी अपडेट होती है, तब मैं इसे अपडेट कर रहा हूँ। अगला अपडेट 12 तारीख की सुबह होगा, जब आधिकारिक चुनाव उम्मीदवार तय हो जाएंगे, और उसके बाद जब चुनाव प्रचार सामग्री अपलोड होगी, तो इसे RAG के जरिए जानकारी प्रदान करने लायक बेहतर बनाने की योजना है.
उद्देश्य बहुत अच्छा है, लेकिन अगर इस तरह की जानकारी को LLM-आधारित तरीके से दिया जाए (और वह गलत निकले), तो कानूनी समस्या भी हो सकती है..!
मैंने कुछ साइटें अभी तक नहीं डाली थीं, लेकिन पता नहीं यह मेरी internal testing की वजह से था या किसी और की, अत्यधिक लोड के कारण यह ज़ॉम्बी बन गया है। यह local AI है और हल्का मॉडल भी है, इसलिए मुझे नहीं लगा था कि इस स्तर का इतना गंभीर लोड पड़ेगा, लेकिन इसे virtualized environment में चलाया था और यह ज़ॉम्बी स्टेट में चला गया...;; जाँच के बाद इसे बहाल कर दूँगा।
जो लोग local AI सेवा दे रहे हैं, अगर GPU computation है तो शायद कुछ कम असर हो, लेकिन CPU पर... लगता है छोड़ देना ही बेहतर होगा। ऐसा भी नहीं लगता कि किसी ने इतना ज़्यादा इस्तेमाल किया हो...;;
यह कोई ऐसा सर्वर नहीं था जिस पर physical server में बड़े काम हो रहे हों, लेकिन इसे docker container में उठाकर सेवा दी थी, और स्पेक चाहे कम हों, फिर भी CPU पर इतना ज़्यादा लोड पड़ा कि ssh access तक मुश्किल हो गया...; CPU limit नहीं लगाई थी, शायद उसी वजह से host server तक में समस्या आ गई...
ऐसा भी नहीं लगता कि वास्तविक उपयोगकर्ताओं ने बहुत ज़्यादा इस्तेमाल किया हो...
क्या आपने openrouter key जारी करके उसे इस्तेमाल करने देना, या WebLLM या Gemini nano का उपयोग करने पर भी विचार किया है?
बताने के लिए धन्यवाद। सबसे पहले, यह static site नहीं है, इसलिए इसे frontend पर संभालने के बजाय backend में करना और API key को जितना हो सके छिपाना चाहता हूँ.
पहले मेरा ऐसा करने का इरादा कम था, लेकिन OpenAI या किसी अन्य API का उपयोग चुनाव के दिन से 7 दिन पहले या 14 दिन पहले करने की योजना है।
उससे पहले, भले ही छोटे मॉडल से लागत कम की जा सकती हो, लेकिन कितना उपयोग होगा इसका अनुमान नहीं है, इसलिए उपयोग को लेकर सावधानी बरत रहा हूँ।
आपकी वजह से WebLLM के बारे में पता चला। मैं deep learning research करने वाले के नज़रिए से model को CDN आदि पर serve करके चलाने के बारे में सोच रहा था, और अब पता चला कि इस तरह serve करने वाला भी कुछ है। लेकिन फिर भी कुछ हिस्से चिंताजनक हैं। अगर frontend पर चलाया जाए तो load तो कम होगा, लेकिन शुरुआती model serving में थोड़ा ज़्यादा समय लगना समस्या हो सकती है। इस हिस्से पर अभी सोच रहा हूँ। फिर भी, आपकी वजह से ऐसे अच्छे project के बारे में पता चला। मैंने अभी ठीक से नहीं देखा, इसलिए यह पूरी तरह समझ नहीं पाया कि क्या सिर्फ ReadMe में दिए गए model ही चलेंगे, compatible model भी serve किए जा सकते हैं, या उन्हें किसी दूसरे CDN पर अपलोड करना होगा। मेरे हिसाब से शायद model को अलग से serve करना पड़ेगा। तब यह हिस्सा चिंता का विषय बन सकता है। विदेशों का तो नहीं पता, लेकिन देश के भीतर ऐसा कोई CDN है या नहीं जो model serve कर सके, यही सोच रहा हूँ। मैंने जो घरेलू CDN खोजे हैं, मेरी जानकारी में वे ज़्यादातर सिर्फ images की अनुमति देते हैं।
अरे बाप रे T_T
यह LLM 1B मॉडल है, लेकिन लगता है कि इसमें काफ़ी computation लगती है। कल तो बहुत अफरा-तफरी थी, और अचानक container zombie state में चला गया, इसलिए docker में CPU usage limit को लगातार बदलते हुए टेस्ट किया। ऐसा करते-करते लगा कि एक साथ 3~5 requests भी किसी तरह ही संभल पा रही थीं.
एक तरह से देखें तो इस छोटे प्रोजेक्ट के दौरान यह भी समझना था कि आने वाले कुछ वर्षों में local AI आएगा, और अगर GPU resources कम हों तो LLM service चलाने पर कितना load पड़ता है।
सर्वर चलाने वाला CPU AMD 7700 है. आखिरकार समझ में आया कि local AI पर कुछ चलाना हो to कई बातों पर विचार करना पड़ता है। सोच से ज़्यादा यह समस्या आई कि POST भेजने और response आने के बीच timeout लग जाता है, और अंत में लगा कि इसे stable service बनाना हो तो GPU या inference के लिए डिवाइस (जैसे google TPU आदि) काफ़ी मात्रा में होने चाहिए ताकि response speed बेहतर रहे, और इसे queue के रूप में उपलब्ध कराया जा सके.
असल में देश में LLM को ठीक से operate करने वाली कंपनियाँ कम हैं (जैसे पहले से ज्ञात Naver, Kakao, Upstage आदि), और chatbot भी अक्सर तयशुदा functions ही करते हैं, या LLM model API से जुड़े होते हैं। इस वजह से यह सोचने का मौका मिला कि इस पर कितना load पड़ सकता है, और अगर web पर ऐसी service देते समय server पर burden कम करना हो तो कैसे किया जाए।
वैसे, यह टिप्पणी पढ़ने वालों में से कुछ लोग सोच सकते हैं कि मॉडल को बस pass through करके serve कर देना काफ़ी नहीं है क्या, लेकिन gemma3 1b का size 1GB से ज़्यादा है, और भले ही server hosting इस्तेमाल कर रहा हूँ, मुझे नहीं लगा कि यह इस traffic को संभाल पाएगा.
किसी तरह app के रूप में preinstall कर दिया जाए तो संभव है, लेकिन web में server पर burden कम रखते हुए service कैसे दी जाए—इस पर अच्छे से सोचने वाली कंपनियाँ शायद कम maintenance cost के साथ आगे बढ़ पाएँगी।
कीमती अनुभव साझा करने के लिए आपका बहुत-बहुत धन्यवाद