पुरातत्व पृष्ठभूमि वाले डेवलपर द्वारा बनाया गया LLM-आधारित न्यूज़लेटर ऑटोमेशन किट
(github.com/kimhongyeon)नमस्ते। मैंने विश्वविद्यालय में पुरातत्व विषय में पढ़ाई की, लेकिन अंतहीन मैनुअल काम (शाब्दिक अर्थ में खुदाई और भारी मेहनत) को हल करने की कोशिश में डेवलपर बना एक इंजीनियर हूँ.
लंबे विचार-विमर्श के बाद, मैं अपने उपयोग के लिए बनाया गया न्यूज़लेटर ऑटोमेशन इंजन (LLM Newsletter Kit) open source के रूप में साझा कर रहा हूँ.
फिलहाल यह इंजन मेरे द्वारा संचालित सांस्कृतिक विरासत न्यूज़लेटर 'Research Radar' का core है, और 15% click-through rate (CTR) बनाए रखते हुए प्रति इश्यू LLM API लागत को लगभग $0.20 तक optimize किया गया है.
यह सिर्फ links का साधारण संग्रह नहीं है, बल्कि एक ऐसा pipeline है जिसमें किसी विशेष domain के ज्ञान का LLM विश्लेषण और सारांश बनाकर insights प्रदान करता है.
विकास की पृष्ठभूमि और एक ईमानदार बात
क्योंकि यह code-based है, इसलिए मुझे लगता है कि no-code tools की तुलना में इसमें entry barrier है और शायद यह व्यापक रूप से लोकप्रिय न हो। शुरुआत से ही मेरा लक्ष्य इसे व्यापक रूप से इस्तेमाल कराया जाना नहीं था, बल्कि अपनी स्पष्ट जरूरत को हल करना था.
शुरुआत में यह केवल मेरे अपने उपयोग के लिए बनाया गया 'सांस्कृतिक विरासत-विशेष न्यूज़लेटर' था। बाद में मैंने इसे ऐसी सेवा के रूप में खोल दिया जिसे कोई भी subscribe कर सकता है.
विकास करते समय source code और cultural heritage domain logic के बीच बहुत मजबूत coupling हो गई थी। इसे हल करने के लिए मैंने DI (dependency injection) संरचना के जरिए abstraction किया और इसे एक ऐसी library के रूप में अलग किया जिसे कोई भी इस्तेमाल कर सके.
npm i @llm-newsletter-kit/core
फिलहाल मेरी अपनी service भी पुराने tightly coupled legacy code को छोड़कर, इसी open source core पर migrate करके चल रही है.
डिज़ाइन दर्शन: "Logic in code, reasoning in AI"
no-code tools के बजाय code चुनने का कारण मेरा डिज़ाइन दर्शन है। "Logic in code, reasoning in AI, connections in architecture."
no-code tools सुविधाजनक हैं, लेकिन जटिल logic को लागू करने में उनकी सीमाएँ स्पष्ट थीं। निर्णायक workflows को type-safe code (TypeScript) से नियंत्रित करते हुए, केवल intelligent analysis LLM को सौंपकर मैंने self-reflection या multi-stage validation जैसे sophisticated logic को लागू किया.
मुख्य विशेषताएँ
Type-First & DI डिज़ाइन: यह TypeScript में लिखा गया है, और crawling, analysis, generation जैसे सभी चरण Provider interface पर आधारित हैं, इसलिए components को मॉड्यूलर तरीके से बदला जा सकता है.
Bring Your Own Scraper: यह किसी विशेष library में lock-in नहीं करता। Puppeteer, Cheerio, या AI-आधारित parser सहित जो चाहें, उसे asynchronous injection के साथ इस्तेमाल किया जा सकता है.
Production Ready: वास्तविक संचालन के लिए इसमें retries logic, chain options, और 100% test coverage मौजूद है.
लिंक
- GitHub (Core): https://github.com/kimhongyeon/llm-newsletter-kit-core
- वास्तविक परिणाम का उदाहरण (Research Radar): https://heripo.com/research-radar-newsletter-example.html
- reference implementation code: https://github.com/kimhongyeon/heripo-research-radar
धन्यवाद। फ़ीडबैक हमेशा स्वागतयोग्य है!
अभी कोई टिप्पणी नहीं है.