LLMLingua-2 का TypeScript इम्प्लीमेंटेशन
(atjsh.github.io)Microsoft द्वारा विकसित "LLM-आधारित जनरल-पर्पज़ प्रॉम्प्ट कंप्रेसर" LLMLingua को अधिक विविध environments में इस्तेमाल करने योग्य बनाने के लिए, Python से TypeScript में port करने वाला एक open source प्रोजेक्ट.
LLMLingua क्या है?
- GeekNews: "Microsoft LLMLingua - inference को तेज़ करने और लागत घटाने के लिए प्रॉम्प्ट compress करना"
- LLMLingua-2 होमपेज
- फिलहाल इसका Python भाषा में आधिकारिक इम्प्लीमेंटेशन वितरित किया जा रहा है.
LLMLingua-2 का TypeScript इम्प्लीमेंटेशन
- प्रॉम्प्ट कंप्रेशन डेमो (GitHub Pages)
- JavaScript + React + Vite
- डेमो इस्तेमाल की आवश्यकताएँ: WebGPU सपोर्ट वाला browser चाहिए (Windows/macOS Google Chrome आदि)
- source code: GitHub और HuggingFace पर देखा जा सकता है
- पैकेज (npm): npm install @atjsh/llmlingua-2
हाइलाइट्स
- Python में लिखी गई LLMLingua-2 pipeline को pure TypeScript में port किया गया
- इम्प्लीमेंटेशन में इस्तेमाल की गई libraries: js-tiktoken, transformer.js और TensorFlow.js
- Node.js सपोर्ट के लिए अतिरिक्त development जारी है (अभी तुरंत test करना संभव है)
- MIT लाइसेंस आधारित open source
अभी शुरुआती चरण में
use_context_level_filter,return_word_labelजैसी कुछ features अभी implement नहीं हुई हैं- मुख्य feature यानी प्रॉम्प्ट कंप्रेशन भी, मूल LLMLingua-2 की तुलना में कुछ हिस्सों में गलत तरीके से implement हुआ हो सकता है... T_T
अभी कोई टिप्पणी नहीं है.