CRoM v1.0.2 ओपन सोर्स टूलकिट - टोकन खपत में कमी · स्पीड में सुधार · लंबी बातचीत में विकृति की रोकथाम
(github.com/Flamehaven)मैंने खुद बनाया और लगातार अपडेट किया है CRoM (Context Rot Mitigation for Efficient LLMs) का नया वर्ज़न v1.0.2 अब जारी कर रहा हूँ.
CRoM एक Python टूलकिट है, जो लंबे prompts में होने वाली Context Rot (निर्देश धुंधलापन, reasoning drift, memory loss) की समस्या को कम करता है, ताकि LLM संदर्भ का अधिक स्थिर और कुशल तरीके से उपयोग कर सके.
🔑 मुख्य फीचर्स:
▫️Budget Packer: टोकन बजट के भीतर केवल महत्वपूर्ण टेक्स्ट को स्थिर रूप से compress करना
▫️Hybrid Reranker: TF-IDF + dense embeddings आधारित document reranking
▫️Drift Estimator: responses के बीच semantic changes की निगरानी
▫️Observability: Prometheus metrics आधारित monitoring
▫️प्लगइन विस्तार: FlashRank, LLMLingua, Evidently सपोर्ट
▫️Benchmarking: CLI के जरिए end-to-end evaluation और performance analysis
📊 नवीनतम v1.0.2 में ImportError और SyntaxError fixes, version management consistency में सुधार, integrated tests (10+ cases) की addition, और 1,000+ documents पर performance verification शामिल है.
🔗 लिंक
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️बनाने की कहानी: https://medium.com/p/ab356e656d88
अभी कोई टिप्पणी नहीं है.