MemGPT - अनंत context के लिए self-editing memory वाले LLMs

 (github.com/cpacker)
2 पॉइंट द्वारा GN⁺ 2023-10-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • MemGPT एक नया सिस्टम है जो language learning models (LLMs) की memory hierarchy को मैनेज करता है, और LLM की सीमित context window के भीतर extended context प्रदान करता है।
  • यह पहचानता है कि vector database में महत्वपूर्ण जानकारी को कब स्टोर और retrieve करना है, जिससे निरंतर बातचीत संभव होती है।
  • MemGPT का उपयोग self-editing memory वाले chatbot बनाने के लिए किया जा सकता है।
  • MemGPT सिस्टम को Discord के #memgpt चैनल में MemGPT bot को message भेजकर टेस्ट किया जा सकता है।
  • MemGPT को लोकल में चलाने के लिए, उपयोगकर्ताओं को dependencies install करनी होंगी, environment में OpenAI API key जोड़नी होगी, और main.py चलाना होगा।
  • उपयोगकर्ता /memgpt/humans/examples या /memgpt/personas/examples में नई .txt files बनाकर MemGPT के लिए नया शुरुआती user या persona बना सकते हैं।
  • MemGPT /exit, /save, /load, /dump, /memory, /pop, /heartbeat, /memorywarning जैसे कई CLI commands को support करता है।
  • डिफ़ॉल्ट रूप से MemGPT gpt-4 का उपयोग करता है, इसलिए gpt-4 API access वाला API key आवश्यक है।
  • समस्याओं या feature requests के लिए, उपयोगकर्ताओं को GitHub issue खोलने की सलाह दी जाती है।
  • MemGPT paper में उपयोग किया गया dataset HuggingFace से डाउनलोड किया जा सकता है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-10-17
Hacker News राय
  • MemGPT के लेखक इम्प्लिमेंटेशन से जुड़े सवालों के जवाब देने के इच्छुक हैं
  • MemGPT के पास एक Discord bot है जो memory editing को real time में दिखाता है
  • MemGPT का code open source है और GitHub पर उपलब्ध है
  • एक commenter ने pre-processing और post-processing चरणों में अलग-अलग agents को कई requests parallelize करने की प्रक्रिया का सुझाव दिया
  • दूसरे commenter ने यह सुनिश्चित करने के लिए grammar-based sampling इस्तेमाल करने का सुझाव दिया कि function calling वाक्यात्मक रूप से सही हो
  • कुछ commenters ने प्रोजेक्ट को लेकर उत्साह जताया और इसे भविष्य के chatbots की एक बुनियादी विशेषता माना
  • लेखकों ने MemGPT के ऊपर इम्प्लिमेंट किया गया एक Discord persistent chatbot जारी किया
  • कुछ commenters का मानना है कि context window, LLMs की सबसे बड़ी सीमा है
  • लेखकों द्वारा शीर्षक चुनने को लेकर चर्चा हुई
  • एक commenter ने इस approach की आलोचना करते हुए कहा कि यह इस धारणा पर निर्भर करती है कि मौजूदा context कम entropy वाले ऐसे context से बना है जिसे summarize किया जा सकता है, और सभी queries history के केवल एक हिस्से पर निर्भर करती हैं। उनका मानना है कि यह हमेशा सही नहीं होता, खासकर code generation के context में।