HN से पूछें: दिसंबर 2023 में मैं अपने दस्तावेज़ों के आधार पर कस्टम LLM/ChatGPT को कैसे ट्रेन करूँ?

 (news.ycombinator.com)
4 पॉइंट द्वारा GN⁺ 2023-12-26 | 1 टिप्पणियां | WhatsApp पर शेयर करें

LLM को कस्टम दस्तावेज़ सेट देने का तरीका

  • LLM (Large Language Models) को उपयोगकर्ता के दस्तावेज़ सेट देकर अवास्तविक परिणामों के बिना उपयुक्त उत्तर पाने के सर्वोत्तम तरीके पर चर्चा।
  • LLM को किसी विशेष दस्तावेज़ सेट को "सिखाने" के तरीकों पर फ़ोकस। इसका मतलब ज़रूरी नहीं कि अपना मॉडल स्वयं ट्रेन करना हो; इसमें RAG (Retrieval-Augmented Generation) जैसे approaches भी शामिल हैं।
  • 5 महीने पहले का एक thread मौजूद है, लेकिन दिसंबर 2023 की वर्तमान स्थिति के अनुरूप जानकारी चाहिए।

GN⁺ की राय

  • किसी विशेष दस्तावेज़ सेट से सटीक जानकारी निकालने के लिए LLM का उपयोग, तकनीक के विकास के साथ और अधिक महत्वपूर्ण होता जा रहा है।
  • ऐसी तकनीकें उपयोगकर्ताओं को उनकी ज़रूरत के मुताबिक कस्टम परिणाम पाने में मदद करती हैं, और उनका उपयोग business intelligence, research, education जैसे विभिन्न क्षेत्रों में किया जा सकता है।
  • RAG जैसे मौजूदा approaches का उपयोग करना या नए तरीके तलाशना महत्वपूर्ण है; इससे LLM की उपयोगिता बढ़ेगी और अधिक सटीक व भरोसेमंद परिणाम प्राप्त करने में मदद मिलेगी।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-26
Hacker News राय

  • दस्तावेज़ों पर training वास्तव में नहीं होती, और कई startup यह शब्द इस्तेमाल करते हैं, लेकिन असल में वे RAG(Retrieval-Augmented Generation) का उपयोग करते हैं।

    • Llamaindex को सबसे अच्छा विकल्प माना जाता है।
    • दस्तावेज़ों पर training का दावा करने वाले ज़्यादातर startup वास्तव में RAG का उपयोग करते हैं।
    • qLoRA का उपयोग करके प्रश्न-उत्तर जोड़े अपने-आप बनाने वाली script खोजने की सलाह दी जाती है।
    • निजी दस्तावेज़ knowledge base में इसके सफल उपयोग के मामले बहुत कम हैं, और यह ज़्यादातर math, reasoning, Python जैसी skills के लिए इस्तेमाल होता है।
    • केवल document set को fine-tuning में डाल देना प्रभावी नहीं होता, यह अनुभवजन्य रूप से साबित हुआ है।

  • दस्तावेज़ों की मात्रा के अनुसार अलग-अलग approach पर विचार करना चाहिए।

    • RAG छोटे dataset पर अच्छी तरह काम करता है, और Llamaindex ने इस क्षेत्र में काफ़ी engineering की है।
    • fine-tuning और RAG का संयोजन बड़े dataset के लिए प्रभावी है, जहाँ ऐसा ज्ञान हो जो इंटरनेट पर आसानी से मिल सकता है।
    • लगातार pre-training की ज़रूरत बहुत बड़े dataset और proprietary knowledge के मामलों में पड़ती है।

  • AWS Bedrock इस्तेमाल करने में आसान है, और दस्तावेज़ों को S3 पर upload करके vector database के साथ sync कर API के ज़रिए इस्तेमाल किया जा सकता है।

    • Bedrock ऐसा product है जो कई तरह के model और एक common API देता है।

  • h2ogpt एक feature-complete RAG implementation है, जो कई format के दस्तावेज़ संभाल सकता है और अलग-अलग model hosting implementation को support करता है।

  • ChatGPT account खरीदकर उसमें अपने दस्तावेज़ upload किए जा सकते हैं, और इससे customized conversational AI बनाया जा सकता है।

  • GPT4 Assistants अब मूल रूप से RAG संभाल सकते हैं, और PrivateGPT इसके लिए जाना-पहचाना विकल्पों में से एक है।

  • Microsoft Office का Copilot Builder उपयोगकर्ताओं को base URL, upload की गई files आदि निर्दिष्ट करके कुछ ही सेकंड में AI Copilot बनाने देता है।

  • Cheshire Cat एक AI assistant framework है, जो दस्तावेज़ों को "memory" के रूप में सहेजता है ताकि बाद में उन्हें खोजा जा सके।

  • Mistral 7B को QLoRA के साथ fine-tune करने के तरीके पर एक video guide है, और इसमें यह भी कहा गया है कि RAG तकनीक अधिक उपयुक्त हो सकती है।