Ask HN: दिसंबर 2023 तक अपने दस्तावेज़ों पर कस्टम LLM/ChatGPT को ट्रेन करने का सबसे अच्छा तरीका क्या है?

 (news.ycombinator.com)
4 पॉइंट द्वारा GN⁺ 2023-12-26 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 5 महीने पहले इस विषय पर एक संबंधित थ्रेड है, लेकिन वह अब पुरानी जानकारी हो सकती है, इसलिए दिसंबर 2023 के हिसाब से फिर से तरीका खोजा जा रहा है
  • सवाल का मूल बिंदु यह है कि कस्टम दस्तावेज़ों का सेट LLM को देने का सबसे अच्छा तरीका क्या है, ताकि कम hallucination और ठीक-ठाक गुणवत्ता वाले जवाब मिल सकें
  • यह केवल अपना मॉडल ट्रेन करने तक सीमित नहीं है; इसमें दस्तावेज़ों के आधार पर सवालों के जवाब दिलाने के सभी तरीके शामिल हैं, और RAG जैसी approaches भी इसमें आती हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-26
Hacker News राय

  • दस्तावेज़ों पर training वास्तव में नहीं होती, और कई startup यह शब्द इस्तेमाल करते हैं, लेकिन असल में वे RAG(Retrieval-Augmented Generation) का उपयोग करते हैं।

    • Llamaindex को सबसे अच्छा विकल्प माना जाता है।
    • दस्तावेज़ों पर training का दावा करने वाले ज़्यादातर startup वास्तव में RAG का उपयोग करते हैं।
    • qLoRA का उपयोग करके प्रश्न-उत्तर जोड़े अपने-आप बनाने वाली script खोजने की सलाह दी जाती है।
    • निजी दस्तावेज़ knowledge base में इसके सफल उपयोग के मामले बहुत कम हैं, और यह ज़्यादातर math, reasoning, Python जैसी skills के लिए इस्तेमाल होता है।
    • केवल document set को fine-tuning में डाल देना प्रभावी नहीं होता, यह अनुभवजन्य रूप से साबित हुआ है।

  • दस्तावेज़ों की मात्रा के अनुसार अलग-अलग approach पर विचार करना चाहिए।

    • RAG छोटे dataset पर अच्छी तरह काम करता है, और Llamaindex ने इस क्षेत्र में काफ़ी engineering की है।
    • fine-tuning और RAG का संयोजन बड़े dataset के लिए प्रभावी है, जहाँ ऐसा ज्ञान हो जो इंटरनेट पर आसानी से मिल सकता है।
    • लगातार pre-training की ज़रूरत बहुत बड़े dataset और proprietary knowledge के मामलों में पड़ती है।

  • AWS Bedrock इस्तेमाल करने में आसान है, और दस्तावेज़ों को S3 पर upload करके vector database के साथ sync कर API के ज़रिए इस्तेमाल किया जा सकता है।

    • Bedrock ऐसा product है जो कई तरह के model और एक common API देता है।

  • h2ogpt एक feature-complete RAG implementation है, जो कई format के दस्तावेज़ संभाल सकता है और अलग-अलग model hosting implementation को support करता है।

  • ChatGPT account खरीदकर उसमें अपने दस्तावेज़ upload किए जा सकते हैं, और इससे customized conversational AI बनाया जा सकता है।

  • GPT4 Assistants अब मूल रूप से RAG संभाल सकते हैं, और PrivateGPT इसके लिए जाना-पहचाना विकल्पों में से एक है।

  • Microsoft Office का Copilot Builder उपयोगकर्ताओं को base URL, upload की गई files आदि निर्दिष्ट करके कुछ ही सेकंड में AI Copilot बनाने देता है।

  • Cheshire Cat एक AI assistant framework है, जो दस्तावेज़ों को "memory" के रूप में सहेजता है ताकि बाद में उन्हें खोजा जा सके।

  • Mistral 7B को QLoRA के साथ fine-tune करने के तरीके पर एक video guide है, और इसमें यह भी कहा गया है कि RAG तकनीक अधिक उपयुक्त हो सकती है।