- LLM के साथ कुछ शानदार बनाना आसान है, लेकिन उसे प्रोडक्शन-स्तर का बनाना बहुत कठिन है
- LLM एप्लिकेशन को प्रोडक्ट में बदलने के लिए हल की जाने वाली मुख्य चुनौतियाँ, कई tasks को control flow में integrate करने के तरीके और tools के उपयोग के तरीके, तथा संभावनाशील use cases पर नज़र डालने वाला लेख
Part I. prompt engineering को production में लाने की चुनौतियाँ
- प्राकृतिक भाषा की अस्पष्टता
- prompt evaluation
- prompt versioning
- prompt optimization
- लागत और latency
- लागत
- latency
- LLM के लिए लागत+latency analysis की असंभवता
- prompting vs. fine-tuning vs. alternatives
- prompt tuning
- distillation के माध्यम से fine-tuning
- embeddings + vector database
- backward/forward compatibility
Part 2. composability
- कई tasks से बने एप्लिकेशन
- agents, tools और control flow
- tool vs. plugin
- control flow: sequential, parallel, if, for loop
- LLM agents का control flow
- agents की testing करना
Part 3. संभावनाशील उपयोग के मामले
- AI assistant
- chatbot
- programming और games
- learning
- Talk-to-your-data
- क्या LLM मेरे लिए data analysis कर सकता है?
- search और recommendation
- sales
- SEO
निष्कर्ष
- हम अभी भी LLM एप्लिकेशन के शुरुआती चरण में हैं। सब कुछ बहुत तेज़ी से विकसित हो रहा है
- मैंने हाल ही में LLM पर किताबों के कुछ प्रस्ताव देखे, और मेरा पहला विचार यह था कि इनमें से ज़्यादातर एक महीने के भीतर पुराने हो जाएंगे
- API हर दिन बदल रहे हैं, और नए एप्लिकेशन खोजे जा रहे हैं। infrastructure को आक्रामक रूप से optimize किया जा रहा है
- लागत और latency analysis साप्ताहिक आधार पर किया जाना चाहिए, और नए terms पेश किए जा रहे हैं
- इन सभी बदलावों में से हर एक महत्वपूर्ण नहीं है
- prompt engineering पर अनगिनत papers देखकर deep learning के शुरुआती दिनों की याद आती है, जब weights initialization के अलग-अलग तरीकों पर हज़ारों papers थे
- prompt को adjust करने वाली tricks लंबे समय में शायद महत्वपूर्ण नहीं होंगी
- यह देखते हुए कि LLM खुद prompts लिखने में भी काफ़ी सक्षम है, कौन जानता है कि prompts को adjust करने वाले इंसानों की सच में ज़रूरत होगी भी या नहीं?
- हाल ही में Linkedin पर लोगों ने पूछा कि इस क्षेत्र में up-to-date जानकारी कैसे प्राप्त करें, और इस पर कई तरह की राय थीं
- (ज़्यादातर) hype को नज़रअंदाज़ करें
- सिर्फ summaries पढ़ें
- सभी tools को आज़माएँ
- आपकी strategy क्या है?
1 टिप्पणियां
अनुवाद: https://docs.google.com/document/d/…