IBM और NASA ने वैज्ञानिक ज्ञान की पहुंच बेहतर बनाने के लिए language model बनाया
- IBM और NASA ने वैज्ञानिक साहित्य के ज़रिए अधिक कुशल language model बनाने के लिए एक नया सहयोग शुरू किया है।
- Transformer architecture पर आधारित ये मॉडल classification, entity extraction, question answering और information retrieval जैसे विभिन्न applications में इस्तेमाल किए जा सकते हैं।
- ये कई क्षेत्रों में उच्च प्रदर्शन हासिल करते हैं और तेज़ी से response दे सकते हैं, तथा scientific और academic community के हित में Hugging Face पर open source के रूप में जारी किए गए हैं।
Transformer-आधारित language model
- BERT, RoBERTa, IBM की Slate और Granite model families सहित Transformer-आधारित language model natural language understanding कार्यों के लिए बहुत महत्वपूर्ण हैं।
- ये मॉडल भाषा के काम करने के तरीके की सांख्यिकीय समझ पर आधारित होते हैं और masked language modeling कार्य के माध्यम से प्रशिक्षित होते हैं, जिसमें छिपे हुए शब्दों को बहाल करके वाक्य को पुनर्निर्मित किया जाता है।
- शब्दों को उन इकाइयों में तोड़ने वाला tokenizer, जिन्हें मॉडल उपयोग कर सके, विशाल vocabulary सीखने में महत्वपूर्ण भूमिका निभाता है।
वैज्ञानिक क्षेत्रों के लिए विशेष tokenizer और training data
- IBM और NASA ने astrophysics, planetary science, earth science, heliophysics, biological और physical science data के corpus से 60 अरब tokens पर मॉडल को प्रशिक्षित किया।
- सामान्य tokenizer से अलग, विकसित किया गया विशेष tokenizer
axes और polycrystalline जैसे scientific terms को पहचान सकता है।
- मॉडल द्वारा संसाधित 50,000 tokens में से आधे से अधिक, Hugging Face के RoBERTa मॉडल की तुलना में unique थे।
प्रदर्शन में सुधार
- domain-specific vocabulary पर प्रशिक्षित IBM-NASA मॉडल ने biomedical कार्यों का मूल्यांकन करने वाले लोकप्रिय BLURB benchmark में open RoBERTa मॉडल को 5% से पीछे छोड़ा।
- internal scientific question answering benchmark में 2.4% F1 score सुधार और internal earth science entity recognition test में 5.5% सुधार देखा गया।
Encoder मॉडल और information retrieval
- प्रशिक्षित encoder मॉडल को कई non-generative language tasks के लिए fine-tune किया जा सकता है, और यह document retrieval के लिए information-rich embeddings बना सकता है।
मॉडल के सफल परिणाम
- इन मॉडलों ने लगभग 26.8 करोड़ text pairs का उपयोग करके, NASA द्वारा curated लगभग 400-question test set में relevant passages खोजने में उत्कृष्ट प्रदर्शन दिखाया।
- विशेष training data, custom tokenizer और training methodology की बदौलत मॉडल में महत्वपूर्ण सुधार हासिल हुआ।
Hugging Face पर open source release
- transparent AI के प्रति IBM और NASA की प्रतिबद्धता के अनुरूप, दोनों मॉडल Hugging Face पर उपलब्ध हैं।
- encoder मॉडल को space-domain applications के लिए और fine-tune किया जा सकता है, जबकि retrieval मॉडल का उपयोग RAG के लिए information retrieval applications में किया जा सकता है।
GN⁺ की राय
- यह सहयोग वैज्ञानिक ज्ञान की पहुंच बेहतर बनाने में बहुत मददगार साबित हो सकता है। खासकर, scientific fields की specialized terminology को समझने और संसाधित करने वाले language model का विकास शोधकर्ताओं के लिए बेहद उपयोगी होगा।
- मॉडल को open source रूप में उपलब्ध कराने से विभिन्न शोधकर्ताओं और developers को इसे स्वतंत्र रूप से उपयोग और बेहतर बनाने का अवसर मिलता है, जिससे AI research के लोकतंत्रीकरण में योगदान हो सकता है।
- हालांकि, ऐसे उन्नत मॉडलों का प्रभावी उपयोग करने के लिए पर्याप्त computing resources और AI modeling की विशेषज्ञता की आवश्यकता हो सकती है। यह कुछ शोधकर्ताओं या संस्थानों के लिए entry barrier बन सकता है।
- इस तकनीक को अपनाते समय जिन बातों पर विचार करना चाहिए, उनमें मॉडल की जटिलता, training के लिए आवश्यक data की मात्रा, और उसे संभालने में सक्षम hardware का प्रदर्शन शामिल है। इस मॉडल को चुनने से गहरी वैज्ञानिक साहित्य-समझ और तेज़ information retrieval जैसे लाभ मिल सकते हैं, लेकिन इसके लिए लागत और संसाधनों का निवेश भी आवश्यक है।
अभी कोई टिप्पणी नहीं है.